Diferencias entre la ingeniería de IA, la ingeniería de machine learning y la ingeniería full stack [Traducción]

Stack de ingeniería de IA

1. Estructura de 3 capas del stack de ingeniería de IA: todos los servicios de IA se construyen sobre tres capas clave.

1.1 Desarrollo de aplicaciones (Application Development)

• Con el uso de modelos fundacionales (Foundation Model), cualquiera puede desarrollar rápidamente apps de IA.
• La diferenciación del servicio depende del diseño de prompts, la UI/UX para el usuario y el sistema de evaluación.
• Como muchos equipos usan modelos similares, se vuelven importantes las interfaces amigables para el usuario y las herramientas de automatización de evaluación.

1.2 Desarrollo de modelos (Model Development)

• Se especializa en áreas como fine-tuning, optimización de inferencia (Inference Optimization) y ingeniería de datasets (Dataset Engineering).
• Han aparecido el uso y la personalización de modelos a gran escala, así como diversos LLM y modelos multimodales de código abierto.
• La confiabilidad y la calidad son clave (por ejemplo, evaluación de respuestas abiertas y control de calidad de etiquetas).

1.3 Infraestructura (Infrastructure)

• Despliegue de modelos, operación de clústeres GPU a gran escala, escalamiento del servicio, monitoreo y respuesta ante fallas.
• La velocidad de innovación en infraestructura es relativamente más lenta, pero tiene un gran impacto en la gestión de rendimiento y costos.

2. Ingeniería de IA vs ingeniería de ML: un cambio esencial

2.1 Forma de usar los modelos

• ML tradicional: entrenamiento de modelos propios (Machine Learning from scratch).
• IA moderna: la tendencia dominante es invocar y aprovechar modelos grandes preentrenados (using pre-trained models).
• La evaluación (Evaluation) tiende a volverse más importante que el desarrollo del modelo, especialmente al manejar resultados open-ended.

2.2 Cambios en recursos y habilidades de ingeniería

• Capacidad para operar clústeres de cientos a miles de GPU (Scalable GPU infrastructure).
• Al convertirlo en un producto de servicio real, se necesita gestión de grandes volúmenes de datos y uso altamente eficiente de recursos.

2.3 Innovación en evaluación (Evaluation)

• Evaluación de respuesta corta (closed-ended) → se requiere capacidad para manejar resultados abiertos (open-ended output).
• Hay un fuerte desarrollo de sistemas de evaluación automáticos y semiautomáticos (Auto evaluation system).

3. Personalización de modelos: prompt vs fine-tuning

3.1 Basado en prompts (Prompt-based)

• Cambio de comportamiento mediante diseño de prompts (Prompt Engineering) y gestión de contexto (sin cambiar los parámetros internos del modelo).
• Requiere pocos datos. Permite experimentación rápida y bajo costo.
• Límite: en tareas de alta dificultad o con mayor complejidad, el rendimiento disminuye.

3.2 Fine-tuning

• Cambio directo de los pesos del modelo, requiere grandes volúmenes de datos y es adecuado para exigencias de alto rendimiento.
• El costo/tiempo aumenta, pero a largo plazo mejora la calidad del servicio, la velocidad y el costo.

4. La subdivisión del "entrenamiento"

• Pre-training: construcción inicial de grandes modelos fundacionales; solo algunas empresas o instituciones gigantes lo realizan.
• Fine-tuning: entrenamiento personalizado para un problema específico o datos de clientes basado en los pesos de un modelo existente.
• Post-training: aunque el término se usa de forma mixta, en la práctica incluye tanto fine-tuning como actualizaciones continuas.

5. Ingeniería de datasets: el cambio en el papel de los datos

• Cambio hacia datos principalmente no estructurados (unstructured) (texto, imágenes, multimodal, etc.).
• Aumenta la dificultad del etiquetado: se vuelve indispensable el know-how para responder a resultados abiertos e impredecibles.
• La esencia de la diferenciación del servicio se está moviendo hacia los datos: asegurar datasets de alta calidad equivale a competitividad.
• También se destaca la importancia de responder a la calidad de los datos, la ética y la privacidad (Privacy/Ethics).

6. Tendencias en el desarrollo de aplicaciones de IA

• A medida que múltiples organizaciones usan el mismo modelo (Foundation Model),
  • la ingeniería de prompts (diseño de entradas),
  • la interfaz del producto (UI/UX, chatbots, extensiones web, etc.),
  • y el diseño del ciclo de retroalimentación del usuario se vuelven fundamentales.
• La implementación de servicios de IA ligeros en edge y móvil se perfila como una nueva oportunidad.

Cambio en el enfoque de desarrollo:

• Antes: diseño de datos/modelo → posterior productización
• Ahora: prototipado rápido del producto → inversión en datos/modelo si hace falta (Product first, Model/Data later)

7. IA vs ingeniería full stack: la disolución de fronteras

• Se amplía el papel de los desarrolladores frontend y full stack web/móvil.
  • La capacidad de combinar IA con interfaces se convierte en competitividad.
• En la era de los modelos fundacionales + plugins, es posible lanzar fácilmente servicios de IA sin un backend complejo.
• Patrón de uso: prototipado rápido → feedback de usuarios → mejora iterativa.

8. Conclusión y perspectivas futuras

• La ingeniería de IA continúa la línea de la ingeniería tradicional de ML, pero al mismo tiempo exige una escalabilidad e innovación sin precedentes.
• Los modelos fundacionales y el ecosistema de IA de código abierto son la clave del cambio.
• En la era de la sobrecarga de información, aumenta la necesidad de establecer frameworks claros y mejores prácticas.

[Referencia y redacción del resumen]

• Texto original: Chip Huyen, 『AI Engineering』