- Crear algo genial con un LLM es fácil, pero llevarlo a nivel de producción es muy difícil
- Un artículo que revisa los principales desafíos que hay que resolver para convertir una aplicación LLM en un producto, cómo integrar varias tareas dentro de un flujo de control y cómo usar las herramientas, además de algunos casos prometedores
Parte I. Los desafíos de llevar la ingeniería de prompts a producción
- La ambigüedad del lenguaje natural
- Evaluación de prompts
- Versionado de prompts
- Optimización de prompts
- Costo y latencia
- Costo
- Latencia
- La imposibilidad de analizar costo + latencia para los LLM
- Prompting vs. fine-tuning vs. alternativas
- Ajuste de prompts
- Fine-tuning mediante destilación (Distillation)
- Embeddings + base de datos vectorial
- Compatibilidad hacia atrás/hacia adelante
Parte 2. Componibilidad del trabajo
- Aplicaciones compuestas por múltiples tareas
- Agentes, herramientas y flujo de control
- Herramientas vs. plugins
- Flujo de control: secuencial, paralelo, if, bucle for
- El flujo de control de los agentes LLM
- Cómo probar agentes
Parte 3. Casos de uso prometedores
- Asistente de IA
- Chatbots
- Programación y juegos
- Aprendizaje
- Talk-to-your-data
- ¿Puede un LLM hacer análisis de datos por mí?
- Búsqueda y recomendación
- Ventas
- SEO
Conclusión
- Aún estamos en una etapa temprana de las aplicaciones LLM. Todo está evolucionando rápidamente
- Hace poco vi propuestas de libros sobre LLM, y lo primero que pensé fue que la mayoría quedarían obsoletos en un mes
- Las APIs cambian todos los días y se están descubriendo nuevas aplicaciones. La infraestructura se está optimizando de forma agresiva
- El análisis de costo y latencia debe hacerse semanalmente, y se están introduciendo nuevos términos
- No todos estos cambios son importantes
- La enorme cantidad de papers sobre prompt engineering recuerda a los miles de papers de los inicios del deep learning que describían distintos métodos para inicializar pesos
- Los trucos para ajustar prompts no serán importantes a largo plazo
- Considerando que los LLM también son bastante buenos escribiendo prompts por sí mismos, ¿quién sabe si realmente se necesitarán personas dedicadas a ajustarlos?
- Hace poco en LinkedIn la gente preguntaba cómo mantenerse al día en este campo, y hubo opiniones variadas
- Ignora la mayor parte del hype
- Lee solo los resúmenes
- Prueba todas las herramientas
- ¿Cuál es tu estrategia?
1 comentarios
Traducción: https://docs.google.com/document/d/…