Enfoque equivocado para desarrollar productos de IA
- La mayoría de los productos de IA se implementan como una capa sobre otro modelo, por ejemplo, llamando a la API de ChatGPT.
- Este enfoque es fácil de implementar y puede ofrecer funciones impresionantes, pero tiene el problema de que no se diferencia, es costoso y es lento.
- Cuando la propuesta de valor única de un producto de IA es importante, depender de una tecnología que puede copiarse fácilmente significa estar en una posición riesgosa.
El problema del alto costo y la lentitud de los LLM
- Los modelos de lenguaje de gran tamaño (Large Language Models, LLM) ofrecen versatilidad, pero por su tamaño y complejidad su costo operativo es muy alto.
- Por ejemplo, GitHub Copilot tiene un costo promedio de $20 por usuario, pero solo cobra $10, por lo que opera con pérdidas.
- Debido a su lentitud, los LLM pueden causar problemas importantes en aplicaciones que requieren respuesta en tiempo real.
Límites de los LLM y problemas de personalización
- Los LLM admiten ajuste fino, pero tienen límites a la hora de ofrecer soluciones para problemas específicos.
- Durante el desarrollo de Visual Copilot de Builder.io, se intentó usar LLM para convertir diseños de Figma en código, pero se llegó a resultados lentos, costosos y de baja calidad.
La solución: crear una cadena de herramientas propia
- Builder.io resolvió el problema creando su propia cadena de herramientas.
- Combinaron LLM ajustados, un compilador personalizado y modelos entrenados a medida.
- Este método permite crear productos más rápidos, más confiables, más baratos y más diferenciados.
Malentendidos comunes sobre el desarrollo de productos de IA
- Muchas personas creen erróneamente que en un producto de IA toda la tecnología central es resuelta por un solo supermodelo.
- Tomando como ejemplo los vehículos autónomos, se suele pensar que una sola IA gigantesca procesa todas las entradas y toma decisiones, pero en realidad se trata de la combinación de varios modelos especializados y código convencional.
Cómo empezar realmente a construir IA
- Vale la pena explorar el enfoque usado en Visual Copilot para soluciones de IA.
- Hay que explorar el espacio del problema usando prácticas normales de programación y determinar en qué áreas se necesitan modelos especializados.
- Si para un problema específico la programación estándar no da una buena solución, se pueden generar datos con modelos de IA bien establecidos y entrenar un modelo propio.
Opinión de GN⁺
- Lo más importante al desarrollar productos de IA es evitar hacerlo como lo hacen los demás y crear una cadena de herramientas propia para ofrecer un valor diferenciado.
- Este artículo resulta interesante y atractivo porque muestra un uso innovador de la tecnología de IA y cómo los desarrolladores pueden aprovecharla para crear productos originales.
Aún no hay comentarios.