OpenAI, Google y Anthropic luchan por desarrollar una IA más avanzada

• Las principales empresas de IA, como OpenAI, Google y Anthropic, están logrando cada vez menos avances en el desarrollo de nuevos modelos
• OpenAI entrenó su modelo de IA más reciente, Orion, pero no alcanzó el rendimiento esperado
  • En particular, tuvo problemas para responder correctamente preguntas de programación
• Gemini de Google también mostró resultados por debajo de las expectativas internas, y Anthropic está retrasando el calendario de lanzamiento del nuevo Claude 3.5 Opus

Límites de los datos y problema de costos

• Conseguir datos de alta calidad escritos por humanos es cada vez más difícil
• El rendimiento de los modelos de IA se está estancando, y pequeñas mejoras hacen difícil justificar costos enormes
• En el caso de Orion de OpenAI, se señala como una de las causas principales la falta de suficientes datos de programación
• Desarrollar nuevos modelos de IA cuesta millones de dólares, y se espera que en el futuro llegue a costar miles de millones

Estrategias para mejorar el rendimiento de la IA

• OpenAI se está enfocando en el proceso de post-training antes del lanzamiento de Orion. Esto incluye mejorar las respuestas del modelo mediante retroalimentación de los usuarios y ajustar el tono de interacción
• Para resolver el problema de la escasez de datos, las empresas están obteniendo datos mediante acuerdos con editoriales o usando métodos en los que expertos etiquetan los datos
• También está aumentando el uso de datos sintéticos (synthetic data), pero todavía existen límites para conseguir datos únicos y de alta calidad

Dudas sobre las leyes de escalado de la IA

• La industria de la IA ha dependido de las leyes de escalado (scaling laws), según las cuales modelos más grandes y más datos traerían mejoras de rendimiento, pero los resultados recientes están haciendo que esto se ponga en duda
• Dario Amodei, CEO de Anthropic, se muestra optimista en que la escasez de datos podría causar problemas, pero que encontrarán una forma de superarlos

El problema del equilibrio entre costo y rendimiento

• A medida que se disparan los costos de desarrollo de IA, el alto gasto se vuelve problemático si los nuevos modelos no mejoran su rendimiento tanto como se esperaba
• OpenAI y Anthropic están cambiando su enfoque, en lugar de modelos más grandes, hacia nuevos casos de uso como los agentes de IA (agent)
  • Los agentes pueden realizar tareas como enviar correos electrónicos o reservar vuelos en nombre del usuario
• El CEO de OpenAI, Sam Altman, mencionó que se necesitan decisiones difíciles respecto al uso de recursos de cómputo
  • Explicó en un AMA de Reddit: "Seguiremos lanzando excelentes modelos nuevos, pero la próxima gran innovación serán los agentes"

Conclusión

• Las principales empresas de IA están usando cada vez más poder de cómputo y datos, pero los resultados se están estancando
• Para superar las limitaciones técnicas y el problema de la escasez de datos, están buscando nuevos enfoques y casos de uso
• Cada vez es más probable que la dirección futura del desarrollo de IA se enfoque menos en el tamaño del modelo y más en los casos de uso reales

[kandk]

Al final, la historia es que cuesta demasiado dinero.
Personalmente, creo que el potencial de crecimiento llega hasta el número de neuronas del cerebro.

[GN⁺]

Opiniones de Hacker News

• Se plantea la pregunta de si ya se agotaron todas las opciones para ofrecer valor basadas en LLM (modelos de lenguaje a gran escala). Alguien que lidera un equipo cree que todavía queda mucho camino por recorrer

  • Usa principalmente los modelos GPT-4o y Claude 3.5, y con la combinación de inversión técnica y LLM siguen apareciendo posibilidades para nuevas aplicaciones
  • Por ejemplo, se puede crear un "bot experto" que entienda el contexto del negocio y actúe como un compañero del equipo combinando grafos de conocimiento curados por humanos con un LLM
  • Si se agregan funciones de predicción y simulación, el LLM puede generar cambios de código razonables y revisarlos e iterarlos automáticamente
  • Sostiene que es más importante aprovechar la inteligencia actual que perseguir mejoras del modelo

• En el campo de la ingeniería, durante los últimos tres años el enfoque ha estado en escalar el preentrenamiento y el postentrenamiento de los modelos transformer

  • Como nuevo paradigma, están llamando la atención el entrenamiento multimodal y los agentes encarnados, incluida la robótica
  • OpenAI, Google y Anthropic también están invirtiendo en investigación robótica

• La capacidad de ChatGPT para generar código puede encontrar en la web cosas parecidas al código existente

  • Los LLM ofrecen funciones de búsqueda y de copiar/pegar, y eso es suficiente para resolver problemas comunes
  • Sin embargo, solo con LLM no se llegará a la inteligencia artificial general
  • Hace falta un indicador de confianza para los LLM, y eso sería mucho más útil que los LLM actuales

• Que el avance de la IA haya llegado al límite de los datos es algo positivo, porque la presión se desplaza hacia desarrollar mejores arquitecturas de modelos

  • Los investigadores de IA están buscando modelos mejores

• Los titulares negativos que dicen que la IA se estrelló contra un muro son similares a los de cuando apareció internet por primera vez

  • Se piensa que dentro de 10 años la IA estará profundamente conectada con todos los aspectos de la vida

• Las tecnologías existentes ya han traído grandes cambios a la industria, y se necesita tiempo para pasar a un modelo híbrido entre IA y humanos

• Aunque el modelo más reciente de OpenAI no cumplió las expectativas, puede seguir creciendo de forma lineal según el tamaño de los datos de entrenamiento

• Se plantea la pregunta de si se puede comprar software de IA y añadir funciones que ayuden al usuario a leer documentos por sí mismo y a escribir nuevas versiones de una aplicación