- El proyecto de IA de próxima generación de OpenAI, GPT-5 (nombre en clave Orion), está sufriendo retrasos en el calendario y generando costos enormes
- GPT-5 busca lograr avances importantes en la tecnología que hizo posible ChatGPT, pero su probabilidad de éxito y su calendario siguen siendo inciertos
- Microsoft, inversionista clave, esperaba su presentación a mediados de 2024, pero en las pruebas internas de OpenAI surgieron varios problemas
Estado del proyecto y costos
- GPT-5 ya pasó por dos entrenamientos a gran escala, y cada uno costó cientos de millones de dólares
- No ha cumplido con el rendimiento esperado, y su desempeño actual es apenas un poco mejor que el de GPT-4 existente
- El CEO de OpenAI, Sam Altman, ha enfatizado que GPT-5 ofrecerá avances revolucionarios
Datos de entrenamiento y problemas técnicos
- El entrenamiento de los LLM requiere una enorme cantidad de datos, pero actualmente en internet no hay suficientes datos de alta calidad
- OpenAI ha adoptado un método para generar datos directamente mediante la resolución de problemas matemáticos, la escritura de código de software y otras tareas
- También está utilizando datos sintéticos (datos generados por IA), pero en su propio proceso de generación de datos existe el riesgo de errores y resultados irracionales
Problemas internos y presión competitiva
- Han aumentado los conflictos internos en OpenAI y los intentos de competidores por reclutar talento
- Más de 24 personas clave han dejado la empresa, incluidos el cofundador Ilya Sutskever y la CTO Mira Murati
- Competidores como Anthropic y Google han lanzado LLM mejores, intensificando la competencia
Nuevo enfoque: modelos de razonamiento
- OpenAI está desarrollando nuevos modelos de razonamiento para mejorar el rendimiento de los LLM
- Reconoce las limitaciones del enfoque tradicional de simplemente escalar los datos
- El modelo o1 genera varias respuestas para una sola pregunta, las analiza y selecciona la mejor respuesta
- Puede resolver problemas complejos, explicar el proceso de respuesta y aprender
Compensación entre costo y rendimiento
- Los modelos basados en razonamiento han mejorado el rendimiento frente a los métodos existentes, pero implican una alta carga de costos
- Como deben generar varias respuestas para una sola pregunta, aumenta el costo computacional
- Los investigadores están intentando combinar los modelos de razonamiento con el enfoque tradicional centrado en datos para sentar las bases de GPT-5
Desafíos de la industria y escasez de datos
- La industria de la IA enfrenta cada vez más el problema de la escasez de datos y sus límites
- Tal como sugiere la metáfora de que los datos son "el combustible fósil de la IA", la situación dificulta conseguir más datos de alta calidad
- Si el desarrollo de GPT-5 se detiene, también se plantea la posibilidad de que la mejora de la IA se estanque
Conclusión
- OpenAI está enfrentando dificultades en el proyecto Orion por problemas técnicos, financieros y de recursos humanos
- Se está explorando la posibilidad de que los nuevos modelos de razonamiento se conviertan en un nuevo avance decisivo para el progreso de la IA
- Sin embargo, el lanzamiento de un modelo que pueda ser reconocido como GPT-5 sigue siendo incierto
7 comentarios
Así como una empresa petroquímica refina el petróleo para convertirlo en gasolina, diésel, etc.,
también podría existir un modelo de negocio en el que una empresa de refinamiento de datos tome datos sin procesar y los deje bien pulidos.
Por ejemplo, depurar archivos de Excel y PPT con procedimientos operativos estándar acumulados dentro de la empresa y usarlos para el fine-tuning de GPT, ¿no?
Parece una pared prevista
y también da un poco la sensación de que sería interesante cambiar de rumbo hacia algo que pueda reconocerse a sí mismo y pensar
Hablar de si hubo o no retrasos en el desarrollo cuando ni siquiera hay una hoja de ruta o criterios claramente definidos probablemente también sea solo otra filtración de información con fines de marketing.
o1 no es un modelo basado en MCTS ni en búsqueda, sino un modelo que amplió CoT con RL.
Se generan varias respuestas -> aquí no sería que se generan varias respuestas en paralelo y luego se elige una entre ellas,
como mencionas, sino que con CoT se van generando respuestas de forma secuencial hasta considerar que la respuesta está lista, para así obtener la mejor respuesta posible..
También me pregunto si esto habrá sido un error de traducción en el proceso. No puedo comprobar el texto original, así que no lo sé..
Parece que el periodista lo entendió como un método de generar varias respuestas y elegir una.
Opiniones de Hacker News
A medida que aumenta el costo de entrenar modelos, también crece el tiempo necesario para el aprendizaje. Una razón por la que los modelos pequeños pueden innovar más rápido es que su ciclo de retroalimentación es más corto
La explicación sobre el desarrollo de GPT-4 por parte de OpenAI no logra dar confianza en el artículo
Se menciona que los LLMs han llegado a un límite en el que ya no pueden seguir avanzando simplemente con más datos y más poder de cómputo. Se necesitan ideas nuevas, y hay suficiente financiamiento preparado para ello
El nivel actual de los LLM sería mucho más útil si pudiera ofrecer indicadores conservadores de confiabilidad. Necesitan poder dar salidas como "no lo sé" o "no estoy seguro, pero..."
Más importante que el próximo lanzamiento de OpenAI es que la industria del software integre esta tecnología para materializar su valor
Lo que se puede inferir a partir de comentarios de personas internas es que quieren una mejora de 10x mediante escalado y cambios en datos y algoritmos. Las fuentes de datos públicas están casi agotadas, y los cambios algorítmicos siguen logrando mejoras continuas a través de la investigación
GPT-5 no se retrasó; en realidad ya se lanzó hace medio año como GPT-4o. Como no era lo bastante revolucionario, no se le puso 5 y es posible que se haya rebrandeado en el último momento
Se menciona que el periodismo tecnológico ha sido exagerado, y que siguen saliendo artículos críticos incluso después del lanzamiento de o3
o1-Pro es subjetivamente muy superior a GPT-4, y se considera que o3 es aún mejor. Esto sugiere que la tecnología está avanzando rápidamente
El mundo está aprendiendo cómo hacer que esta tecnología funcione de forma adecuada, así que decir que el calendario se retrasó resulta casi cómico