- Sam Altman, CEO de OpenAI, dijo que la estrategia de investigación que dio origen a ChatGPT ya no es válida y que se necesitan nuevas ideas para el futuro desarrollo de la inteligencia artificial
- OpenAI creó modelos de lenguaje como GPT-4 ampliando los algoritmos existentes de machine learning, pero señaló que en adelante será difícil avanzar solo aumentando el tamaño de los modelos
- El desarrollo de GPT-4 costó más de 100 millones de dólares, y también existen restricciones para expandir los centros de datos debido a límites físicos
- Dirección de la investigación en IA después de GPT-4
- Nick Frosst, cofundador de Cohere, también coincide en que ampliar únicamente el tamaño de los modelos tiene límites
- El diseño de nuevos modelos de IA (arquitecturas) y el ajuste fino mediante retroalimentación humana podrían ser direcciones de investigación prometedoras
- Proceso de evolución de los modelos de la serie GPT
- GPT-2, presentado en 2019, era un modelo grande con 1,500 millones de parámetros
- En 2020, GPT-3 aumentó drásticamente su tamaño hasta 175 mil millones de parámetros, lo que motivó a otras empresas e instituciones de investigación a impulsar el desarrollo de modelos de tamaño similar
- Aunque no se ha revelado el tamaño exacto de GPT-4, se presume que además de escalar su tamaño se utilizaron técnicas como el aprendizaje por refuerzo con retroalimentación humana
- Impacto social y controversias por la aparición de GPT-4
- Las sorprendentes capacidades de GPT-4 dejaron impresionados a los expertos y han generado preocupación de que la IA pueda transformar la economía y eliminar empleos
- Algunos expertos y empresarios, incluido Elon Musk, publicaron una carta abierta pidiendo suspender durante seis meses el desarrollo de una IA más poderosa que GPT-4
- Altman declaró que OpenAI no está desarrollando GPT-5 actualmente y que no tiene planes de hacerlo por el momento
Opinión de GN⁺
- El desarrollo de modelos de lenguaje grandes como GPT-4 requiere costos enormes y recursos de cómputo masivos, por lo que seguir escalándolos de forma continua resulta difícil en la práctica. Por eso, como señaló Altman, parece necesario buscar nuevas direcciones de investigación
- Se están investigando diversas técnicas para mejorar el rendimiento de los modelos, como el aprendizaje por refuerzo con retroalimentación humana, por lo que se espera que el avance de la IA ocurra no solo por aumentar el tamaño del modelo, sino también mediante innovación en los propios algoritmos
- La aparición de modelos de IA potentes como GPT-4 probablemente traerá grandes cambios a toda la sociedad, por lo que además del desarrollo tecnológico también será necesario buscar consensos sociales sobre los problemas éticos y legales que esto implica
- Aunque el rápido avance de la tecnología de IA ha generado preocupación por efectos secundarios como el reemplazo de empleos, al mismo tiempo también ofrece oportunidades para crear nuevos trabajos y mejorar la productividad, por lo que será necesario buscar respuestas desde una perspectiva de largo plazo
- Como no parece fácil que las startups pequeñas y medianas compitan en el desarrollo de grandes modelos de IA, será necesario explorar nuevos modelos de negocio, como la innovación en áreas especializadas o la oferta de plataformas de desarrollo
2 comentarios
Es un artículo de entrevista de abril del año pasado. Como es de hace nada menos que un año, hay bastantes cosas que ya no coinciden.
Mientras leía el resumen pensé: ¿de cuándo están hablando?, pero era un artículo de hace un año jajaja