A los LLM todavía les falta mucho por recorrer
- Los LLM no son más que sistemas que memorizan grandes cantidades de información y luego la recuperan, por lo que no se puede decir que tengan una inteligencia real a nivel humano. La verdadera inteligencia a nivel humano significa poder generalizar a partir de datos de aprendizaje muy limitados y resolver problemas incluso en situaciones nuevas.
- Para distinguir entre perros y gatos, una persona solo necesita ver unas cuantas fotos, pero un modelo CNN necesita 25,000 imágenes. El cerebro humano puede clasificar objetos de forma muy rápida y precisa con una cantidad de datos de aprendizaje incomparablemente menor que la de la inteligencia artificial.
- Incluso si alguien resuelve el mismo problema de matemáticas, si lo hace sin entender el principio y solo recuerda la fórmula adecuada basándose en haber resuelto antes un problema parecido, eso difícilmente puede considerarse inteligencia real; simplemente hizo una buena búsqueda. Hay que distinguir entre quien saca 100 memorizando y quien saca 100 entendiendo el principio.
- Esta es también la razón por la que los LLM actuales mejoran su rendimiento al aumentar de escala y, al mismo tiempo, siguen alucinando. Si aumenta la cantidad de aprendizaje, también aumenta el número de fórmulas que pueden recuperar y por eso pueden responder a más situaciones; si no encuentran la fórmula adecuada o recuperan la incorrecta, producen alucinaciones.
- Sin embargo, resolver problemas memorizando fórmulas es algo que en realidad también hacen las personas. Salvo unas pocas excepciones, la mayoría vive aplicando fórmulas memorizadas a distintas situaciones, aunque aquí también hay una diferencia entre la IA y los humanos.
- La inteligencia artificial actual hace búsquedas superficiales, mientras que los humanos pueden hacer búsquedas profundas mediante un razonamiento encadenado.
- El concepto que llamamos "inteligencia" puede dividirse nuevamente en los siguientes tres niveles.
- La capacidad de observar un fenómeno, comprender su principio y aplicarlo en un rango amplio (genio)
- La capacidad de examinar en profundidad varios patrones ya aprendidos y usar el patrón óptimo (persona común)
- La capacidad de examinar superficialmente varios patrones ya aprendidos y usar lo primero que se encuentra rápido (los LLM actuales)
- La posición actual de los LLM es la número 3; lo ideal sería llegar a la 1, y si no, al menos deben llegar a la 2 para alcanzar lo que llamamos AGI (Artificial General Intelligence).
ARC Prize, con un premio de un millón de dólares
- Se desarrolló un método de prueba para evaluar si algo posee una inteligencia realmente a nivel humano, y con él se creó la competencia ARC Prize, que entrega un premio de 1 millón de dólares. (https://www.kaggle.com/competitions/arc-prize-2024)
- En el sitio oficial de la competencia (https://arcprize.org/) se pueden intentar resolver los rompecabezas; para las personas tienen una dificultad similar a una prueba de IQ, pero la inteligencia artificial todavía no puede resolver bien estos problemas.
Compartir los resultados acelera el progreso
- OpenAI difundió en la industria una cultura de no compartir información, y eso ha retrasado la llegada de la AGI al menos entre 5 y 10 años.
- Para crear AGI se necesitan muchos intentos, pero como OpenAI atrajo toda la atención, los recursos humanos y materiales de la industria se están concentrando únicamente en los lugares que desarrollan LLM.
- Como resultado inevitable, otras áreas de investigación reciben menos apoyo y avanzan más lentamente.
- Además, a diferencia de antes, incluso cuando OpenAI publica artículos, no comparte los detalles técnicos, por lo que a otros investigadores de la industria les resulta difícil avanzar en nuevas investigaciones basadas en esos trabajos.
- Antes de la aparición de OpenAI, investigaciones como el artículo Attention is all you need permitían que investigadores de distintas instituciones colaboraran sin importar su afiliación y aceleraran el avance de la inteligencia artificial; pero OpenAI ha difundido una cultura de no compartir sus descubrimientos con la industria, lo que está frenando el desarrollo del sector.
- Se espera que, a través de la competencia ARC Prize, los investigadores vuelvan a compartir sus resultados activamente y que el avance de la industria vuelva a acelerarse.
2 comentarios
Parece que el modelo o1 está cerca del número 2.
Sí, yo también lo creo.