- ARC Prize es una competencia de más de alrededor de 1 millón de dólares (US$1m) dirigida a participantes que superen la evaluación ARC-AGI y publiquen su solución como código abierto
- La idea de fondo es que los LLM modernos se parecen más a un motor de memorización que aplica patrones de alta dimensión de los datos de entrenamiento al contexto cercano, y que no pueden crear nuevo razonamiento en situaciones nuevas
- La puntuación SOTA de ARC-AGI se ha quedado en 34% actualmente, frente al 20% de 2019, lo que muestra que tareas que humanos y niños aprenden rápido siguen siendo difíciles para la IA moderna
- Subyace una crítica a que la investigación de AGI de frontera se ha vuelto más cerrada, ya que los informes técnicos de GPT-4 y Gemini no revelan detalles clave, y a que la inversión centrada en LLM ha reducido el interés por nuevas arquitecturas y algoritmos
- ARC Prize es un intento de lograr que más investigadores midan públicamente el progreso hacia la AGI y aprendan de nuevo cómo funciona la inteligencia general en el proceso de resolver ARC-AGI
Condiciones que plantea ARC Prize
- ARC Prize es una competencia de más de 1 millón de dólares enfocada en el avance de una AGI abierta
- La condición central es superar la evaluación ARC-AGI y publicar esa solución como código abierto
- Los organizadores son Mike Knoop y François Chollet, junto con Infinite Monkey y Lab42
La frontera entre memorización e inteligencia general
- La IA moderna, especialmente los LLM, es fuerte para memorizar patrones de alta dimensión dentro de los datos de entrenamiento y aplicarlos a contextos cercanos
- Incluso la aparente capacidad de razonamiento se entiende como una forma de memorizar patrones de razonamiento y aplicarlos a contextos similares, con el problema de no poder generar razonamiento nuevo en situaciones nuevas
- En benchmarks basados en memorización como MMLU, GSM8K, ImageNet y GLUE, el rendimiento puede “comprarse” con más datos de entrenamiento
- La inteligencia general es la capacidad de adquirir nuevas habilidades de forma eficiente, y es difícil alcanzarla solo con memorización
- Se considera que, solo con escalar tamaño, será difícil que los LLM aprendan nuevas habilidades, y que se necesitan nuevas arquitecturas o algoritmos capaces de aprender en el momento de la prueba
La IA de juegos y los límites de la generalización
- Desde hace tiempo existen sistemas de IA que vencen a los humanos en póker, ajedrez, go y otros juegos
- Los sistemas entrenados para tener éxito en un juego no podían reentrenarse simplemente para otro, y los investigadores tenían que rediseñar y construir un sistema nuevo para cada juego
- Esta situación se interpreta como un fracaso de generalización
- Sin esta capacidad, la IA sigue limitada por la inteligencia general de los humanos dentro del bucle
Qué capacidad busca medir ARC-AGI
- ARC-AGI es una evaluación presentada en el artículo de François Chollet On the Measure of Intelligence
- Esta evaluación busca medir la inteligencia general de sistemas que adquieren nuevas habilidades de forma eficiente y resuelven problemas nuevos y abiertos
- En 2019, la mejor puntuación SOTA de ARC-AGI era 20%, y actualmente es 34%
- Los humanos y los niños pueden aprender estas tareas rápidamente, pero ARC-AGI sigue siendo muy difícil para la IA moderna
- Muchos benchmarks de IA se saturan rápido con rendimiento de nivel humano porque evalúan capacidad de memorización
- ARC-AGI fue diseñado para resistir la memorización y sigue siendo una evaluación difícil tanto para los modelos Transformer fundacionales más grandes como para sistemas de IA especializados en ARC-AGI
- Se plantea que una solución para ARC-AGI podría abrir un nuevo paradigma de programación en el que un programa generalice de forma perfecta y estable a partir de un conjunto arbitrario de conocimientos previos
La investigación de IA de frontera cada vez más cerrada
- Se considera que, desde el lanzamiento de GPT-4, el avance de AGI de frontera se desplazó hacia una dinámica de código cerrado
- El GPT-4 technical report no incluyó detalles técnicos, y OpenAI citó la “competencia” como primera razón
- El Gemini technical report de Google tampoco incluyó detalles técnicos de innovaciones de frontera relacionadas con ventanas de contexto largas
- Los LLM han absorbido gran parte del interés de investigación en nuevas arquitecturas y nuevos algoritmos
- En 2023, se invirtieron más de 20 mil millones de dólares en empresas de IA no general, y muchos investigadores de frontera de DeepMind fueron reasignados a Gemini para competir con OpenAI
El papel de la investigación abierta en la historia de Transformer
- La arquitectura Transformer surgió a partir de la acumulación de varias investigaciones dentro de la línea de investigación en traducción automática
- En 2014, Sutskever y otros publicaron en Google Seq2Seq Learning, usando RNN y CNN
- En 2016, Bahdanau y otros popularizaron el concepto de atención, permitiendo predecir salidas considerando distintas partes de la entrada
- En 2017, Vaswani y otros eliminaron RNN y CNN y optimizaron la arquitectura en Attention Is All You Need, haciendo posible una nueva expansión de escala
- En 2018, Radford y otros construyeron GPT-2 a escala de frontera sobre la arquitectura Transformer y mostraron capacidades emergentes
- Esta trayectoria muestra el proceso de la ciencia, en el que investigadores de distintos laboratorios y equipos publican resultados y otros investigadores vuelven a construir sobre ellos
Objetivos y vías de participación
- ARC Prize tiene tres objetivos
- Aumentar la cantidad de personas que participan en la investigación de AGI de frontera
- Popularizar un criterio objetivo para medir el progreso hacia la AGI
- Resolver ARC-AGI y aprender de nuevo sobre la naturaleza de la inteligencia
- Los detalles del formato de la competencia y los premios pueden consultarse en ARC Prize 2024
- Cómo empezar a resolver ARC-AGI puede verse en la guide
- La forma en que ARC-AGI mide la inteligencia general puede consultarse en la página de ARC-AGI
- El progreso y las soluciones SOTA se actualizan en X/Twitter, YouTube, Email y Discord
1 comentarios
Comentarios en Hacker News
Soy Simon Strandgaard y resolví 3 tareas en ARCathon 2022 y 8 tareas en ARCathon 2023
Estoy reuniendo datos sobre cómo la gente resuelve las tareas de ARC, y hasta ahora he recopilado 4100 registros de interacción (https://github.com/neoneye/ARC-Interactive-History-Dataset)
Además de ARC-AGI, también hay conjuntos de datos similares a ARC, y se pueden probar en mi editor (https://neoneye.github.io/arc/)
Si reproduces los registros de interacción, puedes ver que cada persona tiene un enfoque distinto. Esto fue reproducido a 100 ms por interacción, y las personas reales no lo resuelven tan rápido
https://www.youtube.com/watch?v=vQt7UZsYooQ
Así es como se ve cuando resuelvo manualmente una tarea de ARC, y también se nota que es bastante lento
https://www.youtube.com/watch?v=PRdFLRpC6dk
Lo curioso es que la forma de implementar un solucionador para una tarea específica de ARC es bastante distinta de la forma en que uno resuelve el rompecabezas a mano. Hay que manejar todo tipo de casos excepcionales
Muchas gracias al equipo de ARC Prize
Esto está realmente genial. Coincido con la intuición de François de que el actual paradigma de entrenamiento hambriento de datos no generaliza bien ni es sostenible
Los humanos no necesitan 10 mil ejemplos para distinguir entre un gato y un perro, y la principal razón por la que las computadoras pueden hacerlo hoy es que existen millones de ejemplos
Por eso podría ser difícil transferir conocimiento a dominios más complejos donde los datos son caros, escasos y difíciles de sintetizar
Una crítica que haría es que la mayoría de estas pruebas parecen razonar sobre información completa desde una perspectiva de teoría de juegos. Pero muchos de los problemas más difíciles que enfrentamos incluyen información oculta
El póker y la negociación son ejemplos de resolución de problemas en contextos de información incompleta, y desenvolverse con fluidez en situaciones sociales también exige abordar problemas relacionados con información oculta
Una de las cosas realmente interesantes que pueden hacer los humanos es recibir las reglas de un juego y producir una estrategia. Hay algoritmos que aprenden por sí mismos juegos como go o ajedrez, pero ese mismo algoritmo de autojuego no funciona para juegos con información oculta
Un sistema de inteligencia general también debería ser capaz de sintetizar un solucionador de problemas genérico para ese tipo de situaciones
Tal vez no lleguen a 10 mil, pero seguramente fueron cientos, quizá miles
Los niños piden confirmar si sus conjeturas son correctas. Aunque ya hayan leído el mismo libro 50 veces, señalan el perro del dibujo y preguntan “¿perro?”, y esa etapa del desarrollo dura bastante tiempo
Incluso se enojan si la etiqueta esperada no coincide con el objeto. Por ejemplo, mi hijo realmente se molesta si alguien nombra mal un color
A los niños pequeños también les encanta jugar a poner nombres incorrectos a propósito. Si señalas un pez y dices “¡qué bonita llama!”, al niño le da tanta risa que se cae de la carcajada
El desarrollo del cerebro humano es muy lento[1], y tampoco existe una noción lineal del tiempo durante bastante tiempo. Incluso a los tres años, todo es ayer, hoy o mañana
Los niños reúnen información con varios sentidos, recolectan datos a una velocidad absurda durante 12 a 14 horas al día, y luego descansan de 10 a 12 horas para procesar esa información
[1] Basta ver cuando un bebé descubre que tiene un pie derecho y, unos días después, también descubre que tiene un pie izquierdo. También puedes ver a un niño que aprende a ponerse de pie golpearse la cabeza varias veces debajo de una mesa antes de formar una sensación de “arriba de mí”. Que los niños aprendan “rápido” significa más bien que no tienen otra cosa que hacer durante años
Dicho de otra manera, los LLM se preentrenan casi desde cero con un conocimiento previo muy débil, mientras que el cerebro humano ya viene equipado con un conocimiento previo extremadamente fuerte
Por ejemplo, si te dicen que “los perros cazan rastreando animales y persiguiéndolos hasta agotarlos, mientras que los gatos esperan su oportunidad y atacan con sigilo y agilidad”, una persona que nunca ha visto ni un perro ni un gato probablemente podría mirar a ambos animales y acertar cuál es cuál basándose en sus formas de adaptación
Podría ser una prueba interesante para la IA, aunque no tengo claro cómo estructurar eso como evaluación
La idea de ARC es realmente buena, pero parece que los problemas requieren mucho más conocimiento del mundo espacial que razonamiento abstracto
Se trata de que las figuras se superponen entre sí, se contienen, se cortan en piezas y se vuelven a ensamblar, y de eliminar ruido de figuras geométricas regulares
Se podría llamar a esto “conocimiento básico”, pero a mí me parece más cercano a “cosas que son intuitivas para el procesamiento visual humano”
¿Podría una persona inteligente pero con discapacidad visual resolver estos problemas?
Que nos preocupe que tal vez se necesiten más de 800 ejemplos no es porque el razonamiento abstracto sea demasiado difícil, sino porque los problemas exigen conocimiento espacial que los humanos inteligentes aprenden con muchos más ejemplos de entrenamiento que 800
Yann LeCun considera que los humanos no son una inteligencia general y que algo así en realidad no existe. La inteligencia solo puede medirse dentro de un dominio específico
Si esta prueba representa un dominio en el que los humanos son mucho mejores que la IA, entonces es una prueba útil. La IA sigue pasando muy bien las pruebas existentes aunque sea claramente menos competente que los humanos en varios dominios, así que hacen falta más pruebas como esta
Debe permitirse el preentrenamiento con datos ilimitados. Generalizar desde datos fáciles de obtener hacia las tareas de prueba es precisamente lo que hacen los humanos
Estoy seguro de que, si se tradujeran los colores a sensaciones táctiles, una persona con discapacidad visual también podría resolverlo. Las personas con discapacidad visual también entienden las relaciones espaciales
Probé resolver los primeros 5 del “conjunto de evaluación público” sin mirar el “conjunto de entrenamiento público”, y fueron suficientemente fáciles
Si definimos AGI como al menos nivel humano, entonces la AGI también debería poder resolver algo de este nivel sin ver más ejemplos
No parece haber reglas sobre qué conocimiento o experiencia se puede incorporar en la resolución
El ejemplo del razonamiento espacial y la discapacidad visual es un buen contraejemplo. Aun así, si muestra razonamiento general, podría estar bien incluso si hay excepciones
Me gusta el objetivo del proyecto. Sería bueno revisar motores de razonamiento anteriores que intentaron construir sentido común. Cyc y OpenMind son ejemplos
La lista de objetivos de AGI en la sección 2 de este artículo también podría ser útil
https://arxiv.org/pdf/2308.04445
Al estudiar una introducción al funcionamiento del cerebro, también vi que muchas áreas están conectadas con el hipocampo. Tal vez el hipocampo pueda tanto almacenar conceptos de forma neutral respecto al sentido como generar un modelo interno o aproximado del mundo exterior
Lo primero ayudaría a vincular conceptos a través de varios sentidos, y lo segundo ayudaría a planificar al imaginar, evaluar e iterar posibilidades
Parece que la AGI debería tener este tipo de propiedades similares al hipocampo y las propiedades que aparecen en los artículos sobre Cyc. Se podría probar qué arquitectura puede hacer ese trabajo en teoría o a pequeña escala
Tampoco debería estar atada a un solo tipo de entrada sensorial. Debería haber al menos dos, y tendría que poder actuar con base en lo que existe solo en una, o en ambas
Los niños también hacen una enorme cantidad de aprendizaje no supervisado con datos visuales y espaciales. Reciben aprendizaje por refuerzo a través del juego y también aprendizaje supervisado de sus padres. Si se quiere un benchmark realista, quizá se necesite de manera similar preentrenamiento de varios GB
Considero que el razonamiento espacial abarca todo razonamiento. Las cosas mencionadas antes corresponden directamente a los modelos abstractos y la lógica que usamos, y están profundamente grabadas en el lenguaje
Por ejemplo, veamos figuras que se contienen entre sí. Si dos países reclaman el mismo territorio, entonces hay un conjunto X que contiene a Y y un conjunto Z que contiene a Y
Si la superposición común es tridimensional y uno está encima del otro, esto puede extenderse a que X contiene -Y y Z contiene Y. Igual que, según dónde uno esté parado, solo puede verse uno de los que están arriba y no ambos, se puede decir que X y Z no pueden existir al mismo tiempo. Por lo tanto, si X, entonces -Y; y si Z, entonces Y
Si observamos con atención el lenguaje que usamos, nos damos cuenta de cuántas relaciones espaciales usamos incluso para describir cosas completamente abstractas. Por ejemplo, podemos hablar de una economía hegemónica en colapso, que es una expresión del tipo cosas apiladas unas sobre otras que desaparecen y vuelven al lugar de donde vinieron
Al final, estamos razonando sobre cosas que ocurren en el tiempo y el espacio
Y el espacio no es lo mismo que la visión. Incluso con discapacidad visual hay que razonar espacialmente. Porque cualquier conjunto de hechos está formado por hechos en el espacio-tiempo
Para entender la historia, hay que entender a las personas en el espacio, a personas que viven a distintas distancias, y la producción física de bienes mediante procesos físicos en distintos lugares de la Tierra, así como su intercambio físico
Para entender una batalla, hay que entender cómo están desplegados físicamente los ejércitos, cómo funciona el movimiento de suministros, las condiciones climáticas, las armas y qué permiten realmente sus formas físicas
¿Y qué hace incluso el mayor avance de la inteligencia artificial, el LLM? Codifica tokens en un espacio multidimensional
No creo que la pregunta “¿Podría una persona inteligente pero con discapacidad visual resolver estos problemas?” sea la forma correcta de pensarlo
Las relaciones espaciales son simplemente otro tipo de relación lógica, y una AGI debería poder analizar relaciones y generar sobre la marcha algoritmos para resolver problemas
Que los humanos puedan tener varios sesgos no significa que esos sesgos sean inherentes a toda inteligencia
Dudé de la afirmación de que esta prueba es fácil para los humanos, así que investigué un poco. Melanie Mitchell participó en el hilo de Chollet y compartió la prueba relacionada ConceptARC
Ahí cuestiona si la prueba de Chollet realmente es tan fácil. “Una limitación de ARC para la investigación en IA es que puede ser demasiado difícil. Muchas de las tareas en el corpus de Chollet son difíciles incluso para los humanos, y el corpus completo puede ser demasiado difícil para las máquinas como para revelar avances reales en la adquisición del conocimiento central”
ConceptARC fue diseñado para ser más fácil, pero aun así tuvieron que filtrar a alrededor del 15% de sus propios participantes porque “no pudieron resolver al menos dos tareas mínimas, o dieron explicaciones vacías o sin sentido”
Incluso después de ese filtrado, ConceptARC encontró además una tasa de fallo humano de alrededor del 10~15% en los problemas principales, así que incluso en problemas más simples diseñados para probar “AGI”, un 25~30% no pudo resolverlos
En los principales resultados de ConceptARC, CG4 quedó muy por debajo de los humanos filtrados, lo que también coincide con el resultado de la prueba de [Mensa]https://www.maximumtruth.org/p/ais-ranked-by-iq-ai-passes-10... de IQ=85
Chollet y Mitchell también podrían estratificar grupos humanos para estimar IQ y luego compararlo con las mediciones de Mensa, y así ver, por ejemplo, cómo Claude3@IQ=100 se corresponde con la puntuación ARC de un humano promedio
[ConceptArc]https://arxiv.org/pdf/2305.07141
“Los humanos pudieron inferir el programa subyacente y generar la salida de prueba correcta para nuevos ejemplos de entrada de prueba, resolviendo en promedio 84% de las tareas por participante”
O soy mucho más tonto de lo que pensaba, o parece que deberían validar mejor la prueba
Si tomamos eso al pie de la letra, entonces claramente esta prueba está midiendo alguna diferencia importante si ninguno de los modelos existentes puede siquiera alcanzar la mitad de la puntuación de un humano promedio
Puede haber desacuerdo sobre si los problemas ARC son una muestra representativa de todos los programas abstractos composibles, pero la mayoría de los LLM también terminan entrenándose con datos humanos
Estoy de acuerdo con el propósito de la competencia, pero considerando que ya se han invertido decenas de miles de millones de dólares en la carrera por la AGI y que entrará muchísimo más dinero en el futuro, el premio de 1 millón de dólares se ve un poco bajo
El impacto de la AGI se medirá como mínimo en billones. Al final, lo que podría terminar recompensándose no es la investigación en AGI, sino ajustar finamente el lanzamiento abierto de LLM más reciente para que encaje lo mejor posible con los parámetros de la prueba
También sería mejor cambiar la plataforma para comunicarse con el público. Los enlaces de x.com ya no son accesibles si no creas una cuenta
El objetivo principal de este premio es aumentar la percepción pública de qué tan cerca estamos de la AGI, o de qué tan lejos seguimos estando: https://arcprize.org/leaderboard
Ojalá esa comprensión haga que más futuros investigadores en IA se muevan a explorar nuevas ideas
Me gusta mucho ARC como conjunto de problemas a resolver. El hecho de que los datos sean escasos y que las reglas aplicables sean prácticamente infinitas lo hace mucho más difícil que los conjuntos de problemas clásicos de aprendizaje automático
Pero no estoy de acuerdo con que este problema represente a la AGI. Solo es un dataset distinto de los casos exitosos tradicionales del aprendizaje automático, y el enfoque en general sigue siendo parecido al de antes
Una AGI como avance realmente nuevo podría resolver este conjunto de problemas, pero no veo que resolver este conjunto sea un indicador garantizado de AGI
Me parece realmente interesante y me gusta, pero por intuición después de ver una docena de ejemplos, siento que este problema, aunque difícil, es lo bastante accesible como para que, si gana popularidad, en un año o incluso antes aparezcan resultados cercanos al nivel humano, y aun así no será AGI
La clave parece ser encontrar un lenguaje de técnicas de transformación suficientemente general con los operadores adecuados. Y luego se necesita una heurística que encuentre, en sentido de teoría de la información, un programa muy corto que genere todos los ejemplos de un problema dentro de ese lenguaje
Me sorprendería mucho que pronto no lograran subir bastante ese resultado de 34%, y me sorprendería también si eso se transfiere a inteligencia general. Más aún considerando para qué uso IA hoy y en qué sigue quedándose corta
Básicamente, me da la intuición de que esto va a ser otro problema tipo ajedrez o Go dentro de la IA. Aun así, definitivamente vale la pena como tema de investigación, y el valor que podría salir de aquí bien puede superar por mucho 1 millón de dólares
No veo que ser bueno en esta tarea sea en absoluto evidencia de AGI real. Por ejemplo, es algo distinto de la capacidad de escribir nuevas demostraciones matemáticas, hacer preguntas perspicaces que nadie había pensado, dirigir su propio aprendizaje por sí mismo o leer su propio código fuente
La frase “la única evaluación que mide la AGI” es una exageración. Esto es solo un problema que los LLM no pueden resolver, no significa que sea una buena medida de la inteligencia artificial general.
Después de intentar resolver algunos problemas, me dio curiosidad cuántas reglas de transformación distintas hay en el generador de problemas. No parece que haya tantas.
Así que el problema se divide en extraer del conjunto de datos el conjunto de reglas de transformación y luego aplicarlas a un problema nuevo.
La primera parte es difícil; es un problema de extracción de características. Como las transformaciones parecen aplicarse de manera estricta, una vez obtenidas las reglas de transformación y elegida una que encaje con todos los casos de entrada, la aplicación en sí debería ser sencilla.
Parece que se necesita una extracción de características explícita, más que la combinación de extracción y uso de características que hacen los LLM. ¿Alguien ha intentado extraer el conjunto de reglas a partir de los casos de prueba?
Algunas de las soluciones mejor posicionadas de la competencia original de Kaggle usaban un lenguaje específico de dominio compuesto por este tipo de transformaciones. Eso fue hace 4 años. [1]
El problema con ese enfoque es que las tareas no usan un generador de programas. El conjunto de reglas puede ser cualquier cosa que una persona pueda imaginar. Puede ser algo simple como “el objeto más grande se vuelve azul”, pero también puede ser mucho más complejo.
Además, el conjunto de prueba es privado, así que no se puede entrenar ni extraer a partir de él. También contiene reglas que no están en el conjunto público.
[1] https://www.kaggle.com/competitions/abstraction-and-reasonin...
El artículo original de François Chollet es increíblemente perspicaz, y siempre me sorprende que no más gente hable de él.
Algunas partes son bastante técnicas, pero a un nivel alto es la mejor respuesta que he visto a la pregunta de qué significa la inteligencia general.
Si defines la inteligencia como eficiencia de aprendizaje después de considerar el conocimiento previo explícito e implícito sobre el mundo, se vuelve mucho más fácil entender por qué la inteligencia humana es tan impresionante.
Dwarkesh acaba de publicar una entrevista con François Chollet. Él es la pareja de la autora de la publicación original.
Apenas he escuchado unos minutos, pero me interesa mucho oír más sobre lo que piensa acerca de las limitaciones de los LLM.
https://youtu.be/UakqL6Pj9xo