El avance hacia el AGI se ha detenido. Se necesitan nuevas ideas
Anuncio del ARC Prize
- ARC Prize: una competencia con premios por más de 1 millón de dólares para impulsar el AGI abierto
- Objetivo: acelerar el avance del AGI con nuevas ideas y resolver la evaluación ARC-AGI
Inteligencia vs. memorización
- IA moderna: funciona principalmente memorizando patrones de alta dimensión y aplicándolos a situaciones similares
- Problema: no puede generar razonamiento nuevo en situaciones nuevas
- Inteligencia general: la capacidad de adquirir nuevas habilidades de manera eficiente
- Necesidad: se requieren nuevas arquitecturas o algoritmos
Límites de los LLM
- Sistemas de IA existentes: pueden vencer a humanos en juegos específicos, pero no pueden pasar a otros juegos
- Fallo de generalización: la IA no logra adaptarse a situaciones nuevas
ARC-AGI
- Introducción: presentado en el artículo de François Chollet, "On the Measure of Intelligence"
- Objetivo: evaluar sistemas que adquieran nuevas habilidades de forma eficiente y resuelvan problemas nuevos
- Estado actual: los humanos obtienen entre 85% y 100%, mientras que la IA apenas llega a 34%
Avance del AGI de código abierto
- Problema: después de GPT-4, la investigación sobre AGI se volvió más cerrada
- Historia: el desarrollo de los LLM ha sido resultado de la colaboración de muchos investigadores
- Necesidad: se necesita código abierto para fomentar nuevas ideas
Objetivos del ARC Prize
- Más participación en investigación: aumentar la cantidad de personas que participan en la investigación de AGI
- Medición del avance del AGI: popularizar una forma objetiva de medir el progreso hacia el AGI
- Resolver ARC-AGI: resolver la evaluación ARC-AGI y aprender algo nuevo sobre la naturaleza de la inteligencia
Cómo empezar
- Cómo participar: cualquiera puede participar; las nuevas ideas pueden surgir de cualquier lugar
- Información disponible: se ofrecen detalles sobre el formato y los premios de ARC Prize 2024
Opinión de GN⁺
- Importancia del código abierto: el código abierto es clave para impulsar la innovación y reducir la brecha entre empresas pequeñas y grandes de IA
- Necesidad de nuevas ideas: la investigación actual en IA carece de ideas nuevas, y eso frena el avance hacia el AGI
- Problema regulatorio: creencias equivocadas podrían llevar a un endurecimiento de la regulación sobre la investigación en IA
- Ventajas de la competencia: concursos como ARC Prize pueden motivar a los investigadores y fomentar nuevas ideas
1 comentarios
Comentarios de Hacker News
Simon Strandgaard participó en ARCathon 2022 y 2023, resolviendo 3 y 8 tareas respectivamente. Está recopilando datos sobre cómo los humanos resuelven las tareas de ARC y actualmente ha reunido 4100 registros de interacción. También ofrece varios conjuntos de datos similares a ARC.
Existe la opinión de que el paradigma actual de aprendizaje centrado en datos no generaliza y no es sostenible. Los humanos pueden distinguir entre gatos y perros sin miles de ejemplos, pero las computadoras necesitan millones de ejemplos. En áreas donde los datos son escasos, la transferencia de conocimiento puede ser difícil.
Se comenta que los problemas de ARC requieren mucho conocimiento espacial del mundo y tienen muchos elementos intuitivos para el procesamiento visual humano, más que razonamiento abstracto. El reconocimiento de patrones visuales juega un papel importante.
Hay quien sostiene que la prueba ARC también es difícil para los humanos. En la prueba ConceptARC, entre el 25% y el 30% de los humanos no logra resolver preguntas simples. Esto podría limitar la utilidad de ARC.
Una opinión pregunta si existe una tabla de clasificación para una versión de la competencia sin restricciones. Quiere ver el rendimiento de GPT-4.
Se opina que un premio de 1 millón de dólares para investigación de AGI es demasiado bajo. El impacto de la AGI se mediría en al menos billones de dólares, y el premio actual podría terminar limitándose a ajustar finamente el lanzamiento público más reciente de un LLM.
Existe la opinión de que puede haber varias respuestas válidas para un rompecabezas específico. En el ejemplo, no se puede saber con exactitud cuál es la distancia esperada.
Se comenta que, aunque las tareas ARC apuntan al reconocimiento de patrones visuales, eso no puede ser la única definición de inteligencia. La inteligencia colaborativa humano-IA es importante, y el problema debería reformularse como una optimización de objetivos con múltiples atributos.
El artículo de François Chollet es muy perspicaz y ofrece la mejor respuesta sobre la definición de inteligencia general. Definir la inteligencia por la eficiencia del aprendizaje ayuda a entender por qué la inteligencia humana resulta tan impresionante.
Existe la opinión de que el conjunto de problemas ARC es mucho más difícil que los conjuntos de problemas tradicionales de ML, pero no representa a la AGI. Es solo un conjunto de datos nuevo, y el enfoque es similar a los existentes. La AGI podría resolver este problema, pero resolverlo no es un indicador garantizado de AGI.