- En la investigación de inteligencia artificial, la falta de una definición clara de AGI (Artificial General Intelligence) está difuminando la brecha entre la cognición a nivel humano y la IA actual
- Este artículo propone un marco cuantificable que define la AGI como una IA con la diversidad cognitiva y la competencia de un adulto bien educado
- Basado en la teoría Cattell-Horn-Carroll (CHC), un modelo de referencia en el estudio de la cognición humana, descompone la inteligencia general humana en 10 dominios cognitivos clave y los aplica a la evaluación de IA
- Con este marco, se cuantificó el perfil cognitivo de GPT-4 y GPT-5; GPT-4 registró una puntuación de AGI de 27% y GPT-5 de 57%
- Esto muestra el rápido avance de la IA, pero también sugiere que aún existe una gran brecha para alcanzar la AGI debido a carencias cognitivas fundamentales, como el almacenamiento de memoria a largo plazo
La necesidad de definir la AGI y el problema identificado
- La AGI (Artificial General Intelligence) es considerada uno de los avances tecnológicos más importantes en la historia de la humanidad, pero su definición ambigua ha generado debate
- A medida que la IA va conquistando áreas como las matemáticas y el arte, que antes se creían exclusivas de la inteligencia humana, el criterio de qué cuenta como “AGI” sigue desplazándose
- Esto hace que las discusiones sobre cuándo se alcanzará la AGI o en qué nivel se encuentra se vuelvan poco productivas, y oculta la brecha real entre la IA actual y la AGI
- Para eliminar esta ambigüedad, el artículo presenta un marco cuantitativo y sistemático
- Definición propuesta: “La AGI es una IA con la diversidad cognitiva y la competencia de un adulto bien educado”
- Esto no se refiere a la capacidad de ejecutar una sola tarea, sino a una inteligencia con amplitud cognitiva (versatility) y profundidad (proficiency)
Un enfoque basado en modelos de cognición humana
- Para implementar de manera práctica una definición de AGI, se toma como modelo la estructura de la cognición humana
- La inteligencia general humana no es una sola capacidad, sino un conjunto de habilidades cognitivas diversas moldeadas por la evolución
- Estas capacidades hacen posible la adaptabilidad humana y la comprensión del mundo
- La investigación se basa en la teoría Cattell-Horn-Carroll (CHC)
- La teoría CHC es el modelo de inteligencia humana con mayor validación empírica, al integrar análisis factoriales de pruebas de habilidades cognitivas acumuladas durante más de 100 años
- Desde las décadas de 1990 y 2000, la mayoría de las pruebas clínicas de inteligencia se han diseñado sobre la base del modelo CHC
- CHC clasifica la inteligencia humana en una jerarquía de habilidades superiores (amplias) y habilidades inferiores (específicas)
- Ejemplos: razonamiento inductivo, memoria asociativa, exploración espacial, etc.
Diseño del marco para evaluar IA
- El sistema de pruebas psicométricas acumulado durante décadas se adapta para la evaluación de IA
- Mientras que las evaluaciones tradicionales de IA dependían del desempeño en tareas generalizadas, este estudio verifica directamente si la IA posee las habilidades cognitivas específicas de CHC
- Al aplicar a la IA pruebas con la misma forma que los exámenes cognitivos para humanos, se miden la diversidad cognitiva y la competencia
- Los resultados se expresan como una puntuación AGI estandarizada (0~100%), donde 100% representa una AGI completa
- GPT-4 fue evaluado con 27% y GPT-5 con 57%, mostrando tanto un avance rápido como una brecha todavía considerable
- Los experimentos muestran que la IA destaca en benchmarks complejos, pero en tareas cognitivas básicas que para los humanos son simples solo puede resolver aproximadamente la mitad
- Esto significa que la IA actual puede ser muy sobresaliente en áreas específicas, pero su estructura de inteligencia general sigue siendo más estrecha que la humana
Los 10 componentes cognitivos clave
- El marco define 10 dominios cognitivos clave basados en las habilidades amplias de CHC y asigna el mismo peso a cada uno (10%)
- Conocimiento general (General Knowledge, K): amplitud de comprensión factual del mundo, incluyendo sentido común, cultura, ciencia, ciencias sociales e historia
- Lectura y escritura (Reading & Writing, RW): capacidad de procesar texto, incluida la decodificación del lenguaje, la comprensión, la redacción y el uso del estilo
- Capacidad matemática (Mathematical Ability, M): conocimiento matemático y resolución de problemas en aritmética, álgebra, geometría, probabilidad y cálculo
- Razonamiento en el momento (On-the-Spot Reasoning, R): capacidad de control flexible de la atención para resolver problemas nuevos sin depender del conocimiento previo
- Memoria de trabajo (Working Memory, WM): capacidad de mantener y manipular simultáneamente información textual, auditiva y visual
- Almacenamiento de memoria a largo plazo (Long-Term Memory Storage, MS): capacidad de aprender y almacenar información nueva de forma persistente
- Recuperación de memoria a largo plazo (Long-Term Memory Retrieval, MR): capacidad de recuperar con precisión conocimiento almacenado y evitar alucinaciones (confabulation)
- Procesamiento visual (Visual Processing, V): capacidad de reconocer, analizar, generar y explorar información visual
- Procesamiento auditivo (Auditory Processing, A): capacidad de distinguir, reconocer y usar creativamente estímulos auditivos como voz, ritmo y música
- Velocidad (Speed, S): capacidad de realizar rápidamente tareas cognitivas simples, incluyendo velocidad perceptiva, tiempo de reacción y fluidez de procesamiento
- Estos 10 dominios permiten una evaluación multimodal que abarca texto, visión y audio, y hacen posible diagnosticar con precisión las fortalezas y debilidades de la IA
El perfil cognitivo de la IA actual y sus implicaciones
- La comparación de las capacidades cognitivas de GPT-4 y GPT-5 muestra que, aunque son fuertes en áreas centradas en conocimiento, presentan deficiencias marcadas en dominios relacionados con la memoria
- En particular, se señala que la capacidad de almacenamiento de memoria a largo plazo es la carencia más importante
- Esto muestra la ausencia de la estructura cognitiva básica necesaria para que la IA actual alcance una inteligencia general a nivel humano
- El marco puede usarse como una herramienta de seguimiento cuantitativo del progreso de la IA
- La puntuación AGI permite cuantificar con claridad la velocidad de avance entre modelos y la brecha restante
- En futuras investigaciones de IA, puede funcionar como un indicador que subraya la importancia de un desarrollo cognitivo equilibrado
Conclusión
- Este estudio elimina la ambigüedad en la discusión sobre la AGI y propone una definición cuantitativa basada en modelos de cognición humana
- Mediante la evaluación de 10 dominios cognitivos basada en la teoría CHC, es posible medir de forma objetiva la amplitud y profundidad cognitivas de la IA
- Los resultados de GPT-4 y GPT-5 muestran que la IA avanza rápidamente, pero que aún existe una gran distancia respecto a los humanos en elementos cognitivos clave como memoria, razonamiento e integración sensorial
- El marco propuesto tiene potencial para convertirse en un criterio de evaluación estandarizado para futuras investigaciones sobre AGI
1 comentarios
Opinión de Hacker News
Definir la AGI como “la diversidad cognitiva y la competencia de un adulto bien educado” parece una meta demasiado ambiciosa
En realidad, incluso una inteligencia artificial con una capacidad cognitiva al nivel de un niño sin educación sería un logro enorme
Creo que incluso alcanzar una inteligencia de nivel animal sería un acontecimiento histórico para la humanidad
Si de verdad se construyera una IA general, probablemente sería un modelo de decenas de miles de millones de parámetros que consulta información en línea, conserva memoria solo cuando hace falta, planifica y amplía su conocimiento
No necesita saber 30 idiomas ni memorizar toda Wikipedia
Ese tipo de modelo eficiente es, para mí, la definición de AGI
Incluso el viejo test de Turing terminó mostrando sus fallas: aprobar ante un interrogador humano promedio no significaba que hubiera inteligencia real
Si de verdad pudiéramos definir la inteligencia (I), la generalidad (G) vendría por añadidura
Lo que sentí al leer el paper es que no hay ninguna discusión sobre la ‘conciencia (awareness)’
La cognición requiere conciencia en un nivel fundamental, pero la conciencia es difícil de explicar o medir con lenguaje
El budismo y la filosofía la han explorado durante miles de años y sigue siendo imposible de definir
Mi padre es profesor de psicometría, y dice que las herramientas mismas para medir la inteligencia humana son demasiado imperfectas
El lenguaje puede contener conocimiento humano, pero no logra capturar “la chispa de la conciencia”
Si practicas meditación, ves que es posible actuar incluso cuando desaparecen los pensamientos; ese tipo de proceso no verbal no puede ser aprendido por un modelo
Considero que los LLM, por su estructura de predicción lingüística, no pueden implementar este tipo de proceso de pensamiento no consciente
Tanto el cerebro humano como los LLM realizan internamente fusión de conceptos de alta dimensión y combinación de vectores
El problema es que no tienen aprendizaje continuo, memoria de largo plazo ni procesamiento de contexto infinito
Si se resuelven esas tres cosas, creo que estaremos un paso más cerca de la AGI
Ni siquiera se puede demostrar la existencia de la conciencia, así que tomarla como premisa es poco productivo
No hace falta esperar a que se resuelva el debate filosófico: ya estamos construyendo máquinas que piensan y razonan
Pero en las discusiones sobre IA siempre se habla de un solo tipo de inteligencia
La religión y la meditación enfatizan que “la conciencia existe dentro del cuerpo”, pero las discusiones sobre AGI tratan este aspecto trascendental como si fuera un defecto
Si aparece la conciencia, también aparecerán la autonomía y los derechos
La industria quiere una “herramienta obediente” sin responsabilidad moral
Solo puedo estar seguro de que yo mismo tengo conciencia
Por eso la conciencia no es un indicador útil de inteligencia
Me parece equivocado pensar la inteligencia humana separada de la biología
El pensamiento humano está profundamente enraizado en los estados biológicos y los ciclos evolutivos
La habilidad en ajedrez puede compararse, pero las emociones y el razonamiento humanos están más cerca de la biología que de la lógica
Como no tiene hambre, muerte ni emociones, no posee una motivación interna para explorar o mejorar por sí misma
Los humanos crecen desde adentro; la IA se entrena desde afuera
Por eso creo que es difícil que los LLM lleguen a una AGI en el sentido humano
Pero yo soy escéptico respecto a esa suposición
Al final, es muy probable que la definición de ‘inteligencia’ termine redefiniéndose para ajustarse a los resultados que muestra la IA
Está más cerca de una pregunta religiosa, y solo las describimos en términos técnicos
Los LLM pueden aproximarse a esa descripción, pero quizá no sean inteligencia real
No creo que la inteligencia esté atada a la biología humana
Este paper da la impresión de ser una mezcla entre puntajes SAT y evaluación de capital de riesgo
Definir la AGI como “una IA con todas las capacidades cognitivas humanas” ya es ambiguo
El paper dice presentar “una definición concreta de AGI”, pero sigue dependiendo del criterio impreciso de “adulto bien educado”
La IA ya ha superado el nivel adulto en varios campos
El perfil cognitivo “irregular (jagged)” que menciona el paper en realidad es normal en toda inteligencia según el entorno
Así que esto no es una definición de AGI, sino apenas un marco para medir el desequilibrio cognitivo de la IA
Lo sorprendente es que la IA es mucho más irregular (jagged) que los humanos
La IA es técnicamente interesante, pero las discusiones sobre “qué es la AGI” son demasiado aburridas
Es como si cada vez que se habla de computación cuántica hubiera que empezar explicando “qué es un qubit”
La tecnología no es un destino, sino un proceso de mejora continua
Al final toda tecnología envejece y queda solo como nostalgia
La IA también seguirá avanzando, pero nosotros solo somos la rana en el agua hirviendo que se acostumbra a la velocidad
Aunque no sea el destino final, vale totalmente la pena discutirlo
La naturaleza de la conciencia y del pensamiento es un tema debatido desde hace siglos
Parece una idea nueva, pero en realidad es un refrito de filosofía vieja
Este paper está fundamentalmente equivocado al intentar aplicar sin más a las máquinas herramientas de medición de inteligencia diseñadas para humanos
Por ejemplo, el ‘dual N-back test’ fue creado para medir la variación en la memoria de trabajo humana, pero no tiene sentido para modelos transformer
Las pruebas de inteligencia humana fueron diseñadas bajo la premisa de que se correlacionan con el desempeño en el mundo real humano
Por lo tanto, que una IA salga bien en un test de IQ no significa que pueda actuar como un humano de alta inteligencia en el mundo real
Ya tenemos SAGI (Stupid Artificial General Intelligence)
En algunos aspectos es más rápida o mejor que los humanos, pero al mismo tiempo también es tonta en otros
Es como un avión: no vuela como un pájaro, pero igual puede volar
La discusión relacionada aparece en When Will AI Transform the Economy?
Como la ‘Naive Set Theory’ que usan los matemáticos, es un concepto simple pero práctico
Lo interesante es que, en HN, la mayoría trata a la IA actual como algo “falso” o “de juguete”, pero
las personas más exitosas del mundo están invirtiendo billones de dólares en esto
No sé quién tenga la razón, pero este contraste extremo resulta interesante
Puedes tener éxito incluso creando algo sin valor
Que GPT-5 haya sacado 58% me parece demasiado alto
En realidad no está tan cerca de la AGI
Además, es raro ver a Gary Marcus y Yoshua Bengio en el mismo paper
Últimamente hasta la lista de autores parece performance