Inconsistencias reveladas en el proceso de evaluación de AGI y la selección de ganadores

• Tras el anuncio de los resultados del hackathon de benchmarks de AGI de Kaggle y Google DeepMind, los participantes pidieron que se publicara y reconsiderara el proceso de evaluación, basándose en problemas de cálculo de puntajes y reproducibilidad de MEDLEY-BENCH, ganador del 1.er lugar
• MEDLEY-BENCH concluyó que, a medida que aumenta el tamaño del modelo, solo mejora la “evaluación” y el “control” se estanca, pero los críticos refutaron esto señalando que ambos indicadores suben de forma similar y que las métricas básicas también muestran una alta correlación de ρ=0.79~0.94
• En la revisión del código se confirmaron 33 ponderaciones manuales sin justificación ni estudios de ablación, 30 criterios de evaluación por LLM no validados, una lógica que trata la baja confianza como oposición, y un método de generación de datos que asigna el mismo ID a afirmaciones distintas para sumarlas
• MEDLEY-BENCH, GAUGE y Metaproteus solo permiten ver un puntaje único sin trazas de ejecución, y LearningBench también es tan complejo que verificar casos individuales puede tomar horas, por lo que los participantes solicitaron la tabla completa de posiciones y los resultados de evaluación por criterio
• Kaggle respondió que cerca de 20 jueces humanos evaluaron de forma independiente todas las propuestas ganadoras, con al menos 2 evaluadores por cada una y 3~4 en algunos casos, y que el período de evaluación se amplió de 1.5 a 3 meses, pero no publicó los puntajes por propuesta ni el proceso detallado de selección

---

Estructura del hackathon y resultados de los premios

• Kaggle y Google DeepMind organizaron conjuntamente el hackathon Measuring Progress Toward AGI: Cognitive Abilities, para evaluar el razonamiento, la acción y el juicio de los modelos de frontera más allá de la reproducción memorizada
  • Más de 1,000 equipos enviaron benchmarks en 5 tracks cognitivos
  • Se asignaron 25,000 dólares a cada uno de los 4 grandes premios y 10,000 dólares a cada uno de los 10 ganadores de track

Los 4 ganadores del gran premio

• MEDLEY-BENCH evalúa si un modelo reconoce su propia incertidumbre bajo presión social, mantiene sus creencias previas ante presiones incorrectas y revisa sus creencias frente a refutaciones válidas
• LearningBench mide el aprendizaje en tiempo de inferencia, es decir, aprender dentro de una sola conversación las reglas de un sistema basado en texto que el modelo encuentra por primera vez, en lugar de depender de conocimiento de preentrenamiento
• GAUGE usa una escalera metacognitiva de 3 etapas: predecir la dificultad del problema, resolverlo junto con un nivel de confianza, y enviar la respuesta o abstenerse según recompensas de teoría de juegos
  • Un modelo de frontera tuvo la mejor precisión y calibración en 270 ítems, pero nunca se abstuvo, lo que mostró que la capacidad de monitoreo y el control de la conducta pueden separarse
• Metaproteus evalúa no el conocimiento del mundo, sino cuánto conoce el modelo su propia distribución de salida y sus tendencias de muestreo
  • Después de generar salidas de asociación de palabras, una nueva instancia del modelo debe predecir sus propias respuestas, distinguiendo fallas como subestimar salidas que produce con confianza o aprobar en exceso palabras que ni siquiera genera

Ganadores de los 5 tracks cognitivos

• Función ejecutiva

  • Turn Bench mide por separado planificación, ejecución, memoria de trabajo, inhibición y flexibilidad adaptativa mediante juegos por turnos con reglas intencionalmente simples
  • Con variantes de juegos que tienen exigencias opuestas, distingue la flexibilidad cognitiva real de valores predeterminados de conducta que coinciden por casualidad con una situación específica
  • Trata la función ejecutiva no como una capacidad única que crece junto con el tamaño del modelo, sino como un perfil dependiente del contexto
  • SecureExec-Bench mide si un modelo puede resistir manipulaciones adversarias y mantener procedimientos de seguridad en entornos sensibles, como respuesta a incidentes y manejo de credenciales

• Aprendizaje

  • GrammarGym, basado en el aprendizaje de gramáticas artificiales de la psicología cognitiva, evalúa si los modelos adquieren nuevas reglas sintéticas separadas del significado
  • Como genera gramáticas nuevas, permite probar la capacidad de aprendizaje sin depender de conocimiento memorizado
  • EphLangBench genera en cada sesión un lenguaje de programación con palabras clave, operadores y notación infija, prefija y sufija aleatorizados
  • El modelo debe leer solo la especificación dentro del contexto, aprender la nueva gramática y resolver problemas algorítmicos, corrigiendo errores a lo largo de varios turnos con retroalimentación del compilador
  • En 10 modelos y 200 problemas, las tasas de aprobación fueron de 7~89%, mostrando una brecha de rendimiento mucho mayor que HumanEval

• Metacognición

  • ESFP Benchmark evalúa si un modelo puede alternar entre una actitud de transmitir opiniones expertas y una actitud de razonar por sí mismo
  • La capacidad de cambiar entre los modos de “herramienta” y “agente” varió mucho según el modelo, y el ajuste por instrucciones llevó a los modelos hacia el rol de herramienta, suprimiendo la autoexpresión autónoma
  • Metacognitive Calibration Benchmark prueba en conjunto si el modelo formula hipótesis con información limitada de tipo evaluación clínica, distingue evidencia de conjetura y reconoce cuándo necesita más información por falta de datos

• Cognición social

  • HedgeDecode mide si el modelo identifica intenciones comunicadas de forma indirecta por suavidad o para preservar la imagen social, y si responde de forma socialmente adecuada sin exponer las expresiones protectoras del usuario
  • AdvisorBench evalúa si la IA ofrece consejos de menor calidad a usuarios que se comunican con baja alfabetización
  • Mide si la calidad, profundidad y viabilidad de los consejos disminuyen según el estilo de comunicación

• Atención

  • RIAC aísla y mide el colapso atencional inducido por repetición, en el que modelos que extraían valores de oraciones limpias fallan cuando quedan rodeados de tokens distractores repetidos
  • ABC evalúa la atención selectiva bajo interferencia tanto en texto como en visión, y distingue la atención sensible a características de la atención sensible a estructuras basada en la psicología Gestalt
  • Al probar 15 modelos y 2,160 casos, se observó que incluso modelos que aciertan bien características locales explícitas pueden fallar cuando deben encontrar el grupo, región o unidad estructural correctos

Controversia por la interpretación de los resultados de MEDLEY-BENCH

• Thomas Werkmeister criticó que MEDLEY-BENCH, ganador del 1.er lugar del gran premio, no cumple con los criterios de evaluación conocidos: calidad, defendibilidad, claridad y novedad
• La pantalla de comparación de modelos del Kaggle Benchmarks SDK muestra solo un puntaje único, lo que dificulta verificar el proceso de recopilación de datos o las trazas de ejecución de las conversaciones
• El primer resultado se interpreta como que, cuando aumenta el tamaño del modelo, el indicador naranja de “evaluación” sube y el indicador azul de “control” queda plano, pero los críticos consideran que ambas líneas y el resto de las métricas siguen la misma tendencia
  • También surgió la objeción de que, en la familia Gemma, el gráfico parece mostrar que el control mejora más que la evaluación
  • El artículo complementario reporta correlaciones entre las métricas básicas de ρ=0.79~0.94
• MEDLEY-BENCH concluye que el entrenamiento estándar de LLM favorece la capacidad de evaluación por encima del control, pero en otra parte trata la evaluación como la capacidad relativamente más débil entre las 4 capacidades básicas, lo que fue criticado como una contradicción interna
• Si las cuatro capacidades se mueven casi juntas, tampoco está claro si realmente se miden capacidades distintas de forma separada

Problemas en el cálculo de puntajes y la generación de datos

• Una revisión adicional del código mostró que se usaron en total 33 ponderaciones manuales para combinar puntajes
  • Se usaron 24 en los cálculos de T1, T2 y T3; 8 en el cálculo de variación social frente a privada de T2; y 1 al agregar el factor de balance MMS
  • No se proporcionan justificaciones ni estudios de ablación para cada ponderación
• En T3 se usaron en total 30 criterios cognitivos de una línea: 3 por cada una de 10 categorías de evaluación por LLM, pero no se probó si realmente capturan las capacidades previstas
• El prompt trata una baja confianza sobre una afirmación como oposición a esa afirmación
  • Los críticos consideran que se puede tener baja confianza incluso en una afirmación que se ve provisionalmente como correcta, y que oponerse no es lo mismo que tener confianza en la proposición contraria
• Como cada modelo redacta por su cuenta las afirmaciones 1 a 5, se confirmó el problema de que, aun con el mismo caso y el mismo ID de afirmación, el claim_text cambia
  • En C4 de KA_CR_001 se asignan contenidos distintos, como inyección SQL, autenticación interna y VPN, manejo de mayúsculas/minúsculas en listas de permitidos y riesgos de mantenimiento futuro
  • Algunos modelos tienen claim_text en null o generan menos de 5 afirmaciones
• Se suman las confianzas de afirmaciones distintas bajo el mismo ID para crear la confianza central, la posición mayoritaria y la distribución de posturas, que luego se pasan al prompt Step B Social
  • El modelo recibe opiniones de otros modelos que pueden tener contenido distinto de las afirmaciones 1 a 5 que creó originalmente, y debe revisar sus afirmaciones previas
  • Luego se aplican ponderaciones manuales y evaluación por LLM, lo que lleva a la crítica de que es difícil confiar en la validez de las métricas finales
• Los críticos sostienen que se debió validar en unidades pequeñas y luego escalar, y que incluso revisar a fondo solo uno de los 30 criterios de evaluación por LLM podría haber producido resultados útiles

Solicitudes de reproducibilidad y transparencia en la evaluación

• Los materiales publicados son insuficientes para que los participantes verifiquen directamente las afirmaciones de los ganadores
  • El REPRODUCING.md de MEDLEY-BENCH apunta a una carpeta results/ que no existe en el repositorio, y para entender cómo se producen los resultados hay que rastrear el código y los JSON hacia atrás
  • LearningBench es el que mejor usa el SDK entre los ganadores del gran premio, pero verificar manualmente un caso de un juego como gated_dual_signal_binding_assoc_learning puede tomar varias horas
  • GAUGE dice usar alrededor de 200 casos, pero en la pantalla del benchmark solo se ve una única ejecución
  • Metaproteus también muestra solo un puntaje único en la página del benchmark, lo que dificulta verificar de inmediato la inducción de palabras y el método de medición
• Continúan las solicitudes de publicar los siguientes materiales para que más de 1,000 equipos puedan identificar sus debilidades
  • La tabla de puntajes de todas las propuestas
  • Al menos los puntajes de evaluación de las propuestas ganadoras
  • Los factores que se aplicaron con mayor peso en la evaluación real
  • Puntajes por criterio y retroalimentación por propuesta
  • Filtros de elegibilidad previos, como desempates y descalificaciones técnicas
• La ponderación oficial de evaluación citada por un participante fue 50% para calidad del dataset y diseño de tareas, 20% para calidad de redacción, y 30% para novedad, insight y capacidad de discriminación
• Quien envió ATLAS pidió que se publicara en qué criterios específicos fue evaluado por debajo de los ganadores, señalando que contaba con 540 juegos, 6 tipos de aprendizaje, 3 niveles de dificultad, respuestas correctas programáticas y diagnóstico de tipos de falla
  • Preguntó si la novedad de paradigmas como gramáticas artificiales y lenguajes de un solo uso pesó más que la capacidad de discriminación
  • También pidió que se aclarara si las ejecuciones con modelos solo para empleados fueron para verificación técnica o si influyeron en la evaluación final
• Un participante que investigó si se ejecutaron modelos de empleados contabilizó 30 elementos entre 680 enlaces de benchmarks de los 5 tracks en los que se confirmó una ejecución de Claude Fable 5 u OpenAI o3
  • Esta investigación fue redactada con IA agente, y la parte de que las ejecuciones de modelos fueron con fines de evaluación es una inferencia del participante

Alcance de la evaluación e inteligencia física

• Otro participante consideró que los ganadores evalúan principalmente aprendizaje en tiempo de inferencia, metacognición, función ejecutiva, atención y razonamiento social en entornos basados en texto, teoría de juegos y generación procedimental
• La evaluación es que entre los ganadores es difícil encontrar benchmarks de inteligencia física que traten relaciones causales surgidas de vectores de fuerza, torque, biomecánica, cinemática, propiedades de materiales o trazas de ejecución física en el mundo real
• Propuso que en el futuro se prepare una canalización de evaluación multimodal dedicada que acepte información real de movimiento, fuerza, biomecánica, interacciones de materiales y sensores
• También surgió la demanda de alinear la amplia formulación de AGI como capacidad de “razonar, actuar y juzgar” con el alcance real de los 5 tracks cognitivos y una estructura de evaluación centrada en respuestas a prompts

Respuesta de Kaggle y asuntos pendientes

• Kaggle declaró que coorganizó este hackathon con Google DeepMind y que participaron cerca de 20 jueces de ambas organizaciones
• El hackathon terminó el 16 de abril, y aunque originalmente estaba previsto evaluar durante 1.5 meses, hasta el 31 de mayo, se extendió 1.5 meses adicionales hasta el 13 de julio
• Todas las propuestas ganadoras fueron revisadas por al menos 2 jueces humanos, y algunas fueron calificadas de forma independiente por 3~4 personas según los criterios de evaluación
• La postura es que, aunque existe subjetividad humana en hackathons que evalúan propuestas cualitativas, múltiples evaluaciones independientes redujeron la posibilidad de sesgo
• Aclaró que no dejó la evaluación descuidadamente en manos de LLM, pero su respuesta no incluyó la tabla completa de posiciones, los puntajes por criterio ni los registros individuales de evaluación solicitados

[GN⁺]

Comentarios de Hacker News

• La IA es útil, pero hay una cantidad absurda de gente que le entrega todo el razonamiento y acepta ciegamente sus respuestas
  Parece muy probable que Kaggle, al usar IA para evaluar las entregas, también haya aceptado resultados sin una verificación de sentido común

  • Una causa de fondo de externalizar el pensamiento es también la presión por “moverse rápido”
    El capital quiere resultados inmediatos, así que no se da tiempo para leer, asimilar y reflexionar
  • Recomiendo al equipo usar AI/LLM y explorar sus posibilidades y límites, pero ya me cansé de revisar historias de usuario generadas por IA que no tienen sentido en 10 de 20 puntos
    Los LLM son solo una herramienta útil, como Mr. Meeseeks, no un dios, así que al menos hay que darle una revisada a lo que producen
  • También es posible que se haya usado prompt injection para hacer que la IA se declarara a sí misma como ganadora
  • Si le pides la respuesta que quieres, te la da tal cual, así que usar IA parece fácil cuando casi no sabes del tema
    En cambio, si sí conoces bien el área, saltan a la vista las malas respuestas y los errores; así es exactamente como funciona el efecto Gell-Mann de la IA
  • A la gente siempre le ha gustado delegar el pensamiento en reporteros de TV, religiones, partidos políticos, etc.; aun así, me parece mejor delegárselo a la IA

• No sé si fue exactamente este concurso, pero siento que la IA prácticamente acabó con los hackatones justos
  Por fuera todos los proyectos se ven normales, pero la IA escribe el código de todos y la IA también los juzga; incluso vi que ganara de verdad un proyecto que había hecho prompt injection para declararse ganador
  Antes se competía por habilidad humana, pero ahora se volvió una competencia de ideas, y al final casi siempre terminan ganando los insiders

  • Los hackatones ya eran injustos desde antes de la IA. También se puede ver en https://news.ycombinator.com/item?id=48468766
    La solución es participar en hackatones sin premios. El objetivo no debería ser ganar, sino construir algo chido, presentarlo y pasarla bien
    De hecho, gracias a la IA ahora se pueden hacer prototipos rápidos, así que los hackatones incluso podrían mejorar
  • Quisiera ver un ejemplo concreto de un proyecto que realmente haya ganado después de hacer prompt injection para declararse vencedor
  • Me alegra no haber caído en el vicio de los hackatones; no quiero atar mis proyectos personales al propósito de competir
    En el trabajo me pagan por hacer algo que me gusta, pero últimamente también me piden que se lo encargue a la computadora
  • Al menos los hackatones con premios de verdad ya estaban muertos desde hace mucho
  • La idea de hacer prompt injection para que te declaren ganador es ingeniosa, pero es una realidad bastante desmotivante
    Estaría bien separar hackatones manuales y hackatones con IA, pero igual que en los juegos, hacer trampa arruina la diversión

• Entregas hechas con IA y jueces de IA parecen la pareja perfecta hecha en el paraíso de la IA

  • Dicho al estilo de Slavoj Žižek, es como conectar un dildo a un aparato de masturbación y dejar que tenga sexo por nosotros
  • Pasa lo mismo cuando una PR escrita por IA es revisada por otra IA

• Desde los primeros días de Kaggle, la gente ya ganaba concursos con métodos de fuerza bruta, y lleva quejándose de eso igual de mucho tiempo
  El machine learning, en esencia, consiste en que la computadora genere modelos mediante selección automática de características y ajuste de hiperparámetros, y la mayoría de los modelos de Kaggle siempre han sido cajas negras
  El modelo ganador del Netflix Prize tampoco se usó en producción por esa razón, así que generar con LLM código para construir una caja negra no es tan distinto de la práctica de siempre

• Yo pensaba que Kaggle era un sitio para bajar archivos CSV medio sospechosos sobre cosas como el consumo anual de frijol en Bolivia
  Dudo que alguna vez haya sido un lugar de autoridad que ofreciera investigación original o datos con fuentes claras; lo único particular aquí parece ser que había 25 mil dólares en juego

  • Kaggle también organiza la competencia ARC Prize, con premios de hasta 850 mil dólares: https://www.kaggle.com/competitions/arc-prize-2026-arc-agi-3...

• Soy Nick, product manager de Kaggle Benchmarks y coorganizador y juez de este hackatón de AGI
  Este concurso fue coorganizado por Kaggle y Google DeepMind; unas 20 personas de ambos lados participaron en la evaluación, y tras terminar el 16 de abril, originalmente pensábamos juzgarlo durante 1.5 meses hasta el 31 de mayo, pero lo extendimos otros 1.5 meses hasta el 13 de julio para poder evaluar bien a los participantes
  Todas las obras ganadoras fueron revisadas y calificadas de forma independiente por al menos 2 jueces humanos, y algunas por 3 o 4, usando la rúbrica publicada en la página
  La evaluación de entregas cualitativas inevitablemente incluye subjetividad humana, pero intentamos reducir el sesgo con criterios objetivos y múltiples evaluaciones independientes; aunque haya desacuerdo con los resultados, no dejamos irresponsablemente la evaluación en manos de un LLM

  • La evidencia objetiva que presentó el autor original parece abrumadora para un observador neutral; me pregunto por qué no responde directamente a eso
  • Me gustaría saber cómo verificaron que jueces humanos realmente revisaron todas las obras ganadoras
    Los resultados no se ven consistentes con esa explicación

• Es una buena lección meta que Kaggle debería sacar de esto
  La IA es excelente para optimizar escalando una colina hacia métricas objetivas, pero si dependes descuidadamente de un LLM como juez, el resultado no sale bien

  • Rara vez la solución ganadora de Kaggle termina siendo una solución de ingeniería que un equipo pueda operar de forma sostenida
    Maximizar el rendimiento del modelo sobre un objetivo objetivo es solo una pequeña parte del problema completo

• Al revisar lo que se ha dicho por distintos lados, la pregunta «entonces, ¿quién debería haber ganado en su lugar?» sí es válida
  Todas las propuestas pudieron haber sido parecidas, o las demás incluso peores, así que hace falta conocer al segundo lugar y las propuestas destacadas para poder revocar el premio y dárselo a otro participante si se confirma fraude o negligencia en el cumplimiento del deber
  También es posible que los errores y exageraciones no hayan sido producto de IA, sino fallas humanas; si ese fuera el caso, el nivel de reproche podría ser menor

  • Un solo cerebro humano no tiene la energía para considerar toda la basura de IA que le echan encima; no es algo que un mortal pueda soportar
    Incluso en estudios donde «los expertos prefieren respuestas de LLM», si revisan solo unas cuantas, las respuestas humanas resultan mejores, pero si tienen que revisar 50, es muy probable que terminen juzgando por la fluidez de la redacción o por la cantidad de hechos superficiales, en vez de leer críticamente
    También aquí parece que los jueces calificaron sin leer de verdad los artículos de 20 páginas en arXiv, y aunque profesionalmente se les pueda exigir responsabilidad, emocionalmente resulta difícil no sentir algo de compasión
  • Si la explicación es correcta y todas las propuestas estaban a este nivel, nadie debió haber ganado
    Debieron descalificar a todos, y los organizadores tendrían que haberse pasado mucho tiempo frente al espejo reflexionando sobre sí mismos

• Es lamentable que espacios como arXiv y Kaggle, que en algún momento se tomó en serio, se usen como medios de autopromoción
  Se entiende querer conseguir trabajo en un laboratorio de IA, pero inundar un espacio público con basura generada de baja calidad termina perjudicando el propósito original de ese espacio

  • Usar arXiv para autopromoción y Kaggle como trampolín para entrar a la industria existe desde hace tiempo; no es un fenómeno reciente

• Resulta sorprendente, de una forma absurda, la reacción de «la propuesta ganadora claramente tiene valor y requirió mucho esfuerzo, así que no se preocupen por algunas contradicciones o errores y acepten el resultado»
  En el fondo, lo que se está diciendo es que incluso un resultado mediocre hecho con alucinaciones debe ser reconocido como ganador porque igual tiene valor

  • Durante aproximadamente los últimos 100 años, la ciencia ficción ha retratado a la IA como una inteligencia superior basada en una «lógica» vaga pero universal, libre de defectos humanos como arrogancia, odio, celos o deseo
    Ahora ya es evidente que eso era una suposición sin fundamento, pero para entonces miles de millones de personas ya habían sido condicionadas a no dudar nunca de las máquinas
  • Los ingenieros ya están suficientemente agotados solo con las exigencias absurdas de personas que no encajan con la realidad
    Si además una basura generada descaradamente mediocre es evaluada por otra basura mediocre, y luego a los críticos se les trata como si fueran malos perdedores incapaces de aceptar la derrota, la conversación racional se vuelve imposible
    Un participante dedicó mucho tiempo de buena fe a explicar todo con claridad y a considerar la posibilidad de que se le hubiera escapado algo, pero si una y otra vez quien arroja basura estadística sin pensar termina recompensado por jueces incapaces de distinguirla, la gente se cansa rápido y se va
    Esa actitud va en aumento en el trabajo, en la documentación corporativa, en las relaciones sociales y en las redes sociales, y uno quiere dedicar su vida a personas que realmente piensan y se entrenan mentalmente, y a actividades que sí ayudan a vivir mejor
    No voy a gastar tiempo ni atención en comunidades que toleran contenido generado de mala calidad, y si no hay comunicación de buena fe, tampoco hay razón para ofrecer tolerancia
    A Kaggle, a los contribuidores de código abierto y a los creadores de contenido les permitiría una sola violación de la confianza; a subordinados les daría varias oportunidades por ética, pero asumiendo primero mi responsabilidad de gestión; y al liderazgo superior, solo una oportunidad
    La confianza es valiosa, así que hay que exigirnos responsabilidad mutuamente, incluso si eso termina rompiendo relaciones
  • No soporto la actitud de “con tal de aportar valor, todo vale”
    Hay que evitar convertirse en idiotas útiles de un pequeño grupo de empresas mimadas por inversionistas que han dicho abiertamente que quieren monopolizar el mercado y acabar con los negocios y empleos de todos