Una tarea simple que muestra el colapso del razonamiento en los LLM más recientes

Alicia en el País de las Maravillas: una tarea simple que muestra el colapso completo del razonamiento en los modelos de lenguaje grandes más recientes

Resumen de puntos clave

• Modelos de lenguaje grandes (LLMs): modelos que muestran un rendimiento sólido en diversas tareas y condiciones, y siguen leyes de escalado según las cuales su desempeño mejora al aumentar la escala del preentrenamiento.
• Problema: los modelos de lenguaje grandes más recientes muestran un colapso grave de sus capacidades funcionales y de razonamiento en problemas simples de sentido común. Incluso en problemas que los humanos resuelven fácilmente, presentan respuestas incorrectas con confianza y las justifican con explicaciones ilógicas.
• Intervenciones fallidas: fracasaron los intentos de guiar al modelo hacia la respuesta correcta mediante distintos tipos de refuerzo de prompts o reevaluación en múltiples etapas.
• Necesidad de reevaluación: es necesario reevaluar las capacidades que se atribuyen a la generación actual de modelos de lenguaje grandes y crear benchmarks estandarizados que puedan detectar adecuadamente estos defectos básicos de razonamiento.

Opinión de GN⁺

• Limitaciones técnicas: esto muestra que los modelos de lenguaje grandes todavía tienen limitaciones en ciertas situaciones. Esto sugiere que se necesita investigación y mejoras adicionales para aumentar la confiabilidad de los modelos.
• Benchmarks estandarizados: se necesitan nuevos benchmarks estandarizados para evaluar con precisión el rendimiento de los modelos. Esto puede ayudar a los investigadores a comprender mejor sus debilidades y mejorarlos.
• Aplicaciones reales: estos defectos implican que se debe tener cuidado al usar modelos de lenguaje grandes en aplicaciones reales. En particular, si se usan para decisiones importantes, pueden surgir problemas de confiabilidad.
• Tecnologías alternativas: puede ser necesario considerar otras tecnologías o modelos de IA. Por ejemplo, el aprendizaje por refuerzo o los modelos híbridos podrían ser alternativas.
• Direcciones futuras de investigación: este estudio plantea nuevas direcciones de investigación para superar las limitaciones de los modelos de lenguaje grandes. Por ejemplo, se necesitan modelos capaces de imitar mejor el sentido común y la capacidad de razonamiento humanos.

[GN⁺]

Opinión de Hacker News

• Para quienes quieran leer el artículo, la parte principal del paper se puede leer rápido en las primeras 10 páginas.
• El ejemplo tratado en el paper es relativamente fácil de entender, pero es dudoso que las herramientas realmente puedan resolver el problema.
• Las herramientas de IA en realidad no piensan ni razonan, pero muchas personas tienden a considerarlas IA de propósito general.
• Parece poco probable que el paper tenga impacto en el bombo exagerado alrededor de la IA.
• GPT-4 da la respuesta correcta a la pregunta: "Alice tiene 60 hermanos y 212 hermanas. ¿Cuántas hermanas tienen los hermanos de Alice?"
• En el experimento, cuando se indujo al modelo a no "pensar en voz alta", GPT-4 dio respuestas incorrectas de forma consistente.
• En ejemplos más complejos, GPT-4 tiende a fallar.
• El modelo Gemini resolvió el problema sin inducción adicional, pero se confunde cuando se le dan números.
• Bajo la suposición de que Alice no puede tener cientos de hermanos, se considera que la pregunta es injusta.
• Los datasets de evaluación de los principales LLM están incluidos en los datos de entrenamiento, así que no sirven para evaluar su confiabilidad.
• Una mejor forma de evaluar LLM es crear pruebas nuevas.
• Es poco probable que el público general resuelva este tipo de acertijos dentro de un tiempo limitado.
• Los problemas AIW+ son más difíciles de resolver que los problemas AIW comunes.
• Como los autores del paper crearon cientos de problemas de árboles familiares, las respuestas pueden parecer obvias.
• El problema presentado en el paper es una variación de un acertijo muy básico.
• Parece que el paper trató de forma selectiva los resultados negativos más sorprendentes.
• Los LLM siguen siendo débiles en razonamiento relacional.
• Los LLM carecen de la capacidad de mantener la concentración durante mucho tiempo.
• La idea de que los LLM pueden implementar AGI no pasa de ser pensamiento ilusorio.
• Hay una buena charla que muestra que los LLM son muy débiles en planificación y razonamiento.