Una ilusión segura: la limitación innata de los modelos de lenguaje a gran escala

Limitación intrínseca de los modelos de lenguaje a gran escala: las alucinaciones son inevitables

• El fenómeno de las alucinaciones en los modelos de lenguaje a gran escala (LLMs) es una desventaja grave y ampliamente conocida.
• Muchas investigaciones han intentado reducir el grado de alucinación, pero la mayoría se limita a métodos empíricos y no responde a la pregunta fundamental de si es posible eliminarla por completo.
• Este artículo formaliza el problema y muestra que es imposible eliminar las alucinaciones en los LLMs.

Definición de alucinación en un mundo formal

• Se define un mundo formal en el que la alucinación se entiende como una discrepancia entre un LLM computable y una función de verdad de referencia también computable.
• Aprovechando resultados de la teoría del aprendizaje, se demuestra que los LLMs no pueden aprender todas las funciones computables y, por lo tanto, siempre experimentarán alucinaciones.

La inevitabilidad de las alucinaciones en el mundo real

• Como el mundo formal es solo una parte del mundo real, mucho más complejo, las alucinaciones también son inevitables en los LLMs del mundo real.
• Para los LLMs del mundo real, limitados por una complejidad temporal demostrable, se describen tareas propensas a producir alucinaciones y esto se valida empíricamente.

Mecanismos de mitigación de alucinaciones e implicaciones prácticas

• Usando el marco del mundo formal, se analizan las posibilidades y la eficacia de los mecanismos existentes para mitigar las alucinaciones.
• También se discuten las implicaciones prácticas para el despliegue seguro de los LLMs.

Opinión de GN⁺

• Esta investigación aporta una comprensión fundamental del fenómeno de las "alucinaciones", uno de los problemas centrales de los modelos de lenguaje a gran escala.
• La demostración teórica de que las alucinaciones son inevitables puede señalar una nueva dirección para el diseño y la mejora de los LLMs.
• Puede contribuir de forma importante al debate sobre cómo construir sistemas de inteligencia artificial seguros y confiables, lo que podría convertirse en un hito relevante para el avance tecnológico.

[GN⁺]

Opinión de Hacker News

• Resumen del primer comentario:

  • La afirmación central de este artículo es que, como P ≠ NP, los LLM (modelos de lenguaje a gran escala) producirán respuestas ficticias para problemas NP-completos.
  • Esto plantea preguntas filosóficas interesantes sobre matemáticas, ciencias de la computación y lenguaje, pero usa un concepto formal distinto de la idea general de las "alucinaciones" de los LLM.
  • También es interesante la afirmación de que el mundo formal es un subconjunto del mundo del lenguaje natural. Los humanos no pueden resolver problemas NP-completos, pero muestran un alto nivel de habilidad en el lenguaje natural.

• Resumen del segundo comentario:

  • Solo leí el resumen, pero soy escéptico sobre si este enfoque formal ayudará con el problema práctico de aumentar la frecuencia con la que los LLM responden "no lo sé".
  • Esto es parecido a los teoremas de incompletitud: los LLM no necesitan saberlo todo, pero el problema de que respondan "no lo sé" sí es importante.

• Resumen del tercer comentario:

  • Hay que formularle preguntas al LLM con mucho cuidado para evitar que invente cosas.
  • Este tipo de IA es como un "sí señor": intenta complacerte sin importar si algo es cierto o no.
  • Es muy difícil trabajar con personas así. Siempre hay que verificar si realmente pueden hacer el proyecto prometido y si es posible.

• Resumen del cuarto comentario:

  • Escribir novelas e historias es una forma de alucinación.
  • La IA logra dos extremos: una máquina lógica y una que produce alucinaciones.
  • El objetivo es crear una máquina que pueda hacer ambas cosas al mismo tiempo y distinguirlas.
  • La alucinación es importante, pero lo clave es que la computadora sea consciente de cuándo está alucinando.

• Resumen del quinto comentario:

  • Si la creatividad es buena, la llamamos "creatividad"; si es mala, la llamamos "alucinación".
  • No es un bug ni una limitación, sino una característica.

• Resumen del sexto comentario:

  • El término "alucinación" significa percibir cosas que no existen en la realidad, por lo que no es un término adecuado para describir el fenómeno de generar frases que no se corresponden bien con la realidad.

• Resumen del séptimo comentario:

  • La sobrevaloración de la IA ahora está pasando a una "fase realista".
  • Últimamente ya no se ven publicaciones entusiastas sobre el problema de alineación.

• Resumen del octavo comentario:

  • Define a los LLM como modelos probabilísticos de cadenas de texto, una definición lo bastante amplia como para incluir la inteligencia humana.
  • Por lo tanto, sus hallazgos también podrían aplicarse de la misma manera a los humanos.

• Resumen del noveno comentario:

  • Define las alucinaciones como una discrepancia entre un LLM computable y una función de verdad de referencia computable.
  • Eso no es más que inexactitud o invención.
  • El término alucinación encaja con la idea de que estos programas son inteligentes.

• Resumen del décimo comentario:

  • Define las alucinaciones como una discrepancia entre un LLM computable y una función de verdad de referencia computable.
  • Si se usa esta definición, es fácil refutar la afirmación del título de que "las alucinaciones son inevitables".
  • Se fija la longitud del contexto de entrada en un byte y se entrena al LLM para que responda "sí" solo ante "A".
  • Se define la función de verdad de referencia de modo que la salida correcta para la entrada "A" sea "sí" y para todas las demás entradas sea "no".
  • Como se ha verificado completamente que la salida de este LLM coincide con la función de verdad de referencia para todas las entradas posibles, nunca alucina.
  • Es posible aumentar el tamaño del contexto de entrada y el número de entradas en la tabla de verdad de referencia, y en ningún punto la alucinación se vuelve "inevitable".