La alucinación eterna de los LLMs: una realidad que debemos aceptar

LLMs Will Always Hallucinate, and We Need to Live With This

Introducción

• A medida que los modelos de lenguaje grandes (LLM) se usan ampliamente en diversos campos, es importante examinar críticamente sus limitaciones inherentes
• Este estudio sostiene que las alucinaciones de los modelos de lenguaje no son simples errores, sino una característica inevitable de estos sistemas

La naturaleza de las alucinaciones

• Las alucinaciones surgen de la estructura matemática y lógica fundamental de los LLM
• Es imposible eliminarlas mediante mejoras en la arquitectura, mejores conjuntos de datos o mecanismos de verificación de hechos
• Con base en la teoría de la computación y el primer teorema de incompletitud de Gödel, se hace referencia a la indecidibilidad de problemas como el problema de la parada, el problema del espacio en blanco y el problema de aceptación

Alucinaciones en cada etapa del proceso de los LLM

• Existe probabilidad de que ocurran alucinaciones en todas las etapas: recopilación de datos de entrenamiento, recuperación de hechos, clasificación de intención y generación de texto
• Se introduce el concepto de alucinación estructural para establecerlo como una característica intrínseca de estos sistemas

Conclusión

• Al establecer la certeza matemática de las alucinaciones, se cuestiona la idea previa de que pueden mitigarse por completo

Resumen de GN⁺

• Este estudio demuestra matemáticamente que las alucinaciones de los LLM son inevitables y subraya que no pueden eliminarse por completo
• Explica la naturaleza de las alucinaciones mediante la teoría de la computación y el teorema de incompletitud de Gödel
• Muestra que las alucinaciones pueden ocurrir en todas las etapas de los LLM
• El estudio sugiere que es importante entender las limitaciones de los LLM y aceptarlas

[GN⁺]

Opiniones en Hacker News

• Al demostrar mediante certeza matemática las alucinaciones, se cuestiona la idea previa de que pueden resolverse por completo.

  • Como el término "alucinación" da la impresión de que hay un problema con el funcionamiento normal del modelo, elegir otro término podría haber evitado malentendidos.
  • La alucinación no es una falla del modelo, sino un juicio de valor de que el texto generado no es adecuado para el propósito.
  • Reducir las alucinaciones y lograr la "alineación" es el mismo problema.

• Las alucinaciones son el resultado de decir la primera respuesta posible a una pregunta.

  • Los humanos ya han respondido antes a la mayoría de las preguntas, y recuerdan sus errores para no repetirlos.
  • Los humanos piensan antes de hablar y relacionan su reacción inicial con otros conocimientos.
  • No se debe esperar que un LLM genere de inmediato la respuesta correcta.
  • El proceso de pensamiento humano tiene diversos roles y personas.
  • Solo después de que se forma una respuesta inicial de "borrador" se genera contexto adicional.
  • Evaluar la inteligencia basándose en la primera "reacción intuitiva" de un LLM es un juicio erróneo.

• La arquitectura actual tiene "alucinaciones" incorporadas de forma fundamental, lo que limita su uso práctico.

  • Este artículo presenta un límite imposible para "no alucinar".
  • Reafirma las limitaciones fundamentales de los sistemas formales y del cálculo mecánico.
  • Este límite también aplica a los humanos.

• Las alucinaciones de los LLM están relacionadas con la forma en que representan el conocimiento.

  • Incluso cuando alucina, el modelo sigue generando texto plausible según fue entrenado.
  • Depende de patrones generales de los datos de entrenamiento, es decir, de la gramática y la elección de palabras.
  • Con cambios adecuados en la arquitectura, podría resolverse el problema de las alucinaciones.
  • Sin embargo, no se sabe si esos cambios serían compatibles con un entrenamiento eficiente del modelo.

• Los datos de entrenamiento incompletos no carecen de valor para su medición.

  • Los datos incompletos son la esencia del aprendizaje.
  • Si existieran datos completos, no haría falta aprendizaje automático; bastaría con crear una función que mapee la entrada a la salida.
  • El aprendizaje automático consiste en llenar los vacíos con base en predicciones.
  • Lo mismo aplica a la inteligencia y al aprendizaje humanos.
  • Los LLM siempre alucinarán, pero los humanos también siempre alucinan.
  • El verdadero problema es lograr que los LLM alucinen como los humanos.

• Los LLM terminarán siendo como "sistemas expertos".

  • Se recomienda no limitarse a definirse como especialista en IA.

• Para trabajar eficazmente con los LLM, se necesita la capacidad de usar una tecnología inherentemente no confiable y no determinista.

  • A muchas personas les cuesta superar este obstáculo.

• Ya es hora de que estalle la burbuja.

• No necesitamos "aceptar" a los LLM.

  • Se puede optar por no usarlos, ignorarlos o oponerse a su difusión y adopción.

• Este artículo está mal escrito, y hay poca confianza en que se haya desarrollado una teoría matemática significativa.

  • Ejemplo: las primeras 10 páginas no tienen sentido.