- Las alucinaciones de los LLM no son errores en ciertas situaciones, sino una característica esencial del sistema; a medida que se amplía su uso, es necesario tomar decisiones partiendo de esta limitación
- Las alucinaciones surgen de una estructura matemática y lógica, por lo que es difícil eliminarlas por completo solo con mejoras en la arquitectura, los datasets o el fact-checking
- El análisis se basa en la teoría de la computación y en el primer teorema de incompletitud de Gödel, y hace referencia a problemas indecidibles como el Halting Problem, el Emptiness Problem y el Acceptance Problem
- En cada etapa —composición de los datos de entrenamiento, búsqueda de hechos, clasificación de intención y generación de texto— queda una probabilidad distinta de cero de producir alucinaciones
- “Structural Hallucinations” considera las alucinaciones como una propiedad estructural inherente a los LLM y desafía la noción común de que pueden mitigarse por completo
Los límites estructurales de las alucinaciones en los LLM
- A medida que los LLM se usan ampliamente en múltiples dominios, es necesario examinar críticamente las limitaciones inherentes de los modelos
- Las alucinaciones no son errores accidentales, sino algo cercano a una característica inevitable de los sistemas LLM
- Desde esta perspectiva, no es posible eliminar las alucinaciones solo con mejores modelos, datasets más grandes o herramientas externas de verificación
Por qué es difícil eliminarlas por completo
- Las alucinaciones surgen de la estructura matemática y lógica de los LLM
- Es difícil eliminarlas por completo solo con mejoras en la arquitectura, mejoras en los datasets y mecanismos de fact-checking
- El análisis utiliza la teoría de la computación y el primer teorema de incompletitud de Gödel
- Como problemas indecidibles relacionados se presentan el Halting Problem, el Emptiness Problem y el Acceptance Problem
La posibilidad de alucinaciones que queda en cada etapa del proceso
- En todas las etapas del proceso de un LLM existe una probabilidad distinta de cero de generar alucinaciones
- Composición de los datos de entrenamiento
- Búsqueda de hechos
- Clasificación de intención
- Generación de texto
- Aunque se refuerce una etapa específica, la posibilidad de alucinaciones no desaparece del sistema completo
Structural Hallucinations
- “Structural Hallucinations” es un concepto que considera las alucinaciones como una propiedad inherente de los sistemas LLM
- Enfatiza la inevitabilidad matemática de las alucinaciones y choca con la idea existente de que pueden mitigarse por completo
- En la práctica, las alucinaciones de los LLM deben tratarse no como algo que pueda eliminarse por completo, sino como una restricción siempre presente
1 comentarios
Opiniones de Hacker News
Parece que se habría evitado parte de la confusión si no se le hubiera puesto hallucination al concepto de “generar información falsa durante la generación probabilística de texto”
La palabra suena como si algo estuviera fallando durante el funcionamiento normal del modelo, pero en realidad el funcionamiento normal del modelo es producir texto plausible
La “alucinación” no es una falla del modelo, sino un juicio de valor que nosotros hacemos sobre el texto resultante, y solo significa que ese texto no sirve para el propósito buscado
Desde esta perspectiva, mitigar las alucinaciones y la alineación son prácticamente el mismo problema, así que es difícil resolver solo uno por separado
Si tomamos literalmente el significado de “alucinación”, entonces el modelo estaría alucinando todo el tiempo, y si por casualidad produce algo objetivamente verdadero, simplemente no lo llamamos alucinación
Si el artículo ordenó bien este problema de definición, podría ser una contribución útil
Hace que el problema parezca un “bug” temporal en vez de una limitación esencial de la tecnología, y puede confundir a inversionistas y compradores sobre su verdadera naturaleza
Los humanos también inventan cosas todo el tiempo, y a veces inventan cosas mucho más absurdas que la IA, así que habría que preguntarse si de verdad los humanos son inteligentes /no es del todo una broma
Las alucinaciones se parecen más al resultado de soltar la primera respuesta posible que se le ocurre cuando recibe una pregunta
Los humanos normalmente no hacen eso. Tienen recuerdos de haberse equivocado antes con preguntas similares y, antes de hablar, comparan internamente con otros conocimientos haciendo una especie de prueba de sentido común
Por eso, en vez de esperar que un LLM produzca la respuesta correcta de inmediato, habría que darle espacio para reflexionar
El pensamiento humano también suele llegar a una respuesta mediante debate y compromiso entre varios roles y personas internas, y solo después de que aparece un “borrador” inicial puede imaginar contexto adicional, como las consecuencias de decir esa respuesta
Por tanto, evaluar la inteligencia de un LLM solo por su primera “reacción intuitiva” ante un prompt puede ser un enfoque equivocado
Inventar una historia requiere más bien esfuerzo, y sin entrenamiento por lo general no se hace bien. Hay personas que lo hacen de forma natural, pero normalmente se considera un trastorno
Un LLM no tiene el concepto de “no lo sé”; simplemente escribe lo que mejor encaja con sus datos de entrenamiento. Como en esos datos no abunda “no lo sé”, tampoco es una respuesta natural para él
Le pregunté por una lista de bares de una ciudad pequeña y se inventó nombres, direcciones y teléfonos completos, todo muy verosímil. Si a una persona común que no conoce bien esa ciudad la obligaras a dar una respuesta plausible sin permitirle decir “no lo sé”, al final podría inventar algo, pero definitivamente no sería su primer pensamiento
Un LLM no tiene intuición ni experimenta el tiempo. No es como un niño nervioso que responde cualquier cosa porque se le acaba el examen, sino el producto de un desarrollo de software que abandonó más de medio siglo de tradición de hacer que las computadoras den la respuesta correcta para ponerse a perseguir vibras
Las partes encargadas de la percepción y del razonamiento interactúan con las que manejan la memoria, y distintos tipos de memoria procesan esos compromisos. Un recuerdo que “tiene sentido” puede reforzarse más que algo visto por casualidad
Los LLM no parecen hacer eso y, por diseño, son más débiles que el cerebro para mitigar alucinaciones
Una línea interesante de investigación inspirada en el cerebro sería observar qué partes parecen anómalas en personas que tienen alucinaciones y cómo modelar su funcionamiento para ver si puede aplicarse a los LLM
Varios investigadores ya están trabajando en ideas como aplicar a redes neuronales modelos de estructuras como el hipocampo
Creo que la arquitectura actual está tan plagada de alucinaciones en lo fundamental que limita fuertemente su uso práctico, especialmente para los casos de uso de los que hablan las expectativas exageradas
Aun así, este texto fija un estándar de “no alucina” tan alto que resulta casi imposible
Básicamente vuelve a exponer limitaciones fundamentales bien conocidas de los sistemas formales y del cálculo mecánico, y luego presenta la conclusión obvia de que los LLM también comparten esas limitaciones
A menos que uno meta dualismo o especulación sobre hipercomputación cuántica, estas limitaciones también se aplican en gran medida a los humanos
Lo interesante de los LLM viene justamente de que pueden inventar cosas y aun así hacerlas sonar plausibles
Consideraba que la materia y la mente son ambas reales, pero no duales, y que entre ambas hay una transición suave y continua
Pero sea cual sea la naturaleza de la mente y la materia, sí hay evidencia convincente de que los humanos crean significado para los símbolos a través de lo que Peirce llamaba semiosis
Todavía no tenemos una semiótica correctamente formalizada para esto, y en esta área hay mucha filosofía aplicada matemáticamente interesante, pero también mucho disparate académico
Hasta que no logremos eso, será difícil construir una máquina automática que realice semiosis, y por un buen tiempo seguirá habiendo una diferencia cualitativa entre las capacidades humanas y las de los LLM
No puedo decir que haya usado todos los modelos, pero la mayoría fracasa muy rápido ante pedidos como “explica un proceso en el que interactúan tres entidades”
Con dos normalmente se las arreglan, pero al final empiezan a dar vueltas sobre lo mismo o, en muchos modelos, a repetir párrafos completos, y con tres parece que ya no pueden en absoluto
Tal vez los LLM tengan un papel en áreas donde “casi todo sale mal, pero verificar es barato y quizá puedas rescatar alguna buena idea”, y donde se quema dinero intentando producir eso
Medir los datos de entrenamiento incompletos no parece muy significativo
¿Acaso aprender no consiste, desde el inicio, en tratar con datos incompletos? Si los datos fueran completos, no haría falta aprendizaje automático; bastaría con crear una función que mapeara la entrada a la salida
El aprendizaje automático consiste en rellenar huecos mediante predicción, y el aprendizaje en general también
Así que aquello a lo que apunta esta teoría también aplica a la inteligencia y al aprendizaje humanos
Se puede decir que los LLM siempre alucinan, pero los humanos también alucinan siempre
El verdadero problema a resolver es cómo hacer que los LLM alucinen como humanos
El aprendizaje automático fue diseñado para resolver problemas, y se diferenciaba de la IA clásica, que construía algoritmos directamente, en que podía derivar funciones a partir de muchos datos
Pero la “inteligencia” actual basada en aprendizaje automático es distinta del pensamiento humano. Un humano no necesita millones de ejemplos para conocer a un gato; con ver dos o tres, puede seguir identificándolo después
Incluso viendo solo un gato negro, puede reconocer correctamente a otros gatos domésticos como gatos, y si observas a los niños, ves que de hecho así funciona
La inteligencia es la capacidad de idear una solución sin conocimiento previo, y cuanto más inteligente es un ser, menos datos necesita. Cuanto más nos acerquemos a un sistema más inteligente, para ser efectivo debería necesitar no más datos, sino menos
En general, los modelos lo hacen mucho mejor en lo primero y tienen grandes problemas con lo segundo
La forma actual en que alucinan los LLM parece estar profundamente relacionada con la manera en que representan el conocimiento
Si miras la función de costo, hay una razón por la que se llama log-verosimilitud. El objetivo real no es dar respuestas coherentes con conceptos de un modelo sólido de la realidad, sino producir una secuencia de tokens plausible en el sentido más abstracto
Cuando el modelo alucina, en cierto modo también está haciendo bastante bien lo que le entrenamos para hacer, e implícitamente retrocede hacia patrones más generales de sus datos de entrenamiento, como la gramática y elecciones simples de palabras, para producir texto con alta probabilidad
Uno puede imaginar que con un cambio de arquitectura adecuado el problema de las alucinaciones podría resolverse por completo o casi por completo
Aun así, sigue pareciendo una pregunta abierta si se puede hacer ese cambio y al mismo tiempo construir un modelo que pueda entrenarse de forma eficiente
Aun así, una mejor pregunta es si se puede lograr un rendimiento suficientemente bueno
Para usar LLM de forma efectiva, en el fondo hay que aprender a usar una tecnología no confiable y no determinista
Parece que mucha gente casi no logra superar esa barrera
Cuando confías en algo, necesitas menos construir un modelo mental de las formas en que puede engañarte y de cómo deberías responder, así que la carga cognitiva baja
Por eso, al menos para mí, los LLM son útiles pero estresantes
Quizá ya sea hora de que reviente la burbuja
Antes aún, habría que definirlo, pero en la práctica nadie sabe qué es AGI. Así que puede ser cualquier cosa
Que Sam no crea que se haya alcanzado AGI incluso después de GPT-3.5, ChatGPT, GPT-4 multimodal y o1 (Strawberry) parece implicar que AGI, al final, significa que mientras se capturan la creatividad y el trabajo de miles de millones de personas, se recaudan cientos de miles de millones de dólares y se coloca a todo el mundo en un sistema basado en UBI, los insiders se vuelven ricos
Las alucinaciones parecen una excusa para decir que AGI todavía no se ha logrado. Así pueden seguir recaudando más dinero para los costos energéticos de entrenamiento e inferencia de modelos que van a seguir alucinando
Solo después de que OpenAI capture todo el valor y los insiders hagan cash out, querrán el estallido de la burbuja en el que desaparezca el 95% de las startups de IA. OpenAI quedará como la excepción
Por eso Terence Tao ve a los LLM más o menos al nivel de un estudiante de posgrado promedio, y mejorando, mientras que tú simplemente estás esperando morir
No hace falta “aprender a vivir con esto”
Simplemente no lo uses, ignóralo y opónte a su expansión y adopción. Yo voy a seguir haciéndolo
Pero es casi seguro que el “nosotros” global no va a seguir esa petición
Los LLM seguirán el camino de los sistemas expertos
Más adelante probablemente nos preguntaremos por qué creíamos que eso era posible
Recomendaría no encerrarse en la identidad estrecha de “experto en IA”. Pronto hará bastante frío allá afuera
No estoy de acuerdo — https://arxiv.org/abs/2406.17642
En trabajos relacionados se tratan el problema de la parada y problemas computacionalmente difíciles
Por supuesto, los LLM no pueden responder problemas computacionalmente difíciles
Y tampoco entiendo por qué habría que llamar alucinación a responder “eso no es computable” ante una pregunta sobre el problema de la parada