Detección de incertidumbre en los LLM
Este artículo explica una nueva técnica de inferencia desarrollada en Entropix, un nuevo proyecto de XJDR. Entropix intenta mejorar el razonamiento del modelo haciendo el muestreo más inteligente en momentos de incertidumbre. Sin embargo, todavía no se han realizado evaluaciones a gran escala, por lo que sigue siendo incierto cuánto ayuda en la práctica.
Panorama general de la incertidumbre
- El muestreo es el proceso mediante el cual un LLM elige un token a partir de la distribución de posibles tokens (logits).
- La confianza del modelo en su predicción puede entenderse a través de esta distribución.
- Entropix usa muestreo adaptativo para ayudar al modelo a tomar mejores decisiones cuando está incierto.
Significado e importancia de la incertidumbre
- La incertidumbre en los logits puede tener varias causas, y no todas son malas.
- Entre las causas están los sinónimos o tokens equivalentes, rutas ramificadas y casos en los que la IA no está segura.
- Entropix propone que el siguiente token debe elegirse de distintas maneras según el grado de incertidumbre.
Entropía y varentropía
- Entropix usa dos métricas para medir la incertidumbre: entropía y varentropía.
- La entropía mide qué tan diferentes son entre sí los logits predichos.
- La varentropía representa la "forma" de la incertidumbre, y una varentropía alta indica que algunos valores difieren mucho de otros.
Explicación matemática
- Surprisal es un concepto que mide qué tan impredecible es un evento.
- La entropía es el valor esperado del surprisal para todos los resultados posibles.
- La varentropía se calcula como la varianza del surprisal.
Muestreo adaptativo basado en entropía y varentropía
Baja entropía, baja varentropía
- Es el caso ideal en el que el modelo tiene confianza no solo en la primera opción, sino también en otras alternativas.
- Se usa muestreo estándar con argmax para elegir el token con mayor probabilidad.
Baja entropía, alta varentropía
- Es el caso en el que el modelo predice algunas opciones con una probabilidad muy alta.
- Puede indicar una nueva rama de salida, y la ramificación puede implementarse de varias maneras.
Alta entropía, baja varentropía
- El modelo puede estar viendo algo que no reconoce o todas las opciones pueden ser intercambiables entre sí.
- Se usan tokens de "pensamiento" para inducir al modelo a emplear más tiempo de cómputo.
Alta entropía, alta varentropía
- El modelo no tiene una preferencia clara, pero tiene más confianza en algunas salidas que en otras.
- Se puede elegir aleatoriamente, ramificar o insertar tokens de pensamiento.
Ramificación y tokens de pensamiento
- La predicción por ramificación es una forma de seguir algunos logits para ver si conducen a tokens diferentes.
- Los tokens de pensamiento son una forma de realizar más cómputo en estados de incertidumbre.
Entropía de atención
- Entropix usa la entropía de atención para ajustar la temperatura.
- La entropía de atención y la alineación de atención pueden aportar señales adicionales para el muestreo.
¿Importa esto?
- Las ideas de Entropix son fáciles de entender y no son completamente nuevas.
- Aunque las evaluaciones no muestren grandes ventajas, este tipo de técnicas de inferencia es una dirección fácil de experimentar.
Resumen de GN⁺
- Entropix propone un nuevo enfoque para manejar la incertidumbre en los LLM.
- Usa entropía y varentropía para medir el nivel de confianza del modelo, y mediante muestreo adaptativo puede tomar mejores decisiones.
- Estas técnicas ofrecen la posibilidad de que hackers de código abierto mejoren la capacidad de razonamiento de los modelos sin necesidad de un gran presupuesto.
- Como proyecto con funciones similares, se recomienda Transformers de Hugging Face.
1 comentarios
Opiniones de Hacker News
Charles Babbage se sentía confundido ante la pregunta de si una entrada incorrecta podía producir una salida correcta
Las técnicas basadas en muestreo usando hardware de consumo son una oportunidad poco común para mejorar modelos SOTA. Sin embargo, esto no va a durar, y al final hará falta un sampler entrenable
Muchos problemas de los LLM son causados por fuga semántica o por información irrelevante. Podría haber margen para mejorar la atención
Los GPT modernos generan logits a partir de un gran clasificador sobre el vocabulario de tokens. Esto existe en un espacio y puede calcular una variedad con propiedades de convexidad anómalas
Se necesita una función que permita al modelo detectar incertidumbre en situaciones de alta entropía y advertir al usuario
No está claro si existe una técnica para juzgar la incertidumbre de los LLM. Investigaciones recientes cuantifican estadísticamente si un LLM está adivinando mediante entropía semántica
Me pregunto si alguien ha experimentado con la salida cuando no se permite incertidumbre en el modelo. Sería un método en el que el sampler retrocede hasta que todos los tokens tengan una certeza por encima de un umbral
Hay dudas sobre confiar en los LLM para realizar tareas con supervisión mínima. Todo podría ser simplemente "alucinación" o conjetura
El problema de los LLM no es solo la "incertidumbre", sino que tiene múltiples dimensiones. Puede deberse a falta de sentido en la pregunta, falta de información, ausencia de consenso experto y otras razones
Existen muchísimas estrategias de muestreo para modelos de lenguaje. Es difícil demostrar empíricamente que una estrategia de muestreo específica sea superior al muestreo estándar top-k o top-p