El mecanismo sorprendentemente simple que usan los LLM para recuperar conocimiento almacenado

Investigadores del MIT demuestran una técnica de exploración del conocimiento en modelos de lenguaje a gran escala

• Descubrieron que, cuando los modelos de lenguaje a gran escala responden a los prompts de los usuarios, utilizan un mecanismo simple para recuperar el conocimiento almacenado.
• Los investigadores pueden aprovechar este mecanismo simple para identificar lo que el modelo sabe sobre diversos temas y corregir información almacenada de forma incorrecta.

La complejidad de los modelos de lenguaje a gran escala

• Los modelos de lenguaje a gran escala se usan en una amplia variedad de áreas, como soporte al cliente, generación de código y traducción de idiomas, pero su funcionamiento no se comprende por completo.
• Investigadores del MIT y de otras instituciones estudiaron el mecanismo mediante el cual estos enormes modelos de aprendizaje automático recuperan conocimiento almacenado.

Un mecanismo simple de recuperación del conocimiento

• Los resultados de la investigación muestran que los modelos de lenguaje a gran escala a menudo usan una función lineal simple para recuperar y decodificar hechos almacenados.
• El modelo utiliza la misma función de decodificación para tipos similares de hechos.
• Una función lineal es una ecuación que representa una relación directa entre dos variables.

Explorar lo que sabe el modelo

• Al identificar funciones lineales para distintos hechos, los investigadores exploraron lo que el modelo sabe sobre nuevos temas y verificaron en qué parte del modelo está almacenado ese conocimiento.
• Usando la técnica desarrollada y las funciones simples estimadas, descubrieron que incluso cuando el modelo da respuestas incorrectas, con frecuencia sigue almacenando la información correcta.

Visualización del conocimiento del modelo

• Los investigadores usaron estas funciones para determinar qué considera verdadero el modelo sobre distintos temas.
• Por ejemplo, comenzando con el prompt "Bill Bradley was a" y usando funciones de decodificación para "plays sports" y "attended university", comprobaron si el modelo sabe que Sen. Bradley fue jugador de baloncesto y asistió a Princeton University.
• Con esta técnica de exploración, crearon una cuadrícula llamada 'attribute lens' para visualizar en qué parte de las múltiples capas del transformer se almacena la información sobre relaciones específicas.

Opinión de GN⁺

• Esta investigación lleva un paso más allá la comprensión de cómo los modelos de lenguaje a gran escala almacenan y recuperan conocimiento factual.
• También plantea la posibilidad de usar estos hallazgos para corregir conocimiento y evitar errores en chatbots de IA, con el fin de reducir la tendencia del modelo a entregar información incorrecta.
• Si esta técnica se aplica, podría contribuir a mejorar la confiabilidad de la IA y ayudar a mejorar la experiencia del usuario.
• Sin embargo, dado que no todos los hechos están codificados de forma lineal, se necesita más investigación para saber si esta técnica puede aplicarse a todo tipo de recuperación de conocimiento.
• Entre los proyectos de código abierto con funciones similares se encuentran BERT de Google y la serie GPT de OpenAI, que también han contribuido a comprender cómo funcionan los modelos de lenguaje a gran escala.
• Al introducir nuevas tecnologías, es necesario considerar el equilibrio entre la complejidad del modelo y su interpretabilidad, y uno de los beneficios de elegir esta técnica sería mejorar la precisión y la confiabilidad del modelo.

[GN⁺]

Comentarios en Hacker News

• Este trabajo sorprendente resalta algunos de los mayores problemas actuales en el campo de la IA

  • En realidad no estamos intentando trabajar con neuronas o conjuntos de reglas que sean muy distintos de un perceptrón
  • No es sorprendente que la estructura del perceptrón, que es una función de suma simple, se repita en los modelos
  • Se cuestiona si la topología feedforward y la etapa de neurona única son realmente lo mejor solo porque son las más fáciles de entrenar y de ejecutar en tarjetas gráficas
  • Existen métodos de entrenamiento y esquemas de codificación únicos que no se usan porque las grandes librerías no los soportan
  • Hasta que empecemos a ver cambios reales en el conjunto básico de reglas de las redes neuronales, siempre estaremos luchando con variaciones del perceptrón

• La estructura del lenguaje hace posible Word2Vec

  • Entrenar sobre terabytes de texto humano codificado con Word2Vec + codificación posicional permite predecir la siguiente codificación a un nivel sobrehumano
  • La bolsa de palabras (método de entrada/salida) y la ventana de contexto limitada necesaria para que funcione la codificación posicional generan una gran desalineación con la estructura cognitiva interna
  • Al meter mucha más potencia de cómputo en GPT-4 y similares, podrían evolucionar nuevas formas de representación que los humanos tendrían que descubrir
  • MemGPT podría terminar siendo AGI gracias a una memoria de largo plazo ilimitada, pero lo más probable es que sea como el protagonista de "Memento"

• Ayuda a entender lo que implica que los hechos se almacenen como funciones lineales

  • El LLM codifica los hechos en un "espacio de hechos" de N dimensiones, incrusta los hechos como puntos/hiperesferas/variedades de Voronoi dentro del espacio, y recordar un hecho consiste en que la red neuronal calcule/recuerde una clave y haga una búsqueda clave-valor en ese espacio
  • Pregunta cómo incrustar este tipo de KV-store en modelos gráficos de propagación por bordes y si existe alguna técnica manual bien conocida actualmente
  • Una conexión interesante con la técnica de memoria del "palacio de la memoria", donde el cerebro humano incrusta hechos en funciones lineales para poder recuperarlos fácilmente

• Curiosidad sobre el tipo de funciones usadas para codificar conocimiento de programación

  • Reflexión sobre si sería posible subir directamente a la mente de un LLM la biblioteca estándar u otras librerías sin entrenamiento costoso ni ajuste fino que degrade el rendimiento
  • Todavía parece una capacidad de ciencia ficción, pero da la impresión de que cada vez está más cerca

• Encuentra similitudes con lo que hacen los vectores de relación en Word2Vec

  • Al sumar el vector de "de X", muchas veces se obtiene la respuesta correcta
  • Puede que los transformers simplemente estén mapeando mejor las entidades dentro del espacio de embeddings

• Los LLM parecen ser un buen mecanismo de compresión

  • Sorprende que, teniendo una copia local de Llama en una PC, uno casi tenga acceso a todo internet

• Recuerda el ejemplo de embedding "King - Man + Woman = Queen"

  • Explica por qué una función lineal simple puede funcionar de forma efectiva, ya que los embeddings contienen atributos semánticos

• Es difícil entender cómo un "archivo CSV/base de datos/modelo" con 7 mil millones de "parámetros" puede ofrecer un LLM/GPT interactivo y conocedor sobre casi cualquier tema

  • 4 bits es un "método de compresión" y el modelo al final termina viendo f32
  • La cuantización es el proceso de mapear los números de punto flotante de 32 bits, que son los pesos de la red neuronal, a representaciones de muchos menos bits, como valores de 4 bits
  • La desquantización ocurre al usar el modelo y convierte los pesos cuantizados de 4 bits en números de punto flotante sobre los que realmente se realizan los cálculos del modelo
  • Pregunta sobre la relación entre los "parámetros" y la "cantidad de tokens únicos que conoce" el modelo (tamaño del vocabulario)
  • LLAMa tiene un tamaño de vocabulario de 32,000 y 65B parámetros en comparación con GPT-3
  • 6.5 mil millones de parámetros funcionan como un sistema complejo de mapeo que decide cómo responder a una entrada dada basándose en las relaciones aprendidas entre los tokens de los datos de entrenamiento

• Le gusta que este paper sea genial y que haya hecho experimentos para validar estas ideas

  • Cuestiona la novedad de la idea en sí, considerando que los LLM aprenden de forma natural tendencias estadísticas simples entre palabras
  • Es aún más genial que haya mostrado claramente que no todo el comportamiento de los LLM puede explicarse de una forma tan simple

• La posibilidad de separar la parte de razonamiento de la parte de información

  • Si esto es cierto, sería un hallazgo realmente sorprendente