Un enfoque desconcertantemente simple para recuperar conocimiento olvidado en los LLM

• Si los LLM realmente 'olvidan'

  • Los modelos de lenguaje grandes (LLM) se entrenan con enormes volúmenes de datos de texto y muestran una capacidad sobresaliente para generar texto
  • Sin embargo, debido a la naturaleza sensible de los datos de entrenamiento, pueden aprender comportamientos no deseados
  • El 'olvido' automático es un método para abordar este problema, cuyo objetivo es eliminar conocimiento específico mientras se preserva al máximo la utilidad del modelo

• Problema y contenido de la investigación

  • Hay poca investigación sobre si los métodos actuales de 'olvido' realmente hacen que el conocimiento se olvide o si simplemente lo ocultan
  • Este estudio revela que, al aplicar cuantización, la información 'olvidada' puede recuperarse
  • Se realizaron experimentos con distintos niveles de precisión usando diversas técnicas de cuantización

• Resultados experimentales

  • En el caso de los métodos de 'olvido' con restricciones de utilidad, el modelo retiene en promedio el 21% del conocimiento que se pretendía olvidar en precisión completa
  • Después de la cuantización a 4 bits, esta proporción aumenta al 83%

• Estrategia propuesta

  • Se ofrece una explicación teórica para este fenómeno
  • Se propone una estrategia de 'olvido' robusta a la cuantización para mitigar este complejo problema

• Importancia de la investigación

  • Hace una contribución importante para evaluar y mejorar la eficacia de los métodos de 'olvido' en los LLM
  • Ayuda a comprender el impacto de la cuantización sobre el 'olvido'

[GN⁺]

Comentario de Hacker News

• Hay investigaciones que muestran que la cuantización del modelo invalida los métodos de "olvido". Los métodos de "olvido" actualizan los pesos para que el modelo olvide ciertos hechos. Estos métodos se usan principalmente para resolver problemas de derechos de autor.
  • Que la cuantización invalide el "olvido" implica, en términos de teoría de la información, que el conocimiento sigue permaneciendo en los pesos del modelo.
  • Compara el auge de la IA con el auge de las impresoras 3D de hace 10-15 años y prevé que la IA tendrá un destino similar.
  • Se eliminó conocimiento en un modelo de 32 bits, pero al comprimirlo a 4 bits el conocimiento reaparece, lo cual es inesperado desde el punto de vista de la teoría de la información.
  • Para el "olvido", normalmente se usan una tasa de aprendizaje pequeña y regularización sin perjudicar la utilidad del modelo. Por eso, los pesos del LLM objetivo y del LLM "olvidado" quedan muy cercanos.
  • Habría que evitar el aprendizaje no deseado durante el entrenamiento base, o hacer que el "olvido" del modelo base sea sensible a la cuantización.
  • Incluso usando un LLM cuantizado, no se encontró que el modelo quedara menos censurado.
  • Para reforzar el comportamiento "olvidado", la técnica de abliteration es más potente.
  • En realidad, el "olvido" consiste en reducir la probabilidad de muestreo dentro de un potencial "espacio de aprendizaje", y la cuantización disminuye el efecto de ese muestreo.
  • El "olvido" es que el LLM aprenda a suprimir conocimiento no deseado, y la cuantización rompe esa supresión.
  • Fue la primera vez que se enteró del "olvido" de modelos, y espera una respuesta sobre cómo el aprendizaje federado podría evitar el "olvido" del modelo.