¿Pueden los LLMs aprender a partir de un solo ejemplo?

• El artículo analiza un patrón de aprendizaje inusual observado durante el proceso de ajuste fino de grandes modelos de lenguaje (Large Language Models, LLMs), que parecen aprender de manera efectiva a partir de un solo ejemplo.
• Estos hallazgos contradicen la comprensión general sobre la eficiencia de muestra en redes neuronales, según la cual normalmente se requieren varios ejemplos para aprender de forma efectiva.
• Para verificar este fenómeno, los autores realizaron una serie de experimentos que respaldan la hipótesis de que los LLMs pueden memorizar rápidamente las entradas.
• El proceso de aprendizaje de las redes neuronales consiste en mostrar ejemplos de entrada y salida, y entrenarlas para que predigan la salida basándose en la entrada. Este proceso se repite varias veces (épocas) para que el modelo aprenda de manera efectiva.
• Mientras entrenaban un modelo para una competencia de Kaggle, los autores observaron una caída abrupta de la pérdida al final de cada época, algo inusual que al principio sospecharon que era un bug.
• Tanto los autores como otros desarrolladores de la comunidad encontraron patrones similares usando distintos bucles y métodos de entrenamiento, lo que sugiere que no se trata de un bug, sino de una característica del ajuste fino de los LLMs.
• La hipótesis implica que estas curvas de entrenamiento muestran sobreajuste, lo que sugiere que el modelo está aprendiendo a reconocer la entrada a partir de solo uno o dos ejemplos.
• Los autores realizaron experimentos con diferentes esquemas de tasa de aprendizaje y observaron que el modelo aprende rápidamente a reconocer ejemplos incluso después de verlos una sola vez.
• Los autores proponen que los grandes modelos de lenguaje preentrenados podrían tener una superficie de pérdida muy suave cerca de regiones de pérdida mínima, lo que les permitiría aprender rápidamente a partir de un solo ejemplo.
• Este aprendizaje rápido podría desafiar los métodos tradicionales de entrenamiento y agravar el problema del olvido catastrófico, en el que el modelo olvida información aprendida previamente cuando se introduce nueva información.
• Los autores sugieren posibles estrategias de mitigación, como aumentar el uso de técnicas como dropout o profundidad estocástica, o usar mezclas de distintos datasets durante el entrenamiento.
• Los autores plantean la necesidad de más investigación y de hipótesis alternativas para comprender mejor este fenómeno y sus implicaciones para el entrenamiento y uso de los LLMs.

[GN⁺]

Opiniones de Hacker News

• Debate sobre el artículo acerca de la sorprendente capacidad de los grandes modelos de lenguaje (Large Language Models, LLMs) para memorizar rápidamente a partir de un solo ejemplo
• Uno de los autores de la publicación señaló que, tras 30 años trabajando con redes neuronales, encontró este comportamiento como el más sorprendente
• Algunos lectores sostienen que el término "exceso de confianza" usado en el artículo puede ser engañoso, y que "sobreajuste" o "indeterminado" serían más precisos
• Considerando los miles de millones de parámetros en los modelos generativos, desde una perspectiva tradicional de machine learning (ML), no resulta sorprendente que los LLMs aprendan rápidamente a partir de un solo ejemplo
• Discusión sobre las implicaciones de que la mayoría de los LLMs se entrenen con una sola epoch, lo que plantea cuestiones sobre el sobreajuste
• Un usuario compartió su experiencia personal con ChatGPT y destacó que el hecho de que el LLM proporcionara material para preguntas sobre las que no había sido entrenado ayudó a resolver el problema
• Algunos lectores cuestionaron si los LLMs se han usado para reforzar sus propios datos de entrenamiento, y propusieron la idea de añadir al conjunto de entrenamiento entradas "soñadas" o sintéticas
• Debate sobre el título del artículo: algunos lectores creen que aprender de un solo ejemplo es deseable, pero memorizar no lo es, por lo que lo consideran engañoso
• Algunos usuarios compartieron haber visto curvas de pérdida similares al entrenar Vision Transformers (ViTs), y sugirieron que estas curvas de pérdida extrañas podrían ser una característica de los modelos basados en Transformer
• Para quienes estén interesados en este tema, se recomendaron otros trabajos relacionados como "Mass-Editing Memory in a Transformer" y "Locating and Editing Factual Associations in GPT"
• Si los hallazgos del artículo son ciertos, podrían respaldar la idea de que los conjuntos de datos pequeños y curados por humanos pueden ser más valiosos que los conjuntos de datos sintéticos generados por LLMs