LIMO: para el razonamiento, menos es más (Less is More for Reasoning)

• Resumen de la investigación

  • El modelo LIMO presenta un hallazgo que permite entender de una nueva manera cómo emergen las capacidades de razonamiento complejo en los modelos de lenguaje a gran escala.
  • A diferencia de lo que se pensaba, el razonamiento matemático complejo puede inducirse de forma efectiva incluso con una pequeña cantidad de ejemplos.
  • LIMO alcanza una precisión de 57.1% en AIME y de 94.8% en MATH con solo 817 muestras de entrenamiento.
  • Esto representa una mejora significativa frente al 6.5% y 59.2% de modelos anteriores basados en SFT, usando solo el 1% de los datos de entrenamiento de enfoques previos.

• Rendimiento de LIMO

  • LIMO muestra una mejora absoluta de rendimiento de 40.5% en 10 benchmarks distintos y supera a modelos entrenados con 100 veces más datos.
  • Esto desafía la idea existente de que el SFT conduce más a la memorización que a la generalización.

• Hipótesis de LIMO

  • La hipótesis de LIMO propone que, cuando el conocimiento de dominio ya está completamente codificado en el modelo base durante el preentrenamiento, las capacidades de razonamiento complejo pueden emerger incluso con demostraciones mínimas.
  • El umbral para inducir razonamiento complejo está determinado por dos factores principales:
    1. La completitud de la base de conocimiento codificada del modelo durante el preentrenamiento.
    2. La efectividad de los ejemplos de posentrenamiento como una "plantilla cognitiva" que muestra cómo el modelo puede aprovechar su base de conocimiento para resolver tareas de razonamiento complejo.

• Disponibilidad open source

  • LIMO se ofrece como una suite integral open source para fomentar la reproducibilidad y futuras investigaciones sobre razonamiento eficiente en datos.