LLaMA-Adapter V2: herramienta para ajustar finamente LLaMA de forma eficiente
(github.com/ZrrSkywalker)- Permite entrenar a LLaMA como un modelo de seguimiento de instrucciones y multimodal en solo 1 hora, con apenas 1.2 millones de parámetros entrenables
- Alpaca requiere 7B de parámetros, 13G de almacenamiento y 3 horas, mientras que
LLaMA-Adapter necesita 1.2M de parámetros, 4.7M de almacenamiento y 1 hora
1 comentarios
¿No es que el punto principal es que usó un método PEFT similar a LoRA y, sobre todo, que admite contexto visual? Ya hay demasiados enfoques SFT (Instruction Fine Tune) de PEFT para LLaMA...