Lit-LLaMA - implementación open source de LLaMA basada en nanoGPT

 (github.com/Lightning-AI)
25 puntos por xguru 2023-04-03 | 1 comentarios | Compartir por WhatsApp
  • Open source desarrollado completamente por separado con licencia Apache 2.0, en lugar del código de LLaMA con licencia GPL
  • Implementado en un solo archivo y sin boilerplate, por lo que es simple y numéricamente idéntico al modelo original
  • Soporta FlashAttention, cuantización, fine-tuning con LoRA y preentrenamiento
  • Optimizado para ejecutarse en hardware de consumo

Lecturas relacionadas

1 comentarios

 
xguru 2023-04-03

nanoGPT es código en el que Andrej Karpathy, quien fue jefe de IA de Tesla, reescribió minGPT.
nanoGPT - código abierto para entrenar/ajustar con la mayor rapidez GPTs de tamaño intermedio

FlashAttention