Cómo hacer fine-tuning de LLM como GPT con un dataset personalizado

• Hacer fine-tuning con LoRA y Adapter usando Lit-Parrot, una implementación open source basada en nanoGPT
  • Compatible con LLM como StableLM, Pythia y RedPajama
  • Usa FlashAttention de PyTorch
• En el ejemplo, se ajusta el modelo RedPajama-INCITE con el dataset de instrucciones Dolly 2.0 de Databricks