TorchTune - biblioteca de PyTorch para el fine-tuning de LLM publicada por Meta

• Biblioteca nativa de PyTorch para fine-tuning que permite crear, ajustar y experimentar fácilmente con LLM
• Implementaciones nativas en PyTorch de LLM populares
• Soporte para checkpoints en varios formatos, incluidos checkpoints en formato HF
• Ofrece recetas de entrenamiento para técnicas de ajuste fino ampliamente usadas, con benchmarks de referencia y verificaciones exhaustivas de precisión
• Evaluación de modelos entrenados mediante el harness de evaluación de EleutherAI
• Integración con datasets de HuggingFace para entrenamiento
• Soporte para entrenamiento distribuido usando FSDP de PyTorch Distributed
• Configuración en YAML para facilitar la definición de ejecuciones de entrenamiento
• [Próximamente] Soporte para tipos dtype de baja precisión y técnicas de cuantización de TorchAO
• [Próximamente] Soporte para integración con varios motores de inferencia