- Herramienta open source que permite la ejecución y el entrenamiento local de diversos modelos de IA, incluidos texto, audio, embeddings y visión, desde una sola interfaz
- Permite ejecutar localmente modelos GGUF/safetensor en Mac/Windows/Linux y, durante el entrenamiento, alcanza hasta 2 veces más velocidad y 70% menos uso de VRAM
- Basado en llama.cpp + Hugging Face, con soporte para inferencia multi-GPU y para la mayoría de los modelos
- El kernel de Unsloth optimiza LoRA, FP8, FFT, PT para dar soporte a más de 500 modelos de texto, visión, TTS/audio y embeddings
- Permite hacer fine-tuning de los LLM más recientes, como Qwen3.5 y NVIDIA Nemotron 3, con soporte automático para multi-GPU
- Soporta una amplia variedad de métodos de entrenamiento, como fine-tuning completo, entrenamiento en 4bit/16bit/FP8 y aprendizaje por refuerzo (GRPO)
- Se siguen agregando técnicas de optimización, como entrenar LLM MoE 12 veces más rápido o entrenar modelos de 20B con longitudes de contexto superiores a 500K en una GPU de 80GB
- Todos los modelos, incluidos los ajustados con fine-tuning, pueden exportarse en safetensors/GGUF para usarse en llama.cpp, vLLM, Ollama, LM Studio y más
- Incluye la función Data Recipes, que convierte automáticamente documentos no estructurados como PDF, CSV y JSON en datasets, además de llamadas a herramientas de autorreparación y ejecución de código integradas
- Incluye funciones de observabilidad para seguir en tiempo real la pérdida de entrenamiento y el uso de GPU
- En Model Arena se pueden comparar en paralelo las salidas de 2 modelos, como el modelo base y el modelo ajustado
- Se ejecuta 100% offline en local para garantizar la privacidad, y pronto añadirá soporte para Apple MLX, AMD e Intel
- Flujo de trabajo :
Iniciar Studio →
Cargar un modelo desde archivos locales o integraciones compatibles →
Importar datos de entrenamiento desde PDF, CSV, JSONL, etc., o crear un dataset desde cero →
Refinar y ampliar el dataset en Data Recipes → iniciar el entrenamiento con presets recomendados o configuración personalizada →
Comparar las salidas del modelo entrenado y el modelo base →
Guardar localmente o exportar al stack que ya se use
- Licencia
- El paquete principal de Unsloth usa licencia Apache 2.0
- Solo algunos componentes opcionales, como la UI de Unsloth Studio, usan la licencia open source AGPL-3.0
3 comentarios
Yo también lo probé apenas salió... pero la página se rompía y no podía pasar del tutorial 😢
https://github.com/unslothai/unsloth/…
¡Lo corrigieron enseguida!
Comentarios de Hacker News
Todavía no he podido configurar bien unsloth studio en mi MacBook
Por problemas con el tooling de Python
En cambio, como ya estoy corriendo un servidor de llama.cpp dentro de un contenedor Docker, hice unas pruebas comparando las tres bases de código
Primer código de comparación, segundo código de comparación
Los resultados fueron bastante interesantes. Si unsloth studio funciona bien, volveré a intentarlo la próxima semana
Se puede instalar con el siguiente comando
Me da curiosidad el modelo de negocio de unsloth. Publican mucho gratis, pero no se ve clara la forma en que monetizan
Creo que la razón por la que el software de código cerrado es más popular tiene que ver con la calidad del tooling. Todavía tenemos mucho por publicar
La función de entrenamiento me pareció interesante, pero me decepcionó ver que dice “on NVIDIA”
Me pregunto si habrá alguna alternativa o tutorial para hacer SFT (ajuste fino supervisado) con el stack Metal de macOS
Yo también uso AMD, así que tengo expectativas. ROCm es doloroso, pero AMD en sí me gusta
Unsloth sí es un proyecto bastante bueno
Si eres de los que corren su propio motor de IA, vale totalmente la pena probarlo
Como tiene licencia Apache, estoy pensando en probarlo también en la empresa
LMStudio tenía una licencia propietaria y era difícil conseguir aprobación
Ojalá den soporte para AMD sí o sí
Ahora mismo estoy usando configuraciones rebuscadas con una GPU AMD
Intenté compilar desde el código fuente en macOS y me salió este error de TypeScript
'status' is declared but its value is never readNo recomiendo instalar con pip en macOS porque puede romper el sistema
Hace falta un paquete de Homebrew o un archivo zip para instalación manual
Si lo instalas con
uv tool install unsloth, es más fácil de administrarVengo más del ecosistema Python, así que me faltaba experiencia en packaging. El siguiente objetivo es dar soporte a Homebrew
Puedes manejar dependencias con
pyproject.tomly crear un entorno reproducible con un solo comandoAntes instalé unsloth con una versión no publicada basada en ROCm, y lo resolví con una sola línea de
uv syncComentario del issue relacionado
Documentación de instalación de pipx
Cuando haya soporte para AMD, volveré a pasar a revisar
Me pregunto si en Mac usa GPU
Durante el setup aparecía como solo CPU