Cómo entrenar tu propio modelo LLM con 4 GPU 4090

• A partir del interés por ChatGPT, se tomó la decisión de entrenar un modelo directamente para comprender a fondo cómo funcionan los LLM
• Al principio se usó un chip M1, pero al encontrar sus límites, se armó un equipo personalizado con GPU NVIDIA 4090

1. Definición de objetivos y planificación del presupuesto

• Definición de objetivos: los requisitos del equipo cambian según el tamaño y el tipo de modelo que se quiera entrenar
• Planificación del presupuesto: considerar el equilibrio entre rendimiento y costo, teniendo en cuenta el precio de los componentes de alto desempeño

2. Selección de hardware

• Placa madre: se recomienda la SuperMicro M12SWA-TF. Ofrece suficientes líneas PCIe para usar varias GPU
• CPU: se eligió AMD Threadripper PRO 5955WX. Soporta 128 líneas PCIe y resuelve problemas de ancho de banda
• RAM: se recomiendan 128 GB de memoria. Adecuada para grandes conjuntos de datos y cargas de cómputo
• GPU: GPU NVIDIA 4090 - ideal para entrenar LLM
  • Con 24 GB de VRAM, permite manejar modelos y conjuntos de datos de gran tamaño
  • Su rendimiento en BFloat16 la optimiza para tareas de IA
  • Con 16,384 núcleos CUDA, refuerza la capacidad de procesamiento en paralelo
• Almacenamiento: configuración con SSD NVMe de 6 TB y HDD de 8 TB
• Fuente de poder: 2 PSU de 1500 W para un suministro eléctrico estable
• Gabinete y sistema de enfriamiento: uso de un gabinete compatible con varias GPU y de un sistema de refrigeración eficiente

3. Ensamblaje del equipo

• Configuración de PSU dual: una PSU alimenta la placa madre y el CPU, y la otra suministra energía a las GPU
• Verificación de compatibilidad: revisar a fondo la compatibilidad entre los componentes
• Cómo entrenar tu propio modelo LLM con 4 GPU 4090
• Organizar bien los cables para mejorar el flujo de aire y simplificar el mantenimiento

4. Configuración de software

• Sistema operativo: usar un OS basado en Linux (por ejemplo, Ubuntu) para un entorno de entrenamiento estable
• Drivers y dependencias: instalar los drivers más recientes de GPU, CUDA y las bibliotecas cuDNN
• Framework de entrenamiento: instalar PyTorch o TensorFlow
• Kernel personalizado: habilitar la comunicación P2P entre GPU con un kernel provisto por Tinygrad

5. Entrenamiento del LLM

• Preparación de datos: limpiar y preprocesar el dataset para contar con datos de entrada de alta calidad
• Selección del modelo: elegir un modelo adecuado al hardware, como Llama2 o GPT
• Proceso de entrenamiento: monitorear y optimizar el uso de recursos

6. Optimización y escalado

• Entrenamiento multi-GPU: usar Distributed Data Parallel (DDP) o la tecnología ZeRO
• Aprovechar parches de kernel que permiten la comunicación P2P en las GPU NVIDIA 4xxx
• Ajuste de rendimiento: optimizar hiperparámetros, tamaño de batch y learning rate para lograr mejor convergencia y eficiencia

7. Mantenimiento y monitoreo

• Actualizaciones periódicas: mantener el sistema y el software al día
• Monitoreo del sistema: revisar el estado del sistema con herramientas como nvidia-smi y Prometheus

Ideas clave y consejos

• Alternativas de hardware: GPU como A100 o H100 ofrecen más VRAM, pero las GPU de consumo como la 4090 brindan un excelente rendimiento en configuraciones costo-efectivas
• Considerar el uso de la nube: para proyectos de largo plazo conviene on-premise; para trabajos de corta duración, la nube puede ser más adecuada
• Aprovechar recursos de la comunidad: consultar las guías de Hugging Face y Andrej Karpathy

Construir un equipo para entrenar LLM es un trabajo desafiante pero gratificante, y puede convertirse en una herramienta poderosa para explorar nuevas posibilidades en el desarrollo de IA

[GN⁺]

Comentarios de Hacker News

• Este armado es excelente, y es el mejor armado con 6 RTX 4090

  • Especificaciones: 6 x 24GB NVIDIA GeForce RTX 4090, Intel Xeon W7-3465X, 256GB DDR5 ECC, SSD NVMe Samsung 980 PRO de 2TB, SSD Samsung 870 EVO de 4TB, Ubuntu 20.04
  • La elección de 256GB de memoria DDR5 ECC es interesante, y hasta podría apuntarse a 1TB de RAM
  • El costo es astronómico

• Este artículo parece haber sido escrito por un modelo de IA, y la parte final se siente muy de IA

  • Sería más interesante un artículo de seguimiento sobre la parte de curación, limpieza y entrenamiento de datos que sobre la elección del hardware

• Sería más interesante un artículo sobre qué tipo de entrenamiento se puede hacer con un equipo como este

• Comparte personalmente su experiencia construyendo equipo de ML en casa para preentrenar un LLM

• Me pregunto qué hardware se necesita para ajustar finamente modelos de tamaño mediano

  • Hay muchas guías, pero se enfocan en configurar la cadena de herramientas, y falta información sobre datasets para un buen ajuste fino

• Para la mayoría de la gente, el lado de software del entrenamiento de modelos debería ser más interesante y accesible

  • El aprovechamiento "completo" de la GPU sigue siendo un tema abierto, y podría ser más conveniente alquilar en la nube para hacer el trabajo
  • Este proceso fue un buen material inspirador, y recomiendan https://efficientml.ai/

• Quiero leer un artículo escrito directamente por una persona, no por un modelo de IA

• Quiero hablar sobre los cables riser

  • Estoy teniendo problemas con conectores riser que afirman soportar PCIe 4.0 pero rinden mal
  • Si conecto una unidad NVMe, aparecen problemas y no arranca
  • Parece que NVMe no tolera bien una tasa alta de errores de bits

• Es divertido para un hobby caro, pero para hacer trabajo real es mejor alquilar en Runpod

  • Buen blog

• Solo hacen falta 4 GPU 4090 y un circuito dedicado de 30 amperios