El MI300X de AMD supera al H100 de Nvidia en inferencia de LLM

Rendimiento del AMD MI300X que supera al NVIDIA H100

Puntos principales

• Acelerador MI300X de AMD: el más reciente acelerador MI300X de AMD mostró un rendimiento superior al del H100 de NVIDIA.
• Colaboración entre TensorWave y MK1: durante el último mes, TensorWave y MK1 colaboraron para optimizar el rendimiento de inferencia de IA en hardware de AMD.
• Arquitectura MoE: el rendimiento se probó usando la arquitectura Mixture of Expert (MoE). MoE se aplica en potentes LLM open source usados por Mistral, Meta, Databricks y X.ai, entre otros.
• Resultados iniciales: usando el software de inferencia de MK1, el MI300X logró un throughput 33% mayor que el H100 SXM al ejecutar vLLM con Mixtral 8x7B.
• Competitividad: aunque el ecosistema de software de NVIDIA está más maduro, AMD está surgiendo como un competidor fuerte en el mercado de IA. Considerando la disponibilidad del hardware y el costo, el MI300X es una opción atractiva para empresas que ejecutan inferencia a gran escala en la nube.
• Perspectiva futura: se espera que, con optimizaciones adicionales, la ventaja de rendimiento de AMD aumente aún más.

Opinión de GN⁺

• Potencial de mejora de rendimiento: incluso con solo los resultados iniciales, el MI300X de AMD mostró un alto rendimiento. Con optimizaciones adicionales, se puede esperar un desempeño aún mejor.
• Competitividad en el mercado: aunque el ecosistema de software de NVIDIA está más maduro, el hardware de AMD puede fortalecer su posición en el mercado al mostrar un rendimiento competitivo.
• Eficiencia de costos: en términos de disponibilidad y costo del hardware, el MI300X podría ser una mejor opción. Esto es especialmente importante para empresas que realizan tareas de inferencia a gran escala.
• Consideraciones para adoptar la tecnología: al introducir nuevo hardware, la compatibilidad de software y la optimización son factores clave. Si se adopta el MI300X de AMD, puede ser necesario un esfuerzo adicional en la configuración inicial y la optimización.
• Productos competidores: además del H100 de NVIDIA, existen otros productos aceleradores de IA. Por ejemplo, el TPU de Google o los aceleradores de Habana Labs de Intel. Es importante comparar las características y el rendimiento de cada producto para tomar la mejor decisión.

[GN⁺]

Opiniones de Hacker News

• TensorWave es un proveedor de nube especializado en cargas de trabajo de IA, y ofrece alto rendimiento aprovechando los aceleradores Instinct™ MI300X de AMD.
• Usar en 2024 un benchmark de 128 tokens de entrada no representa la mayoría de las cargas de trabajo, y el rendimiento de prefill es muy importante.
• Hace falta competencia, y actualmente el valor de mercado de Nvidia es de alrededor de 0.6 billones de dólares, superior al de toda la Bolsa de Fráncfort.
• El mercado y el precio de venta reflejan el valor de las soluciones de Nvidia y de AMD, incluyendo herramientas, software, costo total de propiedad (TCO) y capacidad de administración.
• Me pregunto si muchas empresas realmente gastan mucho dinero para ejecutar en paralelo modelos de 8x 7B parámetros, y si es posible entrenar un modelo de 14B con un solo acelerador.
• AMD y otras empresas están intentando vencer a Nvidia usando benchmarks seleccionados de forma conveniente, y emplean modelos de comparación de generaciones intermedias.
• Como científico de IA, creo que AMD está subvalorada frente a Nvidia. Sus chips no son tan rápidos como los de Nvidia, pero en la mayoría de las industrias son rentables y pueden lograr resultados similares.
• Me pregunto si la configuración de paralelismo de tensores afecta el rendimiento. Según el artículo, AMD establece el tensor parallelism en 1 y Nvidia en 2.
• Sin métricas estadísticas adecuadas ni rendimiento por watt, la comparación no tiene sentido.
• Un benchmark con INT8/FP8 habría sido bueno, y ambas tarjetas podían cargarse con alrededor de 60GB de VRAM.
• AMD tiene mejor hardware, pero todavía no tiene capacidad de producción suficiente para competir con Nvidia. Cuando llegue la competencia real, los márgenes se van a comprimir.
• El dominio de Nvidia no se debe a CUDA, sino a que alrededor del 40% de sus ingresos proviene de grandes empresas que usan su propia stack personalizada. Cuando la competencia se ponga al día, ofrecerán GPUs más baratas.
• En teoría, la MI300X debería ser más barata, pero queda por ver si eso realmente será así.