Lanzamiento del acelerador de IA Intel Gaudi 3

• Introducción al acelerador de IA Intel Gaudi 3

  • El acelerador de IA Intel Gaudi 3 fue presentado el 9 de abril de 2024 en el evento Intel Vision celebrado en Phoenix, Arizona.
  • Ofrece 4 veces el rendimiento de cómputo de IA para BF16 y un aumento de 1.5 veces en el ancho de banda de memoria frente a la generación anterior.
  • Ofrece a los clientes opciones a través de software de propósito general basado en comunidad y Ethernet estándar de la industria, y permite escalar los sistemas con mayor flexibilidad.

• Por qué Gaudi 3 es importante

  • Empresas de sectores clave como finanzas, manufactura y salud están ampliando el acceso a la IA y pasando rápidamente los proyectos de IA generativa (GenAI) de la fase experimental a implementaciones a gran escala.
  • Para gestionar esta transición, impulsar la innovación y cumplir objetivos de aumento de ingresos, se necesitan soluciones y productos abiertos, rentables y con alta eficiencia energética.
  • El acelerador Intel Gaudi 3 busca satisfacer estos requisitos y ofrecer diversidad mediante software abierto basado en comunidad y Ethernet abierto estándar de la industria, para que las empresas puedan escalar con flexibilidad sus sistemas y aplicaciones de IA.

• Cómo una arquitectura personalizada ofrece rendimiento y eficiencia para GenAI

  • El acelerador Intel Gaudi 3 fue diseñado para operaciones de IA eficientes a gran escala y, al estar fabricado con proceso de 5 nm, representa un gran avance frente a la generación anterior.
  • Está diseñado para activar todos los motores en paralelo, lo que permite operaciones de deep learning rápidas y eficientes, así como la aceleración necesaria para escalar.
  • Funciones principales:
    • Motor de cómputo dedicado a IA: incorpora un motor de cómputo heterogéneo compuesto por 64 TPC programables personalizados para IA y 8 MME.
    • Impulso de memoria para los requisitos de capacidad de los LLM: ofrece 128GB de memoria HBMe2, 3.7TB de ancho de banda de memoria y 96MB de SRAM integrada.
    • Escalado eficiente del sistema para GenAI empresarial: integra 24 puertos Ethernet de 200Gb que brindan conectividad flexible y basada en estándares abiertos.
    • Software abierto de la industria para la productividad de los desarrolladores: integración con el framework PyTorch y modelos basados en la comunidad de Hugging Face optimizados.
  • Funcionalidad adicional de Gaudi 3 PCIe: un nuevo form factor ideal para ajuste fino, inferencia y generación aumentada por recuperación (RAG).

• Adopción en el mercado y disponibilidad

  • Está previsto que el acelerador Intel Gaudi 3 se ofrezca a los OEM en el segundo trimestre de 2024 con configuraciones estándar de la industria de Universal Baseboard y Open Accelerator Module (OAM).
  • Se espera su adopción por parte de grandes OEM como Dell Technologies, Hewlett Packard Enterprise, Lenovo y Supermicro.
  • Se espera que la disponibilidad general del acelerador Intel Gaudi 3 llegue en el tercer trimestre de 2024, y que la tarjeta add-in Intel Gaudi 3 PCIe esté disponible en el cuarto trimestre de 2024.
  • Se prevé el uso del acelerador Intel Gaudi 3 en varias infraestructuras de nube para LLM rentables, incluida NAVER.

• Planes a futuro

  • El impulso de Intel Gaudi 3 servirá como base para Falcon Shores, el GPU de próxima generación de Intel para IA y HPC.
  • Falcon Shores integrará Intel Gaudi e Intel Xe IP y ofrecerá una única interfaz de programación de GPU basada en la especificación Intel oneAPI.

Opinión de GN⁺

• Intel Gaudi 3 muestra mejoras significativas en rendimiento de entrenamiento e inferencia de modelos GenAI frente a productos competidores clave como Nvidia H100 y H200. Esto sugiere que podría posicionarse como una alternativa capaz de desafiar la posición dominante de Nvidia en el mercado de IA.
• El soporte para software abierto y escalabilidad basada en estándares puede contribuir a la rentabilidad de las empresas y a evitar el vendor lock-in. En especial, puede ser una opción atractiva para compañías que buscan construir sistemas de IA a gran escala.
• Sin embargo, Intel ha enfrentado en los últimos años dificultades como la pérdida de competitividad en el mercado de CPU y retrasos en el lanzamiento de productos. Será importante observar si Gaudi 3 puede lanzarse según lo previsto y lograr una adopción amplia por parte de los clientes.
• También se espera una intensificación de la competencia en el mercado de semiconductores para IA con la llegada de productos rivales como Instinct MI300 de AMD. Más allá de la ventaja técnica, la construcción de un ecosistema de software y la captación de clientes serán factores decisivos.

[GN⁺]

Comentarios de Hacker News

• El uso de la interfaz OAM probablemente permitirá que entusiastas sigan aprovechando este dispositivo incluso dentro de 8 a 10 años
• Hay escepticismo sobre si Intel dará soporte constante y prolongado a esta línea de productos
• Usa memoria HBM2e, la misma que se utilizó en la Nvidia A100 lanzada en 2020; no es lo más reciente, pero con 8 stacks logra un ancho de banda comparable al de la H100
• Hay interés en si el precio de la 'Gaudi 3 PCIe' será lo suficientemente razonable como para instalarla en una workstation
• Se agradece que en este anuncio se haya usado el método de las 5W y la H
• Parece que la Gaudi 3 se fabrica con proceso de 5 nm en TSMC o Samsung
• Con el auge de arquitecturas dispersas como MoE, la capacidad de 128 GB parece importante y da la impresión de que competirá con Nvidia
• También se esperan benchmarks de MLPerf para la AMD MI300x
• La integración de 24 puertos Ethernet de 200 Gb es impresionante, aunque también decepciona al considerar el costo del cableado y demás
• Resulta curioso que se haya usado "terabytes (TB)" como unidad de ancho de banda de memoria