CEO de Nvidia, Jensen Huang, presenta un nuevo chip de IA: "Se necesita un GPU más grande"

CEO de Nvidia, Jensen Huang, presenta un nuevo chip de IA: 'Se necesita un GPU más grande'

• Nvidia anunció el lunes una nueva generación de chips de inteligencia artificial (IA) y software para ejecutar modelos de IA.
• El nuevo procesador gráfico para IA se llama 'Blackwell' y está previsto que se envíe a finales de este año.
• Este anuncio llega en un momento clave para empresas y desarrolladores de software que todavía siguen apresurados por conseguir chips similares al H100 de la generación actual.

Blackwell, el sucesor de Hopper

• Nvidia actualiza su arquitectura de GPU cada dos años, logrando grandes saltos de rendimiento.
• El GB200, un procesador basado en Blackwell, ofrece 20 petaflops de rendimiento en IA frente a los 4 petaflops del H100, lo que permite a las empresas de IA entrenar modelos más grandes y complejos.
• Este chip incluye un 'Transformer Engine' creado específicamente para ejecutar IA basada en transformers, y combina dos dies fabricados por TSMC en un solo chip grande.

Microservicios de inferencia de Nvidia

• Nvidia añadió un nuevo producto llamado 'NIM' (Nvidia Inference Microservice) a su suscripción de software Nvidia Enterprise.
• NIM facilita el proceso de inferencia para ejecutar software de IA usando GPU de Nvidia ya existentes, lo que permite a las empresas seguir aprovechando los millones de GPU de Nvidia que ya poseen.
• Esta estrategia busca incentivar a los clientes que compran servidores basados en Nvidia a suscribirse a Nvidia Enterprise, que cobra una licencia anual de $4,500 por GPU.

Opinión de GN⁺

• El anuncio del nuevo chip de IA 'Blackwell' de Nvidia y del software relacionado 'NIM' simboliza un avance tecnológico en el campo de la IA y subraya la importancia de las plataformas de hardware y software para el entrenamiento y la inferencia de modelos de IA.
• La mejora de rendimiento del chip Blackwell ofrece a los investigadores de IA la oportunidad de experimentar con modelos más grandes y complejos, lo que puede desempeñar un papel importante en el avance de la IA.
• Sin embargo, el alto costo de los chips de IA de alto rendimiento puede convertirse en una barrera de entrada para algunas empresas o instituciones de investigación, lo que podría abrir el debate sobre la democratización de la tecnología.
• Otras empresas que compiten con Nvidia también están desarrollando productos con capacidades similares; por ejemplo, productos como Radeon Instinct de AMD o las TPU de Google ofrecen alternativas en el mercado de hardware para IA.
• Entre los factores a considerar al adoptar tecnología de IA están el costo, el rendimiento, la compatibilidad y el soporte técnico, y la nueva propuesta tecnológica de Nvidia puede ofrecer grandes ventajas a las empresas que buscan cubrir esos criterios.

[corelyai]

• Conferencia de desarrolladores de Nvidia: presentación del chip Blackwell y tecnologías futuras

• Nvidia presentó Blackwell, una plataforma innovadora con 28 mil millones de transistores adyacentes en dos dies para crear un único chip gigante que transfiere 10 terabytes de datos por segundo, con compatibilidad de forma y funciones con Hopper.
• El switch de enlace MVY de Blackwell, con 50 mil millones de transistores, permite comunicación de máxima velocidad entre GPU, lo que hace posible construir sistemas de IA de exaflop en un solo rack.
• Nvidia anunció alianzas con AWS, Google, Oracle y Microsoft para acelerar diversos servicios de IA e integrar la tecnología de Nvidia en esas plataformas.
• Nvidia presentó una fundición de IA que colabora con empresas como SAP, ServiceNow, Cohesity, Snowflake y Dell para crear soluciones de IA generativa y fábricas de IA.
• Al transmitir Omniverse Cloud a Vision Pro para facilitar una integración fluida y flujos de trabajo entre distintas herramientas de diseño, Nvidia también presenta Project GR00T, Isaac Lab y OSMO para robots impulsados por IA.
• El robot bdx de Disney, impulsado por Jetson, hizo una aparición especial para mostrar capacidades de aprendizaje en Isaac Sim.

Es un resumen del contenido del video de CNET hecho con corely.ai (https://www.youtube.com/watch?v=bMIRhOXAjYk)

[GN⁺]

Opiniones de Hacker News

• Se observó en la conferencia que Nvidia se está moviendo en la dirección de ir apilando el stack.

  • Como proveedor de hardware, Nvidia sigue construyendo cosas cada vez más grandes, tal como se esperaba.
  • Lo llamativo es que está construyendo NIM, un "docker para llms".
  • NIM es un sistema de contenedores que puede desplegarse fácilmente en hardware de Nvidia.
  • Será interesante ver qué impacto tendrá esto en las startups de IA.

• Se percibe que Nvidia se está transformando en un proveedor de plataforma.

  • Parece que sería más rentable para Nvidia como plataforma de servicios de IA.
  • Puede ser difícil equilibrarlo con sus alianzas con AWS y Microsoft.
  • Nvidia tiene ventaja porque la dependencia de la IA respecto a CUDA es alta.
  • Hay interés en ver cómo se desarrollará esto en el futuro.

• Hay curiosidad sobre si FP4 es coma flotante de 4 bits.

  • La gráfica comparativa que dice que es 30 veces superior a Hopper resulta algo engañosa.

• Nvidia adquirió Bright Cluster Manager hace algunos años.

  • Se percibe la intención de ofrecer el stack completo y surge la pregunta de quién será su próxima adquisición.

• Se pregunta si "empresa de plataforma" en este caso significa múltiples chips.

  • Como no es realista meter demasiados transistores en un solo die, avanzar hacia múltiples chips parece lógico.

• Afirman una reducción de 25 veces en el consumo de energía, pero es difícil de entender.

  • Hace falta una explicación de de dónde sale esa cifra.

• Se menciona la producción en masa de decenas de petaflops.

  • Existen varias estimaciones sobre la potencia de cómputo necesaria para replicar la actividad del cerebro humano.
  • Un petaflop es 10^15.
  • Se subraya que estamos en una época asombrosa.

• Los ingresos del centro de datos de Nvidia alcanzaron un récord de US$18.4 mil millones en el cuarto trimestre de 2023.

  • Esto representa un aumento del 27% frente al trimestre anterior y del 409% interanual.
  • Esto sugiere que los ingresos por inferencia están aumentando de manera significativa.

• Que FP8 sea 2.5 veces superior a Hopper resulta algo decepcionante después de tanto tiempo.

  • Como son 2 chips fusionados, el efecto real sería solo de un aumento del 25%.
  • La mayor parte del avance está en el ancho de banda de memoria y el uso de energía.
  • Hay curiosidad sobre cómo impactarán estos avances en el segmento de consumo.

• Se comparte un enlace con información adicional sobre detalles técnicos.