Tenstorrent y el estado de las startups de hardware de IA

• Fortalezas de Tenstorrent
  • Desarrolla CPU de alto rendimiento basados en RISC-V y núcleos de IA, mostrando un enfoque original en el campo del hardware de IA
  • Publica como código abierto toda la pila de software y las herramientas para desarrolladores, construyendo un ecosistema amigable para desarrolladores
  • Puede producir chipsets de IA diferenciados utilizando el proceso Samsung Foundry SF4X, con competitividad en precio
• Desventajas y preocupaciones
  • El fuerte dominio de Nvidia en el mercado de hardware de IA
  • Frente a competidores centrados en GPU, una debilidad relativa de Tenstorrent sigue siendo el todavía elevado problema de latencia (latency)
• Posición en el mercado
  • Tenstorrent ofrece un valor diferenciado frente a Nvidia, AMD y ARM a través del potencial del hardware de IA y la IP de RISC-V
  • Una estrategia enfocada en inference (inferencia) aumenta sus probabilidades de éxito en el mercado

Panorama técnico de Tenstorrent

• Características principales de Grendel (chipset de IA de 3.ª generación)
  • Introducción de una arquitectura de chiplets: separa los núcleos de CPU RISC-V de alto rendimiento y los núcleos de IA
  • Diseño de topología mesh para mover datos de forma eficiente entre los distintos núcleos
• Estructura de núcleos
  • Núcleos RISC-V grandes: pueden ejecutar Linux, para procesar código de propósito general
  • Núcleos Baby RISC-V: núcleos ultrapequeños usados para mover datos y ejecutar kernels. 752 núcleos ocupan menos del 1% del área total del die
  • Núcleos Tensix: unidades de cómputo de IA dedicadas a operaciones vectoriales y matriciales. Cada núcleo Tensix tiene 5 núcleos Baby RISC-V que administran la ejecución de kernels
• Compilador
  • Usa un compilador modificado basado en GCC. El usuario solo necesita escribir un único kernel y GCC se encarga automáticamente del resto

Retos de las startups de hardware de IA

1. Competencia en el mercado de training
   • La GPU H100 de Nvidia domina el mercado
   • Grandes empresas cloud como Amazon y Google colaboran con socios de diseño de semiconductores para producir sus propios chips
2. Oportunidad en el mercado de inference
   • Existe la posibilidad de competir con Nvidia en costo y rendimiento
   • Competitividad en precio derivada del proceso de Samsung y del no uso de HBM
3. Captación de clientes
   • El principal objetivo es el mercado de hardware para inference enfocado en empresas pequeñas o startups

Estrategia de software de Tenstorrent

• Sexta versión de la pila de software
  • Ofrece accesibilidad adaptada a distintos desarrolladores y usuarios (desde modelos de ML hasta kernels de bajo nivel)
  • Colabora con la comunidad de Discord para desarrollar kernels innovadores
• Resolución de problemas del pasado
  • Antes era necesario reconstruir la pila de software para cada hardware
  • Ahora desarrolla una pila de software unificada que funciona independientemente del hardware

Discusión técnica y conclusión

• Filosofía de Tenstorrent
  • "El futuro de la IA no son operaciones puras de álgebra lineal, sino cargas mixtas"
  • Enfatiza la necesidad de integrar CPU y núcleos de IA
• Visión de Jim Keller
  • Si las futuras cargas de trabajo de IA requieren integración con CPU, Tenstorrent sería el único vendor preparado
• Perspectiva de mercado
  • El mercado de training casi no ofrece oportunidades para startups debido a la posición monopólica de Nvidia
  • Puede haber posibilidades de éxito en el mercado de inference con un enfoque innovador
  • El rendimiento de Blackhole de 2.ª generación y Grendel de 3.ª generación será un criterio clave de evaluación en el futuro

Inversión y valor empresarial

• Valoración actual de Tenstorrent
  • Fue valorada recientemente en 2 mil millones de dólares en una ronda Serie D
  • Está aprovechando oportunidades relacionadas con el aumento de precios de ARM en el mercado de IP RISC-V
• Comparación con competidores
  • Frente a otras startups de hardware de IA como Cerebras, destaca por su solidez técnica y mejor encaje con el mercado
  • Tiene una desventaja competitiva frente a Nvidia en el ecosistema CUDA
• Estrategia futura
  • Mantener la competitividad enfocándose en el mercado de inference
  • Continuar con una filosofía centrada en el ecosistema de desarrolladores y el código abierto

Conclusión

• Tenstorrent adopta un enfoque original en hardware de IA y diseño de CPU RISC-V, y ofrece un elemento importante de diferenciación en un mercado dominado por Nvidia y ARM
• Tiene alto potencial de crecimiento en el mercado de inference y es considerada una empresa con gran atractivo de inversión entre las startups de IA.

[GN⁺]

Comentarios en Hacker News

• Opero un negocio de alquiler de computación de alto rendimiento y quiero democratizar el acceso a la computación para que cualquiera pueda usarla fácilmente. Siento que, por la posición dominante de Nvidia, hay poco interés en otros equipos. Espero que crezca el interés y la demanda por este tipo de servicios.
  • Como ARM está subiendo los precios de las licencias y las regalías, creo que el futuro del IP de CPU RISC-V es prometedor. Me preocupa que cada vez más empresas estén rompiendo contratos.
  • Más que hardware de IA, esto parece una versión reducida de la computación tradicional de alto rendimiento, y sería útil para diversos trabajos independientemente del boom de la IA.
  • Tenstorrent cree que el futuro de la IA está en las cargas de trabajo mixtas. Se necesitarán cargas de trabajo de CPU y, hasta ahora, no ha habido grandes cambios.
  • Se menciona la posibilidad de que Groq sea un fraude y se afirma que Llama 3.1 405B puede reemplazar a un ingeniero junior.
  • Casi me había olvidado de la disputa entre ARM y Qualcomm, y pronto habrá grandes cambios.
  • Creo que sería bueno que AMD y NVIDIA entraran con más fuerza en los mercados de centros de datos y supercomputación. Comparo la situación actual con el fanatismo por equipos deportivos.
  • Elogia la actitud abierta del equipo de Tenstorrent para debatir y espera que más empresas sean así.
  • Existe la preocupación de que Llama sea útil para ingenieros senior, pero pueda obstaculizar el aprendizaje de los ingenieros junior. Hay que pensar en cómo los ingenieros junior pueden aprender y comprender de manera efectiva.
  • Se burla de la afirmación de que Llama 3.1 405B puede reemplazar a un ingeniero junior.