Tenstorrent, liderada por Jim Keller, presenta Grayskull basado en RISC-V como respuesta a las GPU

• Tenstorrent es una empresa liderada por Jim Keller, el reconocido diseñador de chips que participó en el diseño de la arquitectura Zen de AMD y de los chips de conducción autónoma de Tesla
• Lanzó Grayskull, una alternativa a las GPU basada en RISC-V, fácil de programar y escalar, y destacada en el manejo de sparsity y cómputo condicional durante la ejecución
• Presentó dos versiones de kits de desarrollo: Grayskull e75 y Grayskull e150. Son hardware dedicado únicamente a inferencia para desarrollo de IA, e incluyen el software TT-Buda y TT-Metalium
• Tenstorrent firmó una alianza con el Leading-edge Semiconductor Technology Center (LSTC) de Japón
• Planea construir un acelerador de IA de última generación a 2 nm utilizando el IP de RISC-V y chiplets de Tenstorrent

¡El poder de Grayskull!

• El modelo Grayskull e75 integra un solo procesador Grayskull en una tarjeta PCIe Gen 4 de medio largo, bajo perfil, que opera a 75 W
• El modelo Grayskull e150 integra un procesador Grayskull en una tarjeta PCIe Gen 4 de altura estándar y 3/4 de largo, que opera hasta 200 W, ofreciendo un equilibrio entre consumo y rendimiento

Procesadores y DevKits de Tenstorrent

• Los procesadores de Tenstorrent están compuestos por una cuadrícula de núcleos llamados Tensix, e incorporan hardware de comunicación en red que les permite comunicarse directamente entre sí a través de la red sin pasar por DRAM
• Los Grayskull DevKits soportan diversos modelos, como BERT para procesamiento de lenguaje natural, ResNet para reconocimiento de imágenes, Whisper para reconocimiento y traducción de voz, YOLOv5 para detección de objetos en tiempo real y U-Net para segmentación de imágenes
• Los DevKits Grayskull e75 y e150 se pueden comprar por $599 y $799, respectivamente

Opinión de GN⁺

• Grayskull de Tenstorrent, como alternativa basada en RISC-V a las GPU tradicionales, puede aportar más diversidad a la industria al ofrecer una nueva opción para desarrolladores de IA
• El hecho de que Grayskull esté especializado en el manejo de sparsity y cómputo condicional durante la ejecución le da potencial para mejorar la eficiencia y el rendimiento de los modelos de IA
• Al adoptar esta tecnología, conviene considerar la compatibilidad con los entornos de desarrollo existentes, el soporte del ecosistema y la eficiencia de rendimiento y costos a largo plazo
• Otros productos de la industria con funciones similares incluyen las GPU de NVIDIA y las TPU de Google, pero Grayskull se diferencia por estar basado en la arquitectura RISC-V
• El éxito de Grayskull podría impulsar el crecimiento y la innovación del ecosistema de hardware de código abierto, contribuyendo a la democratización de la tecnología y a una mayor accesibilidad

[ryudaewan]

Parece que Jim Keller es fan de He-Man. https://youtu.be/V8h8snfYidg?feature=shared

[GN⁺]

Comentarios de Hacker News

• Resumen del kit de desarrollo Grayskull:

  • Grayskull e75: consumo de 75W, 96 núcleos Tensix, velocidad de reloj de 1GHz, 96MB de SRAM, 8GB de memoria LPDDR4 (102.4 GB/s), precio de $599
  • Grayskull e150: consumo de 200W, 120 núcleos Tensix, velocidad de reloj de 1.2GHz, 120MB de SRAM, 8GB de memoria LPDDR4 (118.4 GB/s), precio de $799
  • Hay interés en cómo se comparará el rendimiento de inferencia de estos productos frente a las tarjetas gráficas y si serían adecuados para un home lab.
  • Existe una entrevista de unboxing de una versión preliminar del producto, pero no se proporcionan métricas de rendimiento.

• Opiniones sobre la arquitectura:

  • Está atrayendo interés por la participación de Jim Keller, pero para quienes no tienen conocimientos de diseño de CPU/ASIC, la arquitectura parece algo "extraña".
  • Se pide una explicación de la topología en red, ya que se mezclan una cuadrícula de núcleos, memoria e interfaces.

• Explicación de cómo funciona la arquitectura:

  • Es un sistema base compuesto por núcleos Tensix y memoria compartida.
  • Cada núcleo Tensix incluye una unidad matemática tensorial de alta densidad (FPU) para operaciones de tensores, un motor SIMD (SFPU), 5 núcleos de CPU Risc-V y una gran memoria local.
  • Los núcleos están conectados en dos anillos que se mueven en direcciones opuestas.
  • Los núcleos RISC-V se usan para controlar la FPU y la SFPU, así como para preparar y mover datos.
  • La SFPU es un motor SIMT más general que puede ejecutarse desde los núcleos RISC-V.
  • Se puede probar un simulador de la SFPU en GitHub, y el modelo de programación puede verse en ejemplos de kernels de bajo nivel.
  • La SFPU de Grayskull tiene 4 LRegs de propósito general que pueden almacenar 64 valores de 19 bits, mientras que Wormhole tiene 8 LRegs de propósito general que pueden almacenar 32 valores de 32 bits.
  • La SFPU de Wormhole tiene aproximadamente 3 veces más IPC que la de Grayskull y algunas instrucciones nuevas de SFPU.
  • Revisando la documentación y explorando el repositorio de GitHub se puede encontrar más información.

• Dudas sobre la selección de modelos:

  • Se cuestiona por qué se empieza con modelos como BERT, ResNet, Whisper, YOLOv5 y U-Net.
  • Se supone que el objetivo es la eficiencia energética, pero no parece encajar del todo.

• Preguntas sobre los requisitos del sistema:

  • Se cuestiona por qué el sistema anfitrión requiere 64GB de RAM.
  • Se comenta que un servidor de inferencia debería tener una configuración mínima aparte del hardware de inferencia.

• Comparación con silicio personalizado de otras empresas:

  • Hay curiosidad sobre cómo comparar este tipo de procesadores con el silicio personalizado de AWS, Google y Tesla.

• Similitud de la arquitectura:

  • Da la impresión de ser similar a cómo intentaba funcionar el GPU Intel Project Larrabee, solo que usando RISC-V.

• Decepción con las soluciones solo para inferencia:

  • Se expresa cansancio porque startups prometedoras como Groq y Tenstorrent ofrezcan soluciones solo para inferencia.
  • A través de canales oficiales de Groq se obtuvo la información de que no planean invertir en habilitar entrenamiento.
  • Aunque se entiende porque la demanda de inferencia puede ser millones de veces mayor que la de entrenamiento, sigue resultando decepcionante.

• Número de núcleos RISC-V del Grayskull™ e150:

  • El Grayskull™ e150 tiene 120 núcleos Tensix, cada uno con 5 núcleos RISC-V, para un total de 600 núcleos de CPU RISC-V.

• Falta de información sobre rendimiento y arquitectura:

  • No se encuentra información detallada ni sobre el rendimiento ni sobre la arquitectura.
  • Para un dispositivo centrado en ML, el ancho de banda de memoria es muy bajo y el precio es muy alto.
  • Se plantea la duda de qué es lo que se está pasando por alto.