Project Digits de Nvidia, una "supercomputadora de IA personal"

• Nvidia presentó en CES 2025 un dispositivo compacto basado en Grace Blackwell que puede colocarse sobre el escritorio
• Project Digits es una supercomputadora de IA personal que ejecuta localmente la pila de software de IA de Nvidia, apuntando a una opción intermedia entre la nube y las estaciones de trabajo
• Nvidia explica que una sola unidad admite hasta 1 petaflop de rendimiento con el GB10 Grace Blackwell Superchip y puede ejecutar modelos de hasta 200 mil millones de parámetros
• El GB10 fue desarrollado en colaboración con MediaTek e incluye una GPU Blackwell, una CPU Grace de 20 núcleos, 128 GB de memoria y hasta 4 TB de almacenamiento flash
• Saldrá a la venta desde mayo a 3,000 dólares a través de socios principales, por lo que ofrece un entorno potente de desarrollo local para IA, aunque la base de compradores particulares podría ser limitada

---

Grace Blackwell llega al escritorio

• Nvidia presentó Project Digits en CES 2025, celebrado en Las Vegas
• Project Digits es una “supercomputadora de IA personal” que ofrece la plataforma de hardware Grace Blackwell de la compañía en un formato compacto
• Se plantea que sus principales usuarios serán investigadores de IA, científicos de datos y estudiantes
• El CEO Jensen Huang explicó que Project Digits ejecuta toda la pila de IA de Nvidia y puede usarse como una plataforma de computación en la nube sobre el escritorio o como una estación de trabajo

Escala de ejecución de modelos y configuración de hardware

• GB10 Grace Blackwell Superchip

  • Project Digits incorpora el nuevo GB10 Grace Blackwell Superchip de Nvidia
  • Ofrece hasta 1 petaflop de potencia de cómputo para prototipado, ajuste fino y ejecución de modelos de IA
  • Nvidia señala que una sola unidad de Project Digits puede ejecutar modelos de hasta 200 mil millones de parámetros

• Configuración del chip y la memoria

  • El GB10 fue desarrollado en colaboración con MediaTek
  • Está compuesto por una GPU Nvidia Blackwell y una CPU Nvidia Grace de 20 núcleos conectadas entre sí
  • En su interior incluye un pool de memoria de 128 GB y hasta 4 TB de almacenamiento flash

• Expansión y modo de uso

  • Si se conectan dos unidades de Project Digits, pueden ejecutar modelos de hasta 405 mil millones de parámetros, según la carga de trabajo
  • Puede usarse de forma independiente, o también conectado a una PC con Windows o Mac
  • El sistema operativo es DGX OS, basado en Linux y desarrollado por Nvidia

Lanzamiento y precio

• Se espera que Project Digits salga a la venta desde mayo por 3,000 dólares a través de “socios principales”
• Huang afirmó que llevar el Grace Blackwell Superchip a millones de desarrolladores y poner una supercomputadora de IA sobre el escritorio de científicos de datos, investigadores de IA y estudiantes amplía la participación en la era de la IA

[berry]

Sería genial que, tal como afirman, el rendimiento sea bueno y también que el mantenimiento esté bien hecho.

[GN⁺]

Opiniones en Hacker News

• Al ver el Jetson Nano que tengo arrumbado en un rincón, Nvidia lo abandonó después de 4 años y ahora, en su retiro, solo sirve de pisapapeles.
  Salió como una computadora de placa única para “IA”, pero ya estaba basada en un Ubuntu 18.04 personalizado y obsoleto; cuando 18.04 llegó al fin de soporte, Nvidia dejó por completo de actualizar su JetPack propietario y los drivers.
  Como resultado, el stack de machine learning como CUDA y Pytorch también quedó inútil, y no pienso volver a comprar una computadora de placa única de Nvidia a menos que el soporte de software entre al upstream del kernel de Linux.

  • Es un punto realmente importante.
    La relación entre Nvidia y Linux ha sido complicada en general. Aunque ofrecen drivers, una de las formas más seguras de romper una instalación de Linux sin posibilidad de recuperación era instalar o actualizar esos drivers.
    Más que priorizar Linux como plataforma con soporte de primera clase, da la impresión de que solo aceptan hacer lo mínimo indispensable para poder decir que “funciona”.
  • Me pasó algo parecido, y mi Xavier NX también dejó de funcionar después de la última actualización; ahora solo junta polvo.
    Sinceramente, las computadoras de placa única de Nvidia me dieron más problemas que beneficios.
  • Desde la serie Orin en adelante usan UEFI y parece que también pueden ejecutar un kernel upstream sin la GPU habilitada. Incluso hay una página de guía de usuario relacionada.
    Parece una mejora considerable, pero como el fork de JetPack Linux trae aparte el driver nvgpu para Tegra y todavía no se ha separado de ese árbol, la limitación de tener un kernel sin GPU es grande.
    Si no estás haciendo explícitamente robótica e inferencia de IA en el edge, hay mejores alternativas.
    Por el nombre, el diseño estilo DGX y software como DGX OS, este dispositivo se siente más cercano a Grace Hopper/diseños de datacenter que a Tegra.
    En ese lado de workstations/servidores se usa UEFI, y existe la posibilidad de usar el kernel Linux upstream y el driver open source de Nvidia en la distribución que uno quiera.
    Si es así, podría ser una máquina Linux común mucho más familiar que la serie Jetson, aunque todavía no se sabe si GH200/GB200 también necesitarán parches personalizados.
    El tiempo lo dirá, pero si combina una buena GPU con un buen diseño ARM Cortex y se comporta más como una caja Linux tradicional que la serie Jetson, podría ser una excelente máquina local de inferencia de IA.
  • Ejecuta DGX OS, y Jensen dijo directamente que este dispositivo será una parte completa del stack de hardware de Nvidia.
  • Si no hay mantenimiento extendido aparte, Ubuntu 22.04 también llega al fin de soporte en 2 años.
    Por experiencia, los proveedores no se ocupan de los parches de seguridad tan bien como upstream. Pensando en el ecosistema cerrado de Nvidia, no esperaría mucho del soporte a largo plazo.

• Esto parece tener más importancia que las GPU de la serie 5x.
  Considerando la fiebre por IA/LLM, incluso si sale una Mac mini M4 Max/Ultra, podría comerse parte del segmento de desarrolladores de IA aficionados que Apple tiene capturado.
  En los últimos años parece que Nvidia está haciendo todo bien; me hace pensar que ojalá hubiera tenido sus acciones.

  • Lo que toda empresa necesariamente debe tener es una ruta de onboarding.
    Xeon Phi fracasó por varias razones, pero la disponibilidad de software optimizado era una parte en la que no tenía por qué haber fallado.
    Hoy existen Xeon, EPYC y MI300C con muchos núcleos eficientes, pero si durante los últimos 10 años hubiéramos usado software adaptado a ese hardware, el problema de sacarles rendimiento ya estaría resuelto.
    Con Itanium pasó lo mismo: lo primero que Intel debió garantizar era buen soporte de Linux, y podía haberlo preparado incluso antes de que saliera el primer silicio.
    Durante un tiempo el soporte de Itanium fue bueno, pero ahora es una plataforma muerta desde hace mucho.
    Sun también falló de forma parecida con SPARC. Después de abandonar las workstations, ya no había una ruta fácil de onboarding.
    Hicieron bien en mantener la relevancia del sistema operativo con OpenSolaris y en tolerar de facto x86 Solaris para que la gente pudiera aprender y capacitarse.
    Hubiera sido bueno que Oracle Cloud al menos ofreciera SPARC como instancias en la nube.
    IBM va por el mismo camino. No existe una máquina POWER de entrada, razonable, que pueda competir en rendimiento con una x86 de nivel workstation.
    Lo único que hay es algo como una máquina pequeña de medio rack que se pueda poner junto al escritorio.
    Casi no he visto empresas que quieran desplegar sistemas nuevos con AIX, IBMi o Linux on POWER, porque construir sobre plataformas rivales es demasiado fácil.
    En IBM Cloud se pueden conseguir instancias AIX, IBMi e IBM Z, pero no es sencillo, y no encontré tutoriales para ir “de 0 a SSH/5250/3270”.
    Linux on Z es posible, pero no parece haber una forma en que IBM ofrezca Linux on POWER, y solo algunos laboratorios de HPC todavía ofrecen esos recursos.
  • Los desarrolladores de los que se habla aquí no son solo aficionados, sino también quienes compraban SuperMicro y Lambda PC para desarrollar modelos para sus empleadores.
    Muchas empresas comprarán estos equipos para desarrollo local, con el fin de dejar libres los costosos chips de nivel enterprise para uso comercial.
    Un movimiento brillante. El factor de forma es aún más sorprendente: meter este nivel de rendimiento en algo de tamaño parecido a una Mac mini.
    Que con 6000 dólares puedas comprar dos y correr localmente modelos de 400B+ es algo casi absurdo.
    Hace apenas un año, imaginar correr algo como ChatGPT en el escritorio era impensable.
  • Creo que el segmento de aficionados representa una porción muy pequeña del mercado.
    Aun así, como los aficionados empujan mucho las mejoras del stack tecnológico, si empiezan a usar esto, el ecosistema NVIDIA se afianzará aún más.
  • Jensen dijo en una entrevista reciente algo en el sentido de “están intentando matar a mi empresa”.
    Las Mac con memoria unificada son una amenaza a la que debe responder de inmediato. Por lo que se ve, Jensen es un CEO de tiempos de guerra y no está bromeando.
    Tampoco sorprende que AMD esté ausente del espacio de gama alta. Nvidia está enfrentándose de frente a Apple, y AMD no es una empresa cuyo negocio sea competir con Apple.
  • Viendo a la gente a mi alrededor, el mercado aficionado ya parece saturado con Nvidia 4090/3090.
    Es porque la gente quiere hacer fine-tuning en su tiempo libre y también generar imágenes para adultos.
    El diagrama de Venn de los usuarios que publican que corren modelos de difusión y LLM en casa es prácticamente un círculo.

• Sorprende que Nvidia lance una supercomputadora de escritorio Linux con mejor relación precio/rendimiento que cualquier cosa del lado Wintel, y que el nuevo stack de software no se porte a Win32 sino que solo corra en WSL2.
  Puede que de verdad llegue el año del escritorio Linux.

  • Todavía es ambiguo concluir que la relación precio/rendimiento sea mejor.
    No parece que Neoverse N2 de 20 núcleos vaya a destacar especialmente frente a Zen 5 de 16 núcleos.
    La parte de GPU se ve prometedora, pero no mencionan ancho de banda de memoria, configuración, especificaciones detalladas ni rendimiento.
    Solo vi información vaga como “desde 3000 dólares”, hasta 4 TB NVMe y hasta 128 GB de RAM.
    Espero que AMD Strix Halo, es decir AI Max+ 395, también sea bastante competitivo.
  • Esto parece más una workstation que una computadora de escritorio.
    Entonces me pregunto si no es una extensión de la corriente de “Unix sobre workstations” que viene desde hace décadas.
  • Nvidia obviamente no querrá pagar el costo de una licencia de Windows.
    Nvidia colabora estrechamente con Microsoft para desarrollar sus tarjetas, y las funciones clave entran primero en DirectX; luego llegan a Vulkan y OpenGL como extensiones de Nvidia, y más tarde, cuando otros proveedores implementan extensiones similares, se convierten en estándar.
  • ¿Dónde dice que no soporta Win32?
  • No entiendo exactamente qué significa eso de que “todo el nuevo stack de software solo se ejecuta en WSL2 y no se porta a Win32”.
    ¿WSL2 no es, en esencia, una máquina virtual? Entonces significa que corre en Linux, y que Linux también puede correr en WSL2, ¿no?
    Si realmente funciona solo en WSL2, ya es otra historia.
    Me entusiasmaba pensando que era una workstation Linux, pero si WSL2 está involucrado de alguna forma o es obligatorio, hay que salir corriendo.

• Me sorprendió un poco ver tantos comentarios comparando el costo con soluciones baratas en la nube.
  Creo que la propuesta de valor de Nvidia es completamente distinta.
  Por ejemplo, si una startup en la UE maneja datos personales o secretos de la empresa y quiere analizarlos con un LLM, mientras el rendimiento no sea el cuello de botella, el simple hecho de que los datos no salgan del sótano puede valer más de 3000 dólares.

  • Si puedo correr localmente un buen modelo para procesar solicitudes, estaría dispuesto a pagar 3000 dólares por este dispositivo.
    Haría muchos más experimentos tontos con LLM en hardware que es mío que pagando por token.
    De hecho, ahora mismo paso mucho más tiempo con Llama locales más pequeños que con Claude.
    Aunque no haga nada sensible, todavía me incomoda enviar mis datos a estas empresas.
    Esto no compite con la nube, sino con Mac mini y GPU de alto rendimiento, y en ese mercado 3000 dólares es un precio muy atractivo.
  • Muchas pymes no querrán enviar sus datos a una caja negra en la nube.
  • También es excelente para empresas establecidas.
    Si una empresa tecnológica tiene algunos de estos dispositivos localmente, los usuarios pueden consultar el LLM de la empresa con datos sensibles.
  • Incluso comparado con otras alternativas locales, como “armar tu propia PC”, el precio parece bastante competitivo.
    Ahora desarrollo, entreno y uso modelos en hardware armado con piezas que quedaron después de actualizar mi desktop; definitivamente compraría uno de estos, y si funciona bien podría comprar dos.
  • Entiendo que el valor de que los datos no salgan del sótano pueda superar los 3000 dólares.
    Pero las regulaciones o los intereses comerciales a veces exigen redundancia y protección de datos, así que mantener todo únicamente on-site puede no cumplir esos requisitos.

• Hay un mercado del que aquí no se habló mucho: bioinformática.
  Illumina, un actor dominante en este mercado, ya ofrece un chip de hardware a medida para servidores llamado DRAGEN, pensado para analizar rápidamente miles de genomas.
  A medida que la secuenciación del genoma humano se vuelve común, el principal mercado de este producto es la medicina personalizada.
  Empresas como Oxford Nanopore usan GPU integradas para el basecalling, que convierte las señales eléctricas crudas del secuenciador en A, T, G y C, pero por restricciones de tamaño y energía no funciona tan bien como se esperaba.
  Este dispositivo podría ser un gran game changer para lugares como ONT, y especialmente para tareas más sofisticadas como la secuenciación adaptativa.
  En otras áreas de la bioinformática, por ejemplo la mayor parte del software de análisis cotidiano, la dependencia de CPU y RAM sigue siendo alta.

  • Por ahora es un mercado relativamente pequeño.
    Illumina adquirió por 100 millones de dólares la empresa que fabrica ese chip.
    Analizar un genoma con hardware de propósito general en la nube suele costar menos de 10 dólares.
    Por supuesto, estos chips pueden habilitar análisis que hoy son imposibles o están bloqueados por costo.
    Pero al menos ahora, el cuello de botella en genómica no es el análisis sino el costo de secuenciación, que actualmente ronda los 400 a 500 dólares por genoma.
  • Illumina no parece preocuparse mucho por la seguridad: https://arstechnica.com/security/2025/01/widely-used-dna-seq...
  • En el panorama más amplio, OpenAI o3/o4 y los modelos especializados abrirán de par en par la puerta al etiquetado y descubrimiento genómico.
    Pero creo que todavía faltan entre 1 y 3 años para que ASI entre de lleno.
  • ¿Esto apunta a laboratorios, hospitales o uso doméstico personal?
  • Una pequeña corrección: Illumina domina el mercado de secuenciación, no todo el mercado de bioinformática.

• Me dio curiosidad y lo busqué: este dispositivo ejecuta algo llamado DGX OS.
  Las funciones principales de DGX OS 6 son: base en Ubuntu 22.04, kernel Linux 5.15 de soporte a largo plazo reciente, actualizaciones de paquetes de software como Python y GCC, un kernel Linux optimizado por Nvidia con soporte para GPU Direct Storage sin parches adicionales, acceso a todas las ramas de drivers de GPU de Nvidia y versiones de CUDA Toolkit, Ubuntu OFED por defecto y opción de instalar NVIDIA OFED para funciones adicionales, soporte de Secure Boot y soporte para DGX H100/H200.

  • ¿“Optimizado por Nvidia” significa parches no publicados y un sistema operativo difícil de actualizar?
    Me viene a la mente qué pasa al actualizar con ese bloque binario de drivers de Nvidia encima.
  • Me pregunto qué tipo de spyware traerá DGX OS.
    Ah, perdón, quise decir telemetría.

• Nvidia hizo lo que Intel/AMD deberían haber hecho si querían amenazar el ecosistema CUDA
  Sacó un dispositivo/GPU de inferencia local “barato” de 128 GB
  Bien hecho, y de cara al futuro los intentos de Intel/AMD en IA se ven sombríos

  • Creo que dio en el clavo
    Incluso con un análisis SWOT básico de la posición de Nvidia, había que considerar necesariamente la posibilidad de que un competidor lanzara un producto así
    Ya fuera Apple, que ya viene mordisqueando los bordes de este espacio, o AMD/Intel, que podían o debían haberlo hecho
    No hay garantía de que todo vaya a ir por ese camino, pero un futuro en el que modelos como los LLM estén en cada escritorio y en cada casa es bastante plausible

• Esto no es un periférico que conectas a una computadora para ejecutar tareas especiales, sino una computadora completa que corre Linux
  Es algo como un ermitaño del jardín. Hace imaginar un futuro en el que algún día todos tengamos una versión futura de esto, y ese dispositivo viva y aprenda con nosotros; y, a diferencia de la IA SaaS basada en la nube, se le pueda enseñar al instante, dando una ventaja por salirse del promedio

  • Sí quisiera tener uno, pero creo que le costará ir más allá de un nicho muy específico
    Aunque tenga ventajas, sigue siendo muy poca la gente que opera su propio servidor Plex en vez de pagar una suscripción de streaming
    Incluso en lo local, si siguen avanzando el hardware y el descubrimiento de que los modelos pequeños pueden manejar bastante bien diversas tareas, estas estaciones de trabajo locales de alto rendimiento probablemente queden, como mucho, como un atractivo de nicho
  • La expresión “ermitaño del jardín” es interesante y vívida
    Me da curiosidad saber de dónde salió

• IBM Roadrunner fue la primera supercomputadora en alcanzar 1 petaflop, es decir, mil billones de operaciones de punto flotante por segundo, el 25 de mayo de 2008
  Costaba 100 millones de dólares, consumía 2,35 MW y ocupaba 6000 ft²
  En cambio, Project Digits está diseñado para investigadores de IA, científicos de datos y estudiantes, y con el nuevo GB10 Grace Blackwell Superchip de Nvidia ofrece hasta 1 petaflop de rendimiento para prototipar, hacer fine-tuning y ejecutar modelos de IA
  Cuesta 3000 dólares, consume 1 kW y ocupa 0,5 ft²

  • El petaflop de Digits es FP4, mientras que el petaflop de Roadrunner es FP32
    Así que hay al menos una diferencia de 8 veces, y en la práctica probablemente sea mucho mayor
    Dudo mucho que Digits pueda dar siquiera 1/8 de petaflop en FP32
    Las demás diferencias parecen plausibles si se consideran esos 20 años

• Parece el sucesor del Nvidia Jetson AGX Orin 64GB Developer Kit: https://www.okdo.com/wp-content/uploads/2023/03/jetson-agx-o...
  Me dan curiosidad las especificaciones detalladas en cuanto a ancho de banda de memoria y rendimiento de cómputo

  • Espero que el soporte del sistema operativo no sea horrible como solía ser común en la plataforma Jetson
    Si sigue como ahora, solo recibirás 1 o 2 actualizaciones mayores del kernel en toda su vida útil, y tendrás que hacer cosas raras como instalar un Ubuntu de hace 6 años en una PC x86 para poder ejecutar la utilidad que flashea el sistema operativo
  • El Jetson Orin Dev Kit es un producto exactamente orientado a quienes quieren usar módulos Jetson para edge computing en entornos de producción, por ejemplo visión robótica
    Su fama en la comunidad técnica se debe al síndrome de las computadoras de placa única
    La gente se entusiasma con lo que cree que podría hacer con él, lo compra, y un año después el 95% termina en un cajón porque aquello en lo que realmente es bueno no coincide con la razón por la que lo compraron
    Este producto se parece más a un descendiente de la variante HPC, como dice el artículo
    Parece pensado para ser un dispositivo de entrada realmente útil para personas que quieren ejecutar o realizar tareas comunes de IA mejor que con una PC cualquiera
  • El AGX Orin tenía 64 GB de LPDDR5 y costaba 5000 dólares, así que este, con 128 GB y probablemente HBM, sin duda parece barato
    Aun así, Nvidia no es una empresa que baje mucho los precios, así que debe haber alguna letra chica en algún lado