- Para reducir la carga de armar por cuenta propia un entorno local de desarrollo de IA, Ryzen AI Halo ofrece una mini PC Ryzen AI Max+ 395 con ROCm, controladores, modelos y herramientas de desarrollo incluidos
- La configuración única incluye CPU Zen 5 de 16 núcleos/32 hilos, GPU integrada Radeon 8060S, NPU XDNA 2, 128 GB de memoria unificada LPDDR5x-8000, SSD de 2 TB, y un precio de $3,999.99 USD
- En llama-bench, Apple Silicon Mac Studio superó al equipo con Ryzen AI Max+ 395, especialmente en generación de tokens, donde mostró entre 2 y 3 veces más rendimiento en Gemma 4 debido a la diferencia en ancho de banda de memoria
- La diferencia de Halo no está en un procesador nuevo, sino en ofrecer un punto de partida con compatibilidad ajustada como AMD Ryzen AI Developer Center, Best Known Configurations y AMD AI Playbooks
- AMD ejecutó gpt-oss-20b-FLM en la NPU XDNA 2 con Lemonade y FastFlowLM, y confirmó hasta 35 W y 20 tokens/s con un uso casi nulo de CPU/GPU
Mini kit de desarrollo de IA basado en Ryzen AI Max+ 395
- AMD Ryzen AI Halo es una PC pequeña construida alrededor del procesador AMD Ryzen AI Max+ 395 basado en Zen 5, diseñada para facilitar el inicio del aprendizaje y desarrollo de IA con ROCm o hardware de AMD
- El procesador tiene una configuración de 16 núcleos/32 hilos, y la mayoría de las tareas de IA recaen en los gráficos integrados Radeon 8060S
- La NPU, que antes no tenía muchos casos de uso, sí pudo utilizarse de forma real en este dispositivo
- Se vende en una sola configuración de hardware, cuyas especificaciones principales son las siguientes
- SSD M.2 de 2 TB extraíble
- 128 GB de memoria unificada LPDDR5x-8000
- 256 GB/s de ancho de banda de memoria
- Los 2 TB de almacenamiento son suficientes para acumular modelos locales, y los 128 GB de memoria permiten cargar algunos modelos de tamaño moderado dejando aún espacio para el sistema
- El precio de venta es de $3,999.99 USD, y se puede comprar en una única configuración con Windows 11 Pro o Linux preinstalado
- El usuario puede instalar el sistema operativo que quiera después de recibirlo, pero se entiende que AMD no ofrecerá por separado imágenes de Linux/Windows de fábrica ni paquetes con controladores, programas y modelos
- La unidad de prueba era la versión Linux, con una distribución Linux personalizada de AMD basada en Debian 13.4
Chasis pequeño y expansión
- A diferencia de las imágenes de marketing, Halo es un dispositivo tipo caja muy pequeño, con una base de unos 15 cm cuadrados y menos de 5 cm de alto
- Pesa 1.2 kg, aunque para transportarlo también hay que considerar el adaptador de corriente de 240 W, que es indispensable
- El botón de encendido y los puertos están todos ubicados en la parte trasera
- 4 puertos USB 3.2 Type-C
- 1 puerto HDMI 2.1
- 1 puerto Ethernet 10GbE
- Wi‑Fi 7 y Bluetooth 5.4
- El puerto USB-C más cercano al botón de encendido es solo de entrada USB-C Power Delivery
- No tiene una estructura de apilado claramente definida, pero gracias a los soportes en las esquinas y a las entradas de aire en todos los lados, hay margen para apilar varias unidades, ya sea usando Windows y Linux por separado o armando un clúster
- La refrigeración usa dos ventiladores tipo blower que toman aire desde la parte superior y lateral, lo hacen pasar por el disipador y lo expulsan por atrás
- Normalmente es silencioso, pero la velocidad de los ventiladores puede subir al manejar el TDP de 120 W del procesador interno
- El aro de luz blanco en la parte inferior del gabinete parpadea en azul en modo de suspensión, y la iluminación se puede apagar
Desmontaje y configuración interna
- Como se trata de una mini PC compacta, no hay mucho que se pueda revisar directamente en el interior, pero al quitar 4 tornillos bajo la base magnética desmontable se puede abrir la cubierta inferior
- El SSD M.2 2280 es fácilmente accesible sin desmontaje adicional
- Para retirar la carcasa superior y dejar expuesto el núcleo de cómputo hay que desconectar algunas uniones más
- El núcleo en sí se puede sacar, pero no hay mucho más que el usuario pueda modificar
- La placa metálica que se ve al abrir por primera vez la parte inferior del gabinete puede retirarse con 4 tornillos, pero no se quitó para evitar tocar el material térmico
Rendimiento LLM visto con llama-bench
- Ryzen AI Max+ 395, de nombre clave Strix Halo, es un procesador que ya estaba disponible desde la primavera de 2025, así que Halo no presume aquí de un rendimiento nuevo
- Otros equipos con el mismo procesador incluyen Framework Desktop, Beelink GTR9 Pro, X+ Rival y ACEMAGIC M1A PRO
- Las pruebas de rendimiento se usaron, antes de revisar la parte central del producto que es la configuración de software, para verificar si entregaba el nivel de rendimiento esperado
- Las pruebas se centraron en llama-bench, incluido en llama.cpp
- llama.cpp es un motor de inferencia open source para cargar y ejecutar modelos de lenguaje grandes en formato GGUF
- llama-bench mide el procesamiento del prompt (prompt processing, pre-fill) y la generación de tokens (token generation, decoding)
- El rendimiento de LLM en tokens por segundo es sensible a diferencias de compatibilidad y a la variabilidad, por lo que conviene ver los resultados junto con otras fuentes
Resultados de las pruebas básicas de llama-bench
- La prueba base usó la configuración pp512/tg128, que simula una situación en la que el usuario introduce 512 tokens y el modelo genera 128 tokens
- Se usaron 3 modelos recientes de entre 17 y 32 GB
- Qwen 3.6 35B A3B(Q4_K_M)
- Gemma 4 31B IT(IQ4_XS)
- GLM 4.7 Flash(Q8_0)
- Los equipos comparados fueron los siguientes
- AMD Ryzen AI Halo: AI Max+ 395, 128 GB
- Framework Desktop: AI Max+ 395, 128 GB
- M2 Ultra Mac Studio: GPU de 76 núcleos, 128 GB de memoria unificada
- M3 Ultra Mac Studio: GPU de 80 núcleos, 512 GB de memoria unificada
- En Halo y Framework Desktop se usaron tanto los runtimes ROCm/HIP como Vulkan
- Apple Silicon Mac Studio mostró mayor rendimiento que los equipos con AMD Ryzen AI Max+ 395, y la diferencia principal proviene del ancho de banda de memoria de casi 800 GB/s en Mac frente a los 256 GB/s del Max+ 395
- La etapa de procesamiento del prompt suele estar más limitada por cómputo, y en Gemma 4, que es un modelo denso, la diferencia entre Apple Silicon y Max+ 395 fue menor de lo que sugeriría comparar solo el ancho de banda de memoria
- En modelos sparse Mixture of Experts como Qwen 3.6 35B A3B y GLM 4.7 Flash, el procesamiento del prompt depende menos del cómputo, por lo que la ventaja del ancho de banda de memoria de Mac se hizo más evidente
- La generación de tokens suele estar mucho más limitada por el ancho de banda de memoria, y en Gemma 4 los dispositivos Apple Silicon mostraron entre 2 y 3 veces más tokens por segundo
- En Ryzen AI Max+ 395 no hubo un ganador claro entre Vulkan y ROCm/HIP
- El backend más rápido cambia según la compatibilidad, la estructura del modelo, el tamaño del contexto, el hardware y las optimizaciones de software
- Ambos backends siguen recibiendo actualizaciones
- Las pruebas se hicieron con Flash Attention activado, pero como esta configuración no siempre garantiza el mejor rendimiento, conviene probar directamente en cada sistema
Aumento del contexto y simulación de uso tipo agente
- A medida que aumenta el uso de LLM tipo agente, se añadieron pruebas de llama-bench para observar cómo cae el rendimiento cuando crece el tamaño del contexto
- La prueba simplifica y simula una situación en la que un agente con instrucciones hace llamadas a herramientas o entrega respuestas
- Los parámetros principales fueron los siguientes
-p,-n: especifican la cantidad de tokens para procesamiento del prompt y generación de tokens-b,-ub: especifican el tamaño de batch y microbatch-fa: activa o desactiva Flash Attention-ngl: especifica la cantidad de capas del modelo que se descargarán a la GPU-r: especifica el número de repeticiones-d: especifica la cantidad de tokens ya presentes en el contexto
- Para reducir la acumulación de calor que puede producirse al ejecutar pruebas en serie, se usó un script propio con bucles y tiempos de espera
- En los tres modelos apareció una caída de rendimiento marcada conforme aumentó el tamaño del contexto
- Gemma 4 no terminó en 30 minutos con la combinación de backend Vulkan y contexto de 65,536 tokens
Energía y temperatura
- Como Halo tiene un chasis muy pequeño, se verificó si podía sostener el TDP máximo de 120 W del paquete Ryzen AI Max+ 395, con boost máximo de 140 W
- Como referencia también se probó Framework Desktop, que usa el mismo Ryzen AI Max+ 395
- La prueba consistió en ejecutar 20 veces la prueba prefill de llama-bench mientras se medía el consumo eléctrico de pared con un Quarch QTL2843
- Ambos dispositivos estaban en modo “Performance”, y Halo no permite ajustes del usuario para energía o refrigeración
- El AI Max+ 395 de Framework Desktop mantuvo la línea base de 120 W durante toda la prueba, con picos de hasta 130 W relativamente frecuentes
- Halo sostuvo unos 140 W durante cerca de 5 minutos tras el inicio de la prueba, y luego bajó al TDP de 120 W durante el resto
- El diseño tipo blower de Halo y las entradas de aire en todos los lados mantuvieron el exterior relativamente fresco incluso en equilibrio térmico, aunque la base se calentó hasta unos 50 °C
- Los ventiladores giran con fuerza para expulsar el calor, pero el sonido se parece más a un “woosh” que a un tono agudo
El valor del producto lo crea el software
- Como ya existen varios productos con mini PC basadas en Ryzen AI Max+ 395, el valor distintivo de Halo está menos en el hardware nuevo y más en AMD Ryzen AI Developer Center, configuraciones seleccionadas y la promesa de soporte de 1st-party
- Halo está diseñado, como NVIDIA DGX Spark, para reducir el tiempo que los desarrolladores dedican a configurar el entorno cuando necesitan probar sobre hardware específico de AMD o NVIDIA
- A diferencia de DGX Spark, Halo tiene versiones tanto para Linux como para Windows
- La versión Linux inicia en AMD Ryzen AI Developer Center, desde donde se puede instalar y actualizar software, acceder a documentación y controlar el sistema
- Según AMD, Halo no está bloqueado, así que el usuario puede instalar el sistema operativo que quiera
- Sin embargo, se entiende que no se ofrecerán imágenes para cambiar entre las configuraciones de fábrica de Windows y Linux de AMD
Best Known Configurations y Playbooks
- AI Halo y Developer Center dan acceso a las Best Known Configurations (BKC) de AMD
- BKC son configuraciones del sistema que AMD validó para asegurar que el software, paquetes y controladores incluidos sean compatibles entre sí
- Esta configuración reduce la carga de tener que resolver primero problemas de dependencias antes de ejecutar un playbook o comenzar a experimentar
- En los sistemas AI Max+ comunes, AMD AI Playbook ofrece instrucciones de línea de comandos para asignación de memoria, pero en AI Halo esto se simplifica con sliders o menús desplegables según Linux o Windows
- Halo no impide la configuración manual ni las configuraciones complejas; aunque abstraer detalles de implementación y hardware puede tener riesgos, ofrece un punto de partida antes de profundizar más
- AMD AI Playbooks es una colección de tutoriales simples para explorar cargas de trabajo de IA en hardware de AMD
- Los Playbooks están enfocados en AI Halo, pero también hay versiones para GPU Radeon
- Los Playbooks también están publicados en GitHub, y AMD dijo que los mantendrá actualizados como hace con BKC y que añadirá nuevos playbooks cada mes
Playbooks probados
- AMD Sync ofrece una forma sencilla de acceder de manera remota a Halo por red
- Ver métricas en vivo
- Abrir proyectos en VSCode
- Iniciar proyectos en Jupyter Labs
- Acceder a la terminal
- AMD Sync solo requirió instalar AMD Sync en el dispositivo remoto y copiar la información de SSH, y en la prueba funcionó sin problemas
- Los playbooks relacionados con LM Studio y Lemonade cubren el proceso de descargar, administrar, servir e interactuar con LLM locales
- Los playbooks de LM Studio y Lemonade están organizados como un flujo corto y fácil de seguir, desde la instalación del software y actualización del runtime hasta la descarga del primer modelo
- Ambos playbooks continúan hasta el punto de usar un LLM local como asistente de programación o interactuar de forma programática con la API de OpenAI
- El playbook de VSCode conecta el LLM local alojado en los playbooks anteriores con el agente Cline dentro del IDE
- Los playbooks de ejecución y fine-tuning de LLM con PyTorch muestran que, gracias al software, controladores y modelos preinstalados, se puede poner en marcha un LLM en 4 o 5 pasos
- El playbook de PyTorch no es un tutorial completo que cubra el funcionamiento interno de los scripts, pero sí cumple bien como smoke test para enlazar dependencias y verificar que todo funcione
- Para principiantes también ofrece ideas de “Next Steps” sobre qué intentar después
Fortalezas y debilidades de la configuración de software
- Las BKC y los playbooks ofrecen un estado base al que siempre se puede volver, reduciendo los casos en los que se siguen varios tutoriales y aun así no se logra ejecutar nada
- Se puede volver a ese estado usando el botón System Reset en Developer Center
- Como Halo puede instalarse y configurarse según necesidad igual que una computadora común, BKC y playbooks no restringen la libertad del usuario
- BKC y playbooks pueden facilitar que incluso tutoriales de terceros asuman un punto de partida conocido y compatible, ayudando a que el usuario avance más lejos
- Como puede verse en AI Playbook GitHub issues, actualmente algunos playbooks fallan en ciertas partes, y durante las pruebas reales también aparecieron problemas
- Si AMD no resuelve rápido estos problemas, todo el valor del software puede debilitarse, y eso queda como un riesgo para quien compre basándose en la promesa de valor futuro
Una NPU usada de verdad
- En Halo fue posible ejecutar LLM en la NPU XDNA 2 mediante AMD Lemonade y FastFlowLM
- El modelo ejecutado fue gpt-oss-20b-FLM, y no se ofreció telemetría del uso de la NPU
- Con uso de CPU/GPU casi en 0, el paquete AI Max+ 395 consumió hasta 35 W, y el rendimiento de generación fue de 20 tokens/s
- La NPU suele tener menos rendimiento de cómputo que la GPU, pero su ventaja está en una eficiencia energética mucho mayor
- Es adecuada para tareas como procesar rápidamente sensores como cámaras y dejar CPU y GPU disponibles para tareas principales
- Este kit de desarrollo con Ryzen AI Max+ 395 y NPU puede ayudar a avanzar el desarrollo local de LLM más eficientes en energía, en lugar de depender de GPU enormes
Funcionamiento de USB-C Power Delivery
- Halo se alimenta por completo mediante USB-C PD
- USB-C actualmente puede suministrar hasta 240 W, y Halo incluye un adaptador de corriente AC/DC Delta ADP-240KB BA con soporte para USB-C PD Extended Power Range (EPR)
- Este adaptador puede entregar hasta 48 V, 5 A
- En las pruebas, Halo no llegó a tomar más de 200 W de la fuente de alimentación
- Se midieron los paquetes PD entre el adaptador y Halo con un Infineon CY4500-EPR
- Al conectarse por primera vez, el adaptador informa los voltajes y corrientes disponibles mediante el mensaje SOURCE_CAPABILITIES
- Al principio solo aparece el modo de salida Standard Power Range (SPR), limitado a 20 V y 5 A, es decir 100 W
- Halo envía un mensaje EPR_MODE para solicitar el modo EPR del adaptador, y luego confirma la funcionalidad EPR completa
- Halo solicita el modo de salida fija de 48 V, que puede usar hasta 5 A, para aprovechar la configuración máxima de 240 W
- Halo sigue enviando EXTENDED_CONTROL_MESSAGE al adaptador de corriente, y fue interesante observar este tipo de mensajes continuos en una salida fija de voltaje
1 comentarios
Opiniones de Hacker News
Lo que vale la pena destacar ahora son los playbooks de AMD (https://developer.amd.com/playbooks/, https://github.com/amd/playbooks)
Son la respuesta de AMD a los playbooks de Nvidia (https://build.nvidia.com/spark, https://github.com/NVIDIA/dgx-spark-playbooks), y me parece positivo que AMD haya empezado a tomarse esta área más en serio
El hardware es exactamente el mismo que se vendía el año pasado por 2 mil dólares, y todavía se puede conseguir 1 mil dólares más barato con OEM chinos
Está bien que las pruebas de LLM de LTT Lab se vuelvan más sofisticadas, pero las cifras pueden variar bastante según la versión de ROCm/Vulkan y la versión de compilación de llama.cpp
Para exprimir al máximo el rendimiento de Strix Halo, ayudan los ajustes del kernel y utilidades como ryzenadj, y casi todo está recopilado en http://strixhalo.wiki/
Si se usa para programación o trabajos con agentes, cuando el modelo soporta MTP ya está bastante maduro, y la decodificación puede acelerarse aproximadamente un 30%
Para ahorrar tiempo, como también dice el artículo, el procesador AMD Ryzen AI Max+ 395 (Strix Halo) ya existía desde la primavera de 2025, y Halo no ofrece nada nuevo en ese aspecto
Tiene la misma limitación de 256 GB/s de ancho de banda de memoria que las placas anteriores, así que no sé por qué ahora lo lanzan como si fuera algo nuevo
Por un precio parecido se puede comprar una Framework Desktop, y la GMKtec EVO-X2 se consigue un poco más barata
Desde el punto de vista de AMD, es natural querer quedarse con la ganancia directamente en vez de venderlo más barato a fabricantes de PC
Simplemente compra una torre normal o una computadora para rack de servidor
Realmente me gustaría tener una máquina con 128GB o más de memoria, pero pagar 4 mil dólares por solo 256 GB/s es duro
Hay que asumir incluso las desventajas tanto de ARM como de AMD
Para cuando salga RTX Spark, parece que tendrá que costar 6 mil dólares, y me preocupa que si aparece una máquina de 128GB o más y 700+ GB/s, cueste 10 mil dólares y quede fuera del alcance de la mayoría de los consumidores
Sinceramente, ahora no hay muchas buenas opciones, y quizá convenga esperar hasta que el mercado esté menos desquiciado
Si alguien fabrica una máquina con las dos cosas, fácilmente se venderá por 10 mil dólares, y creo que la gente haría fila para comprarla
Por ejemplo, DS4, es decir el modelo cuantizado a 1 bit de DeepSeek V4 Flash, va a unos 9 a 13 tokens por segundo, y el tiempo hasta el primer token es muy largo
No es práctico como modelo de codificación interactiva de tipo agente
Me gusta Strix Halo, y lo uso bien sobre todo para ejecutar continuamente trabajos no interactivos, como auditorías de seguridad de software o experimentos de aprendizaje
Como plataforma para experimentación con IA es buena, pero por 4 mil dólares se puede comprar una Asus Ascend GX10 basada en Nvidia, y probablemente sea mejor
Para agentes locales interactivos probablemente se usarían Qwen 3.6 o Gemma 4; estos caben holgadamente en 2x64GB de GPU, e incluso GPUs antiguas pueden ser más rápidas que Strix Halo
También caben ajustadamente en 32GB, y deberían correr bien en una Mac de 48GB o 64GB
En este momento, el sweet spot en GPU parece ser dos Radeon AI Pro R9700
No cuestan como un auto usado, como una 5090 o 4090, ofrecen suficiente memoria y rendimiento para inferencia local, y tampoco son complicadas o raras como las GPUs de servidor viejas de eBay, ni requieren ductos de ventilador impresos en 3D
Por ahora no hay ningún modelo que funcione claramente mejor en estas máquinas de inferencia de 128GB y que no vaya bien en máquinas de 64GB
Una máquina de 64GB incluso podría ser más rápida, y entre las GPUs de 32GB tampoco habrá muchas más lentas, pero conviene no comprar GPUs que actualmente no tengan soporte activo en los drivers del proveedor y en CUDA o ROCm
Estos dispositivos eran excelentes cuando eran más baratos que DGX Spark
Pero si cuestan lo mismo, no hay razón para comprar esto en lugar de Spark
Spark es literalmente una versión más rápida, y además tiene mejor soporte de software
Lo digo como alguien que tiene un dispositivo Ryzen AI Max 395
Según varios proveedores de educación superior
La CPU de Ryzen es mejor que la de DGX Spark, y especialmente en programas modernos actualizados para usar AVX-512, el rendimiento multihilo es mucho mayor
Solo en aplicaciones de GPU es muy probable que el sistema de NVIDIA sea mejor
Pasé bastante tiempo trasteando con el kernel de Linux correcto, el firmware del kernel, la instalación de ROCm, etc.
Tengo un dispositivo Strix Halo y me gusta, pero a este precio, si es para uso de IA, conviene más comprar una ASUS GX 10 basada en Nvidia
El ecosistema CUDA sigue siendo más fuerte
AMD tiene mejor CPU, así que es mejor como máquina de escritorio, pero Nvidia es un poco más rápida y tiene un poco mejor soporte para tareas de inferencia y entrenamiento
Con ROCm casi siempre se puede hacer lo mismo, pero requiere un poco más de trabajo
Eso sí, el Ubuntu personalizado que Nvidia envía con su hardware es tan malo que se vuelve difícil de manejar
Nvidia no es buena con el software, y después de haber usado la línea Jetson durante varios años, sigue siendo pésima
Sigue siendo un Ubuntu personalizado tosco, con una estructura compleja basada en imágenes y sin UEFI, así que no es cuestión de simplemente instalar otro Linux
Supongo que en los dispositivos grandes también enviarán Ubuntu, pero lo único que he usado directamente son las pequeñas máquinas Jetson embebidas
Del lado de AMD, es una PC x86_64 normal, así que se puede instalar casi cualquier Linux; en mi dispositivo puse Fedora de inmediato
Es simplemente Ubuntu y no he tenido mayores problemas
También está el hecho de que es el único proveedor, entre los dispositivos ARM64 con Linux que he visto hasta ahora, que realmente distribuye un Linux bien soportado
Uso una ASUS GX10 como mi workstation principal de uso diario, y lo único que no funciona es Spotify, probablemente por un tema de DRM
Parece que tampoco hay cliente ARM64 de Signal
La gran ventaja de DGX Spark frente a Strix Halo es que la velocidad de prefilling es mucho mayor
Aproximadamente 5 veces más rápida
El hardware de red también es absurdamente potente, aunque es probable que yo y el 99% de los demás usuarios de Spark nunca lo exprimamos al máximo
El ancho de banda de memoria de 256GB/s es aproximadamente 1/4 del de una 3090
Si hubieran reducido la memoria a la mitad y cuadruplicado la velocidad, habría sido una mejor compra
Una mayor velocidad de memoria es buena para modelos densos o para servir con alta concurrencia
Pero en un entorno local de un solo usuario, muchas veces es mejor que una plataforma así permita usar modelos MoE más potentes y grandes a una velocidad razonable y con baja concurrencia
En ese momento, es probable que el cuello de botella sean las lentas líneas PCIe
Si tu carga de trabajo cabe en una tarjeta de 24GB, en realidad no eres el usuario objetivo del nicho de mini PC de IA que están intentando crear
Puede correr modelos pequeños mucho mejor
Personalmente, una 3090 tiene más sentido cuando puedes comprar al menos 2, idealmente 4, y entonces ya estamos hablando de un presupuesto completamente distinto
El nuevo modelo MTP, Qwen3.6 35B MoE, genera tokens hasta alrededor de 80k de contexto sin una desaceleración importante
Obtener muchos tokens está bien, pero la capacidad de procesar y ampliar el contexto hará que siga siendo una máquina excelente frente a tarjetas gráficas más pequeñas
Un módulo de RAM DDR4 de 32GB tiene un ancho de banda de 25GB/s y cuesta 160 dólares
Si compras 8, obtienes 256GB de RAM y 200GB/s de ancho de banda por 1,280 dólares
Si compras 16 módulos de 16GB a 60 dólares cada uno, puedes obtener 400GB/s de ancho de banda por 960 dólares
El problema es que necesitas 8 o 16 controladores de memoria
Los controladores de memoria no son tan caros
El Intel Core i3-14100F tiene un controlador de 2 canales y cuesta 110 dólares, así que se puede estimar que un controlador de 16 canales costaría 880 dólares o menos, y uno de 8 canales unos 440 dólares
Entonces, ¿no sería mejor hacer una CPU barata con 16 controladores DRAM en lugar de un equipo de 4,000 dólares con solo 128GB?
O también podrían ser 2 CPU con 8 canales de RAM cada una
DDR5 cuesta el doble, 360 dólares por 32GB, y el ancho de banda ni siquiera llega al doble, así que no vale la pena comprarla
Tiene más sentido crear más canales de RAM y usar DDR4
Aunque la motherboard puede salir bastante cara
En vez de pasar a la cara DDR5, deberían haber hecho que incluso las CPU más baratas soportaran 8/16 canales DDR4
Un módulo DDR5-4800 de 32GB cuesta 360 dólares, mientras que dos módulos DDR4-3200 de 32GB cuestan 320 dólares; tienes el doble de capacidad, más ancho de banda y menor precio
DDR5 es simplemente un abuso de precio
En su forma anterior costaba “solo” 2,000 dólares, pero incluso en esta caja actualizada el ancho de banda de memoria es seriamente insuficiente
Hay algunos modelos que tienen espacio para una GPU dedicada para inferencia híbrida, pero personalmente no creo que valga la pena
Mejor ahorrar el dinero para una build con Xeon o EPYC
No entiendo por qué todos los productos similares se quedan justo en 128GB de VRAM
A este precio habría esperado al menos 224GB de VRAM
Depende del bus de memoria
Se puede pensar en algo como 96GB para 128 bits, 192GB para 256 bits, 384GB para 512 bits y 768GB para 1024 bits
https://community.frame.work/t/was-there-no-possible-way-to-...
Como no quieren que productos de consumo/homelab de bajo margen reemplacen a los de centros de datos, limitan deliberadamente la VRAM de esos productos para hacerlos menos atractivos para uso en centros de datos
Esto es apenas un poco más barato que un Nvidia DGX Spark con CUDA, o que una Mac con 128 GB y el doble de ancho de banda de memoria
La ventaja de Strix Halo originalmente era que costaba la mitad que esas máquinas mucho más potentes
Comprar un chip AMD a este precio es casi una locura
Pero como todo el mercado de hardware está enloquecido ahora, lamentablemente parece que esto también se venderá bien
El M5 Pro tiene un ancho de banda de memoria un poco mayor, pero actualmente solo llega hasta 64 GB de DRAM
Incluso esta configuración de memoria pequeña es más cara que AMD o NVIDIA, y si quieres un SSD de tamaño razonable, no uno chico, como para guardar LLM y calcular tú mismo la cuantización, sale más caro
Por ejemplo, con SSD de 4 TB y 64 GB de DRAM supera los 5.600 dólares
Si lo que quieres es hacer inferencia de LLM, Apple no parece una solución competitiva
El precio es mucho más alto, y para almacenar varios LLM se necesita mucho espacio, pero la expansión de SSD también es limitada
Lo único correcto es que los sistemas AMD Strix Halo antes eran mucho más baratos que NVIDIA, pero ahora cuestan lo mismo
La CPU de Strix Halo es mejor que la de NVIDIA, pero probablemente la GPU de NVIDIA sea mejor que la GPU de AMD, y CUDA tiene garantizado funcionar bien