- Raspberry Pi AI HAT+ 2 incorpora una NPU Hailo 10H y 8 GB de RAM LPDDR4X, lo que le permite realizar inferencia de LLM de forma independiente en local
- Ofrece hasta 3 W de consumo energético y 40 TOPS (INT8) de rendimiento, pero en pruebas reales mostró resultados más lentos que la CPU de la Pi 5
- La limitación de energía (3 W) y la capacidad de RAM (8 GB) actúan como cuellos de botella, por lo que para ejecutar modelos de tamaño medio una Pi 5 de 16 GB resulta más eficiente
- En procesamiento de visión (Computer Vision) mostró una velocidad 10 veces mayor que el AI HAT anterior, pero surgieron problemas de compatibilidad de software y errores al ejecutar modelos simultáneamente
- Salvo en casos donde se necesite combinar visión + inferencia en entornos de bajo consumo, su valor parece mayor como placa de desarrollo o plataforma experimental
Especificaciones y características principales del AI HAT+ 2
- El nuevo modelo tiene un precio de 130 dólares e incluye una NPU Hailo 10H y 8 GB de RAM LPDDR4X
- Hailo 10H ofrece 40 TOPS de inferencia INT8 y 26 TOPS de rendimiento de visión INT4
- Puede ejecutar LLM de forma independiente sin ocupar la CPU ni la memoria del sistema de la Pi
- El problema de que no se puede ampliar la RAM sigue presente, pero al usarse como coprocesador de IA puede reducir la carga de memoria
- Se considera más barato y compacto que conectar una eGPU, y más práctico que las NPU integradas de las ‘AI PC’ de Microsoft
Evaluación de rendimiento real
- La prueba comparó la ejecución del mismo modelo en CPU y NPU sobre una Raspberry Pi 5 con configuración de 8 GB de RAM
- En la mayoría de los modelos, la CPU de la Pi 5 mostró mejor rendimiento que la Hailo 10H
- El único caso con un resultado cercano fue el modelo Qwen2.5 Coder 1.5B
- La Hailo 10H tiene buena eficiencia energética, pero su rendimiento queda limitado por el tope de 3 W
- El SoC de la Pi 5 puede usar hasta 10 W de energía
Límites para ejecutar LLM y el caso de Qwen 30B
- Los 8 GB de RAM son el factor más restrictivo al ejecutar LLM
- Los modelos de tamaño medio requieren 10 a 12 GB de RAM, por lo que una Pi 5 de 16 GB es más adecuada
- ByteShape logró ejecutar el modelo Qwen3 30B A3B Instruct tras comprimirlo a 10 GB para adaptarlo a una Pi 5 de 16 GB
- Aunque hay pérdida de calidad, sigue siendo posible realizar tareas básicas como generar apps sencillas
- Al ejecutar el modelo en la Pi 5 con llama.cpp, la velocidad fue lenta, pero sí permite realizar trabajo práctico con modelos locales
Rendimiento en visión y problemas de software
- En tareas de Computer Vision mostró una velocidad de procesamiento 10 veces superior a la de la CPU de la Pi
- En pruebas con el Camera Module 3, reconoció correctamente teclado, monitor, teléfono y mouse, entre otros objetos
- Sin embargo, el código de ejemplo de Hailo (hailo-rpi5-examples) todavía no ofrece soporte suficiente para el AI HAT+ 2
- Al configurarlo manualmente, se produjeron fallos al cargar modelos o errores de ejecución
- Al ejecutar modelos simultáneamente (visión + LLM) aparecieron errores de segmentación y el problema de ‘device not ready’
- La falta de ejemplos funcionales por parte de Hailo impidió completar las pruebas
Conclusión y posibles usos
- Los 8 GB de RAM son útiles, pero una Pi 5 de 16 GB sigue siendo una opción más rápida y flexible
- Su utilidad práctica existe solo cuando se necesita combinar procesamiento de visión e inferencia en entornos de bajo consumo
- Una combinación de AI Camera (70 dólares) o del AI HAT+ existente (110 dólares) podría ser más eficiente
- Puede servir para ejecutar LLM pequeños (menos de 10 W) o como kit de desarrollo para dispositivos basados en Hailo 10H
- En general, se le evalúa como un producto con hardware adelantado pero software aún inmaduro, orientado a usos de nicho
1 comentarios
Opiniones de Hacker News
En cuestión de minutos vi al mismo tiempo la opinión de que el AI HAT de 8GB para la RPi es increíble, y la de que mi MacBook M2 MAX de 96GB no sirve para LLM
Al menos consuela que esta última también sea una excelente laptop
Parece que Raspberry ha perdido algo de la “magia” y el sentido de propósito de los viejos tiempos de Pi
Al principio creó un mercado nuevo, pero ahora da la impresión de que se mete en áreas que ya están saturadas
Entiendo que quiera expandirse para sobrevivir, pero no parece capaz de volver a crear otro “momento Raspberry Pi” como antes
Así como soluciones como Frigate impulsaron las ventas del Coral TPU, puede que aquí también haya cierta demanda, pero parece faltar una propuesta de valor única
Ahora parece que la RPi apunta al mercado comercial porque es más barata que las placas embebidas industriales
Da la impresión de que su público principal ya no son los consumidores, sino los clientes empresariales
Otras SBC tenían una calidad de software desastrosa, y la combinación con Raspbian fue la verdadera innovación
La RPi sigue llenando ese nicho
La Pico es para tareas pequeñas, las nuevas Pi para tareas grandes, y la Pi antigua y la Zero siguen a la venta
Los productos relacionados con IA también son una extensión de esa misma tendencia, una expansión natural para quienes ya hacían IA con la Pi 5
La esencia de la Pi es GPIO + cómputo de propósito general, y ahora la IA también forma parte de eso
La cantidad de cosas que se pueden hacer con IA local ha crecido de forma sorprendente, y abre nuevos usos como la conducción autónoma de drones y robots
En realidad no es para tanto
Correr IA con 8GB de RAM en una Pi resulta algo decepcionante
En el Reino Unido nunca he visto que el Hailo HAT se anuncie para LLM
Se ha usado sobre todo para detección de objetos en video en tiempo real, y yo también quisiera probarlo para detectar animales o visitantes en mi casa y jardín
En la versión reciente de Pimonori sí se menciona soporte para LLM y VLM, pero ese parece un uso más realista
Ya hasta sale el chiste de “¿8GB? ¿Un LLM para hormigas?”
No sirven para trabajo pesado, pero para generación simple de texto son más que suficientes
Es algo experimental para LLM ultrapequeños y especializados
El problema es que, para lo caro que es, la mejora en procesamiento visual es pequeña y además el soporte de software es limitado
Hace unos años a un producto así simplemente lo habrían llamado acelerador de ML
Pero ahora, al ponerle la etiqueta de “IA”, cambian las expectativas y por eso las opiniones parecen tan divididas
No estoy seguro de que los LLM pequeños sirvan para algo más allá de embeddings o entrenamiento
Si es para entrenamiento, se puede usar hardware mejor por menos dinero, y si es para embeddings, solo resulta lento y caro
Incluso un modelo pequeño, si se afina con datos especializados, puede acercarse al rendimiento de un modelo general mucho más grande
Es una idea interesante, pero para este uso el Jetson Orin Nano es una mejor opción
Eso sí, tiene la desventaja de que la RAM es compartida y se pierde alrededor de 1GB por la sobrecarga del sistema operativo
Que “pueda ejecutar un LLM” no significa que “tenga sentido ejecutar un LLM”
Es un caso que muestra claramente que los números de la ficha técnica y la experiencia real son cosas totalmente distintas
Desde la perspectiva de la computación en el borde, este intento es un salto significativo para el ecosistema de la RPi
Si se integra un acelerador de inferencia de bajo consumo, se puede implementar IA local sin depender de la nube
Aún está en una etapa inicial, pero va en la dirección correcta para cargas de trabajo reales en el edge