Cómo ejecutar un LLM de 28.9 millones de parámetros en un microcontrolador de 8 dólares

• En un ESP32-S3 se ejecuta un modelo de lenguaje de 28.9 millones de parámetros sin conectarse a un servidor, mostrando texto en una pantalla pequeña a unas 9 tokens por segundo
• Usa una estructura de Per-Layer Embeddings que deja 25 millones de parámetros en la memoria flash lenta y solo lee por token unas 6 filas necesarias, 450 bytes
• El modelo ocupa 14.9 MB en 4 bits; en los 512 KB de SRAM se coloca el núcleo de cómputo usado en cada token, en los 8 MB de PSRAM el cabezal de salida y la memoria de trabajo, y en los 16 MB de flash la tabla grande de embeddings
• Entrenado con TinyStories, genera historias cortas y simples de forma generalmente consistente, pero no es adecuado para responder preguntas, seguir instrucciones, escribir código ni aportar conocimiento factual
• Tiene cerca de 100 veces más parámetros que un modelo previo de 260 mil parámetros ejecutado en un chip similar; la clave no está en la calidad de generación, sino en la arquitectura de memoria para meter un modelo grande en un chip pequeño

---

Hardware y rendimiento de ejecución

• Todo el procesamiento se hace en un solo ESP32-S3 de unos 8 dólares, sin enviar datos a un servidor
  • Usa 512 KB de SRAM, 8 MB de PSRAM y 16 MB de flash
  • La velocidad total es de unos 9.5 tok/s, y la velocidad de cómputo puro es de unos 9.7 tok/s
  • El tamaño del modelo en 4 bits es de 14.9 MB
• De los 28.9 millones de parámetros totales, 25 millones se guardan en una tabla de consulta en flash

Cómo meter el modelo en una memoria pequeña

• Normalmente todo el modelo debe poder accederse desde memoria rápida, pero la SRAM del ESP32-S3 es de apenas 512 KB, así que solo caben modelos muy pequeños
• Aprovecha que la mayoría de los parámetros están en una tabla de embeddings y no en el cómputo directo, por lo que la tabla se deja en flash
  • Por token solo se leen unas 6 filas necesarias, alrededor de 450 bytes
  • Solo la parte pequeña encargada del cómputo real se mantiene en memoria rápida
  • La mayor parte del modelo no se carga durante la ejecución; solo se seleccionan las partes necesarias desde la flash
• El papel de cada memoria se divide así
  • SRAM: núcleo de cómputo usado en todos los tokens
  • PSRAM: cabezal de salida y memoria de trabajo
  • Flash: tabla de 25 millones de parámetros

Aplicación de Per-Layer Embeddings

• Aplica Per-Layer Embeddings, usado por Google en Gemma 3n y Gemma 4, a una arquitectura de memoria de microcontrolador en lugar de un teléfono o una GPU
• Según lo verificado por el autor del proyecto, no hay precedentes de aplicar este método en un chip tan pequeño

Qué puede hacer el modelo y sus límites

• Entrenado con las historias sintéticas cortas de TinyStories, genera historias simples y en general mantiene la consistencia
• No puede responder preguntas, seguir instrucciones, escribir código ni proporcionar conocimiento factual
• Esta limitación proviene del pequeño núcleo encargado del razonamiento, y la técnica de distribución de memoria no mejora por sí misma la capacidad de razonamiento

Código y material experimental

• En firmware/esp32_llm/README.md están el firmware, el cableado y el procedimiento de flasheo
• En src/ y experiments/ se incluye código de entrenamiento, experimentos de ablación y cuantización
• En RESULTS.md se resumen el método completo, los experimentos de ablación y las mediciones en chip

Proyecto base y registro

• TinyStories es un conjunto de datos de historias sintéticas cortas creado para que incluso modelos pequeños aprendan a escribir con consistencia
• Per-Layer Embeddings de Google Gemma sirve como base para meter modelos grandes en chips pequeños
• llama2.c de Andrej Karpathy influyó en el enfoque de entrenar modelos de lenguaje pequeños y ejecutarlos en C puro
• El repositorio también conserva el error de cálculo que al inicio infló la cantidad de parámetros, junto con el proceso de corrección
  • En el historial de commits y en RESULTS.md se puede ver dónde cambiaron las cifras y por qué

[GN⁺]

Opiniones de Hacker News

• Hoy en día es sorprendente lo que se puede hacer con un microcontrolador de 5 dólares. Entre las placas Milk-V, la Duo tiene hasta 256MB de memoria y una TPU de 1TOPS@INT8, e incluso corre Linux, así que compré 5

  • Tampoco hay que pasar por alto la ISA vectorial de 128 bits y sus 32 registros. Soporta enteros y punto flotante de hasta 64 bits, y con LMUL=8 procesa 1,024 bits en una sola instrucción; la mayoría de las operaciones tardan 3 ciclos por cada 128 bits
    GCC y Clang soportan completamente xTHeadVector, y usando funciones intrínsecas de C es compatible con RVV 1.0 solo con opciones de línea de comandos. Buena parte del código que maneja elementos de 8 bits, como memcpy(), memset(), memcmp(), strlen(), strcpy() y strcmp(), es binariamente compatible
    Cuando compré la Duo de 64MB costaba 3 dólares, y después los modelos de 64MB, 256MB y 512MB costaban 5, 7 y 10 dólares respectivamente, pero este año el precio subió bastante: https://arace.tech/products/milk-v-duo, https://arace.tech/products/milkv-duo-s
  • También se pueden comprar microcontroladores de menos de 0.5 dólares, pero incluso los de 5 dólares parecen tener tantas limitaciones para correr modelos que en la práctica resultan poco útiles. Ojalá la demanda de modelos no provoque una escasez de MCU
  • No hace falta pensar que los microcontroladores siguen anclados al hardware de los años 80 y que ensamblador o C son las únicas opciones. En dispositivos de este nivel incluso se podría correr sin mucha dificultad un sistema operativo de Xerox PARC
    Sigue habiendo usos donde un PIC de 4KB es lo mejor, pero en la mayoría de los casos no hay que actuar como si no existieran alternativas mejores
  • Este precio y rendimiento hacen sentir cuánto costo le ha impuesto a toda la industria la posición dominante de ARM

• Los modelos de voz a texto y de texto a voz también se están acercando a este tamaño, así que me pregunto qué tan cerca estamos de tener dispositivos pequeños capaces de hablar con nosotros. Tal vez llegue un mundo donde un cepillo de dientes te dé consejos de higiene bucal o hasta te muestre anuncios de pasta dental

  • Los consejos de higiene bucal ya son posibles. Los cepillos Philips de gama alta se conectan por Bluetooth y dan retroalimentación en la app
    Pero no quisiera vivir en un mundo donde también haya que buscar un bloqueador de anuncios para la IA del cepillo de dientes

• Usaron de forma muy ingeniosa una técnica de embeddings por capa. También existen modelos TTS prácticos de unos 20 a 30 millones de parámetros, así que un ESP32 sin conexión de red podría leer texto casi en tiempo real

  • Quiero probar una configuración donde cada MCU se encargue de una capa del modelo. Sería conectar varios RP2350 por líneas dedicadas de PIO y combinar interpoladores con instrucciones de multiplicación doble
    La PSRAM, la flash y las tarjetas SD no tienen mucho ancho de banda individualmente, pero si se usan varias al mismo tiempo se puede alcanzar un rendimiento considerable. El hardware dedicado a gran escala seguramente gane en rendimiento por vatio, pero por su bajo costo inicial y escalabilidad gradual este tipo de configuración también resulta atractiva

• Más que un microcontrolador, me pregunto cuál sería una opción realista para que un LLM local en Raspberry Pi 4 no tarde 30 segundos por respuesta

• Está genial correr un LLM en un dispositivo diminuto, pero me impresiona todavía más la forma de entrenamiento que produjo estos pesos

  • En el rango de parámetros pequeños es difícil sobreoptimizar solo para benchmarks, así que la utilidad de los leaderboards no ha desaparecido. Más bien, todavía sirven para encontrar modelos más pequeños con el mismo rendimiento en benchmarks y para hacer que, en la etapa de modelado, se reconozcan y eliminen la compresibilidad y la redundancia

• Si se aprovechara la flash con un buen patrón de acceso, me pregunto si no se podría escalar esto para correr modelos mucho más grandes en CPU

  • Hubo un intento parecido hace poco. Corrieron GLM-5.2 con una CPU de escritorio común, un SSD NVMe y unos 25GB de RAM, pero la velocidad no era de tokens por segundo sino de hasta 20 segundos por token: https://github.com/JustVugg/colibri
  • El ancho de banda de la flash del ESP32 es apenas cerca de una cuarta parte del SRAM interno. En sistemas más potentes esta brecha es mucho mayor, y para aprovechar de forma eficiente el aumento en capacidad de cómputo también hay que suministrar mucho más ancho de banda de memoria

• El ESP32-S3 es bastante potente; actualmente lo uso para trabajo de desarrollo en Raspberry Pi 4. Uno de sus dos puertos USB soporta OTG, así que permite implementar funciones que de otro modo costarían más de 100 dólares

  • Aceptando algunas limitaciones, con un RP2350 se puede lograr una configuración parecida por alrededor de 1 dólar. La velocidad máxima sería USB Full Speed de 12Mbps; uno usaría el periférico USB integrado del chip y el otro se conectaría a pines GPIO compatibles con PIO
    Ahora mismo funciona con tinyusb y pico-pio-usb, y también estoy probando un port a Rust esperando mejor rendimiento

• Me pregunto qué tan buena será la precisión de este modelo cuantizado

• El rendimiento que muestra a este tamaño es impresionante, y entusiasma pensar hasta dónde se podrá llegar en las computadoras de placa única un poco más potentes que aparecieron en el hilo