Google LiteRT-LM - framework de inferencia LLM de alto rendimiento para dispositivos edge

• Motor de inferencia LLM de nivel de producción y en dispositivo creado por Google, que permite ejecutar modelos de lenguaje grandes en todo tipo de entornos edge como Android, iOS, web, escritorio e IoT (Raspberry Pi)
• También se añadió soporte para los modelos Gemma 4 más recientes, y mediante aceleración por hardware GPU·NPU ofrece un rendimiento de inferencia óptimo incluso en dispositivos edge
• Con soporte multimodal, puede procesar entradas de visión (imágenes) y audio, y en la CLI también admite inferencia con imágenes adjuntas mediante la opción --attachment
• Incluye Function Calling (Tool Use) para flujos de trabajo agénticos
• Compatible con diversos modelos LLM como Gemma, Llama, Phi-4 y Qwen; con un comando CLI de una sola línea se puede descargar un modelo desde Hugging Face y ejecutar inferencia de inmediato
  • uv tool install litert-lm → litert-lm run para comenzar al instante
• Ya está implementado en productos de Google como Chrome, Chromebook Plus y Pixel Watch, donde ejecuta GenAI en el dispositivo
• A través de la app Google AI Edge Gallery, los modelos pueden ejecutarse al instante en móviles (disponible en Google Play y App Store)
• APIs por lenguaje: soporte estable para Kotlin (Android/JVM), Python (prototipado) y C++ (nativo de alto rendimiento); Swift (iOS/macOS) está en desarrollo
• Estado de lanzamientos: la más reciente es la v0.10.2; en la v0.10.1 se introdujeron Gemma 4 y la CLI, en la v0.8.0 GPU de escritorio y multimodal, y en la v0.7.0 se añadió aceleración NPU
• Licencia Apache-2.0

[picopress]

Quisiera hacerlo correr, pero no tengo memoria, buh.

[hmmhmmhm]

¿Ahora sí funcionará bien? Antes, en Mac, el rendimiento era extrañamente malo...