Actualmente estoy desarrollando una app con Expo + React Native, y quiero instalar directamente el modelo Gemma-4-E2B-it en el teléfono para ejecutarlo on-device.
Buscando, parece que hay opciones como las siguientes, pero no me queda claro cuál es la forma que más se usa en la práctica.
- llama.rn
- llama.cpp
- GGUF
- LiteRT / AI Edge
- MLC LLM
Lo que quiero hacer es algo como esto:
- Descargar/instalar el modelo desde la app
- Inferencia local (si es posible, completamente offline)
- Usarlo dentro de la app Expo/RN
¿Cuál es actualmente el runtime o la librería más usada?
Si alguien ya lo implementó, agradecería muchísimo que compartiera su arquitectura, algún repo de ejemplo o su experiencia.
2 comentarios
Había avanzado un PoC similar con Flutter. Por ahora trabajé con LiteRT-lm y tomé mucho como referencia este repositorio: https://github.com/google-ai-edge/gallery
Ah, ya veo. Yo también instalé Google Edge Gallery y probé varias cosas, así que lo tomaré como referencia. ¡Gracias!