Google AI Edge Gallery - app de galería LLM completamente offline y de código abierto

• App para iOS/Android especializada en ejecutar IA generativa en el dispositivo, capaz de correr LLM en un entorno completamente offline y privado sin conexión a internet
• Se añadió soporte oficial para la familia Gemma 4: permite probar razonamiento avanzado, lógica y funciones creativas sin enviar datos al servidor
• Agent Skills: va más allá de conversar con el LLM para convertirlo en un asistente proactivo
  • Amplía las capacidades del LLM con herramientas como búsqueda de datos en Wikipedia, mapas interactivos y tarjetas de resumen visual
  • Soporta cargar habilidades modulares desde URL y explorar habilidades de la comunidad en GitHub Discussions
• Thinking Mode: permite ver visualmente el proceso de razonamiento paso a paso del modelo durante el chat con IA (por ahora limitado a modelos compatibles, como la familia Gemma 4)
• Ask Image: reconocimiento multimodal de objetos, acertijos visuales y generación de descripciones detalladas usando la cámara y la galería de fotos
• Audio Scribe: transcripción y traducción de voz en tiempo real con modelos on-device
• Prompt Lab: espacio de trabajo dedicado para probar prompts ajustando con detalle parámetros como temperature y top-k
• Mobile Actions: automatización del control del dispositivo offline basada en el modelo fine-tuned FunctionGemma 270m
• Tiny Garden: minijuego de lenguaje natural
• Model Management & Benchmark: permite descargar modelos open source, cargar modelos personalizados y ejecutar pruebas de benchmark según el hardware
• LiteRT runtime ligero + integración con Hugging Face para explorar modelos y ejecutar optimizaciones
• Compatible con Android 12+ e iOS 17+ / disponible en Google Play y App Store / en entornos sin acceso a Google Play también se puede instalar el APK directamente desde GitHub Releases
• Licencia: Apache-2.0 / Lenguaje de desarrollo: Kotlin

[lastorder]

https://github.com/google-ai-edge/gallery/issues/437

Parece que la compatibilidad con Exynos no es muy buena. En el Galaxy Quantum 5 (A55) hay un problema en el que responde repitiendo caracteres chinos infinitamente.

[GN⁺]

Comentarios en Hacker News

• De verdad es un modelo impresionante. Lo estoy corriendo en Mac ahora mismo, pero ahora que también se puede ejecutar localmente en iPhone, tengo que probarlo
  Probé hacerle dealignment (quitarle la censura) a este modelo con el script heretic, y la verdad funcionó muy bien. Incluso hice mi propio repo, gemma4-heretical, para dejarlo documentado
  También se puede hacer una versión para MLX; en Mac es un poco más rápida, pero no corre en Ollama (aunque quizá sí en LM Studio)
  Corre muy bien en una M4 Macbook Pro de 128GB, y probablemente también vaya bien en 64GB. Si tienes menos memoria, hay que bajar el nivel de cuantización
  Me gustan este tipo de modelos locales no alineados. En vez de que me censuren en una plataforma externa, puedo experimentar libremente dentro de mi propio dispositivo. Eso permite conversaciones “sensibles pero productivas”
  Intenté conectarlo a OpenClaw y tuve problemas. Obviamente este enfoque también podría usarse mal, pero creo que hay muchísimos más usuarios bienintencionados

  • Yo corro modelos MLX en Mac con omlx, y funciona muy bien
  • Vi el script abliterate, pero no me queda claro qué hace exactamente. Me da curiosidad qué tipo de conversaciones habilita
  • Lo probé para programar en Mac, pero no me impresionó más que Qwen. Tal vez sea mejor en ciertas áreas, pero por ahora no estoy seguro
  • Aún no he construido nada con la plataforma de agent skills, pero se ve bastante interesante. En Android, el sandbox carga index.html en un WebView e interactúa con I/O de cadenas estandarizado. Se siente como una forma temprana de un sandbox de agentes de edge computing del futuro
  • Me da curiosidad si podrías dar ejemplos de qué tipo de “conversaciones sensibles” planeas intentar con un LLM local

• Esta app está buena, pero no muestra todo el potencial del modelo E2B
  Yo hice una IA de audio y video en tiempo real con Gemma E2B en una M3 Pro, y la publiqué en /r/LocalLLaMA con el nombre Parlor. Tuvo muy buena recepción
  La estoy corriendo en una Macbook, pero según este benchmark, debería ser totalmente posible también en un iPhone 17 Pro

  • Parlor está realmente genial. Y además, impresionante que lo hayas publicado gratis. Me parece un gran ejemplo de uso de un LLM local

• Probé correr el modelo en iPhone y obtuve resultados bastante buenos. No alcanza a Gemini en la nube, pero sí es lo suficientemente útil
  La función de “acciones móviles” es interesante porque permite controlar el dispositivo, como encender la linterna o abrir mapas. Estaría buenísimo si se integrara con Siri Shortcuts
  Como alguien que desarrolla una app para docentes, me alegra muchísimo la popularización de los modelos locales. Por leyes de privacidad, ejecutar del lado del cliente es importante. Ya hay APIs de modelos on-device en iOS y Chrome, pero la calidad todavía es baja

  • Para mí, las alucinaciones (hallucinations) de este modelo se sienten como volver a épocas anteriores. Aun así, impresiona que algo así pueda correr localmente. Ojalá incluso modelos del nivel de hace unos años puedan seguir corriendo localmente a futuro

• Creo que solo hay dos futuros realistas para la IA: ejecución local gratuita en el dispositivo, o servicios costosos en la nube
  Lo segundo se usará solo para tareas donde los humanos sean más caros o más lentos. Los modelos Gemma 4 muestran la posibilidad de un Siri del futuro integrado en iPhone y macOS, o sea, un asistente como en la película “Her”

  • Me da curiosidad por qué piensas que la nube va a volverse más cara. Las grandes empresas ya están obteniendo ganancias en la etapa de inferencia. El hardware dedicado para nube es más eficiente, y correrlo en el teléfono solo va a drenarte la batería
  • Si puedes correr modelos gratuitos en dispositivos de consumo, ¿no podrían también los proveedores de nube ofrecer mejor calidad y valor agregado en paquete?
  • Aunque corras modelos locales en un teléfono controlado por el vendor, eso no significa autonomía local en el sentido real
  • Esto no es el primer paso hacia el futuro que tú imaginas
  • De verdad quiero preguntar si después de ver “Her” realmente deseabas que llegara un futuro así

• Comparto el enlace a la app en inglés
  Google AI Edge Gallery para iOS
  Versión para Android
  Es una app demo del proyecto Edge de Google

• La mayoría de los modelos todavía aparecen como no disponibles para descargar. Ojalá los publiquen pronto

• Se cuestiona si la página web de la App Store parece falsa. El texto del encabezado se ve pixelado, el fondo parpadea y la calidad de los íconos es baja

  • La misma página de la versión de EE. UU. también tiene una calidad de diseño pobre. Parece que el diseño ya no es una fortaleza principal de Apple
  • Viendo que la URL tiene /nl/, parece ser la versión de Países Bajos. La página principal de App Store se ve un poco mejor, pero igual algo rara
  • Probablemente sea un problema de calidad de localización. En mi iPhone, si se abre con la app de App Store, se ve bien
  • En Firefox no veo ese problema
  • En Firefox sobre GrapheneOS se renderiza perfectamente

• Probé el modelo Gemma-4-E2B-it en un iPhone 16 Pro y me dio unas 30 tokens por segundo. El teléfono se calentó bastante, pero el rendimiento fue impresionante. Pienso integrarlo también en mi app

• Mi hijo empezó a usar el modelo 2B en Android. Corre bien incluso en un Motorola barato, y lo está usando para practicar lectura y escritura en idiomas extranjeros. La ligereza del modelo es realmente sorprendente

• Los modelos nuevos son muy impresionantes. AI Edge Gallery corre sobre GPU, pero la NPU de los chips más recientes es mucho más rápida
  Por ejemplo, el chip A16 tiene un Neural Engine de 35 TOPS, y la GPU anda por unos 7 TFLOPS. Qualcomm está en una situación parecida

  • Sorprende ese nivel de rendimiento en chips de tan bajo consumo. Tengo muchas ganas de ver una versión para la serie M. Siento que pronto llegará la era de las TPU ultrarrápidas tanto en escritorio como en teléfonos