Extensión de Chrome para ejecutar IA generativa localmente en el navegador
(github.com/tantara)Descripción del proyecto
Este es un proyecto de extensión de Chrome de Transformers.js que ejecuta modelos de IA generativa con JavaScript.
Hay muchas formas de ejecutar modelos de IA generativa localmente, como Ollama y llama.cpp, pero el proceso de configuración es engorroso y resulta incómodo tener que cambiar de pantalla cada vez. Para resolver esto, se implementó usando Transformers.js para que pueda ejecutarse directamente desde el panel lateral de la extensión de Chrome.
Una de las ventajas de la ejecución local es que puede usarse en entornos sin conexión a internet; me resultó útil para tareas simples en lugares con mala conectividad (como en un avión o en un camping).
Modelos compatibles
Como usa Transformers.js, en teoría puede ejecutar casi cualquier modelo de Hugging Face, pero por ahora solo son compatibles los siguientes modelos.
- LLM : Llama 3, Phi 3.5, Qwen 2.5, SmolLM2
- Reasoning : DeepSeek R1 (en una MacBook con M1, DeepSeek R1 (1.5B) genera 30 tokens/segundo)
- LLM multimodal : Janus
- Speech to Text : Whisper
Funciones adicionales
También se añadieron las funciones Summarize y Rewrite. Si seleccionas texto visible en el navegador y ejecutas la extensión con clic derecho, ese texto se resume (Summarize) o se transforma en una salida de LLM (Rewrite). El video de demostración de abajo puede ayudar a entenderlo mejor (segmento de 1:10 a 1:25).
Video de demostración: https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s
Ejecutar la extensión
Puedes compilar directamente el proyecto de GitHub o descargarlo desde Chrome Web Store.
Chrome Web Store: https://chromewebstore.google.com/detail/private-ai-assistant-runn/…
2 comentarios
Lo leí con atención.
Creo que habría que indicar claramente que no es Deepseek R1, sino un modelo destilado, porque técnicamente son dos modelos completamente distintos.
Gracias por la observación. Como el modelo 1.5B que probé era un modelo destilado, creo que "distilled" es una expresión más precisa. Parece que no se puede editar el texto, así que lo reflejaré en la próxima actualización.