MemoryCache: proyecto de Mozilla para potenciar la IA local basada en el navegador
(future.mozilla.org)- El texto proporcionado corresponde a la página principal de Mozilla New Products y no incluye el contenido introductorio de MemoryCache mencionado en el título de Hacker News
- Mozilla New Products es un espacio para descubrir, probar y explorar nuevos productos, e invita a los usuarios a participar en la creación de la próxima generación de tecnología
- Los productos que actualmente se pueden verificar son Solo para crear sitios web, 0din como programa de recompensas por fallos de seguridad en IA y Tabstack como API de ejecución web y transformación de datos para sistemas de IA
- El boletín ofrece acceso anticipado a los productos y funciones más recientes de Mozilla, exploración de actualizaciones y un canal para compartir comentarios
- Solo con este texto no se puede confirmar la arquitectura de MemoryCache, cómo potencia la IA local basada en el navegador, su forma de uso ni sus limitaciones
El texto proporcionado es la página principal de Mozilla New Products
- Mozilla New Products se presenta como un espacio para descubrir, probar y explorar productos innovadores que ayudan a mejorar la productividad, hacer crecer negocios y crear productos
- Mozilla afirma que crea soluciones centradas en las personas e invita a los usuarios a participar en las pruebas de nuevos productos para dar forma juntos a la próxima generación de tecnología
- Sostiene que el futuro de internet debe ser abierto, accesible y con la privacidad como prioridad
Productos verificables y formas de participación
- Solo: producto con el que se puede crear un sitio web gratis y conectar un dominio personalizado
- 0din: programa de bug bounty de seguridad en IA para encontrar vulnerabilidades en modelos LLM y recibir recompensas
- Tabstack: API de ejecución web y transformación de datos que ayuda a los sistemas de IA a leer la web y realizar tareas de forma confiable
- Está dirigido a desarrolladores que crean agentes de IA, herramientas de investigación, pipelines de datos y flujos de trabajo autónomos
- El boletín de Mozilla New Products ofrece acceso anticipado a los productos y funciones más recientes, exploración de actualizaciones y la posibilidad de compartir comentarios
- El texto proporcionado no incluye una explicación de MemoryCache, por lo que no se pueden verificar sus funciones ni los detalles de su implementación
2 comentarios
Todo bien, pero ojalá no sigan intentando convertir el navegador en una especie de cajón de sastre lleno de cosas.
Supongo que habrá lecciones aprendidas de las antiguas internet suites.
El navegador es el navegador. La IA es la IA. Si hace falta, basta con ejecutarla por separado.
Opiniones de Hacker News
En vez de que los datos vayan al modelo, el modelo debería venir a los datos locales y los datos deberían quedarse en local.
Hay mucho open source que carga datos personales, pero no maneja tan bien imágenes o videos. En el futuro quizá cada quien tenga su propio modelo, pero por ahora, aunque la tecnología existe, faltan productos u open source que le permitan a cualquiera tener fácilmente su propio QLORA, RAG o resumidor.
No solo los mensajes o documentos, sino también lo que leemos, escribimos y pensamos forman parte de lo que somos. El historial de navegación dice mucho sobre lo que leemos, pero casi no se aprovecha salvo para que Google lo use en publicidad. Debería ser posible agrupar los sitios de noticias, redes sociales y videos de YouTube que vemos todos los días y decir: “el resumen de estos 3 sitios de hoy es este”.
Ayer, viendo https://www.youtube.com/watch?v=zHLCKpmBeKA, pensé por qué, después de casi 30 años, todavía no tenemos un asistente de computadora que vaya un paso adelante de nosotros.
LLaVA es un modelo de lenguaje grande con capacidades multimodales de imagen y corre bastante bien incluso en mi laptop: https://simonwillison.net/2023/Nov/29/llamafile/
Modelos como Salesforce BLIP también pueden usarse para generar captions de imágenes, e incluso hice una pequeña herramienta CLI para eso: https://github.com/simonw/blip-caption
Reunimos datos sobre el usuario, es decir, información que viene de la computadora e internet, en una base de datos local, y hacemos que el modelo aprenda a usarla. El modelo puede ser local o basado en la nube, y las solicitudes pueden enrutarse según la sensibilidad de los datos o las capacidades necesarias.
Si suena interesante, también estamos contratando.
Una parte importante de mis búsquedas es volver a encontrar algo que ya vi antes, pero a menudo me topo con que la página desapareció, quedó muy abajo en el ranking del buscador o quedó enterrada por la optimización para búsquedas, como documentos antiguos que solo usan HTTP.
Coincido en que el modelo debe venir hacia nuestros datos. Si una inteligencia como Copilot pudiera ejecutarse completamente dentro del dispositivo y revisar rastros personales como mensajes, historial de navegación y contenido de páginas web, sería un cambio de juego.
Las consultas de búsqueda de Bing Chat parecen del nivel de un tío al que recién le explicaron qué es un motor de búsqueda. Debería usar operadores avanzados como
site:ofiletype:, o al menos paréntesis y AND/OR.Se podría hacer fine-tuning para imitar el proceso de búsqueda de grandes investigadores, asistentes legales y adolescentes en el espectro autista que verifican al instante las historias del abuelo sobre Ellis Island y encuentran registros de llegada y pruebas de naturalización en Chicago.
Es una buena idea. Mozilla se gana con justicia muchas críticas por la mala operación de Firefox y sus sermones políticos, pero aun así creo que todavía tiene capacidad para crear tecnología amigable para el usuario y respetuosa de la privacidad.
Uso mucho el traductor offline integrado en Firefox y se siente como magia. No pensé que algo así pudiera correr localmente sin hardware de nivel granja de servidores.
Espero que este experimento termine igual.
Esto no encaja bien con mi forma de navegar. No quiero “chatear” con mi historial de navegación; simplemente me gustaría que el navegador pudiera indexar el contenido de mis marcadores en el sistema operativo para poder buscar el contenido real de las páginas.
Creo que el loop de feedback que se obtiene con ChatGPT siempre será mucho mejor que cualquier equivalente local de GPT.
Pero suelo guardar en marcadores páginas con información importante que voy a volver a consultar dos o más veces. Así que empecé a crear una solución que rastrea los marcadores del almacenamiento local del navegador, descarga esas páginas y las agrega al índice de búsqueda del sistema operativo.
Es una comezón que llevo años queriendo rascar.
Personalmente, me conformaría con que los navegadores no siguieran olvidando el historial. Tanto Firefox como Safari conservan el historial por demasiado poco tiempo.
De verdad me gustaría que hubiera una forma de “chatear” con el historial de navegación y el contenido de las páginas. Me pregunto si existe alguna manera de guardar automáticamente las páginas visitadas para poder procesarlas después.
Busqué algo así hace más de 10 años, pero no encontré una buena solución.
Los marcadores tradicionales fracasaron porque la organización basada en la memoria no escala. Una interfaz así sí puede escalar y, si se hace bien, puede reemplazar por completo a los marcadores.
Pensándolo bien, también podría usarse con todos los archivos locales, así que podría funcionar como una mejor versión de aquella vieja idea de usar “el sistema de archivos como una base de datos”. También encaja con bases de conocimiento específicas; por ejemplo, algo como un Zotero basado en modelos de lenguaje grandes.
Si se pudiera hacer que un modelo de lenguaje grande complete bien RDF, y con mucha más memoria y almacenamiento, más rápidos que los de entonces, quizá funcione.
https://withorbit.com/
Parece que Mozilla dio con algo.
En vez de intercambiar prompts con las grandes corporaciones y hacerlas más ricas cada vez, usa modelos locales más pequeños y respeta mucho más la privacidad.
Con este modelo de operación, estaría dispuesto a contribuir a código abierto o incluso a financiarlo.
Para ser sincero, no soy gran fan de la organización Mozilla, pero es imposible no apoyar al underdog.
Para quien tenga interés, el repositorio de PrivateGPT está aquí: https://github.com/imartinez/privateGPT
Parece que el sitio oficial no lo enlaza.
Actualización: buscando por mi cuenta, parece que en modo local usa llamacpp: https://github.com/imartinez/privateGPT/blob/main/private_gp...
Tal vez porque, como exbecario, viví la era de Firefox OS, esto se siente como un reingreso de Mozilla para volver a lanzar su propio sistema operativo en el futuro.
Se decía que Internet nació para conectar a las personas, pero meter todas estas funciones sofisticadas en el navegador no es lo óptimo.
Firefox OS básicamente estaba compuesto por un pequeño kernel de Linux, Gecko y HTML5 para el renderizado. Así como iOS y iPadOS, Mozilla también podría ofrecer un sistema operativo similar para dispositivos o plataformas.
Como en los últimos 5 años también han invertido en AR y VR, no me sorprendería que terminaran apostando por otro Firefox OS.
¿Quizá querían enlazar al repositorio bifurcado?
https://memorycache.ai/developer-blog/2023/11/30/we-have-a-w... lleva a https://github.com/misslivirose/Memory-Cache
¿Lo previsto era https://github.com/Mozilla-Ocho/Memory-Cache?
Con solo el enlace compartido, casi no entendí qué significaba esto.
Retrocediendo un poco más hacia el sitio oficial, dice que “MemoryCache es un proyecto de desarrollo experimental para convertir el entorno de escritorio local en un agente de IA en el dispositivo”.
También hay una publicación de noviembre: Introducing Memory Cache
https://memorycache.ai/developer-blog/2023/11/06/introducing...