MirrorOn - Creé un programa de consultas múltiples para LLM.
(practical.kr)[LLM]
Los LLM (Large Language Model) ya se han vuelto algo cuya ausencia se siente. Desde la perspectiva de un desarrollador, ya llevaba dos años usando muy bien Github Copilot como asistente de programación, pero ChatGPT y Claude llegaron a un punto en el que generan código aún mejor, y recientemente la generación aumentada por recuperación (RAG – Retrieval-Augmented Generation) se volvió una palabra clave importante para los desarrolladores, así que no tuve más opción que empezar a estudiar la estructura y las API de los LLM.
Siempre he pensado que la forma más rápida de aprender es enseñar o intentar construir algo, así que cada vez que estudio algo suelo iniciar un proyecto nuevo para aplicarlo; esta vez, el proyecto que hice mientras aprendía sobre LLM es MirrorOn.
[Herramienta de consultas a múltiples LLM: MirrorOn]
MirrorOn es una herramienta de consulta que hace una sola pregunta y obtiene respuestas de varios LLM. El nombre está inspirado en “Espejito, espejito”. ^^ Si enciendes el espejo (On!), te dirá quién es la más hermosa del mundo.

Actualmente (V 0.1.0) se pueden usar ChatGPT, Claude y Ollama. ChatGPT y Claude requieren una API key. El usuario debe obtener su propia API key, ingresar la clave en la configuración y luego escribir su pregunta para consultar el resultado de la API. Está diseñado para mantener el contexto de la conversación, y desde el menú se pueden ejecutar acciones como copiar, borrar y compartir.
[LLM local]
Ollama (https://ollama.com) es un programa que te ayuda a ejecutar un LLM en tu computadora. Puedes instalar Ollama desde el enlace, instalar el modelo que quieras y hacer preguntas gratis (!). Puedes ejecutar distintos modelos según la capacidad de almacenamiento de tu computadora.
Si usas MirrorOn como cliente de Ollama, puedes ahorrar el costo mensual que pagas por un LLM.
[RAG – Retrieval-Augmented Generation]
La generación aumentada por recuperación (RAG), desde el punto de vista de los desarrolladores de aplicaciones, parece que será una función indispensable en el futuro. Un LLM no puede saberlo todo, pero las necesidades de los usuarios son diversas, y la forma de ajustarse a ellas es RAG.
En MirrorOn V0.1.0 implementé funciones básicas. Por ahora permite subir documentos PDF y hacer cosas como resumirlos y buscarlos, pero más adelante planeo agregar funciones como vectorización.
Además, incluye funciones especiales para usar LLM, como subir imágenes para hacer preguntas sobre su contenido o proporcionar instrucciones al LLM. Para ver las funciones en detalle, consulta el enlace. También ofrece soporte para inglés y japonés, así como documentación.
[Explicación detallada de funciones]
https://github.com/bipark/MirrorOn
[Descarga]
Por ahora solo existe la versión para Mac. Intenté durante varias semanas subirla a la Mac App Store, pero Apple dejó la aprobación en pausa por un problema con la función para ingresar la API key, así que la subí para que se descargue desde Git Release. Espero que más adelante, si Apple la aprueba, también pueda verse en la App Store. También estoy creando una versión para Windows.
Aún no hay comentarios.