Código abierto - Cliente móvil de LLM basado en Ollama

Este año dediqué bastante tiempo a trabajar en temas relacionados con LLM-RAG para video. Como resultado, salieron algunos subproductos(?), y organicé parte de ellos para convertirlos en una app y subirlos como código abierto.

Para la demo necesitaba una UI de chat que pudiera usarse al mismo tiempo en app y web, así que trabajé sobre flutter_chat_ui de Flutter. Como me pareció que era una lástima dejarlo solo como demo, hice una app cliente de Ollama que puede usarse en móvil.

ChatGPT y Claude tienen muy buen rendimiento, pero para quienes se preocupan por el costo o la seguridad, también es una buena opción instalar Ollama en su propia computadora y usar el LLM adecuado según lo que necesiten.
Al ser código fuente en Flutter, se puede compilar y usar en iPhone y teléfonos Android.

---

Introducción

Ollama es un software de código abierto que permite ejecutar fácilmente modelos de lenguaje grandes (Large Language Models, LLMs) en una computadora local. Con MyOllama puedes conectarte a Ollama y aprovechar distintos LLM. Como MyOllama ejecuta el LLM en tu propia computadora a través del programa Ollama, puedes conversar con modelos de IA sin pagar tarifas adicionales.

Funciones principales

• Acceso remoto a LLM: conexión al host de Ollama mediante dirección IP
• Prompts personalizados: soporte para configurar instrucciones definidas por el usuario
• Soporte para varios LLM de código abierto (Llama, Gemma, Qwen, Mistral, etc.)
• Posibilidad de configurar instrucciones personalizadas
• Soporte para reconocimiento de imágenes (solo en modelos que admiten esta función)
• UI intuitiva en formato de chat
• Historial de conversaciones: guardar y administrar sesiones de chat
• Soporte para iOS y Android
• Soporte para coreano, inglés y japonés

Cómo usarlo

• Instala Ollama en tu computadora (compatible con macOS, Windows y Linux). Puedes consultar cómo instalarlo en el GitHub de Ollama.
• Descarga el código fuente y compílalo con Flutter, o descarga la app MyOllama desde App Store.
• Instala en Ollama el modelo que quieras usar. Descarga de modelos
• Cambia la configuración de Ollama para permitir acceso remoto.
• Ejecuta la app MyOllama e ingresa la dirección IP de la computadora donde está instalado Ollama.
• Elige el modelo de IA que quieras y comienza la conversación.

Ventajas

• Esta app fue diseñada para desarrolladores e investigadores que quieren aprovechar de forma eficiente LLM de código abierto. Puede usarse para distintos experimentos técnicos, como llamadas a API, prompt engineering y pruebas de rendimiento de modelos.
• Uso gratuito de funciones avanzadas de IA
• Soporte para distintos modelos LLM
• Protección de la privacidad (se ejecuta en una computadora local)
• Puede usarse para programación, trabajo creativo, preguntas cotidianas y muchos otros fines
• Está diseñada para mantener el contexto de la conversación

Precauciones

• Para usar esta app, necesitas obligatoriamente una computadora con Ollama instalado.
• La configuración y administración del host de Ollama son responsabilidad del usuario. Presta atención a la configuración de seguridad.

[chungjungsoo]

Yo también hice y estoy operando una app similar, aunque con un objetivo distinto, y Ollama también lanzó hace poco una actualización con soporte para eso.
Parece que en el extranjero, especialmente, hay muchas solicitudes relacionadas con Ollama.

https://es.news.hada.io/topic?id=15375

[rtlink]

Enlace de GitHub
https://github.com/bipark/my_ollama_app