RLama - DocumentAI de código abierto con Ollama

• Herramienta de preguntas y respuestas basada en IA para documentos, que se usa conectándose a modelos locales de Ollama
• Permite crear, administrar e interactuar con sistemas RAG (Retrieval-Augmented Generation) según los requisitos de documentación
• Disponible en macOS, Linux y Windows
• Indexación de carpetas de documentos: permite indexar carpetas de documentos para búsquedas y consultas inteligentes, y es compatible con varios formatos de documentos como texto, código, PDF y DOCX
• Procesamiento local: usa modelos de Ollama para procesar todos los datos localmente, sin que los datos se filtren al exterior
• Sesiones RAG interactivas: permite crear sesiones interactivas para consultar la base de conocimiento de documentos
• Facilidad de administración: ofrece comandos simples para crear, listar y eliminar sistemas RAG
• Pensado para desarrolladores: diseñado en Go para desarrolladores y usuarios técnicos

[GN⁺]

Comentarios de Hacker News

• Este sistema no divide los documentos en chunks, sino que envía el documento completo a Ollama como solicitud de embedding. Por lo tanto, solo es útil cuando el documento es pequeño

  • El modelo de embeddings bge-m3 tiene una longitud de secuencia de 8192 tokens. rlama intenta generar embeddings de un libro completo, pero Ollama solo puede incluir las primeras páginas en la solicitud de embedding
  • Al buscar, recupera el documento completo en lugar de los pasajes relevantes, y luego lo recorta a 1000 caracteres. Como resultado, aunque la palabra "Buddha" aparece 44,121 veces en el documento, el modelo responde que "no hay una mención directa de Buddha"
  • Una mejor solución sería dividir el documento en chunks que se ajusten al contexto del modelo de embeddings y recuperar esos chunks junto con sus metadatos

• Recomiendo mostrarle los resultados de búsqueda al usuario. Incluso solo el motor de búsqueda vectorial ya es muy útil

  • Cambiar el prompt para que proporcione referencias (por ejemplo, con base en metadatos del chunk como el número de página)

• Elogios para el proyecto junto con algunas notas rápidas

  • Principales preocupaciones sobre una app que usa el sistema de archivos
    • Quién puede leerlo y si la app comparte los datos
    • Se necesita un bloqueo duro para impedir el acceso a internet. Si rlama sigue funcionando correctamente
    • Si la app puede modificar/eliminar archivos
    • Debería permitirse solo acceso de lectura, no acceso a todo el sistema de archivos

• Nota de código: sorprende que .ts (typescript) no esté en la lista

• El sitio web está muy limpio. Da curiosidad si fue hecho desde cero o basado en una plantilla

• Es muy fácil construir tu propio RAG. Hay un tutorial de inicio rápido en Ollama. Se puede ajustar el proceso según las necesidades

• Hay escepticismo sobre la utilidad de estas herramientas. Por el problema de las alucinaciones, da curiosidad qué tan confiables son y qué tan bien citan las fuentes

  • Lo más importante es obtener los datos correctamente. A veces se usan herramientas de IA para programar, pero para otros usos no hay confianza en los resultados

• No hay información sobre la arquitectura/stack tecnológico de este proyecto. Tampoco en el readme de GitHub ni en el sitio web

  • Gusta que esté escrito en Go y que sea lo bastante pequeño como para revisarlo en un fin de semana. Pero, por haber perdido tiempo con herramientas del ecosistema llm, hay dudas sobre explorar el código sin ver información básica primero
  • Si se ofreciera una visión general de alto nivel sobre la arquitectura del proyecto, más gente adoptaría la herramienta

• Como historiador aficionado, se escanean documentos de archivos y se guardan como archivos JPG. Da curiosidad cuál sería la mejor manera de entender este conjunto de conocimiento

  • Actualmente se está armando algo propio con Gemini, pero no está claro si hay una forma de resolverlo sin construir un sistema RAG desde cero

• Da curiosidad si puede funcionar junto con llama.cpp, el motor de Ollama

  • Normalmente se compila llama.cpp desde el código fuente y se descargan modelos cuantizados desde Huggingface. Nunca se ha usado Ollama

• Sería bueno que hubiera una interfaz API para poder integrarlo con otros sistemas

• Gran proyecto. Da curiosidad bajo qué licencia fue publicado. No está documentado

• Da curiosidad el rendimiento del RAG. No basta con lanzar solo una base de datos vectorial para que sea útil