Anything-LLM - asistente de escritorio de IA todo en uno de código abierto

• Aplicación de IA full-stack que permite construir un ChatGPT privado usando LLM comerciales o LLM de código abierto y soluciones de vector DB
  • Puede alojarse de forma local o remota
  • Convierte todos los documentos y recursos que proporciones en contexto consultable
• Permite elegir el LLM o la vector DB que se usará, y también admite administración multiusuario y permisos
  • OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..
• Soporte multimodal (tanto para LLM comerciales como abiertos)
• Ofrece un widget de chat personalizado que puede integrarse en tu propio sitio web (versión Docker)
• Divide los documentos en entidades llamadas Workspaces y los encapsula para que funcionen como un solo hilo
  • Se pueden compartir, pero no conversan entre sí, por lo que se puede mantener el contexto entre cada workspace

Componentes dentro del monorepo

• frontend: frontend construido con viteJS + React
• server: servidor NodeJS express que administra la vector DB y maneja la interacción con el LLM
• collector: servidor NodeJS express que procesa y analiza documentos
• docker: comandos de Docker e información del proceso de build
• embed: submódulo para crear y administrar widgets embebidos en la web
• browser-extension: submódulo de extensión del navegador Chrome

[xguru]

Opiniones de Hacker News

• Estoy intentando desplegar una instancia personalizada de AnythingLLM en un entorno empresarial. TimC y el equipo de desarrollo son excelentes y responden rápido. Estoy esperando la integración con EntraID, y con eso probablemente se cubrirían la mayoría de los casos de uso básicos. Gracias a TimC y al equipo
• Al principio pensé que sería un wrapper de Ollama/WebGenUI, pero en realidad soporta mucho más. No solo LLM, sino también modelos de embeddings, bases de datos vectoriales y TTS/STT. Incluye todo lo necesario para construir un chatbot de voz completo
• Muy bueno. Me parece gracioso el término "Language Learning Model". Bromeo con que el autor empezó el proyecto sin saber qué significaba LLM
• Lo descargué y lo probé, y hasta ahora va muy bien. Lo usé con GPT-4o para leer PDFs regulatorios. Comentarios iniciales:
  • Las citas son un poco inciertas. La respuesta suele ser correcta, pero el contenido de la ventana de citas es algo confuso
  • Me gustaría que agregaran una función de búsqueda de texto dentro del historial de chats. Por ejemplo, si busco sobre jirafas durante un chat, que me permita cambiar a ese registro de conversación
• Como alguien que no sabe qué son los embeddings ni los vectores, esta es la única herramienta de IA offline que he podido instalar y usar en una PC de oficina estándar
• Los LLM en el futuro serán gratuitos y de código abierto, como los frameworks web. Habrá opciones de pago, pero para la mayoría del trabajo las opciones gratuitas serán suficientes
• He configurado AnythingLLM a nivel empresarial y me ha impresionado mucho la mayoría de sus funciones. Ojalá hubiera una opción para incluir CSS personalizado correctamente. La interfaz predeterminada se ve un poco anticuada. Sigan con el gran trabajo
• Tuve un error durante la instalación en Linux, pero se resolvió con los siguientes comandos:

  sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  

  Fuera de eso, funciona muy bien
• AnythingLLM hace que usar LLM, tanto localmente como por API, sea muy sencillo. Hay varias opciones para embedders y vector stores. El empaquetado de escritorio con instalación única está muy bien logrado. Espero con ganas las nuevas funciones que vienen