Sidekick - aplicación de chatbot LLM local-first de código abierto para Mac

• Proporciona información a partir de los archivos, carpetas y sitios web del usuario, y funciona incluso completamente sin conexión
• Incluye un motor de inferencia de modelos integrado y, si se necesita, también permite usar modelos externos conectando una API key compatible con OpenAI
• Diseñado para que el LLM pueda ofrecer respuestas más precisas con base en la información de contexto
• Basado en llama.cpp

Funciones principales

• Chatbot con prioridad local

  • Todas las conversaciones ocurren sin conexión, sin riesgo de fuga de datos
  • Búsqueda directa de información en archivos, carpetas y sitios web sin instalaciones adicionales
  • Se puede usar sin ningún conocimiento previo de prompts de GPT ni de configuración
  • El motor de inferencia integrado se ejecuta rápidamente en Apple Silicon

• Gestión de contexto basada en expertos (Expert System)

  • Permite crear expertos por tema (Computer Science, History, etc.)
  • Se puede registrar material ilimitado para cada experto (basado en RAG)
  • Agrega documentos fácilmente con arrastrar y soltar
  • Si hace falta, también puede incluir búsquedas web para reflejar información actualizada

• Compatibilidad con varios modelos

  • Permite usar varios modelos locales de inferencia como QwQ-32B de Alibaba y DeepSeek-R1
  • Al ingresar una API key compatible con OpenAI, es posible llamar modelos externos

• Intérprete de código integrado

  • Ejecuta directamente el código escrito por el modelo y refleja los resultados
  • Mejora la precisión en preguntas de matemáticas y lógica

• Canvas

  • Permite generar y editar visualmente sitios web, código y texto
  • Después de seleccionar texto, se puede pedir al LLM una edición selectiva

• Generación de imágenes

  • Genera imágenes automáticamente a partir de prompts de texto
  • Reconoce automáticamente solo con el prompt, sin cambiar de modo
  • Funciona con CoreML en macOS 15.2 o superior

• Asistente de escritura en línea

  • Con Command + Control + I, ofrece asistencia en línea en cualquier app
  • Permite, por ejemplo, escribir una pregunta de tarea en Microsoft Word y obtener una respuesta automática

• Renderizado avanzado de Markdown

  • Compatible con renderizado de fórmulas LaTeX
  • Visualización de datos: generación automática de gráficas a partir de tablas (barras, líneas, pastel, etc.)
  • Compatible con resaltado de código y copia/exportación de código

• Barra de herramientas Toolbox

  • Detector: detecta si un texto fue generado por IA y ofrece guías para reescritura
  • Diagrammer: crea diagramas complejos de relaciones a partir de prompts
  • Slide Studio: crea diapositivas con una sola línea de prompt y permite exportarlas a PDF/PowerPoint

• Optimización de rendimiento e inferencia

  • La inferencia basada en llama.cpp ofrece gran velocidad en Apple Silicon
  • Speculative decoding puede mejorar aún más la velocidad
  • Ofrece mayor duración de batería y funciones de distribución de cómputo en MacBook

Instalación y requisitos

• Mac + Apple Silicon (M1 o superior)
• RAM de 8GB o más
• Descarga el archivo .dmg desde la página de Releases y ejecútalo

Objetivos de desarrollo

• Un asistente personal de IA local que cualquiera pueda usar fácilmente
• Un sistema completamente offline que funcione sin conexión a internet
• Reconocimiento inmediato de carpetas, archivos y sitios web sin configuración
• Protección de la privacidad, sin rastreo del contenido de las conversaciones
• Un proyecto de código abierto que garantiza transparencia y capacidad de expansión

[galadbran]

Creo que tendré que instalar esto y probarlo.