LM Studio - Herramienta para ejecutar LLM localmente con facilidad

• Permite buscar, descargar y ejecutar LLM localmente sin conexión
  • Modelos como LLaMa, Falcon, MPT, StarCoder y GPT-Neo-X
• Mac / Windows / Linux (beta)
• Se pueden usar los modelos mediante la interfaz de chat integrada o un servidor local compatible con OpenAI
• Compatible con modelos Llama, MPT y StarCoder basados en ggml de HuggingFace
  • (por ejemplo: Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT, etc.).
• Especificaciones mínimas y requisitos
  • Apple Silicon Mac (M1/M2/M3) con macOS 13.6 o superior
  • PC con Windows / Linux (procesador compatible con AVX2)
  • Se recomiendan 16 GB o más de RAM. En PC, se recomiendan 6 GB o más de VRAM
  • Compatible con GPUs de NVIDIA/AMD

Privacidad y uso de LM Studio

• LM Studio no recopila ni monitorea los datos del usuario, y todos los datos permanecen localmente en el dispositivo del usuario
• Es gratis para uso personal; si se quiere usar con fines de trabajo, hay que contactar al equipo

Opinión de GN⁺

• LM Studio es una solución atractiva para usuarios que priorizan la privacidad, y su función más importante es poder ejecutar LLM sin conexión.
• Resulta interesante que los datos del usuario se almacenen solo de forma local, que sea compatible con varios modelos y que se ofrezca gratis para usuarios individuales.
• Los requisitos de hardware son relativamente altos, por lo que es más adecuado para quienes tienen equipos recientes, y es positivo que contemple el uso laboral.

[GN⁺]

Comentarios de Hacker News

• Comparten un enlace que muestra que se puede hacer lo mismo que con el código abierto usando Ollama y una UI.
• Evaluación positiva de LM Studio y sus características:
  • Runtime local de modelos
  • Catálogo de modelos
  • UI para conversar fácilmente con los modelos
  • API compatible con OpenAI
  • Incluye plugins como RAG (usando ChromaDB)
  • Está bien posicionado para aprovechar nuevas funciones del ecosistema del SO
  • Lamentablemente, LM Studio en sí no es open source
• Quiere probar modelos sin censura. Encontró el modelo "TheBloke/Luna-AI-Llama2-Uncensored-GGML" y descargó solo el primer archivo para verificar si funciona. Se pregunta si también necesita descargar los demás archivos y si el modelo realmente no está censurado frente a ciertas preguntas sensibles.
• Pregunta básica sobre los LLM: qué pasa si se le mete la serie de "El Señor de los Anillos" a un LLM, si existe un LLM básico y "ignorante", y si con eso se podría crear un experto en la Tierra Media.
• Divertidos requisitos de calificación para un puesto avanzado de ingeniería: se exige comprensión profunda de computadoras y software, capacidad para escribir algoritmos y programas, etc., pero cuesta tomarse en serio estos requisitos.
• Comparte un enlace presentando una UI simple creada personalmente como intento de simplificar una configuración compleja.
• Tiene curiosidad por la base de usuarios potencial de este tipo de software LLM y le gustaría ver información o especulaciones sobre la segmentación del mercado. A pesar de la configuración compleja, le encuentra valor a esta interfaz para conversar y gestionar modelos.
• Sugerencias para mejorar la UI de la app:
  • Hace falta mejorar el estado predeterminado del campo de la caja de chat
  • No queda claro cómo configurar la aceleración CUDA antes de cargar el modelo
  • Algunos modelos de HuggingFace no aparecen listados y no se explica por qué
  • La parte de acordeón de la interfaz solo responde a la rueda del mouse para hacer scroll
  • La pestaña del servidor es muy útil para el debugging inicial
• Pregunta sobre los problemas que pueden surgir al usar varios modelos LLM (Mistral, Llama 2, Code Llama, Orca Mini, Vicuna), como 50% de alucinaciones, recomendación de código para APIs inexistentes, reproducción de respuestas desactualizadas de StackOverflow, etc., y pide que compartan casos de uso reales de estos modelos.
• Después de instalar y ejecutar LM Studio, experimentó que el uso de CPU subió hasta 30% y aumentó el ruido del ventilador de la laptop. Tras cerrar el proceso de LM Studio y volver a abrirlo, el uso en segundo plano bajó a 5%.