Ollama, disponible en versión preview para Windows

Ollama en vista previa para Windows

• Ollama ahora está disponible en una versión de vista previa para Windows.
• En Windows, Ollama incluye aceleración por GPU, acceso a la biblioteca completa de modelos y una API de Ollama compatible con OpenAI.

Aceleración por hardware

• Ollama acelera la ejecución de modelos usando GPU de NVIDIA y conjuntos de instrucciones de CPU modernos como AVX y AVX2.
• Funciona sin necesidad de configuración ni virtualización.

Acceso a la biblioteca completa de modelos

• Puedes acceder a la biblioteca completa de modelos de Ollama que se ejecutan en Windows.
• Al ejecutar modelos de visión como LLaVA 1.6, puedes agregar imágenes a un mensaje arrastrándolas y soltándolas.

API de Ollama siempre activa

• La API de Ollama se ejecuta automáticamente en segundo plano y está disponible para herramientas y aplicaciones sin configuración adicional.
• Por ejemplo, se muestra cómo llamar a la API de Ollama con PowerShell.

Cómo empezar

• Descarga e instala Ollama para empezar con Ollama on Windows Preview.
• Después de instalarlo, abre la terminal y usa el comando ollama run llama2 para ejecutar un modelo.
• Ollama notificará cuando salga una nueva versión.
• También solicita comentarios: si tienes algún problema, te recomendamos abrir un issue o unirte al servidor de Discord para reportarlo.

Opinión de GN⁺

• Integración con Windows: La integración de Ollama en Windows facilita que los desarrolladores usen modelos de lenguaje de gran escala también en este entorno, mejorando la accesibilidad al desarrollo de ML e IA.
• Aceleración por hardware: La aceleración con GPU y conjuntos de instrucciones de CPU modernos mejora significativamente la velocidad de ejecución del modelo y permite maximizar el rendimiento sin configuraciones complejas.
• Accesibilidad de API: La API siempre activa y la compatibilidad con OpenAI simplifican la integración con herramientas existentes, permitiendo que los desarrolladores trabajen de forma más eficiente.

[GN⁺]

Opiniones de Hacker News

• Un usuario está ejecutando una colección de modelos afinados con Mistral y algunos otros en su escritorio usando el frontend de Open-WebUI. Les va bastante bien tanto para chat como para tareas de extracción de información. La app de Open-WebUI es muy similar a chatGPT y también permite buscar conversaciones.

  Página de GitHub de Open-WebUI

• Expresa que le hubiera gustado que se mencionara soporte para GPU AMD y lamenta haber elegido AMD esta vez.
• Para quienes buscan una interfaz de chat basada en Ollama que soporte modelos en línea y locales, está desarrollando una app offline con enfoque en privacidad, y esta mañana agregó soporte para Windows.

  msty.app

• Se pregunta por qué tantos "puertos de IA local" se ejecutan en realidad como servidores. Se cuestiona si los desarrolladores se olvidaron de que es posible ejecutar código dentro del proceso de UI. También lo ve en el launcher de Stable Diffusion y en un host de LLM. Cuando no hace falta, no quiero ejecutar servicios en segundo plano en local.
• Está interesado en la opinión de la gente sobre LM Studio y Ollama, que no son de código abierto.

  LM Studio

• Hace unos años probablemente se habría pensado que los usuarios de Mac tendrían que esperar, y no se había dado cuenta de que los usuarios de Windows no podían acceder a Ollama.
• Señala que ya está disponible para Linux y Mac, y que ahora se agregó soporte para Windows.

  Página de GitHub de Ollama

• En una máquina con Windows, en los últimos días probé el autocompletado local de pestañas en VS Code con Ollama, y funciona tan bien como en mi Mac.
• Después de instalar el modelo llama2 en un Mac Mini nuevo, experimenté un kernel panic total. ¿Qué pasó?
• Pregunta si la gente prefiere ejecutar y desarrollar sobre modelos locales y si hay otras herramientas esenciales que haya que aprender.