- Ollama es un proyecto de código abierto que facilita ejecutar localmente LLM como Llama 2 y Mistral
- Soporta Mac/Linux, y Windows pronto podrá ejecutarlo en WSL2
- Se lanzaron las versiones iniciales de las bibliotecas de Python y JavaScript de Ollama, lo que permite integrar nuevas apps y apps existentes con Ollama con unas pocas líneas de código
- Se puede usar tal cual la funcionalidad y la experiencia de la API REST de Ollama
Primeros pasos
- En Python, se puede instalar con
pip install ollama, y después deimport ollamase puede iniciar una conversación usando la funciónollama.chat. - En JavaScript, se puede instalar con
npm install ollama, y después deimport ollama from 'ollama'se puede iniciar una conversación usando la funciónollama.chat.
Casos de uso
- Ambas bibliotecas soportan el conjunto completo de funciones de Ollama.
- Los ejemplos en Python incluyen streaming, multimodal, completado de texto, creación de modelos personalizados y configuración de clientes personalizados.
Nuevo handle de GitHub
- Estas bibliotecas y el repositorio principal de Ollama ahora se gestionan en la nueva organización de GitHub
ollama. - Agradecen a los miembros de la comunidad que mantienen bibliotecas para interactuar con Ollama en varios lenguajes de programación como Dart, Swift, C#, Java, PHP y Rust.
1 comentarios
La API de node también funcionó bien. La usé muy bien esta vez.