- Herramienta con interfaz gráfica diseñada para ejecutar LLM fácilmente en hardware personal
- Automatiza procesos complejos como la gestión del backend, la descarga de modelos y la configuración de aceleración por hardware
- Funciona sobre KoboldCpp, un fork de llama.cpp, y admite tanto generación de texto como de imágenes
- Soporta ejecución nativa en Windows, macOS y Linux, especialmente con Wayland
- También funciona en sistemas solo con CPU, y ofrece aceleración por GPU basada en CUDA, ROCm, Vulkan, CLBlast, Metal
- Función integrada de generación de imágenes: incluye presets de flujos de trabajo principales como Flux, Chroma, Qwen Image, Z-Image
- Con la búsqueda integrada en HuggingFace, permite explorar modelos dentro de la app, revisar model cards y descargar archivos GGUF directamente
- Con la opción
--cli, permite ejecución basada en terminal, usando el mismo backend sin GUI y con uso mínimo de recursos
- Licencia AGPL-3.0
1 comentarios
¿Qué ventajas tiene frente a ollama?