vLLM Compose - cambia y sirve fácilmente varios modelos de vLLM con perfiles de Docker Compose

Es una herramienta de administración TUI dedicada a vLLM que resuelve las incomodidades de servir varios LLM en local (volver a ingresar comandos de Docker para cada modelo, recordar la configuración de GPU y monitorear el estado).

• Guarda la configuración de cada modelo en perfiles YAML y permite iniciar/detener con solo presionar Enter en la TUI
• Quick Setup: con solo ingresar el nombre del modelo, genera automáticamente el perfil y la configuración
• Incluye un panel de monitoreo en tiempo real de la GPU y una función de estimación previa del uso de memoria (hf-mem)
• Autocompletado de argumentos de vLLM: extrae automáticamente desde la imagen real de vLLM la lista de argumentos disponibles y permite autocompletar con la tecla Tab
• Licencia MIT; requiere Python 3.10+ / Docker / entorno con GPU NVIDIA

https://bae-changhyun.github.io/vllm-compose/