- Permite ejecutar fácilmente un LLM en la mayoría de las computadoras sin instalación, usando 1 solo archivo
- Un framework que combina llama.cpp y Cosmopolitan Libc
- Con una sola compilación, puede ejecutarse en varios sistemas operativos y distintas arquitecturas de CPU
- Incluye como ejemplo el modelo LLaVA, capaz de chatear y reconocer imágenes
- Solo descarga y ejecuta el archivo de 4 GB
llava-v1.5-7b-q4-server.llamafile
- En Mac/Linux/BSD, haz
chmod +x y ejecútalo de inmediato
- En Windows, agrega
.exe después de la extensión y ejecútalo directamente
- Al ejecutarse, se abrirá automáticamente el navegador y mostrará la interfaz de chat
- Además, también ofrece otros llamafile como Mistral-7B-Instruct y WizardCoder-Python-13B
4 comentarios
curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafileMe sorprendió muchísimo que con un solo comando
curlya se pueda ejecutar de inmediato...Wow, está brutal jajaja
De verdad se puede ejecutar muy fácilmente.
Se publicó en GN⁺, pero como parece que no fue popular porque la introducción hecha por el resumen de IA se quedó corta, la vuelvo a ordenar y compartir. Me parece un intento bastante interesante.
Con "Llamafile" es posible distribuir y ejecutar un LLM como un solo archivo
Modelo base: LLaVA: Visual Instruction Tuning
Cuando se publicaron, Cosmopolitan y RedBean parecían algo juguetón, pero ahora veo que también pueden usarse de esta manera. Parece que será un caso de uso excelente.