Alpaca.cpp - Ejecutar un modelo tipo ChatGPT en una laptop personal
(github.com/antimatter15)- Una combinación ajustada de LLaMA, Alpaca y llama.cpp, con una interfaz de chat añadida
- Usa el modelo Alpaca-7b-q4
- Genera a una velocidad bastante rápida incluso en una MacBook Air con M2
6 comentarios
https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/…
Por si alguien anda buscando el modelo..
Últimamente de verdad parece que hubiera una guerra, está cañón seguirle el ritmo a las noticias.
Guau, de verdad parece que ya llegó la singularidad....
Es una locura, wow, y ahora Apple Silicon se convirtió en el estándar de facto para las especificaciones de hardware, wow.
A esa velocidad, no tiene nada que envidiarle incluso comparado con el modelo Turbo de ChatGPT. Es realmente sorprendente.
Ah, en serio, cada día salen cosas nuevas a lo loco.
Se viene el momento Stable Diffusion para los LLM