talk-llama - Conversa con LLaMA desde la terminal
(github.com/ggerganov)- Demostración de Whisper Medium(Whisper.cpp) + LLaMA v2 13B Q8_0 en un M2 Ultra
- Reconoce voz con Whisper, envía la pregunta a LLaMA y luego reproduce la respuesta usando la síntesis de voz de MacOS (comando
say) - Soporta gestión de sesiones, lo que permite conversaciones continuas basadas en el contenido previo de la charla
1 comentarios
Parece que el 13B funciona bien en el Ultra. Me da curiosidad cómo será en el M3 Max.