Lanzamiento de Whisper.cpp 1.4.0
(github.com/ggerganov)- Soporte para cuantización entera (
integer quantization): permite convertir modelos ggml de Whisper con pesos predeterminados de punto flotante de 16 bits a pesos enteros de 4, 6 y 8 bits- Reduce el tamaño en disco y el uso de memoria, lo que permite una ejecución más rápida en algunas arquitecturas
- Esto fue posible gracias al código aportado al proyecto llama.cpp
- Soporte para GPU NVIDIA mediante cuBLAS
1 comentarios
Whisper.cpp - implementación de alto rendimiento en C/C++ de OpenAI Whisper