tts-bench: benchmark para comparar modelos TTS localmente
(github.com/5uck1ess)- Benchmark open source para comparar 55 modelos TTS locales en cualquier hardware desde tres perspectivas
- Está compuesto por tres lentes: Speed (velocidad) / Listen (escucha) / Scores (métricas objetivas), con mediciones en CPU/CUDA/Apple Silicon
- Speed mide TTFA (tiempo hasta el primer audio) en frío/en caliente, RTF (factor respecto al tiempo real) y memoria
- Listen permite reproducir en línea todos los modelos y prompts con voz predeterminada + clonación, para elegir el modelo directamente de oído
- Scores califica UTMOS (naturalidad), WER (claridad) y SIM (fidelidad de clonación) con el método de seed-tts-eval
- Ofrece un sitio de demos donde se pueden escuchar todos los modelos sin instalar nada, con exploración por prompt o por modelo
- De los 55, 41 permiten clonación de voz (voice cloning) con un clip de referencia, y admiten 3 formatos de referencia (solo wav / wav + transcripción / wav con acceso restringido de HF)
- No todos los 55 modelos son compatibles con coreano, pero incluye modelos multilingües o con soporte para coreano como Supertonic, VoxCPM y OmniVoice
- Sin embargo, como los prompts base del benchmark se centran en inglés/francés, para evaluar la calidad en coreano conviene ejecutar Listen/compare con frases coreanas aparte y comprobarlo de oído
- En las pruebas, los mencionados Supertonic, VoxCPM y OmniVoice mostraron una calidad aceptable
- Top en votación A/B de clonación: OmniVoice (máxima coincidencia de timbre, aunque puede apelmazar u omitir palabras), Echo-TTS (nivel de primer puesto compartido, 44.1 kHz), IndexTTS-2 (3.º, mantiene la entonación)
- El código del benchmark tiene licencia MIT; cada modelo TTS aplica su propia licencia
Aún no hay comentarios.