Benchmark de la API SpeechAnalyzer de Apple frente a Whisper y la API anterior

 (get-inscribe.com)
2 puntos por GN⁺ 1 일 전 | 1 comentarios | Compartir por WhatsApp
  • Tras procesar 5,559 audios de LibriSpeech en un Apple M2 Pro con el mismo código de producción, SpeechAnalyzer fue más preciso que todos los motores probados, con una tasa de error por palabra (WER) de 2.12% en audio limpio y 4.56% en audio con mucho ruido
  • El WER de SFSpeechRecognizer fue de 9.02% y 16.25%, respectivamente, mientras que la nueva API redujo los errores entre 3.5 y 4 veces sobre el mismo audio, además de aplicar puntuación y mayúsculas
  • SpeechAnalyzer fue más preciso que Whisper Small y aproximadamente 3 veces más rápido, pero su alcance está limitado a unas 30 configuraciones regionales y a plataformas Apple con OS 26 o superior
  • Todos los motores funcionaron en el M2 Pro entre ~12 y 40 veces más rápido que en tiempo real, procesando 1 hora de audio en 1.5 a 5 minutos, aunque no se publicaron velocidades exactas por motor porque el equipo también estaba ejecutando trabajo de desarrollo en paralelo
  • Si hoy transcribes inglés on-device en un iPhone o Mac, SpeechAnalyzer puede ser la primera opción; Inscribe también cambió su configuración predeterminada para usar SpeechAnalyzer en los idiomas compatibles y Whisper en el resto

Resultados del benchmark de precisión

  • La tasa de error por palabra (WER) es la proporción de palabras que el motor sustituye mal, omite o inventa; cuanto más baja, mayor precisión
  • Todos los motores se ejecutaron completamente on-device en un Apple M2 Pro de 32 GB con macOS 26.5.1
  • Se usaron dos datasets de evaluación de LibriSpeech
    • test-clean: 2,620 audios leídos con voz limpia
    • test-other: 2,939 audios más difíciles y con más ruido
  • El WER y el tamaño del modelo por motor fueron los siguientes
    • Apple SpeechAnalyzer: test-clean 2.12%, test-other 4.56%, modelo del sistema
    • Whisper Small: 3.74%, 7.95%, ~460 MB
    • Whisper Base: 5.42%, 12.51%, ~140 MB
    • Whisper Tiny: 7.88%, 17.04%, ~40 MB
    • Apple SFSpeechRecognizer: 9.02%, 16.25%, modelo del sistema
  • Apple reemplazó SFSpeechRecognizer por SpeechAnalyzer·SpeechTranscriber en iOS 26 y macOS 26, pero no publicó cifras de precisión
  • Como Inscribe ofrece ambos motores de Apple junto con tres modelos de Whisper, fue posible comparar cinco motores en la misma computadora, con el mismo audio y la misma ruta de código de producción

Por qué migrar desde SFSpeechRecognizer

  • SpeechAnalyzer reduce el WER entre 3.5 y 4 veces frente a la API anterior sobre el mismo audio
    • Audio limpio: baja de 9.02% a 2.12%
    • Audio con mucho ruido: baja de 16.25% a 4.56%
  • Además de la precisión, genera texto con puntuación y mayúsculas, por lo que los resultados quedan mejor formateados que con el motor anterior
  • Al transcribir la misma hora de audio, la API anterior reconoce mal aproximadamente 4 veces más palabras que SpeechAnalyzer
  • Si tu app procesa audio más largo que simples comandos de voz, solo la diferencia de precisión ya justifica la migración

Criterios para elegir entre SpeechAnalyzer y Whisper

  • SpeechAnalyzer registró un WER menor que Whisper Small, el modelo más grande de Whisper incluido en la prueba, en ambos datasets
  • Su tiempo de cómputo por segundo de audio también fue de aproximadamente un tercio del de Whisper Small, así que superó a Whisper tanto en precisión como en velocidad
  • Al procesar inglés en hardware de Apple, SpeechAnalyzer mostró el mejor resultado entre los motores on-device que pudieron probarse
  • Whisper aún conserva dos ventajas
    • Soporta muchos más idiomas que SpeechTranscriber, que cubre unas 30 configuraciones regionales
    • Puede ejecutarse en múltiples entornos, no solo en plataformas Apple con OS 26 o superior
  • Según estos resultados, el motor Auto de Inscribe se ajustó para priorizar SpeechAnalyzer en los idiomas compatibles y Whisper en los demás

Velocidad de procesamiento y limitaciones de la medición

  • Los cinco motores corrieron en el M2 Pro entre ~12 y 40 veces más rápido que en tiempo real
  • Fue posible transcribir 1 hora de audio on-device en aproximadamente 1.5 a 5 minutos
  • SpeechAnalyzer fue cerca de 3 veces más rápido que Whisper Small y además obtuvo un WER menor
  • Durante la medición de precisión, la misma computadora también ejecutaba trabajo de desarrollo, por lo que los tiempos por motor incluyen algo de ruido
    • Esa carga de trabajo no afecta el WER
    • Más adelante se agregará una tabla detallada de velocidad por motor tras repetir la medición en un entorno dedicado e inactivo

Reproducibilidad y datos públicos

  • Los valores medidos de Whisper fueron cercanos a los resultados de LibriSpeech publicados por OpenAI, lo que permitió confirmar la consistencia del benchmark harness
    • Whisper Tiny test-clean: medido 7.88%, OpenAI 7.6%, diferencia +0.28 pp
    • Whisper Base test-clean: 5.42%, 5.0%, +0.42 pp
    • Whisper Small test-clean: 3.74%, 3.4%, +0.34 pp
    • Whisper Tiny test-other: 17.04%, 16.9%, +0.14 pp
    • Whisper Base test-other: 12.51%, 12.4%, +0.11 pp
    • Whisper Small test-other: 7.95%, 7.6%, +0.35 pp
  • Todos los valores salieron ligeramente más altos por un normalizador de texto más estricto y por la cuantización de CoreML
  • Como el mismo corpus, normalizador y evaluador se aplicaron también a los motores de Apple, la coincidencia con los resultados de Whisper sirve como base para validar las mediciones de Apple
  • Se publican los resultados por oración, el texto de referencia y el WER por oración para poder recalificar con otros métodos de normalización

Cómo se midió el WER y verificación on-device

  • Cada motor se ejecutó con la ruta de código de producción y la configuración de buffering que usan realmente los usuarios de Inscribe, no con una configuración experimental
  • El texto de referencia de LibriSpeech está en mayúsculas, sin puntuación y con números escritos como palabras, mientras que los motores modernos producen salida con puntuación y números
    • Se aplicó a ambos textos el mismo normalizador para manejar mayúsculas/minúsculas, puntuación, conversión de números a palabras y contracciones
    • Para no penalizar a los motores que generan un formato más legible, no se calificó el texto original tal cual, sino que se siguió el método de normalización de OpenAI para inglés
  • Para evitar que las oraciones cortas pesaran demasiado, se usó WER de corpus, calculado como el total de errores dividido por el total de palabras de referencia, en vez del promedio del WER por oración
  • SFSpeechRecognizer puede enviar audio a los servidores de Apple por defecto, así que se forzó el reconocimiento on-device
    • Si cambiaba automáticamente a la nube, la comparación quedaba invalidada, por lo que el harness se configuró para rechazar la ejecución
    • También fue una medida para que un producto centrado en la privacidad no subiera 5,559 audios a un servidor
  • Los casos en que no se devolvió resultado tampoco se ocultaron, y el WER de esa oración se calculó como 100%
    • Solo ocurrió una vez en 27,795 transcripciones totales, y fue un caso de test-other de SFSpeechRecognizer

Bug de producto detectado durante el benchmark

  • La función de importación de archivos con el motor de Apple en Inscribe enviaba el audio a SpeechAnalyzer y cerraba el stream de entrada, pero no llamaba a finalizeAndFinishThroughEndOfInput()
  • Sin esa llamada, el analizador no entregaba el resultado final y la importación del archivo quedaba detenida indefinidamente
  • Como la configuración Auto hasta ese momento priorizaba Whisper, ese bug no había sido detectado
  • El problema se confirmó durante el benchmark y la corrección se desplegó ese mismo día

Limitaciones y alcance real de aplicación

  • Como solo se evaluó voz leída en inglés, los resultados no pueden extrapolarse a más de 100 idiomas que Whisper soporta y SpeechTranscriber no
  • LibriSpeech es un corpus estándar comparable, pero no representa audio de reuniones
    • Voces con acento, grabaciones lejanas y reuniones con múltiples hablantes quedan para evaluaciones posteriores
  • Las mediciones se hicieron solo en una máquina con M2 Pro y macOS 26.5.1
    • Se espera que la precisión se mantenga en otros Apple Silicon, aunque la velocidad variará según el chip
  • Whisper se ejecutó con los modelos cuantizados CoreML de WhisperKit que Inscribe ofrece realmente
    • La implementación de referencia en GPU puede dar resultados ligeramente distintos, y esa diferencia ya se refleja en la tabla de reproducibilidad frente a los valores públicos de OpenAI
  • Si hoy transcribes inglés en un iPhone o Mac, SpeechAnalyzer integrado en el sistema operativo fue la opción on-device más precisa según esta medición
  • Inscribe usa SpeechAnalyzer en los idiomas compatibles y Whisper en el resto, con todo el procesamiento dentro del dispositivo y sin subir el audio

Lecturas relacionadas

1 comentarios

 
GN⁺ 1 일 전
Opiniones en Hacker News

  • Whisper no es una referencia adecuada para comparar, y hoy existen modelos más avanzados como Nemotron y Parakeet de Nvidia, Voxtral de Mistral y Cohere Transcribe
    Por otro lado, parece que bastantes apps de pago que simplemente envuelven Whisper se verán afectadas. Si Apple lanza una GUI nativa para macOS, como una app de grabación, probablemente la mayoría de las apps wrapper que hoy se hacen con vibe coding se vuelvan innecesarias

    • Esta prueba solo evaluó inglés, pero una fortaleza de otros modelos es que reconocen varios idiomas sin tener que indicar el idioma por adelantado. Cuando dictas habitualmente en tres idiomas, no hace falta tener tres atajos distintos
    • Tengo dudas de que Parakeet sea realmente un modelo de vanguardia. Si alguien tartamudea y dice “m-m-m-map”, Parakeet lo transcribe tal cual como “m m m map”, lo que según el caso puede ser ventaja o desventaja. Whisper no hace eso, y Cohere Transcribe me gusta bastante
    • Voice Memos de Apple ya admite transcripción automática desde macOS 15 e iOS 18
    • De todos estos modelos, solo Parakeet tiene menos de mil millones de parámetros y parece mejor que el modelo de Apple, aunque no está integrado. Me da curiosidad cómo se compararán en latencia y eficiencia
    • Ojalá también reemplacen la pésima función de dictado por voz del teclado de Apple. Es un software verdaderamente insoportable

  • Para grabar en Mac recomiendo Willow. Procesa casi al instante mientras organiza el contenido, y para mí está en el nivel de ‘mejor que una transcripción perfecta’. También me gustaba Superwhisper, pero la diferencia fue tan grande que me cambié a Willow
    Es tan bueno que cuesta pensar cuánto más podría mejorar, y el reconocimiento de voz ya parece un problema resuelto o, como mucho, algo que quedará resuelto en cinco años. No sé si las empresas del sector sobrevivirán a largo plazo, pero para los consumidores es excelente, y si el Apple SpeechAnalyzer de 2030 llega a ser lo bastante bueno, probablemente ya no haga falta software de terceros

  • Al compararlo con Whisper-Large-V2 para mi uso principal, que es generar subtítulos de clases de matemáticas, fue mucho más rápido y con una precisión apenas inferior. Para transcripción en tiempo real sirve perfectamente, pero como no necesito crear subtítulos al instante, por ahora seguiré usando Whisper

    • Lo estoy usando en una app de pódcasts que llevo desarrollando medio año, y en la práctica es realmente rápido. Si divides el audio en varios segmentos y los ejecutas sin pasar el límite de flujos de decodificación simultáneos, la velocidad es impresionante, y aunque se pierda una parte de los bordes entre segmentos, para pódcasts es más que suficiente
      En un iPhone 17 Pro procesa una hora de audio en un minuto
    • Si es más rápido pero de menor calidad, quizá tendría más sentido compararlo con un modelo Whisper más pequeño

  • Sería más adecuado compararlo con Voxtral. En mis transcripciones de reuniones, no he visto ningún modelo, ni público ni privado, con una tasa de error de acrónimos (AER) tan baja, y además entiende o infiere toda clase de términos técnicos que uso en el trabajo, así que casi no necesito corregir nada. Whisper era desastrosamente malo

    • Por eso normalmente desactivo la autocorrección en los productos de Apple. Tengo expectativas cautelosas con los modelos de voz mejorados, pero me preocupa que “corrijan” términos técnicos especializados y los cambien por palabras comunes

  • Whisper small, tiny y base son modelos de hace casi 4 años, y ni siquiera se actualizaron en Whisper v2 o v3, así que a estas alturas deberían existir mejores puntos de comparación

    • Hay muchas opciones, y en https://artificialanalysis.ai/speech-to-text/non-streaming se puede buscar y filtrar solo por compatibilidad con streaming y pesos abiertos. Ahora mismo, Voxtral y Nvidia Nemotron parecen ser los mejores
    • Hay muchísimos modelos, y entre los que recuerdo recientemente, Parakeet llamó la atención incluso por tener una implementación ligera e independiente

  • Es impresionante. Apple dijo que mejoró el modelo en la 27, así que también me da curiosidad ver los resultados medidos de la versión beta

  • ¿Este es el nuevo motor de dictado que no se puede ejecutar en un iPhone 17 normal de hace un año solo por no ser Pro?

  • Uso Spokenly con el modelo de Nvidia y en modo solo offline. Todo se procesa localmente y es completamente gratis, así que lo recomiendo mucho

  • También estaría bien que hicieran benchmark de Whisper large y large v3 turbo. Corren sin problema incluso en MacBook viejos, tienen un factor de tiempo real (RTF) menor que 1, y en dictado real son mucho más precisos que la familia Parakeet, a diferencia de lo que muestran los rankings de reconocimiento automático de voz

    • Recomiendo probar MOSS-Transcribe-Diarize, que salió hace unos días. Da mejores resultados que esos modelos de Whisper, es muy rápido, pequeño y además se adapta mejor a audio con mucho ruido

  • Es extraño que Whisper large v3 turbo haya quedado fuera de la comparación, cuando incluso en los iPhone más recientes corre bien de forma local