Nvidia 4090 y M1/M2/M3 comparados con Whisper usando MLX

• Benchmark de rendimiento del framework de machine learning MLX presentado por Apple
• Transcripción de un audio de 10 minutos con Whisper
  • M1 Pro (modelo 2021) + MLX + 32 GB de RAM: 216 segundos
  • i7 + 4090 + 64 GB de RAM: 186 segundos
    • Una GPU de 2000 € es 30 segundos (16%) más rápida que el M1
  • M2 Ultra (76 GPU): 95 segundos
  • M3 Max (40 GPU): 100 segundos
• Si se usa insanely-fast-whisper, optimizado para Nvidia, la 4090 termina en solo 8 segundos
  • Si este modelo se ejecuta en el M1, tarda más: 359 segundos

[xguru]

MLX - un framework de arrays similar a Numpy para Apple Silicon