Triforce - beamformer para laptops con Apple Silicon

• Triforce implementa un beamformer adaptativo Minimum Variance Distortionless Response para el arreglo de micrófonos de las laptops con Apple Silicon
• Modelos compatibles: MacBook Pro/Air con M1 en adelante
• Las laptops con Apple Silicon mencionadas arriba tienen micrófonos dispuestos en forma triangular o lineal
• Apple intenta separar la señal deseada del ruido de fondo implementando un beamformer adaptativo en espacio de usuario
• Sin beamforming, el arreglo es demasiado sensible y omnidireccional como para resultar útil
• Se necesita un beamformer para usarlo de forma útil fuera de macOS
• Lista de modelos compatibles
  • MacBook Pro 13" (M1/M2)
  • MacBook Air 13" (M1/M2)
  • MacBook Pro 14" (M1 Pro/Max, M2 Pro/Max)
  • MacBook Pro 16" (M1 Pro/Max, M2 Pro/Max)
  • MacBook Air 15" (M2)

Ajuste de expectativas

• Es muy difícil encontrar bibliografía accesible sobre temas relacionados con DSP, en especial sobre beamforming adaptativo de banda ancha
• Este proyecto es un intento de beamformer basado en conocimientos de matemáticas de ingeniería de primer año y en principios obtenidos de páginas web y PDF
• Por ahora no se debe esperar que supere la implementación de Apple
• Los parches para mejorarlo siempre son bienvenidos

Limitaciones conocidas

• nalgebra no realiza optimizaciones SIMD explícitas y depende de la autovectorización de LLVM
• El rendimiento y la eficiencia de las rutinas de matemáticas matriciales no son buenos
• No realiza descomposición de banda ancha debido a la carga computacional adicional
• Sin soporte SIMD/NEON, es demasiado lento para funcionar como plugin de audio en tiempo real
• La salida solo admite mono
• El procesamiento matricial adicional para simular una salida estéreo es computacionalmente demasiado costoso

[GN⁺]

Opiniones en Hacker News

• Hace 20 años, un modelo convertible Toshiba Tablet PC tenía un arreglo de micrófonos con formación de haz. Se podía definir por software la dirección de grabación

  • Era útil en clases, ya que se podía ajustar el haz hacia el profesor para grabar
  • Desde entonces no he vuelto a ver una función así

• Una tesis de maestría inconclusa trataba sobre usar los micrófonos de smartphones para ubicar y separar parlantes en 3D

  • La tasa de muestreo varía ligeramente entre dispositivos
  • Las características espectrales de los micrófonos de consumo son diversas
  • El sonido se refleja por todas partes, especialmente en paredes de concreto
  • Un automóvil se parece a una cámara anecoica de fácil acceso
  • La transformada de Fourier de una gaussiana es otra gaussiana, lo que resulta útil para estimar frecuencias

• Me di cuenta de que hace falta muchísimo trabajo para ejecutar Linux en Macs con Apple Silicon

  • Los micrófonos integrados casi no se usan
  • No todo en Apple es sencillo

• Incluso en hardware de laptops baratas, se pueden obtener resultados sorprendentes con técnicas de DSP por software

  • El trabajo de audio de Asahi podría aplicarse también a laptops comunes
  • Obtuve resultados impresionantes usando el plugin de síntesis de armónicos de bajos Bankstown y ecualización por convolución

• Para optimización SIMD, se podría considerar faer

  • Mi experiencia con la biblioteca pulp no fue buena, pero si el objetivo principal es acelerar operaciones de álgebra lineal, probablemente funcione bien
  • Hay una publicación de blog y un pódcast sobre SIMD en Rust previstos próximamente

• Pregunta sobre el arreglo de micrófonos en laptops con Apple Silicon

  • Hay curiosidad por saber si los modelos M2/M3 tienen un arreglo de micrófonos similar o si simplemente no se han probado
  • También hay dudas sobre si es compatible con Linux y macOS

• Parece que Apple complica demasiado las cosas con los micrófonos, igual que con los parlantes

  • Como usuario de MBP, me impresionó la implementación de los parlantes
  • No sé mucho más allá del arreglo de drivers, pero parece que usan trucos para sacar rendimiento de parlantes pequeños

• Discusión general sobre el informe de progreso más reciente de Asahi Linux

  • Los micrófonos PDM son muy omnidireccionales y sensibles
  • La formación de haz es necesaria
  • El trabajo previo sobre la salida de parlantes se reutilizó para la entrada de micrófono
  • Gracias a PipeWire y WirePlumber, fue sencillo conectar una cadena DSP para los micrófonos

• Sería bueno que se implementara de forma que otros fabricantes también pudieran construir fácilmente arreglos de micrófonos