Ask HN: ¿Cómo separa el navegador el audio interno de la entrada del micrófono?

• Al usar al mismo tiempo la pestaña de una llamada de Google Meet y una pestaña reproduciendo YouTube en Chrome o Chromium, se observa que el audio interno de YouTube no entra en la entrada de micrófono de Google Meet
• Si la misma tarea se divide entre navegadores distintos, por ejemplo abriendo Google Meet en Chrome y reproduciendo YouTube en Chromium, esta separación de audio no ocurre
• Dado que Chromium es de código abierto, se buscan pistas técnicas sobre la ubicación en el código base o la forma en que está implementado este comportamiento

[GN⁺]

Opiniones de Hacker News

• Método para eliminar la música de la voz comparando la latencia entre captura y reproducción de audio

  • Consiste en encontrar y comparar la latencia entre el micrófono y el altavoz para eliminar la música
  • Dentro de un solo proceso, se conserva durante unos cientos de milisegundos lo que se reprodujo y se compara con la entrada del micrófono para encontrar correlaciones y eliminarlo
  • Entre procesos no relacionados, el sistema operativo puede proporcionar una API de captura o puede eliminarse usando un flujo de loopback
  • Si no existen estos métodos, se mezcla directamente la salida de audio para eliminarla

• Acoustic Echo Cancellation (AEC)

  • Está implementado en Chrome, incluido en WebRTC
  • Usa filtros FIR para eliminar lo más posible del micrófono el sonido que sale por los altavoces
  • Si buscas la bandera de compilación CHROME_WIDE_ECHO_CANCELLATION en el código fuente de Chromium, puedes encontrar información relacionada

• Problemas de Chrome con la grabación y reproducción simultáneas

  • Chrome no maneja bien la grabación y reproducción simultáneas
  • Hay un sitio que muestra claramente el problema: chrome-please-fix-your-audio.xyz

• Problemas generales de Acoustic Echo Cancellation

  • Es un problema común en el procesamiento de señales
  • Ocurre incluso en dispositivos simples como los teléfonos

• Tecnología de separación de fuentes de Google Meet

  • Usa redes neuronales para separar la voz de lo no vocal y también separar a distintos hablantes
  • La tecnología mejoró mucho desde 2021, cuando se desarrollaron métodos de aprendizaje semisupervisado

• Efectos secundarios de la cancelación de eco

  • El navegador sabe qué audio se está reproduciendo y lo elimina encontrando su correlación con la entrada del micrófono
  • Si no se usan audífonos, esto es necesario para suprimir la retroalimentación

• Función de bloqueo de audio interno en Chrome y Chromium

  • Durante una llamada de Google Meet, aunque se reproduzca un video de YouTube en otra pestaña, Meet no lo detecta
  • Como Chromium es de código abierto, se pueden revisar los detalles técnicos en el código

• Aspectos interesantes de los algoritmos de cancelación de eco

  • Si se colocan altavoces externos un poco alejados del micrófono de la computadora, el algoritmo puede fallar

• Necesidad de la cancelación de eco durante reuniones

  • Es necesaria para evitar que los datos de la reunión vuelvan a entrar como retroalimentación
  • PulseAudio y PipeWire tienen módulos de cancelación de eco