Codificación simultánea de dos flujos de voz en el cerebro confirmada con EEG

• Un análisis de EEG de 24 adultos con audición normal mostró que, al cambiar la atención, el seguimiento neuronal del nuevo hablante comienza antes de que se abandone al hablante anterior, por lo que ambas voces quedan representadas simultáneamente de forma temporal
• Se modelaron la envolvente de voz y la información de inicio y predicción de palabras de los dos hablantes mediante funciones de respuesta temporal (TRF), y aun con una ventana de decodificación de 1 segundo se identificó con una precisión significativamente superior al azar a qué hablante se atendía
• La participación con el nuevo hablante empezó y terminó significativamente antes que el desapego del hablante anterior, y esta asimetría participación-desapego se mantuvo con ventanas deslizantes de 1, 2, 4, 8 y 16 segundos
• Tras el cambio de atención, disminuyó la potencia de la banda alfa en el EEG, y el punto mínimo apareció más tarde que el punto de cambio en la codificación del habla, lo que muestra una relación temporal entre el seguimiento del nuevo hablante y el esfuerzo de escucha
• Al comparar cuatro estrategias de contexto léxico con Mistral-7B-v0.1, la entropía del modelo Reset, que descarta el contexto previo, fue la que mejor predijo el EEG, aunque esto no permite concluir que los humanos también reinicien el contexto

---

Pregunta de investigación y diseño experimental

• En entornos donde hablan varias personas, es necesario mantener la atención en un hablante y cambiar rápidamente a otro, pero la mayoría de los estudios neurofisiológicos previos se han concentrado en la atención sostenida
• El cambio de atención se dividió en desapego (disengagement), donde disminuye el seguimiento neuronal del hablante anterior, y participación (engagement), donde aumenta el seguimiento del nuevo hablante, para investigar la relación temporal entre ambos procesos
• Participaron 24 hablantes nativos de inglés, de 18 a 39 años, con audición normal, sin antecedentes de trastornos neurológicos o psiquiátricos, y con visión normal o corregida
• Se colocaron 6 altavoces en un arreglo circular de 1.5 m de radio
  • Desde el frente, a ±30° a izquierda y derecha, se reprodujeron voces distintas de TED Talks a 60 dB SPL cada una
  • Desde los 4 altavoces traseros se reprodujo ruido de murmullo de 16 hablantes, combinando 4 personas por altavoz, a 54 dB SPL, para fijar la SNR entre primer plano y fondo en 3 dB
• Los participantes realizaron 20 pruebas de 180 segundos y cambiaron la atención 6 veces por prueba entre el hablante izquierdo y el derecho siguiendo flechas en pantalla
  • Los intervalos de atención sostenida se configuraron con duraciones semialeatorias
  • Para los estímulos de primer plano se usaron 40 TED Talks, de 20 hombres y 20 mujeres
  • Después de cada prueba respondieron preguntas de verificación de contenido, hablante preferido y dificultad del cambio

Resultados conductuales y decodificación de la atención

• Por un problema técnico se perdieron los datos conductuales de una persona, y la precisión promedio en las preguntas de contenido, calculada con 23 participantes, fue de 86.3%
• La proporción de preferencia por la voz izquierda fue en promedio de 49.79%, equilibrada, y la dificultad del cambio fue de 3.1 puntos en promedio sobre una escala de 1 a 5
• El EEG de 64 canales se registró a 512 Hz y, tras el preprocesamiento, se redujo a 64 Hz; la relación lineal retardada entre voz y EEG se modeló con funciones de respuesta temporal (TRF)
• Con TRF inversas se reconstruyó desde el EEG la envolvente de la voz atendida y luego se comparó la correlación con las voces izquierda y derecha
  • Se usaron ventanas de decodificación de 1, 2, 4, 8, 16 y 32 segundos
  • Cuanto más larga era la ventana, mayor era el desempeño de clasificación, pero todas las condiciones, incluida la ventana de 1 segundo, estuvieron significativamente por encima del percentil 95 de la distribución al azar obtenida al aleatorizar las etiquetas 100 veces
• Incluso en situaciones dinámicas de cambio, la reconstrucción de la envolvente de voz a partir del EEG permitió seguir de forma estable al hablante atendido

La participación con el nuevo hablante es más rápida que el desapego del hablante anterior

• La TRF multivariante directa incluyó la envolvente de voz, el inicio de palabras y la sorpresa de palabras, y se calculó con ventanas deslizantes la correlación entre el EEG real y el EEG predicho
• Antes del cambio, la voz del hablante anterior era seguida con mayor fuerza; después del cambio, se fortalecía el seguimiento del nuevo hablante, en concordancia con la instrucción visual de atención
• Para el análisis temporal se usaron 21 personas que mostraron un sesgo de atención confiable superior al 50% antes y después del cambio
  • Los participantes excluidos no permitían estimar los puntos de inicio y finalización del desapego y la participación
  • En análisis posteriores que incluyeron a las 3 personas excluidas se mantuvo el patrón cualitativo de participación más temprana, pero desapareció la significancia estadística
• Se aplicó regresión lineal por tramos a las correlaciones de predicción del EEG de cada participante para estimar los puntos de inicio y finalización del desapego y la participación
  • Con ventanas de 4 segundos, la participación con el nuevo hablante comenzó significativamente antes que el desapego del hablante anterior
  • La finalización de la participación también fue significativamente más temprana que la finalización del desapego
• Incluso al analizar en conjunto ventanas de 1, 2, 4, 8 y 16 segundos, se mantuvo la asimetría participación-desapego
  • Cuanto más larga era la ventana, mayor era el tiempo de cambio estimado
  • El suavizado temporal de la ventana deslizante puede alargar el cambio, pero no crea por sí mismo la asimetría entre ambos procesos
• En el breve intervalo en que el seguimiento del nuevo hablante aparece antes de que disminuya el seguimiento del hablante anterior, los dos flujos de voz quedan representados neuronalmente de forma simultánea

Banda alfa y esfuerzo de escucha

• Se usó la fluctuación espectral relacionada con eventos (ERSP) en la banda alfa de 8 a 12 Hz alrededor del cambio de atención como indicador del esfuerzo de escucha
• Durante el cambio, la potencia alfa disminuyó significativamente en las regiones occipital y parietal, y se midió una caída importante unos 4.5 segundos después de la señal de cambio
• Con ventanas de 4 segundos, el punto mínimo de la ERSP alfa fue significativamente posterior al punto de cambio de codificación donde se cruzaban las correlaciones de predicción del EEG de ambos hablantes
  • El mismo orden se mantuvo con varias longitudes de ventana
  • El mínimo alfa correspondió aproximadamente al momento en que se completaba la participación con el nuevo hablante, y ocurrió antes de que se completara el desapego del hablante anterior
• Esta relación temporal deja abierta la posibilidad de que la potencia alfa esté vinculada con el esfuerzo de volver a enfocarse en el nuevo hablante, con la inhibición activa del nuevo hablante distractor, o con una combinación de ambos procesos
• Cuando se acumula suficiente contexto acústico y lingüístico del nuevo flujo, el seguimiento puede volverse más fácil y liberar recursos cognitivos, aunque se necesita validación adicional según la dificultad del cambio

Cuatro modelos de contexto léxico

• Cuando cambia el objetivo de atención, también cambia el contexto semántico usado para la predicción léxica, por lo que se calcularon la sorpresa y la entropía de palabras con Mistral-7B-v0.1
  • La sorpresa indica qué tan inesperada es la palabra actual dado el contexto previo
  • La entropía indica la incertidumbre en la predicción de la siguiente palabra
• Se compararon cuatro estrategias de acumulación de contexto
  • Oracle: usa todas las emisiones previas del hablante actual, sin importar si se les prestó atención, y no reconoce el cambio
  • Speaker-Specific: usa solo los intervalos previos de atención del mismo hablante
  • Attention: usa todos los intervalos previos a los que se prestó atención, sin importar el hablante
  • Reset: descarta todo el contexto anterior al cambio y acumula nuevo contexto solo en el intervalo de atención actual
• Inmediatamente después del cambio, la entropía del modelo Reset subió con más fuerza y luego disminuyó a medida que continuaban las palabras
  • Attention y Speaker-Specific fueron similares entre sí y más estables
  • Oracle, que no reconoce el cambio, mostró pocos cambios antes y después del cambio
  • En el promedio general, la entropía de Reset fue mayor que la de Oracle y quedó en un nivel intermedio, por debajo de Attention y Speaker-Specific

Resultados de predicción de EEG del modelo Reset

• En comparación con la TRF de referencia que usaba solo características acústicas, los modelos Speaker-Specific, Attention y Reset con entropía añadida mostraron una mejora significativa de predicción, pero Oracle no mejoró
• También al usar sorpresa se confirmó la codificación de información semántica en los tres modelos excepto Oracle
• Contra lo esperado, el modelo Reset basado en entropía tuvo una correlación de predicción del EEG significativamente más alta que Oracle, Speaker-Specific y Attention
  • La amplitud TRF-N400 entre 350 y 550 ms fue menor en Reset que en los otros tres modelos
• En el análisis basado en sorpresa, Reset fue superior a Oracle, pero las comparaciones entre los demás modelos no fueron significativas, y tampoco hubo diferencias significativas en la amplitud TRF-N400
• La diferencia de que la entropía refleje la incertidumbre sobre palabras futuras, mientras que la sorpresa responde a palabras que ya aparecieron, podría haber influido en los resultados
  • Los participantes recibían una señal de cambio y esperaban que llegara otra voz, pero el LLM no recibía esa señal, por lo que la sorpresa de humanos y modelo podría no coincidir
  • Mistral está optimizado para predecir la siguiente palabra, no para la validez neurofisiológica
• Los resultados son compatibles con la posibilidad de que los humanos reinicien el contexto léxico durante el cambio, pero también queda abierta la posibilidad de que humanos y LLM procesen la discontinuidad del habla de formas completamente distintas

Limitaciones y posibles usos

• Como los tiempos de participación y desapego calculados con ventanas deslizantes dependen de la longitud de la ventana, deben interpretarse como tiempos relativos entre procesos, no como tiempos absolutos de procesamiento neuronal
• La tarea de cambio instruido es menos natural que una conversación real y, al inducir a monitorear la voz distractora, puede generar estrategias distintas a las de una tarea de atención sostenida
• La asimetría puede variar según la carga cognitiva, la edad, las capacidades cognitivas, los problemas auditivos, el interés en el contenido de la voz, la frecuencia de los cambios y las características de la tarea
• En lugar de descartar por completo el contexto previo, también es posible que se conserve como un resumen abstracto, por ejemplo, la idea general de la historia
  • Podrían compararse modelos como Large Concept Model, optimizados para predicción a nivel de oraciones, o modelos que combinen un contexto corto de tokens con resúmenes del pasado
• El método para separar los cambios de codificación por voz es más detallado que la simple clasificación de atención y puede usarse en investigaciones sobre audífonos con control cognitivo y en comparaciones entre grupos por edad y audición
• El EEG preprocesado, los archivos de análisis, el código y los estímulos de voz están disponibles en Zenodo

[GN⁺]

Comentarios de Hacker News

• Esto me recuerda la historia de Richard Feynman experimentando con qué podía hacer al mismo tiempo mientras contaba 60 segundos en su cabeza. Feynman podía leer mientras contaba, pero no podía hablar; John Tukey, en cambio, podía hablar pero no leer
  Esto se debía a que Tukey visualizaba los números mientras contaba y Feynman los decía internamente. La conclusión es que, incluso con la misma tarea de contar números, el proceso mental varía de una persona a otra, y que observar qué se puede o no hacer mientras se cuenta permite comprobarlo de forma objetiva
  Feynman también pensaba en la posibilidad de que él, que veía las letras de las ecuaciones como colores, y sus estudiantes percibieran las funciones de Bessel de formas totalmente distintas
  https://calteches.library.caltech.edu/3591/1/Feynman.pdf

  • Cuando dormía a mi hija, solía cargarla, cantar y contar 300 pasos; si visualizaba los números en vez de usar un monólogo interno, podía cantar y contar al mismo tiempo. Aun así, requería más concentración, y ahora que ella ya se duerme sola, a veces extraño esa época
  • Si no estoy leyendo texto, puedo seguir bastante bien un audiolibro sin concentrarme demasiado. Como hago subvocalización al leer, parece que no puedo leer y escuchar un audiolibro al mismo tiempo; además, prefiero leer sintiendo cada palabra en vez de hacerlo en velocidad
  • Parece relacionado con que los hemisferios izquierdo y derecho del cerebro se encargan de funciones cognitivas distintas y del movimiento del lado opuesto del cuerpo, y se comunican a través del cuerpo calloso. En pacientes con cerebro dividido, donde el cuerpo calloso fue cortado, ambos hemisferios a veces actúan de forma independiente, y eso puede verse en los experimentos de Michael Gazzaniga y Roger Sperry
    El experimento de Feynman muestra que es posible verificar desde fuera los métodos internos de procesamiento que cada quien desarrolla, y que su percepción de colores en símbolos matemáticos también podría ser el resultado de que el hemisferio derecho asignara identificadores propios a un problema lógico del hemisferio izquierdo
  • Me pregunto si el hecho de no poder trabajar o leer y concentrarme cuando escucho música se debe a lo mismo, o si simplemente la música se lleva toda mi atención
  • Leer mientras le canto una canción de cuna a un niño es muy fácil, pero intentar hablar mientras cuento números en mi cabeza fue imposible, como si me estrellara contra una pared

• Puedo leer un cuento en voz alta mientras mantengo una línea de pensamiento totalmente distinta. Eso sí, a veces los errores se filtran a la lectura, por ejemplo reemplazando palabras por otras de lo que estaba pensando

  • Cuando mi papá, que era físico, empezaba a quedarse dormido mientras leía, el cuento de repente dejaba de tener sentido y se llenaba de términos difíciles de física, así que se notaba enseguida
  • Cada noche puedo leerle un libro a mi hijo mientras pienso unos 15 minutos en otro problema, pero en ese estado no sigo la historia. En cuanto el niño pregunta “Papá, ¿por qué robaste la bicicleta?”, toda la actuación se viene abajo
  • Después de leerles decenas de libros a mis hijos, incluyendo los de Enid Blyton, puedo pensar al mismo tiempo en el trabajo o en tareas de la casa. Luego descubro que no seguí en absoluto lo que leí durante varios minutos y tengo que volver a empezar; parece que la ruta de ojos y boca del bucle fonológico funciona de forma independiente de las rutas cognitivas de memoria, procesamiento y ejecución
  • Cuando en la escuela nos turnábamos para leer el libro de texto, yo solo me concentraba en la voz y en la entonación según la puntuación. Cuando terminaba el párrafo, tenía que releerlo en silencio para entender el contenido, y todavía hoy, si quiero leer en voz alta comprendiendo un texto complejo, tengo que usar ambos flujos de procesamiento
  • Cuando dedico más recursos cognitivos a otros pensamientos, a veces me doy cuenta de que seguía leyendo en voz alta sin ningún esfuerzo consciente

• Como piloto y operador de radio, siempre he podido procesar dos flujos de voz al mismo tiempo, así que el resultado no me sorprende

  • Los controladores del centro y del TRACON monitorean varias frecuencias con ambos oídos, y aun así deben procesar cuando un piloto tapa una transmisión de otra frecuencia. Durante el relevo también tienen que mantener la comunicación interna, y el contenido de las transmisiones no es charla de parrillada de fin de semana, sino información con densidad tipo METAR
  • Como docente, a veces hablo con varios niños al mismo tiempo. Se puede si no hace falta una concentración profunda, pero es cansado, así que trato de evitarlo
  • Me da curiosidad si en los audífonos varias voces se oyen superpuestas al centro o en mono, o si están separadas entre el oído izquierdo y el derecho

• Varias prácticas de atención plena parecen intentar silenciar la voz interior manteniendo la atención en dos lugares al mismo tiempo. En The Fourth Way de George Gurdjieff y en los registros de P. D. Ouspensky, se describe que saturar el flujo de atención concentrándose en dos objetos produce un cambio de conciencia parecido a la meditación
  https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous

  • Tal vez por eso escuchar una fuga es tan placentero

• En la universidad, en las fiestas, solía participar en varias conversaciones a la vez, yendo de un grupo a otro. No era porque tuviera una gran habilidad, sino porque oía todas las conversaciones alrededor, y si en varios grupos se estaba diciendo algo interesante, no quería perderme nada y seguía yendo y viniendo entre conversaciones

• Si no pudiéramos procesar varios flujos sensoriales, no podríamos vigilar peligros en segundo plano ni hacer cambio de contexto. La experiencia consciente y el procesamiento que ocurre en segundo plano son cosas distintas

  • Procesar varios flujos y procesarlos de forma secuencial al mismo tiempo no es lo mismo. Igual que una CPU de un solo núcleo maneja varios hilos, lo primero también puede lograrse dividiendo el tiempo en idas y vueltas rápidas entre A y B
    La evidencia de que el cerebro realmente procesa y codifica varios flujos a la vez ayuda a entender el mecanismo exacto del multitarea, así que, aunque el resultado parezca obvio, vale la pena investigarlo
  • Aquí no se trata del procesamiento multisensorial general, sino del procesamiento de varios flujos de voz
  • Entender el significado de un texto y detectar peligro en una señal también son niveles cualitativamente distintos de procesamiento

• Pensé que esto ya era algo bien conocido. Mi problema es que no puedo ignorar lo que dicen otras personas: aunque esté hablando con alguien, sigo oyendo cada palabra de las conversaciones de alrededor

• Es conocido que los equipos de control de misión del Apollo fueron entrenados para procesar varios flujos de conversación al mismo tiempo, pero luego no podían apagar eso, así que las fiestas tipo cóctel se volvieron una pesadilla para ellos

  • Es muy probable que controladores aéreos y trabajos parecidos en ferrocarriles y metro sufran la misma dificultad
  • Cuando como con mis familiares, todos hablan al mismo tiempo y casi siempre participan en dos conversaciones. A mi hermana menor, que se fue de casa por la universidad, le tomó varias semanas perder otra vez ese hábito, así que durante sus visitas directamente no hablaba en la mesa
  • Me gustaría ver algún enlace que confirme la fuente de esa anécdota

• Uno de los legendarios superpoderes de Pitágoras era la bilocación: aparecer en dos ciudades al mismo tiempo para dar clases. Siempre me acuerdo de Pitágoras cuando participo en varias conversaciones a la vez en reuniones sociales

• Cuando se combinaron por primera vez la animación y el sonido, si se reproducía un “toc” exactamente en el momento en que el péndulo llegaba al extremo, la gente sentía que el sonido iba tarde. Se decía que eso era porque hacen falta aproximadamente 1/16 de segundo para cambiar la atención de un estímulo a otro
  Otras observaciones sobre la percepción del tiempo pueden verse en https://en.wikipedia.org/wiki/Time_perception

  • La velocidad de transmisión del sonido en sí también es lenta
  • En un reloj real, el tic-tac de todos modos ocurre antes de que el péndulo llegue al extremo