Videos de IA que evolucionan para activar al máximo regiones cerebrales objetivo

• NEvo usa como modelo de recompensa un gemelo digital del cerebro que predice las respuestas de las áreas visuales, y hace evolucionar en un entorno in silico videos que maximizan la activación predicha de una región específica
• Representa el sujeto, la iluminación, el movimiento y la atmósfera como genes, y repite durante varias generaciones la generación, evaluación, selección, cruce y mutación de videos candidatos
• Para reducir el costo computacional, usa un enfoque de dos etapas: primero encuentra la imagen estática más potente y luego explora el movimiento por separado para convertirla en un video de 2 segundos
• Los videos sintéticos coincidieron con la selectividad por región conocida, como caras en FFA, lugares en PPA y movimiento en MT, y registraron una activación mayor que los videos localizadores manuales y que los videos naturales de mayor puntuación
• A lo largo de la vía visual lateral que va de V1 a aSTS, los estímulos preferidos pasan de patrones simples y movimiento a personas, rostros e interacciones sociales, con características sociales y dinámicas cada vez más marcadas

---

Evolución de videos usando un gemelo digital como recompensa

• Se entrena un gemelo digital, un modelo de codificación del cerebro, para predecir la respuesta de cada área visual ante cualquier video, y la respuesta predicha del área elegida se usa como recompensa de NEvo
• Cada video se describe mediante un pequeño número de genes, como sujeto, iluminación, movimiento y atmósfera
  • Se genera un lote de videos candidatos y luego se calculan sus puntajes con el gemelo digital
  • Se conservan los candidatos con puntajes altos y se les aplican cruce y mutación
  • Este proceso se repite durante varias generaciones para elevar la activación predicha
• Para evitar el costo de explorar imágenes y videos al mismo tiempo, se realiza una búsqueda en 2 etapas
  • Primero se encuentra la imagen estática individual más potente
  • Luego se explora el movimiento para animar esa imagen en un video de 2 segundos
• Se sintetizan estímulos para regiones de interés (ROI) estándar de la superficie cortical y para regiones searchlight densas
  • El ejemplo de PPA obtiene un puntaje de 0.767, equivalente al percentil 100.0 frente a imágenes naturales
  • El ejemplo de searchlight rh_5 obtiene un puntaje de 1.124, equivalente al percentil 100.0 frente a imágenes naturales

Selectividad por región y cambios en la vía visual lateral

• Los videos sintetizados de 2 segundos para cada región coinciden con los estímulos que se sabe que esa región prefiere
  • FFA responde a rostros, PPA a lugares y EBA a cuerpos
  • MT prefiere el movimiento, y V1·V3A los patrones
  • pSTS·aSTS responden a escenas sociales animadas
• Los videos de NEvo inducen, en el conjunto de regiones, una activación mayor que los videos localizadores manuales y que los videos naturales más fuertes
• En todas las regiones, los videos en movimiento muestran una respuesta más alta que el primer cuadro fijo del mismo video, lo que confirma la preferencia por estímulos dinámicos
• Al mover el searchlight desde V1 hacia aSTS, los estímulos sintéticos y las nubes de palabras generadas automáticamente cambian de patrones simples y movimiento a personas, rostros e interacciones sociales
  • A lo largo de la vía visual lateral aparece un gradiente en el que las características sociales y dinámicas aumentan gradualmente
• Incluso en experimentos que partían de discos apilados abstractos, las características preferidas por cada región se separaron
  • La optimización de pSTS genera personajes que parecen rostros e interactúan
  • La optimización de MT genera movimiento puro

[GN⁺]

Comentarios en Hacker News

• La siguiente etapa de las redes sociales no puede ser más que terrible. Incluso ahora eligen, entre millones de videos reales, los clips cortos más adictivos para cada usuario, pero no son perfectos porque no dejan de ser dardos lanzados al azar dentro del espacio de posibilidades de lo que podría atrapar a una persona
  Ahora, con IA, podrán generar videos adictivos personalizados que activen con precisión todos los interruptores del cerebro del espectador y lo mantengan enganchado como un zombi durante días. Ojalá la regulación presione con fuerza a las redes sociales para que ni siquiera se atrevan a desplegar una tecnología así
  • Una amenaza aún mayor que las redes sociales son Anthropic·OpenAI·Google, a las que la gente les entrega hasta sus pensamientos más íntimos. La manipulación psicológica personalizada a gran escala que pueden ofrecer los productos de IA en la nube todavía no ha aparecido de lleno, y si se les da suficiente tiempo, creo que personas como Dario Amodei o Sam Altman terminarán mostrándola
    La tendencia aduladora de GPT-4o y la crisis de psicosis por IA quizá fueron un adelanto, pero incluso eso no era más que optimización de engagement
  • Lo que nos hacen a nuestro cerebro y a nuestros hijos para exprimir hasta la última moneda mientras la Tierra se quema no es distinto de lo que le hacemos a nuestros cerdos de granja
  • Quizá tenga tanto sentido esperar regulación como esperar que la gente entre en razón y simplemente deje de abrir esos sitios
  • Sorprende que en esta discusión todavía no haya aparecido Infinite Jest de David Foster Wallace. Yo también empecé a leerlo hace años y todavía no lo termino
• Más allá de las implicaciones sociales y morales, me da curiosidad la validación empírica del artículo. Entrenaron un gemelo digital, un modelo de codificación que predice cómo responderá cada área visual a un video arbitrario, y luego NEvo usa esas predicciones como recompensa para buscar automáticamente el video que activaría con mayor fuerza el área elegida
  Pero no pude encontrar si verificaron que el video generado produzca en personas reales, medidas con MRI, el mismo patrón de activación cerebral que el gemelo digital. Soy escéptico de que siquiera sea posible un modelo que prediga de forma confiable la activación cerebral a partir de video
  • Reunir un pequeño conjunto de validación en humanos es casi trivial de fácil, así que resulta sospechoso que no lo hayan hecho. En nuestra institución el costo de escaneo es de alrededor de 800 dólares por hora, y en 30 minutos probablemente se obtendrían suficientes datos para validar el modelo
    Metodológicamente, ajustaron V-JEPA2 a datos de fMRI con regresión ridge por vóxel, lo que asume que la respuesta visual actúa de forma independiente en cada vóxel. Los modelos por vóxel son buenos para inferencia estadística, pero débiles para predicción y modelado porque el cerebro no funciona como un conjunto de regiones independientes. La señal BOLD es un tipo de dato extremadamente ruidoso, y el diseño parece demasiado simple para reflejar la realidad
  • Las señales que fMRI no capta no quedan reflejadas en el gemelo digital aunque en pantalla parezcan similares, así que la máquina incorpora sesgo del experimentador, y también me pregunto si en este método queda alguna posibilidad de refutación
    La entrada sensorial real, recordada, virtual e imaginada se procesa de manera muy distinta en el cerebro y en el posprocesamiento sensorial. Como el gemelo digital solo tiene parte de los datos, es muy probable que reproduzca solo patrones superficiales, y con exposición repetida suficiente podría incluso reconfigurar circuitos que antes se activaban juntos de una manera difícil de notar. Aun así, es interesante que el propio artículo reconozca casi todas estas limitaciones con lenguaje científico
  • A. Si no se considera que la neurociencia en sí misma es una ciencia inmoral, no hay nada intrínsecamente problemático en esta investigación. Como neurocientífico, me opongo firmemente a insinuar una depravación moral sin fundamento
    B. El gemelo digital es un campo en crecimiento dentro de la simulación cerebral que puede aproximar patrones de actividad cerebral a gran escala, pero no está al nivel de simular un cerebro real tal cual. Normalmente usa modelos aproximados de neuronas, como integrate-and-fire, y equilibrios entre poblaciones excitatorias e inhibitorias, además de estimar con imágenes de difusión las conexiones axonales de sustancia blanca de cada sujeto para mejorar la precisión. Cada vez se usa más incluso para modelar cómo una cirugía afectará la propagación de crisis epilépticas antes de una operación real. Sobre esto, está muy bueno el episodio de The Virtual Brain del pódcast Theoretical Neuroscience
    C. La validación solo se hizo de forma parcial. NEVO optimizó la respuesta neural únicamente dentro del modelo de codificación del gemelo digital, y se dice que ese gemelo digital mostró una validez predictiva considerable, aunque no es lo mismo que el modelo de Virtual Brain mencionado antes. La salida es neurobiológicamente verosímil, pero no hay un modelo independiente ni nuevos resultados de fMRI que demuestren que los estímulos optimizados realmente activan la región objetivo. Como el estudio se hizo con datos de fMRI ya existentes, una validación completa es naturalmente el siguiente paso, y este artículo podría ayudar a conseguir el financiamiento necesario
    D. En promedio, desde hace mucho ya era posible crear estímulos estáticos que activaran ciertas áreas cerebrales por encima de la línea base. Las diferencias individuales varían según el par estímulo-región; por ejemplo, el área fusiforme facial (FFA) es pequeña, así que hay que localizarla con estímulos faciales personalizados en vez de con un simple enfoque de región de interés, pero en general su ubicación puede identificarse de forma estable. La medición de actividad cerebral es muy burda: en fMRI se trabaja con vóxeles de aproximadamente 3×3×3 mm y una respuesta hemodinámica con alta autocorrelación espacial, y en EEG con campos receptivos de unos 400 mm². El gemelo digital modela bastante bien la dinámica a esa resolución, y como en ese nivel no hay tanta cantidad de información, automatizarlo con video tampoco es un salto tan descabellado
• Esto es muy parecido a la discusión de la startup de lectura cerebral de la semana pasada, así que hay que leer el artículo antes de reaccionar. Esta herramienta busca reducir el sesgo del experimentador que surge cuando un investigador decide “esta área probablemente cumple tal función, así que mostremos un video X”, y así esclarecer la función de cada parte del cerebro
  Tras hacer que el sujeto vea varios videos dentro del escáner durante algunas horas, el modelo construye sus propias representaciones de los datos y busca la entrada que haga reaccionar con mayor fuerza una zona específica. En cierto sentido, generaliza la investigación cerebral tradicional, que ha intentado entender qué son los humanos y la cognición presentando estímulos y registrando la respuesta del cerebro
  • ¿No será que el ‘propósito’ de una investigación es solo el deseo de que la gente la use para eso? Dudo cuánto se puede influir en para qué terminará usándose realmente
  • Necesito algún enlace o información adicional sobre a qué se refiere aquí con la startup de lectura cerebral
  • Este tipo de investigación también ayuda a Moonbug Entertainment (Candle Media) a construir un mejor Distractatron. Consiste en reproducir una y otra vez, en una tele pequeña a varios metros en una pantalla grande, escenas cotidianas de 20 segundos como servir café o cortar cabello, y registrar cada vez que un niño aparta la vista de un programa de Moonbug

Distractatron en sí no es muy interesante, pero podría usarse para mejorar contenido identificando el momento exacto en que se pierde la concentración. Se explica en detalle en un artículo de The New York Times y en un artículo de The New Yorker

• Aunque esta investigación y las intenciones del investigador no sean inmorales en sí mismas, podrían llevar a resultados terribles. La tecnología nuclear también se desarrolló al principio con buenas intenciones y trajo muchos beneficios a la humanidad, pero al final los actores más peligrosos terminaron con grandes arsenales nucleares
• Hay un caso personal que sugiere que usar en exceso ciertas partes del cerebro puede ser peligroso. Mi tío, que cuidaba a mi tía con demencia, había sido toda su vida una persona capaz, estable y confiable, pero al final sufrió un colapso mental y episodios de manía
  Como tenía que mantenerse alerta los 7 días de la semana durante más de un año, por si mi tía hacía algo peligroso como encender la estufa de gas, el sistema cerebral de vigilancia del peligro estuvo siendo forzado sin descanso. Reconozco que esta investigación es científica, pero si no se controla estrictamente, seguro aparecerán empresas que intenten ataques tipo rowhammer contra el cerebro de las personas
  • Es más probable que la causa haya sido el estrés que el exceso de trabajo. El estrés puede desencadenar episodios maníacos en personas con predisposición biológica, y la carga de asumir de repente el cuidado de tiempo completo de un cónyuge con demencia es enorme
    Viéndolo en retrospectiva, quizá ya había tenido episodios de hipomanía, como menor necesidad de sueño, paranoia leve o períodos intermitentes de productividad excesiva. Si fue algo reciente, ojalá se haya recuperado bien; los medicamentos de última generación para prevenir y tratar la manía han mejorado mucho frente a los de antes
  • Esta investigación ayuda a entender el cerebro y a modelar mejor, por ejemplo, las áreas candidatas para cirugía de epilepsia, pero no sienta las bases para la lectura de la mente. Si llegáramos al punto en que las empresas intentaran activar de forma confiable ciertas regiones cerebrales mediante estímulos específicos y nos hicieran vivir dentro de una MRI, entonces ya tendríamos problemas mucho más graves
    Aun así, en unos 20 años podría ser posible una ampliación cerebral que vaya más allá de los electrodos de EEG en el cuero cabelludo, combinando chips implantados con electrodos neuronales y cómputo de IA en red. Al principio el cerebro usaría esa interfaz para aumentar la inteligencia, pero si la dirección del control se invierte mediante operación remota, la manipulación cerebral temida podría volverse real. Sin embargo, esta investigación está a años luz de ese escenario, así que es difícil vincular ambas cosas salvo que uno se oponga a toda tecnología
  • Lo que probablemente seguía activado en mi tío no era tanto el exceso de trabajo como la respuesta de lucha o huida en una situación de cuidado impredecible
• Buscar automáticamente superestímulos visuales tiene muchas probabilidades de acabar mal
  Me recuerda al superestímulo y al relato BLIT. Una de las animaciones V3A se parece vagamente a algo que veía de niño por la noche justo antes de dormirme, aunque en ese entonces era más cercano a formas circulares
  • En términos estilo SCP, podría llamarse un peligro cognitivo (cognitohazard). También se relaciona con esta teoría matemática sobre por qué la gente alucina
    En entornos de cuidado para personas con discapacidad intelectual se sabe que se puede calmarlas y controlarlas con luces brillantes y otros estímulos, y tengo entendido que las personas autistas pueden ser fuertemente estimuladas por colores intensos. No podemos asegurar que el resto de las personas no sea vulnerable a este tipo de estímulos de control
  • Igual que en Harry Potter había una advertencia de que incluso disfrutar demasiado de la buena suerte podía ser peligroso, aquí también hay una similitud en la idea de que un estímulo visual positivo excesivo podría ser peligroso
• Mucha gente ve imágenes brutales por una fracción de segundo en internet y pasa el resto de su vida queriendo olvidarlas. Las imágenes que esta tecnología podría producir podrían ser realmente horribles, y el nivel que el cerebro no puede soportar quizá sea mucho peor que cualquier cosa que hayamos visto hasta ahora
  • Es fácil imaginar un futuro en el que, el 9 de junio de 2032, la startup biotecnológica ReMind logre una IPO récord tras una demostración impactante y una prueba pequeña. Promocionarían que la cámara de una pantalla identifica a quien se acerca y, usando datos previos, genera la imagen con el impacto más intenso posible en su cerebro, afirmando que logra grabar recuerdos con una precisión promedio del 83% en una sola exposición
    Podrían lanzar ReMind Long-term, que deja una impresión parecida a un “trauma” para crear memoria publicitaria de largo plazo, y ReMind Short-term, que funcionaría como la versión visual de una canción pegajosa para promociones por tiempo limitado. Un futuro brillante en el que agencias de publicidad encargan decenas de miles y todo se despliega de inmediato en supermercados, elevadores, gasolineras, entretenimiento a bordo y anuncios públicos
  • Cada vez se acerca más a Langford's Basilisk
• Incluso entre mis ideas secretas de investigación, esta está entre las más peligrosas y moralmente equivocadas. Si generaciones futuras preguntan por qué la investigación en ciencias de la computación terminó requiriendo revisión de IRB, esta clase de trabajo sería la respuesta
  Hay investigadores que no se dan cuenta de en qué momento se están convirtiendo en Fritz Haber
  • La tecnología, en términos generales, siempre ha reducido nuestra libertad
• ¿De verdad están intentando crear Snow Crash? Explicación relacionada
• En realidad, los algoritmos de feed de redes sociales ya hacen esto a gran escala, así que ni siquiera hace falta contenido generado. En el océano de contenido creado por usuarios ya hay suficiente material que alcanzó un nivel de activación máxima
  • El plan es sacar a los creadores de contenido del proceso, reducir el reparto de ingresos y aumentar las ganancias
  • Optimizar la participación y optimizar la activación de una región cerebral específica en una persona concreta son objetivos de categorías completamente distintas
• El proceso de encontrar cómo captar la atención humana no es nuevo. Incluso las caricaturas de los años 50 hacían que el cerebro “se quedara quieto mirando” con animales adorables, cambios de escena cortos y rápidos, y música pegajosa
  Los focus groups de la publicidad evolucionaron hacia pruebas A/B para encontrar preferencias reveladas, y la investigación sobre grasa, sal y azúcar produjo comida rápida casi adictiva. Esta tecnología es solo el siguiente paso lógico
  • Los libros también se diseñan para atrapar al lector, y en el pasado se hacían a los libros críticas parecidas a las que hoy se hacen a las pantallas. Creo que es más importante entender el pánico emocional con el que la gente se deja arrastrar por sí sola que centrarse en la tecnología misma