rPPG - una forma novedosa de distinguir videos sintéticos DeepFake

<p>La tecnología DeepFake, que ha avanzado rápidamente, puede ser de gran ayuda para la industria del entretenimiento, pero también puede agravar aún más el problema de las noticias falsas. Por eso, contar con tecnología para distinguir este tipo de DeepFake tiene una importancia significativa.<br /> <br /> El esfuerzo de Microsoft para frenar las noticias falsas en las próximas elecciones presidenciales de Estados Unidos:<br /> https://es.news.hada.io/topic?id=2767<br /> <br /> Comparto un artículo que presenta una forma novedosa de distinguir videos DeepFake. (En inglés) Este método diferencia entre un rostro humano real y un DeepFake basándose en la señal del latido cardíaco extraída del rostro de la persona.<br /> <br /> En dispositivos hospitalarios no invasivos para medir la saturación de oxígeno o en smartwatches, que ahora ya son bastante comunes, el método para medir la frecuencia cardíaca humana se conoce técnicamente como PPG (Photoplethysmography, fotopletismografía). Cuando se ilumina el cuerpo humano, parte de esa luz es absorbida, y el grado de absorción es proporcional al volumen de piel, tejido y sangre presentes en el trayecto por el que pasa la luz. El volumen de la piel o del tejido no cambia de forma brusca, pero el volumen de sangre dentro de los vasos sanguíneos en una ubicación específica aumenta cuando el corazón se contrae y disminuye cuando se relaja. Por eso, si se grafica el patrón de absorción de la luz y simplemente se mide el intervalo entre los valores pico, eso corresponde directamente a la frecuencia cardíaca. Es más simple de lo que parece.<br /> <br /> rPPG (Remote photoplethysmography, fotopletismografía remota) va un paso más allá. Los humanos y las cámaras pueden ver los objetos porque la luz emitida desde alguna fuente se refleja en ellos y entra al ojo o a la cámara. Pero, si pensamos en el principio del PPG mencionado antes, podemos asumir que en la luz reflejada por partes del cuerpo de una persona viva, como el rostro, hay cambios muy sutiles que claramente reflejan el patrón del pulso. rPPG consiste en amplificar fuertemente esos cambios tenues para medir la frecuencia cardíaca usando solo un video del rostro captado por una cámara, sin herramientas especiales ni contacto. Este método depende de cambios extremadamente pequeños en el tono del rostro, pero se sabe que los sistemas rPPG recientes basados en deep learning pueden extraer estas variaciones incluso de videos faciales con tasas de compresión bastante altas.<br /> <br /> Entonces, si se extraen señales biométricas de esta manera, ¿no sería posible también distinguir entre un rostro humano real y uno creado con DeepFake? A partir de esa idea, recientemente se publicaron artículos con resultados de experimentos para detectar videos faciales DeepFake usando técnicas modernas de rPPG. En resumen, las señales rPPG que aparecen en un rostro de una persona real y en uno generado con DeepFake muestran patrones claramente distintos, y los patrones de señal rPPG extraídos también varían según el tipo de modelo usado para crear el DeepFake. Por lo tanto, no solo fue posible distinguir videos DeepFake con este método, sino también identificar con bastante alta precisión qué modelo específico se utilizó.<br /> <br /> Texto original de los artículos:<br /> https://arxiv.org/abs/2006.07634<br /> https://arxiv.org/abs/2008.11363</p>;

[xguru]

<p>Es curioso, pero también me preocupa que después DeepFake termine imitando hasta eso. Como una espada y un escudo, jaja.</p>

[qodot]

<p>Sí, hasta dan ganas de pensar que más bien no deberían publicar el paper jaja</p>

[sduck4]

<p>Eso de una lanza y un escudo que aprenden compitiendo entre sí me recuerda a las GAN.<br /> <br /> Nueva tecnología de inteligencia artificial GAN - https://samsungsds.com/global/ko/…;