AV1@Scale: el despertar de la síntesis de grano de película

• Netflix comenzó a aplicar a gran escala la tecnología AV1 Film Grain Synthesis (síntesis de grano de película) para sus miembros en todo el mundo
• Esta función preserva de forma más realista el ruido y la textura cinematográfica, al mismo tiempo que mejora la eficiencia de compresión de video
• AV1 FGS utiliza 2 técnicas clave (restauración de patrones y ajuste de intensidad) para reproducir con precisión las características originales del grano
• Esto permite reducir el bitrate y, al mismo tiempo, mejorar la calidad de video y la experiencia del espectador
• Netflix usa esta tecnología para mantener la integridad artística y aumentar la eficiencia de datos en más contenidos

---

AV1@Scale: el despertar de la síntesis de grano de película

Netflix adopta la síntesis de grano de película y refuerza la calidad de video para millones de personas

• Netflix está concretando una innovación que maximiza la eficiencia de datos mientras preserva la sensibilidad artística y el realismo del grano de película, mediante la adopción a gran escala de streams con AV1 Film Grain Synthesis (FGS)
• El grano de película es un elemento visual importante que aporta profundidad narrativa y refuerza la atmósfera y el realismo de las películas clásicas
• Sin embargo, los algoritmos de compresión tradicionales tenían dificultades para procesar y comprimir eficazmente el grano altamente aleatorio

# Entendiendo la síntesis de grano de película en AV1

• La herramienta AV1 Film Grain Synthesis (FGS) usa dos modelos principales

  • Patrón de grano de película: modela el patrón del grano con un modelo autorregresivo (AR), y los coeficientes AR se estiman a partir de la diferencia (ruido) entre el video fuente y el video con reducción de ruido
    • Con esos coeficientes, genera una plantilla de ruido de 64x64 y, durante la reproducción, extrae parches aleatorios de 32x32 para combinarlos con el video reconstruido
    • Este método reproduce fielmente las características del ruido y la correlación espacial del video original
  • Intensidad del grano de película: ajusta finamente la intensidad del grano según las condiciones de brillo mediante una función de escalado
    • Durante la codificación, modela la relación entre el valor de los píxeles y la intensidad del ruido con una función lineal por tramos, y ajusta la intensidad del grano según el brillo y el color del video
    • De esta forma, restaura con mayor precisión la textura del video original

• El estándar AV1 no impone un método específico para las técnicas de reducción de ruido, por lo que el usuario puede elegir el denoiser que prefiera

• Después de la reducción de ruido, el video (sin grano) se comprime y se transmite junto con los parámetros del patrón e intensidad del grano

• En el reproductor del usuario, el grano se reconstruye con un método basado en bloques, optimizado para dispositivos de consumo

# Eficiencia de compresión, calidad de video y beneficios para el espectador

• Al habilitar AV1 FGS en Netflix, ahora es posible ofrecer streaming de video de alta calidad que mantiene el tono artístico de las películas, junto con un ahorro de bitrate
• En ejemplos reales, frente a los métodos anteriores, se logra al mismo tiempo mejor calidad y menor uso de datos
• FGS resulta especialmente útil en contenidos con mucho filtrado o grano agregado, ya que satisface tanto la eficiencia de datos como la preservación de la textura original

# Resumen

• AV1 Film Grain Synthesis (síntesis de grano de película) es una tecnología que hace posible la integridad artística, una mejor experiencia de visualización y una mayor eficiencia del streaming
• Con la adopción a gran escala de esta tecnología, Netflix entrega más obras con un mejor equilibrio entre calidad y ahorro de datos
• Así, desde el cine clásico hasta el video moderno, logra combinar textura emocional y eficiencia técnica

[GN⁺]

Comentarios en Hacker News

• Me parece que esta discusión pasa por alto que el ruido sintetizado no puede reproducir por completo la información fina y los detalles que tenía el ruido original. Cuando hay ruido real en una codificación de alta calidad, al pasar de una imagen fija a video se siente como si la resolución aumentara de golpe. A 24 fps, el ruido parece moverse sobre la señal, pero la señal en sí sigue viéndose nítida. En cambio, si se aplica compresión con pérdida o se sintetiza ruido cuadro por cuadro, los detalles que existían originalmente ya no se pueden recuperar. En video real a 24 fps se percibe más borroso, y en especial en metraje de película antigua la diferencia de detalle puede ser más del doble. Si h.265 o AV1 siempre codificaran considerando varios cuadros para quitar solo el ruido de acuerdo con el movimiento, no habría pérdida de detalle, pero no sé si en la práctica funcionan así. La comparación entre eliminar ruido y sintetizarlo no debería juzgarse con imágenes fijas; hay que comparar video real lado a lado para saberlo bien. El énfasis aquí es que el ruido también es detalle.

  • Creo que como el grano (patrón de ruido) existe de forma independiente en cada cuadro y no se mueve junto con los objetos de la escena, una comparación con imágenes fijas basta siempre que el ruido sintetizado no tenga un patrón temporal evidente. Desde el punto de vista estético, el grano sintético de AV1 no refleja bien el tamaño del grano de la fuente, así que no logra revivir del todo los cristales grandes de películas antiguas, y tampoco modela por separado los canales de color, aunque quizá no importe tanto porque el video fuente de Netflix ya tiene submuestreo de croma. El artículo relacionado está aquí. Solo he leído un poco sobre esto, así que podría estar equivocado

  • Para explicar el aspecto temporal, sirve pensar en un proyector de cine antiguo. Entre cada cuadro hay un instante oscuro, pero el ojo casi no percibe ese parpadeo y lo promedia (flicker fusion threshold). El ruido y el grano se perciben de manera parecida, por eso destacan menos que una señal estable. En astrofotografía también se combinan varias imágenes para obtener una mejor SNR, y el cerebro humano procesa un poco así. A medida que el ruido converge hacia un promedio en el tiempo, la señal se revela con más claridad. Un algoritmo de denoise que solo procesa un cuadro no tiene ese contexto, así que pierde detalle o compensa con suposiciones. AV1 no especifica un algoritmo de denoise en particular, así que creo que uno inteligente podría preservar bien el contexto temporal

  • El ruido en sí no contiene señal; es una perturbación aleatoria añadida sobre la señal, no información. Si promedias varias imágenes estáticas, la señal permanece y el ruido se cancela, aumentando la SNR, así que no le veo mucho sentido a conservar ruido a propósito. Si hay un efecto perceptible, quizá sea una satisfacción estética con el grano original de la película, o una diferencia causada por comparar video de bajo bitrate (muy comprimido) con video de alto bitrate (más cercano al original)

  • Esta parte me parece realmente interesante. A veces el machine learning analiza mejor que las personas un video grabado de noche, e incluso el ruido del sensor puede servir como feature. Eso refuerza la idea de que el ruido no es solo ruido

  • En Blu-ray 4K recientes se usa tecnología DRR, y ha habido casos donde en el proceso de denoise desaparecen hasta los poros del rostro, haciendo que la expresión de los actores se vea como de cera

• Dejando de lado el significado filosófico de añadir ruido, en este ejemplo el proceso de denoise mete demasiado blur, así que se ve menos nítido que el original, y el grano sintetizado tampoco se siente como grano de película real sino simplemente como ruido

  • Me parece correcto. Antes de llegar a bitrates altos, el proceso de compresión termina gastando demasiados bits en el grano original, así que la imagen puede verse más borrosa o lodosa. La síntesis de grano de película (FGS) es bastante razonable para streaming con limitaciones de ancho de banda, pero coincido en que en los videos de ejemplo el grano sintético no se ve como grano real. Dependiendo de cuánto y cómo se haga el denoising, el detalle de la escena sí puede quedar claramente suavizado

  • En la posproducción cinematográfica siempre se han usado muchos trucos. Me gustaría que hubiera una opción para que el espectador pudiera elegir si aplicar ciertos efectos, por ejemplo simulación de película. En películas como The Holdovers, que intentan recrear una época específica, la simulación de película me pareció realmente genial. También creo que Netflix podría empezar a procesar efectos de posproducción en el cliente, por ejemplo ofreciendo un modo para daltónicos o permitiendo desactivar el grano artificial

  • El FGS de AV1 permite ajustar niveles, y a mis ojos aquí parece estar configurado un poco alto (aunque según el entorno de bitrate, este nivel puede ser bastante más agradable que otros artefactos). Como referencia, las escenas estáticas tienen limitaciones para evaluar calidad de video, e incluso un filtro teórico perfecto para quitar ruido —que preservara al 100% el detalle sin ruido— puede sentirse menos detallado que el original. Hay un fenómeno en el que el cerebro y el ojo “crean” más detalle al mirar una imagen con ruido

  • Una película que explora este tema es Blowup de Antonioni. Wikipedia de Blowup

  • Como alguien que ha observado de cerca película cinematográfica, siento que el grano de película en este video de ejemplo está lejos de lo real. Al final no es más que un efecto parecido al dithering

• El punto más importante de esta discusión es la parte de “at scale”. Durante mucho tiempo ya existía la síntesis de grano de película en codificadores AV1, pero para evitar problemas había que ajustar parámetros a mano cada vez, así que en la práctica solo se usaba en contenido limitado. Aquí no explican en detalle cómo este método supera esa dificultad, pero me alegra que ya sea posible operarlo a gran escala

  • Últimamente salió una variante adaptativa (Adaptive variant), así que automatizarlo se ha vuelto mucho más fácil

• Frente a la visión negativa del grano de película, toda imagen tiene cierto nivel de ruido o grano. Lo tienen los mejores sensores digitales e incluso nuestros ojos. No solo sirve para fines estéticos; también ayuda a aumentar la percepción de nitidez y a ocultar banding o artefactos de compresión. Claro, no todo grano es bueno, y muchas veces aparece por limitaciones técnicas o malas decisiones creativas. Aun así, en mi opinión, el resultado de denoisear todo video para dejarlo completamente suave termina viéndose mucho más irreal y molesto

  • El grano de los sensores digitales avanzados hoy en día es mínimo comparado con la cantidad que se añade en muchas películas actuales

  • Mi objeción es que aplicar o no grano debería ser una decisión artística del creador, no algo que decida arbitrariamente un grupo dedicado a la compresión de datos

  • La animación de introducción de HBO usa ruido de señales analógicas antiguas, y hasta en 4K la calidad es pésima. Como el ruido aleatorio es casi imposible de comprimir, hace falta un método como este (quitar ruido y restaurarlo)

• No estoy de acuerdo con la afirmación de que “el grano da realismo y añade profundidad a la historia”. Yo ni siquiera veo ese grano como algo real, así que no entiendo la lógica de “realidad = grano”. Aun así, sí me parece interesante como herramienta estética y esta tecnología también me llamó la atención

  • Además del efecto de enmascaramiento del grano que menciona el artículo (ocultar artefactos) y de la familiaridad o nostalgia, agregaría otra explicación. Todas las superficies reales tienen microtextura, pero al registrarlas en video muchos de esos detalles se pierden por la cámara, la resolución o los límites de compresión. El grano de película vuelve a aportar ese estímulo visual de alta frecuencia. Al ojo y al cerebro les gusta ese estímulo en sí, sin importar demasiado la posición o el patrón del ruido. Por ejemplo, los parámetros psy-rd y psy-rdoq del codificador x265 se pueden ajustar para que “la imagen conserve energía visual (un poco de aspereza)”, mejorando la calidad percibida sin usar más datos

  • En noches muy oscuras nuestros ojos también pueden percibir una especie de “chisporroteo” o “estática”, y en términos técnicos el ojo humano también tiene algo de ruido. La sensación de realidad está definida por las huellas de la tecnología de cada época. Igual que la pincelada de Vincent van Gogh forma parte de la pintura, el grano de película también es una de las realidades del medio, así que, si es posible, se intenta conservar esa huella lo más posible

  • La gente quiere racionalizar lógicamente sus gustos estéticos. Cuanto mayor es la experiencia y comprensión de los medios, más sensible se vuelve uno a cambios sutiles, y eso se refleja en sus preferencias. Un niño reaccionará al contenido de una comedia muda antigua, no a las características del material fílmico. En cambio, cuanto más experto eres, más te afectan estas pequeñas diferencias. Que el grano de película mismo se sienta como algo real también es producto de la experiencia social y la autopercepción de cada época. Dentro de 40 años quizá el grano cinematográfico se perciba como algo surrealista o simplemente como “ruido”

  • Creo que el grano hace que una imagen parezca más detallada de lo que realmente es, y además disimula artefactos de compresión o desenfoque. No sé bien qué tanto sea un factor psicológico, pero claramente hay un aporte extra de alta frecuencia o un efecto similar al dithering. El ojo humano también tiene algo de grano por fenómenos cuánticos, aunque el cerebro lo filtra con fuerza y por eso no lo percibimos

  • En los primeros años en que las cámaras digitales se volvieron predominantes, mucha gente sentía que el video digital se veía irreal, así que estaba muy extendida la idea de que el cine en película se veía más bonito. Probablemente eso también influye en cinéfilos que disfrutan el cine clásico y toman “película = bueno” como referencia. Al final me parece una herramienta estética útil cuando se quiere bajar la nitidez

• El códec de audio AMR-WB usado en llamadas de celular oficialmente soporta de 50 Hz a 7,000 Hz, pero en el modo más usado, 12.65 Kbps, en realidad solo guarda hasta 6,400 Hz y rellena la parte superior con baja frecuencia + síntesis de ruido. Esto suena mucho más natural que simplemente recortar esa banda sin añadir ruido

• Como fotógrafo de cámara mirrorless, siempre intento crear una sensación especial en posprocesado. Por ejemplo, cierro el diafragma al máximo posible y uso de forma agresiva denoise, sharpening y color grading. Si mis fotos terminan sintiéndose como algo sacado de un libro viejo, lo considero positivo. También he probado varios filtros de look fílmico, pero todavía no he visto ninguno que reproduzca de verdad el estilo de grano de película que tengo en mente: ese aspecto de cristales irregulares, como píxeles desiguales ya presentes en la película antes de disparar. La mayoría solo hacen un grano cuadrado con forma de píxel y no resulta convincente

• No estoy de acuerdo con la idea de que “el grano de película aporta autenticidad y nostalgia”. Desde mi punto de vista solo es ruido visual que tapa detalles. La nostalgia viene de los actores o de mi experiencia viendo cosas de esa época, no necesariamente del grano. Y la idea de que “da realismo” también me parece poco realista. Sí me parece positivo que AV1 permita sintetizar y quitar esta basura visual de forma fácil y flexible sin malgastar bits en ella

  • Un documental puede tener como objetivo “reproducir la realidad”, pero en el cine lo principal es la visión del director. El grano, igual que la música, puede verse como un elemento artístico que construye emoción y atmósfera

  • Físicamente, por la iluminación y por el propio proceso de captura, existe shot noise, así que en realidad no existe una realidad “completamente sin ruido”. Ver Shot noise en Wikipedia

  • Creo que no se explicó muy bien la ventaja del grano de película, pero en la práctica sí aumenta la sensación de nitidez y detalle de una imagen (aunque sea una ilusión), y el director de fotografía Steve Yedlin lo describe como “darle al ojo del espectador algo a lo que aferrarse”

  • Creo que juzgar si algo es “ruido” o “detalle” en una película depende mucho de una interpretación subjetiva. Hoy en día también existen otros tipos de ruido visual causados por las tecnologías modernas de compresión de video

• El punto clave que mucha gente pasa por alto es que si quitas el ruido antes de comprimir, la eficiencia de compresión mejora muchísimo. Con el mismo bitrate, si comprimes sin quitar el ruido, el detalle y los bordes se degradan bastante. Es una idea que ya se usaba desde hace mucho en reproductores multimedia de escritorio

  • Exacto. Todos se enfocan en la calidad del grano, pero para Netflix lo realmente importante es la relación ancho de banda/calidad. A bitrate similar, quitar ruido y restaurarlo por software da una calidad mucho mejor. Comprimir ruido es realmente una mala idea

• Creo que el grano de película ya debería retirarse. La época de las fotos sepia y del cine mudo a 16 fps ya terminó, y también debería terminar la del grano de película. Eastman Business Park también fue demolido. Ya no quiero seguir viendo videos de YouTube con efectos de polvo y rayones

  • Tal vez el grano de película falso sea otra cosa, pero eliminar el grano de película en sí sería como pedir que también se elimine la pincelada de una pintura al óleo

  • Me da curiosidad por qué exactamente el grano de película tendría que desaparecer por completo