A$AP Rocky publica el videoclip de ‘Helicopter’ usando Gaussian Splatting

• El videoclip del nuevo tema ‘Helicopter’ de A$AP Rocky implementa casi todas las actuaciones humanas con captura volumétrica y Gaussian Splatting
• La filmación usó una matriz de 56 cámaras RGB-D de Evercoast para registrar la actuación real en 3D, y en posproducción se renderizó con Houdini y OctaneRender
• Mediante GSOPs de CG Nomads y las herramientas internas de WildCapture, se procesaron la secuenciación de los datos de splat, el reajuste de iluminación y las interacciones físicas
• A pesar de la sensación surrealista del video, todas las escenas fueron creadas con base en la actuación física real de actores
• Este proyecto es un caso de uso real de Gaussian Splatting dinámico en videos de música popular, y muestra el potencial de la producción futura de video 3D en tiempo real

---

Resumen de la producción del videoclip de Helicopter

• ‘Helicopter’ de A$AP Rocky es un videoclip que utiliza tecnología de Radiance Fields, donde casi todas las actuaciones humanas fueron capturadas de forma volumétrica
  • El video se caracteriza por movimientos caóticos y la energía del estilo MTV de los inicios
  • Los personajes fueron renderizados en forma de Dynamic Splat, logrando una sensación espacial tridimensional
• En el proyecto participaron Evercoast, Grin Machine, WildCapture y Fitsū.ai, entre otros
  • Evercoast se encargó de la captura de performance, y Chris Rutledge de Grin Machine participó como supervisor de CG
  • Wilfred Driscoll de WildCapture brindó soporte técnico para la consistencia temporal y la transferencia de movimiento

Filmación volumétrica y configuración técnica

• La filmación se realizó en Los Ángeles en agosto de 2025, sincronizando 56 cámaras RGB-D de Evercoast y dos estaciones de trabajo Dell
  • Los actores realizaron stunts físicos colgados de cables o suspendidos de barras en el techo
  • Las aspas del helicóptero y los props fueron reemplazados por estructuras reales de madera para filmar en un entorno realista
• Se recopilaron 10 TB de datos en bruto, que fueron renderizados en alrededor de 30 minutos de metraje splat
  • El resultado final se exportó con un volumen de aproximadamente 1 TB en secuencias PLY

Pipeline de posproducción

• La posproducción se llevó a cabo en Houdini, donde se manipuló y secuenció la data splat con GSOPs de CG Nomads
  • Se utilizó OctaneRender de OTOY para el render final y para permitir el relighting
  • La integración de Octane con Houdini ha madurado, haciendo posible representar sombras y volumen
• Blender se utilizó en las etapas de layout y previs
  • Las secuencias splat se convirtieron en cachés proxy ligeros para usarse en la planificación de escenas
  • Con herramientas internas de WildCapture se generaron esqueletos de estimación de pose para soportar colisiones y simulación física

Vista previa en tiempo real y eficiencia de producción

• El sistema de Evercoast proporciona retroalimentación espacial en tiempo real en el set
  • El director puede revisar una previsualización basada en malla inmediatamente después de filmar, y luego examinar el render splat completo mediante un reproductor web
  • Antes de descargar los datos masivos, se pueden seleccionar y posprocesar solo las escenas necesarias
• Este flujo de trabajo se acerca más a una simulación que a una producción audiovisual tradicional, lo que permite una creación rápida y rentable

Performance real e ilusión visual

• Algunos espectadores malinterpretaron el video como una obra generada por IA, pero todas las escenas se basan en la actuación física real de actores
  • Todos los movimientos, incluidos stunts, saltos y caídas, se realizaron en un espacio real
  • Gracias a la captura volumétrica, la reubicación del encuadre de cámara y la ruptura de la continuidad espacial pueden hacerse libremente, lo que provoca una sensación artificial
• La tecnología Radiance Field no reemplaza la realidad, sino que cumple el papel de preservar el movimiento y el espacio del mundo real

Colaboración previa entre A$AP Rocky y Radiance Fields

• A$AP Rocky ya había usado NeRF e Instant-NGP GUI en el videoclip de ‘Shittin’ Me’ en 2023
  • En esa línea, ‘Helicopter’ es considerado un caso de uso real a gran escala de Gaussian Splatting dinámico

[GN⁺]

Opiniones de Hacker News

• Me parece realmente impresionante que en 2023 Nial Ashley (Llainwire) haya hecho esto solo y hasta creara los visuales por su cuenta
  Enlace al video de YouTube
  Lamentablemente, este chico no recibió mucha atención. Según Discord, demasiados artistas empezaron a pedirle solo videos musicales con este estilo, así que al final abandonó este proyecto en lugar de seguir con colaboraciones musicales
• Soy David Rhodes, cofundador de CG Nomads. Desarrollé GSOPs (Gaussian Splatting Operators) para SideFX Houdini
  Este video musical fue creado combinando GSOPs y OTOY OctaneRender
  Si les interesa la tecnología, pueden revisar el sitio oficial o el repositorio de GitHub
  • El aspecto estético de esta tecnología es realmente interesante. En versiones anteriores se veía por completo como una nube de ruido 3D glitcheada; me pregunto si has pensado en formas de “abusar” creativamente de eso usando entradas incorrectas a propósito o errores de alineación
  • David, me da curiosidad si también has revisado tecnologías alternativas a 3DGS como Mesh Splatting. Prometen entrenamiento más rápido y buenos resultados
  • Me pregunto si sería posible hacer un plugin para Davinci Resolve que combine los datos espaciales capturados con dos iPhone y los fusione en una escena 3D. Con un chip M4 parecería totalmente posible
  • Dijiste “contenido 3D de alta calidad”, pero en el video sentí que eso faltó un poco
• Nunca pensé que vería un post sobre A$AP en HN. Esta comunidad sí que es divertida
  • Yo también pasé todo el día pensando cómo subir el video musical de Helicopter a HN, así que me dio gusto que alguien lo publicara desde el ángulo de Gaussian
  • ¿En el video él se está haciendo el cabello de color (hair rollers)?
  • Casi terminamos con un post sobre Carti en la portada de HN
  • Yo también lo miré dos veces por un momento, de verdad fue inesperado
  • Pero no entiendo muy bien por qué eso se considera “cool”
• Me pregunto si alguien puede explicar de forma sencilla qué es exactamente Gaussian splatting y qué significa eso de que “ahora ya está lo suficientemente maduro” que menciona el artículo
  • El proceso consiste en crear una nube de puntos de una escena, reemplazar cada punto por un elipsoide difuso y luego entrenarlo con un renderer diferenciable. Así se puede reconstruir una escena 3D que casi coincide con las fotos reales
  • Es una forma de estimar un campo de radiancia del espacio 3D (radiance field) combinando video capturado desde varios ángulos. Con eso también se pueden simular ángulos de cámara que no existen realmente.
    Si usas esta tecnología en una herramienta como Houdini, un artista puede mover libremente una cámara virtual
  • Cada punto tiene la forma de un blob semitransparente, y su color cambia según la dirección desde la que se mire. Eso permite representar reflejos y efectos de brillo
  • Este video de 2 minutos es un buen material de introducción.
    Parece que gracias al paper clave de 2023 y a los avances en GPU y programación diferenciable, ahora ya se puede usar también en trabajo real
  • Se pueden ver demos visuales en esta entrada de blog y en este sitio
• El video estuvo buenísimo. No entendí más de la mitad del artículo, pero curiosamente me divierte leer este tipo de frases saturadas de jerga técnica
  La parte de “importamos los datos a Houdini, los manipulamos con GSOPs y luego hicimos el render final con OctaneRender” me llamó especialmente la atención
  • Soy una de las personas que hizo GSOPs para Houdini. Los Gaussian splats son una forma de replicar la realidad usando muchísimos elipsoides 3D. Houdini es fuerte manejando este tipo de datos de puntos a gran escala, y renderers como Octane pueden integrarlos con elementos CG tradicionales
  • Yo soy justamente quien escribió ese artículo. Gaussian splatting toma imágenes o video 2D comunes como entrada y permite una reconstrucción 3D realista. Es una clase de técnica basada en campos de radiancia como NeRF o Plenoxel
  • Corridor Crew hizo un trabajo genial usando Gaussian splats. Recomiendo este video
  • Este estilo de redacción por alguna razón me recuerda a Kurtwood Smith vendiendo pipas en The Patriot
• Estoy experimentando con Gaussian splatting como medio artístico fotográfico. Los resultados expresionistas que salen cuando faltan datos son realmente atractivos
  Colección de mis trabajos
  • ¡Tu trabajo está increíble! Me pregunto si tienes algún lugar donde expliques el proceso con más detalle
  • La estética es realmente única y genial
• Sinceramente, el video me pareció como un render viejo de Unreal Engine. Puede que hayan buscado esa estética a propósito, pero me pregunto qué tan realistas pueden ser los resultados con Gaussian splatting
  ¿Se podría volver a configurar la iluminación o las sombras, o modificar partes de la escena, y aun así mantener la sensación de realismo original?
  Viendo cómo la producción cinematográfica actual se mueve hacia filmar desde muchos ángulos y luego resolverlo en postproducción, quizá terminemos en una era en la que los humanos se hagan con Gaussian splats y los fondos con pantalla verde
  • La estética de este video es resultado de conservar a propósito los artefactos de Gaussian splatting. En especial en 4DGS aparecen inconsistencias temporales, y durante el proceso de relighting eso se vuelve aún más evidente.
    Aun así, la tecnología está avanzando rápido y el captura volumétrica parece que sí va a establecerse.
    En entornos estáticos, la calidad es muy alta, como en este ejemplo
  • Por la inclinación del artista, esto parece más una elección por la novedad de la tecnología y la libertad creativa que por presupuesto
  • A mí me dio vibra de una versión de alta resolución de Teardown, el juego basado en vóxeles. La iluminación y el movimiento de cámara transmiten eso
  • Si metes los datos correctos, siento que ya hoy podría dar una calidad 3D de nivel IMAX
  • Otros videos de A$AP también usan a veces una estética lo-fi y retro de forma intencional. Por ejemplo, en Yamborghini High imitó un efecto de corrupción MPEG
• El video en sí sí hay que verlo. El equilibrio entre los efectos surrealistas y la performance humana está muy bien logrado
  Si la música no es lo tuyo, puedes verlo en mute y aun así disfrutarlo
  • Otro video musical de A$AP Rocky, Taylor Swif, también tiene una atmósfera surrealista y extraña parecida. La dirección con aire de Europa del Este encaja de manera intencional con el tema
    Enlace al video
  • Si ves hasta el final del video, el último splat no es Gaussian
• Enlace directo al video musical: https://www.youtube.com/watch?v=g1-46Nu3HxQ
  • Buena idea. Voy a agregar ese enlace también al principio del post
• Lamentablemente lo dejé como a los 30 segundos porque me dio mareo. Aun así, la tecnología está increíble. Me pregunto si alguien más se sintió igual que yo
  • A mí el video me gustó mucho. No me mareó en absoluto
  • Mi esposa tuvo la misma reacción, pero después de la intro mejora bastante