"Gaussian splatting" es bastante genial

• Artículo sobre el paper titulado "Real-Time Radiance Field Rendering with 3D Gaussian Splatting"
• El Gaussian splatting es un método para representar escenas 3D como millones de partículas con posición, rotación, tamaño, opacidad y color
• Las partículas se renderizan como gaussianas 2D en el espacio de pantalla, no como esferas expandidas
• Los autores del paper desarrollaron un método para generar millones de partículas que representan escenas capturadas en fotos usando descenso por gradiente y renderizado diferenciable
• Los autores también desarrollaron una forma de renderizar rápidamente estos millones de partículas escaladas
• El autor del artículo está implementando en Unity la parte de visualización en tiempo real de Gaussian splatting y considerando formas de reducir el tamaño de los datos
• El artículo también analiza la historia y aplicaciones anteriores de Gaussian splatting, inventado alrededor de 2001-2002
• El autor comparte en GitHub su implementación de Gaussian splatting y señala que funciona, pero no es tan rápida como la implementación oficial
• El autor también menciona que el tamaño de los datos y el uso de memoria son consideraciones importantes al usar Gaussian splatting, y que la escena de ejemplo usada en el artículo requiere 1.5 GB de datos en disco

[GN⁺]

Opiniones de Hacker News

• Artículo sobre el potencial del Gaussian splatting, una técnica para reconstruir escenas 3D a partir de múltiples imágenes, que ha generado entusiasmo entre los aficionados a la tecnología
• Gaussian splatting como una herramienta prometedora para recrear entornos del pasado, con la posibilidad de desatar olas de nostalgia
• Uso de descenso por gradiente y "renderizado diferenciable", evitando el uso de términos relacionados con "neural"; algunos lectores elogian que no siga la corriente dominante
• Sin embargo, algunos lectores sostienen que evitar las redes neuronales quizá no sea algo digno de elogio, ya que son populares por una razón y son buenos aproximadores de funciones
• El artículo también menciona el renderizado basado en puntos, que es la base de los sistemas de partículas en los juegos, y los lectores señalan cambios recientes en esos sistemas de partículas
• Algunos lectores se preguntan si el Gaussian splatting puede admitir iluminación dinámica y movimiento, ya que la escena/campo de radiancia suele ser estático y tener la iluminación incorporada
• Esta técnica se compara con el concepto de braindance de Cyberpunk 2077, que permite al jugador moverse dentro de los recuerdos visuales de otra persona
• Los lectores esperan la primera implementación optimizada para webGPU del renderizado 3D con Gaussian splatting, así como una compresión y descompresión eficientes de los datos de la escena
• Algunos lectores comparten materiales sobre cómo usar Gaussian splatting, por ejemplo, una guía para principiantes en YouTube
• Esta técnica no es nueva; se menciona una referencia de 1991 sobre splatting para renderizado volumétrico y el uso de isosuperficies de vóxeles a fines de los 90
• Los lectores sienten curiosidad por el estado del arte en structure from motion, la técnica que convierte videos de espacios en escenas 3D.