CityGaussian: renderizado en tiempo real y de alta calidad para escenas a gran escala con gaussianas

CityGaussian: técnica gaussiana para renderizado rápido y de alta calidad de escenas a gran escala

• CityGaussian (CityGS) presenta un nuevo enfoque para el entrenamiento eficiente y el renderizado en tiempo real de 3D Gaussian Splatting (3DGS) a gran escala.
• Mediante conocimiento previo global de la escena y selección adaptativa de datos de entrenamiento, permite un entrenamiento eficiente y una integración sin costuras.
• A partir de datos primitivos gaussianos, genera versiones comprimidas con distintos niveles de detalle y, mediante la estrategia propuesta de selección y agregación de nivel de detalle por bloques, logra renderizado rápido en diferentes escalas.
• Los amplios resultados experimentales en escenas de gran escala muestran que este enfoque alcanza una calidad de renderizado de última generación y puede renderizar en tiempo real, de forma consistente, escenas grandes de escalas muy distintas.

Comparación con el SOTA

• Técnica LoD sin CityGS: MatrixCity se representa con 25 millones de gaussianas y, al probarse en una A100, produce 18 FPS, lo que genera una experiencia de navegación desagradable.
• Técnica LoD con CityGS: con soporte LoD, CityGS puede renderizarse en tiempo real en escalas muy distintas, con una velocidad promedio de 36 FPS en pruebas sobre una A100.

Comparación visual

• Se compara visualmente la superior calidad de renderizado de CityGS frente a técnicas existentes como MegaNeRF, SwitchNeRF, GPNeRF y 3DGS.

Opinión de GN⁺

• CityGaussian representa un avance técnico importante para el renderizado en tiempo real de escenas 3D a gran escala. Esto amplía su potencial de aplicación en áreas como realidad virtual, desarrollo de videojuegos, planificación urbana y simulación.
• El renderizado en tiempo real es un factor que mejora considerablemente la experiencia del usuario, y la alta tasa de cuadros que ofrece CityGaussian haría esa experiencia más fluida y realista.
• Sin embargo, las tecnologías de renderizado en tiempo real suelen requerir recursos de cómputo de alto rendimiento, lo que puede ser una limitación en términos de costo y accesibilidad.
• Para que esta tecnología se adopte ampliamente, será necesario seguir mejorando las técnicas de optimización junto con el avance del hardware.
• Además, puede haber en el mercado otros proyectos o productos que utilicen tecnologías similares a CityGaussian, por lo que los usuarios deben comparar varias opciones para elegir la solución óptima según sus necesidades.

[GN⁺]

Opiniones de Hacker News

• Se presenta un proyecto experimental que combina los mosaicos 3D de Google Maps con Gaussian splats. Con esta tecnología se lograron efectos similares a la realidad, y se ofrecen ejemplos con código relacionado.
  • Ejemplo 1: enlace de Twitter de kfarr
  • Ejemplo 2: enlace de Twitter de 3dstreetapp
• El dataset usado en el video es "Matrix city", y parece haber sido extraído del demo de Matrix para Unreal Engine 5 lanzado hace algunos años. Se estima que fue creado con técnicas de fotorrealismo y no a partir de fotografías.
  • Sitio web de Matrix city
• La velocidad promedio de fotogramas es de 36 fps, probada en una tarjeta gráfica A100. Esta tarjeta gráfica cuesta alrededor de $8,000.
• La técnica llamada Gaussian splat fue nombrada a partir de Gauss; aunque él no la inventó directamente, sí contribuyó de forma importante a la base matemática de esta técnica.
• Hay una pregunta técnica sobre si la tecnología que permitió a Unreal Engine mostrar demos sorprendentes recientemente fue Gaussian splat.
• Hay expectativa sobre bajo qué licencia se publicará esta tecnología, y también se expresa el deseo de verla aplicada en juegos open source.
• Hay reacciones de curiosidad sobre las técnicas avanzadas para renderizar escenas grandes usando gaussianas 3D, junto con interés por probar el código.
• Hay una opinión que señala que esta tecnología no parece verse notablemente mejor que el juego de simulación urbana existente "Cities: Skylines", y que al mostrar solo cuadros limitados es difícil evaluar su efecto real.
• Hay un comentario que cuestiona si los Gaussian splats 3D serán realmente útiles. Se expresa preocupación por que la velocidad de renderizado sea demasiado lenta y la cantidad de datos demasiado grande, lo que podría volverla poco práctica, junto con la afirmación de que la rasterización siempre será más rápida que el ray tracing. También se menciona que generar geometría y materiales tradicionales a partir de una nube de puntos gaussiana es interesante, pero que la fotogrametría ya se usa desde hace mucho tiempo.
• Hay una pregunta sobre los requisitos de memoria y cómputo de esta tecnología.