Macro Splats 2025

• Gaussian splat está compuesto por múltiples elipsoides difusos, con la característica de poder verse desde distintos ángulos como una foto 3D
• Permite reproducir eficazmente texturas complejas y minuciosas de sujetos macro como insectos
• Para resolver los problemas causados por la poca profundidad de campo, se incorpora la técnica de focus stacking
• Con equipo automatizado y un método de captura optimizado, se mejora la eficiencia y la calidad de la toma
• Finalmente, se implementa y publica un modelo 3D de alta resolución usando COLMAP y Postshot

---

Resumen de Macro Splats 2025

Concepto de Gaussian splat y conversión en foto 3D

• Gaussian splat es una técnica que superpone elipsoides difusos en un espacio 3D y asigna a cada elipsoide un color dependiente de la vista
• Igual que en el entrenamiento de un modelo de inteligencia artificial, al ingresar varias fotos y repetir la optimización se pueden generar resultados realistas de fotos 3D
• Como resultado de este método, se obtienen imágenes 3D que pueden observarse de forma realista desde distintos ángulos

Motivo para aplicarlo a sujetos macro

• Los sujetos macro como insectos peludos o con estructuras complejas son muy adecuados para la representación con Gaussian splat
• Se destaca que estas texturas son difíciles de describir con técnicas tradicionales de reconstrucción 3D

Proceso de captura usando focus stacking

• Debido a las características de la fotografía macro, la profundidad de campo es muy reducida, por lo que es difícil capturar todas las partes con nitidez
• Focus stacking es una técnica en la que se toman múltiples imágenes desde el mismo ángulo con variaciones leves de enfoque, para luego combinarlas en una sola foto completamente nítida
• Normalmente se requieren de 50 a 500 fotos por stack, pero para mejorar la eficiencia de captura se ajustó a 16 fotos por stack y se utilizó una apertura de f/18
• Se fotografía al insecto sistemáticamente desde varios ángulos mediante un disco giratorio, un boom arm y un riel de enfoque automático
• En total se tomaron 1776 fotos desde 111 ángulos, y todo el proceso de captura tomó unas 4 horas

Construcción del modelo 3D y posprocesamiento

• Todas las imágenes se completaron como 111 fotos de alta resolución mediante batch focus stacking
• La información de posición de la cámara se recuperó con COLMAP, y se realizaron tareas de corrección de color y enmascarado del fondo
• Los datos finales se entrenaron en Postshot para crear el modelo splat, y la parte del soporte de montaje se eliminó con un retoque mínimo

Publicación y uso del modelo 3D

• El modelo final del insecto puede verse libremente en 3D en superspl.at
• El modelo de cluster fly está disponible gratis aquí, y se permite su uso tanto comercial como no comercial con atribución al autor

[GN⁺]

Opiniones en Hacker News

• De los gráficos por computadora que he visto, creo que esta avispa mandarina es una de las obras más impresionantes, y al mismo tiempo está al nivel más alto como fotografía macro. También sorprende que pueda renderizarse en tiempo real. Hace unos días hubo una discusión sobre la PS6, y si yo siguiera involucrado en consolas o desarrollo de juegos, estaría muy pendiente de cómo incorporar assets como este en un juego
  • Los Gaussian splats carecen de la flexibilidad que normalmente se requiere en los videojuegos. Como no son PBR real, la iluminación queda casi hardcodeada. El rigging no funciona bien y además es muy difícil editarlos. Son buenos para visualizar un solo objeto, pero no son adecuados para construir una escena con múltiples elementos
• Se ve realmente increíble. Como feedback sobre el sitio web, texto negro sobre fondo gris tiene poca legibilidad, así que tuve que usar el modo lector
  • La saturación de color de la página era tan fuerte que pensé que me estaba perdiendo algún elemento destacado en primer plano, y sentí como si toda la página estuviera tratada como fondo
  • Curiosamente, yo tuve la experiencia completamente opuesta. Este sitio web es de los pocos en los que puedo leer con claridad incluso usando lentes, sin que las letras se vean borrosas
• Este trabajo se ve increíble, y nunca había pensado en combinar fotografía macro con Gaussian splatting. De verdad agradezco que lo hayan publicado como archivo de cultura libre (CC BY)
• Estaría genial ver una colaboración con el artista de Exquisite Creatures Revealed. Él preserva distintos insectos y los exhibe de una forma que resalta los colores y la iridiscencia de la naturaleza. La exhibición me impresionó tanto que volví a visitarla. La información del artista puede verse aquí
• Me pregunto si habrá investigación sobre cómo ajustar gaussian splats dependientes de la distancia focal. Básicamente, una forma de modelar el bokeh; pienso que si se introducen las imágenes raw originales, quizá se podría obtener un modelo completamente nítido
  • Varios equipos están investigando este tema: proyecto dof-gs, proyecto dof-gaussian
• Me da curiosidad cómo capturan los reflejos iridiscentes del cuerpo de la mosca. Incluso da la sensación de que se ve el fondo a través de las zonas reflejadas. Como el color del reflejo cambia según el ángulo, pensé que generar un gaussian splat tendría dificultades para encontrar una respuesta que satisfaga todos los rayos. Al menos esperaba que las superficies reflectantes salieran muy mal, así que me pregunto si hay algún truco secreto o si yo estoy entendiendo mal los gaussian splats
  • El color cambia según el punto de vista, y eso significa que la iluminación está baked-in. Por eso creo que es difícil usarlos directamente para animación 3D o entornos en tiempo real (aunque quizá ya haya investigación sobre iluminación dinámica). A veces se ven mal; por ejemplo, en el modelo de la mosca, si te acercas demasiado, algunas partes del cuerpo parecen transparentes y el specular highlight aparece como un splat en la parte trasera de la superficie interna. En el modelo del espejo esto se nota aún más, e incluso puedes atravesar el espejo y meterte dentro
  • Los Gaussian splats pueden tener color asignado según el punto de vista. Hasta donde sé, eso se implementa con armónicos esféricos (spherical harmonics). La resolución angular depende de cuántos componentes armónicos haya; si son muy pocos, todos los reflejos cambian de forma lenta y suave, y se ven borrosos
  • Según FTA, “un Gaussian splat es esencialmente un conjunto de elipsoides borrosos, y cada elipsoide tiene un color dependiente del punto de vista”. Espero que esa explicación ayude
  • Conviene revisar la sección "View-dependant colors with SH": artículo relacionado
• El demo giratorio que corre en tiempo real en el navegador, incluso en el teléfono, funciona muy bien. El costo de renderizar gaussian splats no parece tan alto, y da la impresión de que la mayor parte del cómputo se va en el precálculo
  • El tamaño de archivo también es impresionantemente pequeño. El enlace ya no está, pero se publicó un splat 4D que incluso incluía movimiento (se puede ver como video y también desplazarse dentro de la escena), y ese archivo también estaba en el rango de varios megabytes
• Trabajo muy impresionante. Pero en móvil, el 3D es totalmente inutilizable. En modo órbita, en cuanto toco el 3D se fija en una vista del hemisferio sur, y sin importar cómo lo mueva, la pantalla sale disparada de un lado a otro como loca
  • Soy desarrollador de PlayCanvas. Me gustaría saber en qué teléfono o dispositivo te pasó eso. Podría ser un bug (sin juego de palabras)
• Hace poco también se usó para volver a visitar "The Matrix": video de YouTube
• Esto es un avance enorme frente al renderizado en tiempo real de 23,806 triángulos que mostró Stars/NoooN [1]. [1] Video de YouTube
  • Me pregunto de cuándo será esto. El video de YouTube es de hace 14 años, pero se siente muchísimo más antiguo