Tecnología MeshAnything para convertir representaciones 3D en mallas 3D eficientes

MeshAnything: generación de mallas hechas por artistas

Resumen

• MeshAnything imita la forma en que los artistas humanos extraen mallas a partir de representaciones 3D.
• Puede combinarse con diversos pipelines de producción de activos 3D para generar mallas hechas por artistas (AM) aplicables a la industria 3D.

Comparación con métodos existentes

• MeshAnything genera mallas con cientos de veces menos caras, mejorando significativamente la eficiencia de almacenamiento, renderizado y simulación.
• Alcanza un nivel de precisión similar al de los métodos existentes.

Método

• MeshAnything es un transformer autorregresivo que genera mallas hechas por artistas ajustadas a una forma 3D dada.
• Toma muestras de nubes de puntos de un activo 3D dado, las codifica como características y las inyecta en un transformer de solo decodificador.
• En lugar de aprender distribuciones complejas de formas 3D, construye la forma de manera eficiente mediante una topología optimizada.

Más resultados

• Al integrarse con diversos métodos de producción de activos 3D, logra una generación de mallas hechas por artistas altamente controlable.
• MeshAnything genera mallas con mejor topología y menos caras, y puede producir una topología completamente distinta mientras mantiene una forma similar.

Opinión de GN⁺

• Eficiencia: MeshAnything genera mallas con muchas menos caras que los métodos tradicionales, mejorando considerablemente la eficiencia de almacenamiento y renderizado.
• Aplicabilidad: Puede integrarse con diversos pipelines de producción de activos 3D, por lo que tiene un alto potencial de uso en toda la industria 3D.
• Ventaja técnica: Puede construir formas de manera eficiente mediante topología optimizada sin necesidad de aprender distribuciones complejas de formas 3D.
• Visión crítica: Al adoptar una nueva tecnología, puede haber problemas de compatibilidad con sistemas existentes o una curva de aprendizaje inicial.
• Alternativa recomendada: Otros proyectos con funciones similares incluyen MeshGPT; conviene comparar las ventajas y desventajas de cada proyecto.

[GN⁺]

Opiniones de Hacker News

• Dado que los papers de generación de modelos 3D suelen ser criticados con frecuencia, esta investigación es bienvenida. Pero la licencia no comercial deja qué desear. Según la información de GitHub, la generación de la malla toma alrededor de 7 GB y 30 segundos en una GPU A6000, y solo puede generar mallas con menos de 800 caras.
• Es de lo mejor que he visto en resultados de generación low-poly. Sigue siendo una malla triangular, pero va mejorando poco a poco.
• El objetivo final son polígonos mayormente cuadrangulares, edge smooth/crease, UVs de textura naturales y generación de texturas PBR mediante texturas repetibles. Después de eso, habría que avanzar hacia inferir modelos CAD a partir de imágenes.
• Para manejar mallas grandes o nubes de puntos generadas con escaneo LiDAR o fotogrametría, se necesita una PC potente y software caro. Sería útil poder reducir la malla para compartirla en la web.
• Tengo experiencia procesando manualmente escaneos de nubes de puntos. Se generaron 450 GB de datos, y un proyecto anterior fue de 2.1 TB. La escala de este paper se siente como un juguete, pero lo importante es empezar.
• Llamar a una malla generada por IA como si fuera "hecha por un artista" es engañoso.
• Me gustó que en el apartado de impacto social mencionaran la reducción de costos laborales. Es importante que eso no implique reducir la necesidad de artistas.
• Voy a probarlo con algunos modelos complejos.
• MeshAnything genera mallas con cientos de veces menos caras, mejorando enormemente la eficiencia de almacenamiento, renderizado y simulación.
• Intenté usar la demo en línea, pero aparecieron agujeros en la malla de salida que no estaban en el original. Me pregunto si hay algún problema con el algoritmo.
• La malla convertida no es eficiente y tiene muchos n-gons, así que hace falta trabajo de retopología.