Meta 3D Gen - Generación de assets 3D a partir de texto

• Un nuevo pipeline rápido y de vanguardia para generar assets 3D a partir de texto
• 3DGen puede generar geometría y texturas 3D de alta calidad y con gran fidelidad al prompt en menos de un minuto
• Soporta PBR (renderizado basado en física), necesario para el relighting de assets 3D en aplicaciones del mundo real
• Puede modificar de forma generativa la materialidad de geometrías 3D previamente generadas (o creadas por artistas) usando entradas de texto adicionales proporcionadas por el usuario
• 3DGen integra dos componentes tecnológicos clave desarrollados por Meta: Meta 3D AssetGen y Meta 3D TextureGen, para generación de 3D a partir de texto y generación de texturas a partir de texto
• Al combinar estas dos tecnologías, 3DGen representa objetos 3D simultáneamente de tres maneras: en espacio de vista, espacio volumétrico y espacio UV (o de textura)
• Logra una tasa de victoria del 68% frente a modelos de una sola etapa
• 3DGen no solo supera los benchmarks de la industria en fidelidad al prompt y calidad visual para prompts de texto complejos, sino que además es mucho más rápido

Artículos relacionados

Meta 3D AssetGen: generación de texto a malla con geometría, textura y materiales PBR de alta calidad

• AssetGen representa un avance importante en la generación 3D a partir de texto al producir mallas fieles y de alta calidad con control sobre textura y materiales
• A diferencia de hornear el sombreado en la apariencia de los objetos 3D, AssetGen genera materiales PBR que permiten relighting real
• AssetGen primero genera múltiples vistas del objeto con canales de apariencia factorizados de sombreado y albedo, y luego reconstruye color, metalicidad y rugosidad en 3D usando una pérdida de sombreado diferido para una supervisión eficiente
• También usa funciones de distancia con signo para representar la geometría 3D de forma más estable e introduce la pérdida correspondiente para supervisión geométrica directa
• Tras la extracción de la malla, un transformador de refinamiento de texturas que opera en espacio UV mejora significativamente la nitidez y el detalle
• AssetGen logra mejoras del 17% en distancia Chamfer y del 40% en LPIPS frente al mejor trabajo concurrente para reconstrucción con pocas vistas, y obtiene una preferencia humana del 72% frente al mejor competidor de la industria con velocidad similar y soporte PBR

Meta 3D TextureGen: generación rápida y consistente de texturas para objetos 3D

• La reciente disponibilidad y adaptabilidad de los modelos de texto a imagen ha abierto una nueva era en muchos campos relacionados, como la generación de texturas
• Los métodos recientes de generación de texturas logran resultados impresionantes usando redes de texto a imagen, pero la combinación de consistencia global, calidad y velocidad es clave para llevar esta tecnología a aplicaciones reales
• Se presenta Meta 3D TextureGen, un nuevo método feed-forward compuesto por dos redes secuenciales para generar texturas de alta calidad y globalmente consistentes en menos de 20 segundos sobre geometría arbitraria
• 3DGen logra resultados de vanguardia en calidad y velocidad al condicionar modelos de texto a imagen sobre semántica 3D en espacio 2D y fusionarlos en mapas de textura UV completos y de alta resolución
• También introduce una red de mejora de texturas capaz de escalar texturas a proporciones arbitrarias para generar texturas con resolución de 4k píxeles

Opinión de GN+

• 3DGen parece un avance revolucionario en el campo de la generación de assets 3D. La capacidad de crear rápidamente modelos 3D de alta calidad a partir de prompts de texto podría aplicarse en áreas como videojuegos, cine y diseño
• En particular, se espera que el soporte para materiales PBR y la capacidad de cambiar las texturas de modelos 3D ya creados aumenten su utilidad en la práctica
• Aun así, interpretar con precisión el significado de un prompt de texto y generar un modelo 3D exactamente como se pretende probablemente seguirá siendo un reto difícil. También parece necesario que avance la ingeniería de prompts
• Da curiosidad ver cómo los especialistas en modelado 3D aprovecharán esta tecnología y qué impacto tendrá en la expresión creativa. También haría falta comparar sus diferencias, ventajas y desventajas frente a las herramientas de modelado 3D existentes
• También existen otras soluciones con funciones similares, como GET3D de Nvidia e Imagine 3D de Luma Lab. Haría falta un análisis comparativo de sus ventajas y desventajas en rendimiento y usabilidad
• A medida que la tecnología de generación de modelos 3D avance y cualquier persona pueda crear fácilmente el modelo 3D que desee, podrían surgir nuevos temas como los derechos de autor de los modelos 3D y su posible uso indebido. Parece necesario un debate social y la construcción de consensos al respecto

[GN⁺]

Opiniones en Hacker News

• Un usuario ve de forma positiva los avances del modelado 3D como un aspecto clave de la IA generativa, y menciona en particular la dificultad de crear recursos para VR

  • Le interesa la posibilidad de que la IA pueda crear, a partir de entradas como texto, fotos y LIDAR, modelos de objetos del mundo real que luego puedan imprimirse en 3D

• Otro usuario señala que la creación de contenido para VR requiere muchísimo trabajo y espera que las herramientas de generación de modelos 3D sean un impulsor clave del metaverso

• Otro usuario más evalúa que todos los servicios recientes que convierten texto/imágenes en modelos 3D han producido resultados inútiles

• Un usuario menciona que es muy impresionante ejecutar todo el sistema usando un pipeline de texturizado PBR

  • Se pregunta si el uso de SDFs (campos de distancia con signo) puede provocar una topología deficiente
  • Menciona un artículo sobre cómo construir topología lista para juegos y considera que podría ser posible hacer rigging para animación

• Otro usuario comenta que se nota que la topología no es buena por la falta de wireframe

• Un usuario piensa que este es otro paso pionero para recrear digitalmente la realidad

  • Cree que, si pudiera reaccionar al estado de una persona, se podrían aprender en un entorno seguro escenarios que son difíciles de manejar en la realidad
  • Dice que, con base en las lecciones aprendidas en el mundo virtual, uno podría salir al mundo real como si fuera un nuevo nacimiento

• Otro usuario espera que pronto sea posible una conversión simple de 3D a 3D

  • Dice que con eso le gustaría mejorar la resolución de las mallas y texturas de juegos antiguos

• Un usuario imagina que, con la intervención de un artista, los modelos generados podrían editarse después o usarse como punto de partida

  • O menciona que se podría aplicar un filtro de PS1 para crear juegos retro

• Considera que Meta 3D Gen representa un avance importante en la generación de contenido 3D para aplicaciones de VR

  • Cree que su capacidad para generar modelos 3D detallados a partir de texto podría acortar mucho el proceso de creación de contenido
  • Sin embargo, menciona que la tecnología actual todavía enfrenta desafíos para generar geometría detallada de alta calidad
  • La integración del texturizado PBR es prometedora, pero considera que la clave será qué tan bien puedan refinarse y aprovecharse los modelos en aplicaciones reales

• Por último, un usuario dice que le gustaría ver una técnica alternativa a la reconstrucción de superficies Screened Poisson usando redes neuronales

  • Menciona que ha visto MeshAnything, pero que eso no es la meta final