Trellis – Modelo de generación de mallas 3D
(trellis3d.github.io)Introducción a un nuevo método de generación 3D
-
Representación Structured LATent (SLAT): se presenta una representación latente estructurada unificada que puede decodificarse en diversos formatos de salida. Integra características visuales densas de múltiples vistas extraídas de modelos potentes basados en visión con una cuadrícula 3D escasamente poblada, capturando de forma integral información estructural (geométrica) y de textura (apariencia).
-
Rectified Flow Transformers: un modelo de generación 3D diseñado para SLAT, entrenado con hasta 2 mil millones de parámetros sobre un gran conjunto de datos de activos 3D compuesto por 500 mil objetos diversos. Genera resultados de alta calidad condicionados por texto o imagen, y supera ampliamente a los métodos existentes.
Generación y edición de activos 3D
-
Generación de activos 3D basada en texto e imagen: TRELLIS puede generar diversos activos 3D usando prompts de texto o imagen. Algunos ejemplos incluyen un teléfono giratorio de cobre, una casa de ladrillo de dos pisos y un robot esférico.
-
Variaciones de activos y edición local: puede generar variaciones de un activo 3D dado según un prompt de texto, y también manipular regiones específicas para crear nuevos diseños. Por ejemplo, es posible quitar los brazos de un robot de combate o agregar armas.
Aplicaciones y metodología de TRELLIS
-
Diseño de arte 3D: al combinar activos 3D de alta calidad generados por TRELLIS, se pueden crear fácilmente diseños de arte 3D complejos y vívidos.
-
Representación latente estructurada: SLAT combina estructura dispersa con representaciones visuales potentes para definir latentes locales en vóxeles activos que intersectan la superficie del objeto. Estas características derivan de encoders de visión potentes previamente entrenados y capturan propiedades geométricas y visuales detalladas.
-
Modelo TRELLIS: se entrena un modelo de generación 3D a gran escala condicionado por prompts de texto o imágenes. Aplica una canalización de dos etapas para generar primero la estructura dispersa de SLAT y luego los vectores latentes de las celdas no vacías. Esto permite generar fácilmente activos 3D en distintos formatos de salida.
1 comentarios
Comentarios de Hacker News
Es la primera vez que me siento mal al ver contenido generado por IA. Este tipo de contenido es excelente, pero me entristece sentir que las obras hechas por manos humanas están desapareciendo. Prefiero mundos nacidos del pensamiento humano antes que juegos generados de forma procedural.
Parece ser algo en lo que todos han pensado desde las demos de NeRF. Encontré un comentario mío de hace 5 años. El siguiente paso es agregar "nodos" a imágenes 3D para crear contenido con animación e interacción.
No es perfecto, pero es el mejor generador de modelos 3D que he probado hasta ahora. Quisiera un formato de archivo que pudiera meter directamente en Orca Slicer.
Probé con una imagen del bombardero furtivo F-117 de Wikipedia, pero el resultado fue un fracaso total. Hace falta una función que permita subir imágenes desde varios ángulos.
Me pregunto si hay una demo de la función "Text to 3D Asset".
Vi que esto se envió hace unos días, pero es una demo muy impresionante. Ojalá se discutiera aquí.
Puedo ver el potencial, pero la imagen que proporcioné parece estar fuera del rango de entrenamiento, así que solo genera planos extraños.
Usé difusión por capas para crear un dirigible low-poly. Ya alcanzó un nivel utilizable como asset de juego.
Subí una foto de cables y enchufes, y generó una malla de enchufe con cables individuales y los orificios correctos.
El modelado del copo de nieve de Nix fue bastante malo. Parece estar más entrenado en estructuras y texturas naturales y biológicas.