- LL3M usa varios grandes modelos de lenguaje para escribir automáticamente código Python y generar y editar assets 3D en Blender
- A partir de instrucciones de texto del usuario, crea directamente formas creativas y precisas e implementa manipulaciones geométricas complejas mediante código
- A diferencia de las herramientas existentes de generación de modelos 3D, ofrece creación de assets sin restricciones e interacción detallada
- El código de Blender generado es claro y tiene alta transparencia de parámetros, por lo que usuarios o agentes pueden modificarlo fácilmente o mejorarlo de forma iterativa
- Muestra amplias posibilidades para el procesamiento de assets 3D, como estilización consistente, edición de materiales e implementación de jerarquías
Resumen de LL3M
- LL3M es un framework innovador en el que varios agentes de grandes modelos de lenguaje (LLM) escriben código Python para generar y editar assets 3D en Blender
- Cuando el usuario da instrucciones en texto, LL3M automatiza la creación de formas creativas y la manipulación geométrica precisa, y usa código de alto nivel como forma de representación 3D para permitir mejoras iterativas y trabajo colaborativo
- El código está explicado con claridad y deja transparentes varios parámetros y estructuras, lo que facilita tanto la edición adicional como la retroalimentación continua del usuario
Resumen del pipeline
- El pipeline se compone de tres etapas principales (generación inicial, mejora automática y mejora basada en retroalimentación del usuario)
- En la etapa de generación inicial se crea una forma básica, mientras LL3M detecta y mejora automáticamente estructuras lógicamente inadecuadas o elementos geométricos simples
- La segunda etapa aplica correcciones automáticas más refinadas y también refleja formas o relaciones complejas
- La última etapa acepta solicitudes de edición adicionales del usuario y hace posible una generación de assets 3D interactiva e iterativa
- Cada etapa implementa un método de mejora iterativa y gradual basado en la división de roles entre agentes
Galería y rendimiento
- Generación de formas diversas: implementa mediante código arreglos complejos y detalles finos de molinos de viento, pianos, baterías y más
- Aplicación consistente de estilo: aplica la misma instrucción "steampunk" a varias mallas (sombreros) para generar resultados variados manteniendo un estilo común
- Soporte para edición de materiales: por ejemplo, permite cambiar el material definiendo solo la parte de la hoja con nodos de shader separados
Interpretabilidad del código
- El código generado incluye lógica estructural, nombres de variables claros y comentarios, por lo que es fácil de entender y modificar
- Ejemplo: es posible cambiar directamente la lógica del patrón del teclado o las variables del ancho de las teclas
- Los nodos y parámetros de Blender quedan expuestos tal cual, de modo que es posible ajustar intuitivamente propiedades visuales como color y patrón
Reutilización y generalidad del código
- Incluso entre formas diferentes, se reutilizan patrones de código de alto nivel como bucles, modificadores y configuración de nodos
- Esto permite generar código modular y editable a partir de distintos prompts
Escena y estructura jerárquica
- Genera múltiples objetos y organiza automáticamente sus relaciones espaciales mediante instancing y parenting
- Ejemplo: al crear un objeto compuesto como una lámpara, refleja la estructura de relaciones padre-hijo para que las transformaciones se propaguen jerárquicamente
- Cada parte recibe nombres semánticos significativos, lo que permite gestionarlas eficientemente en el scene graph de Blender
Aún no hay comentarios.