Explica en detalle el proceso que usaron en Tales of Syn( https://www.youtube.com/watch?v=ejw6OI4_lJw ) para crear fondos de un RPG 2D isométrico (conocido comúnmente como vista en cuartos) usando Stable Diffusion.
Herramientas utilizadas:
- Stable Diffusion v1.5
- Automatic1111 WebUI
- Alpaca Photoshop Plugin
- Boosting Monocular Depth
- Substance Designer
- Unity URP
- Amplify Shader Editor
Al principio configuraron un step count bajo, así que los resultados no eran buenos, pero al aumentar el step count a más de 100 y aplicar un CFG (classifier free guidance) de 15 a 30, obtuvieron resultados más interesantes.
Editaron las imágenes generadas en Photoshop y usaron un plugin de Stable Diffusion llamado Alpaca para aumentar la resolución.
Para eliminar la iluminación existente y añadir la iluminación deseada, necesitaban un normal map de la escena 2D, así que automatizaron la generación del depth map de la imagen usando MiDaS y LeRes de Boosting Monocular Depth.
Luego, en Substance Designer, convirtieron el depth map de MiDaS y la imagen invertida del depth map de LeRes en normal maps usando el nodo Height to Normal World Units, y los combinaron con un nodo de normal blend.
Intentaron usar parallax occlusion mapping con los depth y normal maps de un shader personalizado de Unity URP creado en Amplify Shader Editor para añadir una sutil falsa perspectiva 3D al movimiento de cámara, pero como la profundidad no era precisa para una vista isométrica, el resultado no se veía muy bien.
También intentaron implementar sombras con normal mapping para añadir sombras de una directional light, pero no resultó adecuado como iluminación real. Podría tener potencial como un custom lighting pass para manejar el sombreado de personajes 3D.
Dividieron una imagen 2K en cuatro partes y luego aumentaron la resolución de cada una en img2img usando el mismo prompt inicial, pero apareció el problema de que los bordes no coincidían entre sí. Al final, repitieron el mismo proceso para crear imágenes que conectaran esas cuatro partes mejoradas y luego las unieron en Photoshop para producir finalmente una imagen 4K.
GeekNews relacionado:
https://es.news.hada.io/topic?id=7206
1 comentarios
El desarrollador también compartió otros procesos de desarrollo:
Crear modelos de personajes 3D con Stable Diffusion:
https://talesofsyn.com/posts/creating-3d-character-models
Ajuste fino de un modelo de DreamBooth con estilo isométrico:
https://talesofsyn.com/posts/fine-tuning-isometric-style