-
Sistema de IA para generar mundos 3D
- World Labs desarrolló un sistema de IA que genera mundos 3D a partir de una sola imagen.
- Esta tecnología tiene el potencial de revolucionar la forma de crear distintos tipos de contenido digital, como películas, juegos y simuladores.
-
Exploración del mundo
- Los usuarios pueden explorar los mundos 3D generados, moviéndose con las teclas de flecha o las teclas WASD y ajustando el punto de vista con el mouse.
-
Efectos de cámara
- La escena se renderiza en tiempo real mediante una cámara virtual, lo que permite implementar efectos fotográficos como poca profundidad de campo o un dolly zoom.
-
Efectos 3D
- La predicción de escenas 3D ofrece realismo consistente, control en tiempo real y una estructura geométrica correcta.
- A través de un mapa de profundidad, es posible visualizar la distancia entre la cámara y cada píxel.
-
Entrar en la imagen
- Genera mundos para poder experimentar obras de arte famosas de una manera nueva.
- Las partes que no están en la pintura original son generadas por el modelo.
-
Flujo de trabajo creativo
- La generación de mundos 3D se combina de forma natural con otras herramientas de IA para crear nuevas experiencias.
- Se usa un modelo de texto a imagen para generar imágenes a partir de texto, y con base en ellas se crean mundos 3D.
-
Perspectivas futuras
- World Labs está mejorando el tamaño y la fidelidad de los mundos 3D, además de experimentar con formas de interacción con los usuarios.
- La información sobre futuros lanzamientos puede consultarse a través de la lista de espera, y se recomienda participar a quienes estén interesados.
1 comentarios
Comentarios en Hacker News
Al probar la demo, las imágenes animadas resultan engañosas. Después de caminar unos cuantos pasos, terminas chocando con una pared invisible, lo que deja una gran sensación de decepción. Entiendo que está en una etapa temprana, pero se siente sobrepromocionado
Al ver una película 3D con un visor de VR, si mueves la cabeza, la ilusión 3D se rompe. En un juego 3D, al mover la cabeza puedes explorar el espacio. Si esto se aplicara a todos los fotogramas de una película, se podría mantener un poco de movimiento y cambio de perspectiva. Pero eso podría perjudicar la intención del director y del director de fotografía
Tengo quejas sobre el área pequeña, pero convertir una imagen en un mundo 3D es una tecnología sorprendente. Aunque la IA se está volviendo cada vez más común, sigue siendo un logro impresionante
Hay una forma de usar Depth Anywhere para convertir una imagen de 360º en un mapa de profundidad virtual, y aplicarlo a una nube de puntos para renderizarla. A diferencia del ejemplo de World Labs, eso permite examinar los defectos del enfoque al ir más allá de los límites de la nube de puntos. Aun así, todavía necesita mejoras
Esta tecnología está genial, pero no es tan impresionante como cat-4d.github.io
He visto tantas demos de IA que me he vuelto algo insensible a ellas, en el sentido de que ahora hay que pensar cómo hacer que la tecnología sea realmente útil. La sección "Step into Paintings" fue divertida, pero en cuanto te alejas del material fuente, se hacen evidentes las limitaciones del modelo. Permite experimentar obras de arte de una forma nueva, pero no es una buena experiencia
Hay expectativa de que XYZ pueda generalizar grabaciones de Unreal y NVIDIA Isaac. Me pregunto si XYZ es diffusion-transformers, Chameleon, o una arquitectura nueva. Desarrollar el modelo toma tiempo y puede costar mucho. Este equipo tiene muchísimo talento, pero quizá no cuente con financiamiento suficiente
Lo bueno de estos proyectos muchas veces queda opacado por afirmaciones exageradas
La imagen base parece renderizada e incluye iluminación, sombras, etc. Cuando se han usado otras herramientas, solo funcionan bien con las imágenes de ejemplo; si usas otras imágenes, salen formas negras y planas. Por eso, el titular debería ser "Generación de mundos 3D a partir de una sola imagen con un modelo que entrenamos"
Me sorprendió recibir el mensaje "Out of bounds" en el primer intento. Al ver la sección "Looking Ahead", parece que están mejorando el tamaño y la precisión