Infinigen: mundos fotorrealistas infinitos mediante generación procedural

 (github.com/princeton-vl)
2 puntos por GN⁺ 2024-12-24 | 1 comentarios | Compartir por WhatsApp
  • Infinigen es un proyecto que crea mundos fotorrealistas mediante generación procedural y ofrece guías de inicio para escenas naturales, escenas interiores y assets de simulación articulados
  • Tras la instalación, los usuarios pueden empezar a generar escenas de habitaciones, escenas naturales y assets articulados para simuladores mediante los flujos Infinigen-Indoors, Infinigen-Nature e Infinigen-Articulated
  • La investigación relacionada continúa con el paper de CVPR 2023 Infinite Photorealistic Worlds using Procedural Generation, el paper de CVPR 2024 Infinigen Indoors y el paper de arXiv de 2025 Infinigen-Articulated
  • La documentación incluye instalación, configuración de cámaras, descarga de datos pregenerados, generación de assets individuales, exportación a formatos de archivo externos como OBJ y OpenUSD, exportación de simulaciones físicas y ground-truth extendido
  • Las formas de contribuir se dividen en código del repositorio, generadores procedurales y datos pregenerados; también se describe una herramienta que convierte Blender Nodes a código Python y un proceso de soporte basado en GitHub Issues

Qué puede generar Infinigen

  • Infinigen es un proyecto que crea mundos fotorrealistas mediante generación procedural
  • El flujo de inicio se ofrece en tres variantes
    • Hello Room: genera escenas interiores con Infinigen-Indoors
    • Hello World: genera escenas naturales con Infinigen-Nature
    • Infinigen-Articulated: ofrece un flujo para generar assets de simulación articulados y exportarlos a simuladores
  • El proyecto ofrece en conjunto sitio web, video introductorio, papers, documentación y guía de contribución

Cómo empezar y ejemplos

  • Primero hay que instalarlo siguiendo las Installation Instructions
  • La documentación de inicio de Infinigen-Indoors está en HelloRoom.md
    • Las imágenes de ejemplo muestran la escena en Blender, el resultado renderizado, depth y salidas relacionadas con objetos
  • La documentación de inicio de Infinigen-Nature está en HelloWorld.md
    • La salida de ejemplo incluye imagen, depth, surface normal e instance segmentation
  • El flujo de inicio de Infinigen-Articulated está en la documentación Exporting to Simulators
    • Cubre el caso de uso de exportar assets articulados a simuladores

Papers relacionados

Alcance de la documentación

  • La documentación cubre no solo la instalación y la creación de la primera escena, sino también los flujos de configuración, cámaras, datos y exportación
  • Los ítems de documentación ofrecidos incluyen:
    • Installation Guide
    • “Hello World”: crear la primera escena de Infinigen-Nature
    • “Hello Room”: crear la primera escena de Infinigen-Indoors
    • Configuring Infinigen
    • Configuring Cameras
    • Downloading pre-generated data
    • Generating individual assets
    • Exporting to external fileformats, por ejemplo OBJ, OpenUSD
    • Add external assets to indoor scenes
    • Extended ground-truth
    • Implementing new materials & assets
    • Generating fluid simulations
    • Exporting to physics simulation
  • El roadmap del proyecto está disponible en la página de roadmap del sitio web de Infinigen

Contribución y proceso de soporte

  • Se describen tres formas de contribuir
    • Contribución al código del repositorio: se aceptan contribuciones de código, y una guía más detallada se ofrecerá más adelante
    • Contribución de generadores procedurales: infinigen/nodes/node_transpiler/dev_script.py ofrece una herramienta que convierte Blender Nodes, amigables para artistas, en código Python
    • Contribución de datos pregenerados: cualquiera puede generar datos con capacidad de cómputo y compartirlos con la comunidad; el repositorio de datos pregenerados se ofrecerá más adelante
  • Para pedir ayuda, se indica publicar en la página de GitHub Issues
  • Para reproducir problemas, se debe ejecutar el comando con --debug e incluir la siguiente información
    • Entorno de cómputo, incluyendo versión del OS, CPU, RAM, GPU y drivers
    • La versión de código usada y un enlace al commit hash, además de si hubo modificaciones
    • El comando exacto ejecutado
    • Logs de salida
      • Si se usa manage_jobs, los logs se encuentran en outputs/MYJOB/MYSEED/logs/
      • Si hay errores de Python y stacktrace, también deben proporcionarse

Proyectos base y cambios

  • Infinigen afirma que no habría sido posible sin el trabajo de Blender Foundation y de contribuidores open source
  • Se mencionan especialmente como proyectos usados Land-Lab, BlenderProc, Blender-FLIP-Fluids y Blender-Differential-Growth
  • Thomas Kole aparece en los agradecimientos como la persona que proporcionó nubes procedurales
  • Varios tutoriales online de Blender aportaron generadores procedurales para experimentos iniciales y se enumeran como materiales que inspiraron la implementación del release oficial
  • Infinigen cambió considerablemente desde la versión del paper de CVPR
    • Actualmente incluye parte de código procedural con licencia CC-0 obtenido de internet
    • Ese código se marca con comentarios en los lugares donde se aplica
    • La versión de CVPR no tenía ese código

Lecturas relacionadas

1 comentarios

 
GN⁺ 2024-12-24
Opiniones en Hacker News

  • Proyecto realmente genial
    Me da curiosidad saber, de parte de los investigadores de ML/IA en HN, si hay papers que hayan usado esto para entrenamiento. Por ejemplo, entrenar robots en entornos virtuales
    También me da curiosidad qué datasets se usan hoy en día en el campo de ML/IA para entrenar robots

    • Según el video, “Infinigen es 100% generación procedural. Solo usa reglas matemáticas, no hay IA en absoluto; son simplemente gráficos”
      Marca de tiempo: https://youtu.be/6tgspeI-GHY?t=107
    • Creo haber visto un video de Nvidia Research entrenando robots y cosas así con entornos generados
      No lo puedo encontrar de inmediato, pero Omniverse de Nvidia es uno de los elementos clave

  • ¿Esto no se había publicado antes? Sí, está genial, pero tengo entendido que es un proyecto de hace unos años. Me pregunto si hubo alguna actualización

  • Las escenas interiores se ven totalmente convincentes, pero las exteriores todavía dejan bastante que desear. Están bastante lejos del estado del arte

    • Entonces, ¿qué hay que sea open source, que ojalá pueda usarse como librería, que no sea IA generativa y que sea de estado del arte? Estoy pensando en casos de uso de interacción/desarrollo de juegos/tiempo real
    • Está por detrás incluso de varias versiones de No Man's Sky, y más aún comparado con todos los resultados locos que está produciendo la gente de LLM
    • Aun así, hay que reconocer que el agua de mar era mucho mejor que la de cualquier videojuego actual. El resto, sí
    • ¿Qué deberíamos considerar estado del arte?

  • El hecho de que algo así sea posible parece decir algo sobre el universo. Tal vez los entornos no tengan tanta cantidad de información como creemos
    Esto también podría explicar la eficiencia irrazonablemente alta con la que el cerebro, en especial los cerebros pequeños de los animales, modela el mundo y opera dentro de él

    • Esa es una forma muy superficial de ver el universo
      La existencia no está limitada por si algo se observa o no. El cerebro evolucionó para reunir solo la información mínima necesaria para mantener con vida a un organismo en un entorno determinado. Pero incluso dentro de las cosas que podemos percibir, en el universo hay una complejidad incalculable
      En el modelado 3D, esos detalles no importan, por eso se puede acercar al fotorrealismo. El render se ve lo suficientemente bien como para engañar al cerebro y hacerlo sentir como si estuviera viendo objetos del mundo real. Pero es solo una buena aproximación del aspecto visual, no una representación adecuada de objetos reales en absoluto. Para hacer eso no alcanza ni de lejos el poder de cómputo
      Recién hace poco se volvió posible modelar en tiempo real cómo se comporta la luz en el mundo real, e incluso eso es una aproximación. En cualquier caso, Infinigen parece un producto genial, y también es agradable ver simulación clásica en lugar de IA por una vez
    • Si “el hecho de que algo así sea posible dice algo sobre el universo”, entonces los modelos de personajes de Final Fantasy 7 también dicen algo sobre el sistema endocrino humano
      Aeris claramente se lee como humana aunque no se le vean las glándulas suprarrenales, así que tal vez en la realidad tampoco existan las suprarrenales
    • “El mapa no es el territorio”
    • “Todavía hay mucho espacio en el fondo.”[0]
      0. http://researchgroups.pku.edu.cn/_resources/group1/M00/00/0D...
    • Creo que muestra más sobre el cerebro humano que sobre el universo. Muestra lo fácil que es engañar nuestra percepción

  • Solo con ver el README no queda claro si infinito aquí significa que puede crear variaciones infinitas de una sola escena, o si genera un mundo infinito

  • Publicación anterior: https://news.ycombinator.com/item?id=36373494

  • Cuando se comparte, la descripción de la meta tag parece contenido placeholder; deberían actualizarla

  • Veo varias universidades importantes de China en la lista de autores; a primera vista, ¿no implicaría eso una violación de las sanciones a chips/regulaciones de exportación?

    • El paper dice que los coautores hicieron la investigación cuando estaban afiliados a Princeton

  • La introducción tipo Matrix no tiene nada de sutil