Infinigen: mundos fotorrealistas infinitos con generación procedural

• Infinigen es un "generador de escenas 3D procedural" que crea datos de entrenamiento 3D de alta calidad para investigación en visión por computador.
• Funciona con base en Blender y se ofrece de forma gratuita y de código abierto bajo la licencia BSD 3-Clause.

Características principales

Generación procedural (Procedural)

• Genera formas y materiales de forma aleatoria mediante reglas matemáticas.
• Puede crear desde estructuras macro hasta detalles minúsculos.
• Ofrece infinitas variaciones y alta capacidad de personalización.

Datos diversos (Diverse)

• Puede generar una amplia variedad de objetos y escenas del mundo natural, como plantas, animales, terreno, fuego, nubes, lluvia y nieve.
• Aunque el enfoque inicial está en entornos naturales, se prevé ampliar su alcance a elementos artificiales y entornos arquitectónicos.

Geometría real (Real Geometry)

• Toda la geometría detallada se implementa de manera física, garantizando datos 3D precisos.
• No utiliza técnicas de detalle sintético como bump maps, normal maps, etc.
• Está optimizado para visión por computador, especialmente para investigación en visión 3D.

Anotaciones automáticas (Automatic Annotations)

• Genera automáticamente anotaciones de alta calidad de flujo óptico, flujo de escena 3D, profundidad, normales de superficie, segmentación panóptica, fronteras de oclusión y más.
• Al permitir acceso al proceso completo de renderizado, facilita la personalización de las anotaciones.

--

Artículos de investigación

1. Infinite Photorealistic Worlds Using Procedural Generation

   • Presentado en la IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2023
   • Publicación sobre el potencial infinito de la generación procedural 3D.

2. Infinigen Indoors: Photorealistic Indoor Scenes using Procedural Generation

   • Presentación prevista para CVPR 2024
   • Investigación sobre un enfoque procedural para la generación de escenas interiores.

[GN⁺]

Opinión de Hacker News

• Es un proyecto realmente increíble

  • Tengo una pregunta para investigadores de ML/AI: si existe algún paper de ML/AI relacionado con esto, como el entrenamiento de robots en entornos virtuales
  • Me pregunto qué conjuntos de datos se usan actualmente en ML/AI para entrenar robots

• Las escenas de interiores lucen totalmente realistas, pero las de exteriores están bastante pobres. Se queda atrás respecto a la tecnología más reciente

• Vi que en la lista de autores hay varias universidades chinas muy conocidas. Me pregunto si esto significa incumplir restricciones de chips/reglas de exportación

• Me pregunto si esto ya se había publicado antes. Se ve genial, pero parece que existía desde hace algunos años. Me gustaría saber si hubo alguna actualización

• Enlace de publicación anterior: https://news.ycombinator.com/item?id=36373494

• No está claro en el README. Me pregunto si significa que se pueden generar variaciones infinitas, o si significa que se pueden generar mundos infinitos

• La descripción de las metatags necesita actualizarse y se muestra contenido de marcador de posición al compartir

• El hecho de que esto sea posible parece decir algo sobre el universo. Que no hay tanta información en el entorno como pensamos

  • Esto podría explicar, en especial, por qué un cerebro pequeño en los animales es increíblemente eficaz para modelar y operar en el mundo

• La introducción tipo Matrix no es nada sutil