"Generative Interactive Environments"
- Un modelo fundacional del mundo entrenado con videos de internet, capaz de generar mundos jugables con una diversidad infinita a partir de imágenes sintéticas, fotos o bocetos
- Fue entrenado con grandes conjuntos de datos de videos de internet de juegos de plataformas 2D y robótica, puede aplicarse a cualquier dominio y escalarse con datasets de internet
Aprender control sin etiquetas de acción
- Tiene la capacidad de aprender control detallado usando solo videos de internet, algo desafiante porque esos videos no tienen etiquetas sobre acciones ni sobre qué partes de la imagen deben controlarse
- Genie puede inferir qué partes observables suelen ser controlables y también diversas acciones latentes consistentes a lo largo de los entornos generados
Habilitar a una nueva generación de creadores
- Puede crear un nuevo entorno interactivo a partir de una sola imagen, ofreciendo una nueva forma de generar y entrar en mundos virtuales
- Se puede generar un cuadro inicial con modelos de generación de texto a imagen de última generación y luego darle vida con Genie para crear un mundo virtual
- También es posible generar entornos virtuales a partir de bocetos o imágenes del mundo real
Una base para agentes generalistas
- Los entornos de juego pueden ser un banco de pruebas eficaz para desarrollar agentes de IA, pero están limitados por la cantidad de juegos disponibles
- Con Genie, es posible entrenar agentes de IA en infinitos entornos recién generados, y se demuestra que las acciones latentes aprendidas por Genie pueden transferirse a entornos reales diseñados por humanos
El futuro de los mundos virtuales generados
- Aunque este sitio web se enfoca en resultados de juegos de plataformas, Genie es una metodología general aplicable a múltiples dominios
- Genie también puede simular objetos deformables, una tarea desafiante para simuladores diseñados por humanos incluso cuando aprenden a partir de datos
- Se espera que Genie inaugure una era en la que se puedan generar mundos completamente interactivos a partir de imágenes o texto, y que actúe como catalizador para entrenar futuros agentes de IA generalistas
1 comentarios
Gemini, para niños
Ese es Gemma
Aquella es Genie