Oasis, un universo dentro de un Transformer

Oasis: un universo dentro de un Transformer

• Introducción a Oasis

  • Oasis es un videojuego de mundo abierto en tiempo real generado por IA.
  • Recibe la entrada del teclado del usuario y genera en tiempo real la física, las reglas del juego y los gráficos.
  • Funciona solo con un modelo fundacional, sin motor de juego.
  • Muestra que el video en tiempo real es posible usando el motor de inferencia de Decart.

• Resultados de la jugabilidad

  • Oasis comprende mecánicas de juego complejas.
  • Tiene la capacidad de generar diversas configuraciones, lugares y objetos.
  • Dentro del juego puede realizar construcción, física de iluminación, gestión de inventario y más.

• Arquitectura

  • El modelo está compuesto por un autoencoder espacial y una base de difusión latente.
  • Está basado en Transformer, con fundamento en ViT y DiT.
  • Genera cuadros de forma autorregresiva, lo que permite interacción en tiempo real.

• Rendimiento

  • Oasis genera salida en tiempo real a 20 cuadros por segundo.
  • Logra una tasa de cuadros jugable mediante el stack de inferencia de Decart.
  • Está optimizado para Sohu, el ASIC Transformer de Etched.

• Exploración futura

  • Hay problemas que pueden resolverse mediante la expansión del modelo y del conjunto de datos.
  • Se están desarrollando técnicas adicionales de optimización para realizar entrenamiento a gran escala de manera eficiente.

Resumen de GN⁺

• Oasis es un juego de mundo abierto en tiempo real generado por IA que muestra una tecnología innovadora basada en Transformer.
• Se caracteriza por una rápida velocidad de inferencia que hace posible la interacción en tiempo real.
• Plantea la posibilidad de soportar modelos a gran escala al combinarse con nuevo hardware como Sohu.
• Esta tecnología tiene potencial de aplicarse no solo en juegos, sino también en diversos productos de consumo.
• Proyectos con funciones similares incluyen Sora de OpenAI y Mochi-1 de Genmo.