Google SIMA - Agente de IA generativa para entornos virtuales 3D

• DeepMind presentó Scalable Instructable Multiworld Agent (SIMA)
  • Google DeepMind tiene una larga trayectoria en IA y videojuegos, desde juegos de Atari hasta el sistema AlphaStar que juega StarCraft II al nivel de un gran maestro humano
• SIMA es un agente de IA generalista para entornos virtuales 3D, capaz de seguir instrucciones en lenguaje natural en distintos entornos de videojuegos
• Esta investigación busca cambiar el enfoque de juegos individuales hacia agentes de IA de juego general e instruible
• Fue entrenado en varios videojuegos en colaboración con distintos desarrolladores de juegos
• Muestra por primera vez que un agente de IA puede comprender mundos de juego amplios y realizar tareas dentro de ellos siguiendo instrucciones en lenguaje natural

Aprender en los videojuegos

• SIMA fue entrenado y evaluado en 9 videojuegos diferentes, incluidos No Man’s Sky de Hello Games y Teardown de Tuxedo Labs
• Para exponerlo a entornos diversos, colaboraron con desarrolladores de juegos y establecieron alianzas con 8 estudios de videojuegos
• SIMA aprendió distintas habilidades, desde exploración simple y uso de menús hasta extracción de recursos, pilotaje de naves espaciales y fabricación de cascos
• También se usó en 4 entornos de investigación, incluido Construction Lab, un nuevo entorno construido con Unity

SIMA: un agente de IA versátil

• SIMA es un agente de IA que puede percibir y comprender distintos entornos, y luego realizar acciones para alcanzar los objetivos indicados
• Incluye un modelo para un mapeo preciso entre imagen y lenguaje, y un modelo de video que predice lo que ocurrirá después en pantalla
• No necesita acceso al código fuente del juego ni a APIs específicas; solo requiere imágenes de pantalla e instrucciones simples en lenguaje natural proporcionadas por el usuario
• SIMA ejecuta estas instrucciones controlando al personaje principal del juego mediante salidas de teclado y mouse

Generalización en juegos y otros entornos

• Los agentes entrenados en múltiples juegos mostraron mejor desempeño que los entrenados en un solo juego
• Se necesita más investigación para lograr un rendimiento a nivel humano no solo en los entornos de entrenamiento, sino también en entornos no vistos
• El desempeño de SIMA depende del lenguaje; sin entrenamiento lingüístico o sin instrucciones, actúa de forma adecuada pero sin un propósito claro

Avances en la investigación de agentes de IA

• Los resultados de SIMA muestran el potencial del desarrollo de agentes de IA generales basados en lenguaje
• Como investigación en etapa inicial, se espera seguir desarrollando SIMA integrando más entornos de entrenamiento y modelos más capaces
• El objetivo final es construir sistemas y agentes de IA generales que puedan comprender y realizar de forma segura diversas tareas útiles para las personas, tanto en línea como en el mundo real

Opinión de GN⁺

• SIMA es una investigación importante que muestra la capacidad de la IA para comprender instrucciones y actuar de manera similar a los humanos en diversos entornos
• Este tipo de investigación podría abrir el camino a un futuro en el que la IA vaya más allá de tareas simples y pueda realizar planificación estratégica compleja y multitarea
• Sin embargo, aún se necesita mucha investigación y desarrollo para que la IA alcance un rendimiento a nivel humano
• Hace falta discutir cómo esta tecnología puede aplicarse para resolver problemas del mundo real y qué límites potenciales podría tener la capacidad de generalización de la IA
• Otro proyecto de IA con funciones similares es OpenAI Gym, una plataforma de IA que puede aprender en diversos videojuegos

[GN⁺]

Comentarios en Hacker News

• No puedo olvidar cuando OpenAI mostró que podía enfrentarse a jugadores profesionales de Dota en TI7. Dota es un juego extremadamente complejo y difícil. Esa experiencia trajo un gran cambio a mi carrera.
• Ojalá los desarrolladores puedan usar esta tecnología para darles más vida a los NPC. La promesa de NPC que viven vidas independientes en varios RPG nunca ha llevado realmente a resultados notables, pero quizá con la IA ahora estemos más cerca.
• El uso de bots, que ya es un problema serio en los MMORPG, está distorsionando la economía de los jugadores y empeorando la experiencia de juego de todos. El juego del gato y el ratón para detener a estos gold farmers se volverá mucho más difícil.
• La ciencia ficción que decía que el apocalipsis robótico se volvería realidad ya no es ciencia ficción. Eso es porque los juegos violentos "interesantes" son mucho más baratos y abundantes que los simuladores aburridos de la realidad.
• Sería interesante usarlo como herramienta de CI para desarrollo de juegos. Pruebas end-to-end de playthrough para validar no solo la UI, sino también la escritura y el flujo del juego. Me imagino recibir reportes como "Tiempo para talar el primer árbol: +20%".
• Esta tecnología + tecnología de Vtuber + chatbot que interactúa con la audiencia + tecnología de conversión de voz == automatización de influencers de videojuegos
• Me pregunto qué tan bien podría rendir SIMA en comparación con AlphaStar de DeepMind en StarCraft II, o qué pasaría si yo diera instrucciones de alto nivel y SIMA las ejecutara. Luego me queda la inquietante sensación de que quizá este tipo de juegos de guerra ya se estén probando. También haría falta una protección inversa para que la IA plantee preocupaciones y pida confirmación antes de ejecutar algunas solicitudes.
• Me recuerda a Ender’s Game, donde engañan a un niño haciéndole creer que está jugando un videojuego para llevarlo a exterminar a una especie alienígena.
• La broma de Nvidia de abril de 2017 sobre "GeForce GTX G-Assist" podría hacerse realidad pronto.
• Me sorprende que usen Transformer-XL desde 2019; no sabía que todavía hubiera gente usando arquitecturas como XLNet.