Disney logra transmitir grandes emociones en un robot pequeño
(spectrum.ieee.org)- Disney Research presentó en IROS 2023 un nuevo personaje robótico del tamaño de un niño, demostrando que incluso un pequeño robot bípedo puede transmitir emociones y personalidad mediante la forma misma en que camina
- La clave está en conectar la intención de los animadores con las limitaciones del hardware robótico mediante un pipeline basado en aprendizaje por refuerzo, para que movimientos expresivos puedan ejecutarse de forma estable también en entornos reales
- El robot está construido mayormente con hardware modular impreso en 3D, cuenta con una cabeza de 4 grados de libertad y piernas de 5 grados de libertad, y pasó de concepto a una forma demostrable en menos de un año
- La simulación entrena variando factores como el desempeño de los motores, la distribución de masa y la fricción del suelo, para que el robot mantenga la expresión del personaje incluso durante movimientos de recuperación
- Disney ve este enfoque más como un proceso independiente del hardware que como algo ligado a un robot específico, y busca ampliarlo a más personajes robóticos físicos y a movimientos más rápidos y dinámicos
Nuevo personaje robótico presentado en IROS 2023
- El equipo de Disney Research presentó un nuevo personaje robótico durante la keynote nocturna de la 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems en Detroit
- Es un robot con cuerpo del tamaño de un niño, una cabeza expresiva, dos antenas que se balancean y piernas cortas
- La diferencia con otros robots bípedos pequeños no está solo en su capacidad de caminar, sino en que la forma en que camina transmite emociones y lo hace parecer un personaje vivo
- Disney tiene experiencia implementando movimientos emocionales en robots desde los animatrónicos del Hall of Presidents de Disney World en 1971
- A medida que aumenta la movilidad de los robots, también crece la dificultad de diseñar comportamientos emocionales dentro de las limitaciones del hardware real
Un pipeline que conecta la intención de la animación con las limitaciones físicas
- Durante el último año, Disney Research desarrolló un sistema que usa aprendizaje por refuerzo para convertir la visión de los animadores en movimientos reales de robot
- El objetivo es crear movimientos expresivos que funcionen de manera robusta en entornos diversos, como un escenario, los parques temáticos de Disney o un bosque en Suiza
- Las herramientas de animación comunes no tienen física incorporada, por lo que a los artistas les resulta difícil diseñar animaciones que puedan ejecutarse en el mundo real
- El nuevo pipeline combina y equilibra, mediante simulación, la intención del animador con los movimientos estables del robot
- Los animadores pueden dejar en manos del sistema la implementación de las restricciones del mundo físico y concentrarse en lograr movimientos lo más expresivos posible
Hardware del robot y forma de desarrollo
- Este robot fue desarrollado por un equipo liderado por Moritz Bächer, de Disney Research in Zurich
- El hardware está hecho en su mayor parte mediante impresión 3D, y su estructura modular y sus actuadores permitieron diseñar e iterar rápidamente
- El tiempo transcurrido desde el concepto hasta la forma que aparece en el video fue de menos de un año
- La cabeza tiene una estructura de 4 grados de libertad, que le permite mirar arriba y abajo, mirar alrededor e inclinarse
- Las piernas tienen una estructura de 5 grados de libertad, incluido el eje de la cadera, lo que le permite caminar manteniendo el equilibrio de forma dinámica
Más importante que caminar: “cómo camina”
- El objetivo de Disney no termina en lograr que un robot bípedo camine de forma estable
- Para transmitir emociones, el robot puede necesitar ejecutar distintos estilos de marcha, como caminar con actitud, brincar, caminar sigilosamente, caminar rápido o caminar relajadamente
- Participan tanto animadores que transmiten emociones del personaje mediante movimiento como especialistas en robótica que construyen sistemas mecánicos
- Como se debe mantener la intención artística sin que el robot se caiga, la colaboración entre ambas áreas requiere mucho ensayo y error
- En el sistema de aprendizaje por refuerzo, no solo entra como dato importante el caminar en sí, sino también cómo se camina
La robustez que aporta el aprendizaje por refuerzo
- El pipeline de Disney puede entrenar nuevos comportamientos en una sola PC y ejecutar en cuestión de horas el equivalente a años de aprendizaje
- Según Moritz Bächer, este método reduce el tiempo que Disney necesita para desarrollar nuevos personajes robóticos de años a meses
- Una gran ventaja del aprendizaje por refuerzo es que los movimientos resultantes pueden ser muy robustos
- El sistema entrena los movimientos de forma repetida, variando poco a poco estos elementos:
- Desempeño de los motores
- Distribución de masa
- Fricción entre el robot y el suelo
- El robot debe responder a las situaciones que encuentra en la realidad sin dejar de expresar emociones, algo importante para mantener su carácter de personaje
- Con técnicas tradicionales habría que programar manualmente los puntos de transición, pero al perturbar juntos el movimiento y la animación dentro de la simulación, el robot puede encontrar esos puntos por sí mismo
- Con este método aparecen estrategias de recuperación que al equipo le sería difícil saber cómo programar directamente
Robots que transmiten emociones e intenciones cerca de las personas
- Los robots sociales existen desde hace décadas, y los robots que tienen probabilidades de pasar tiempo cerca de personas suelen incluir algunas funciones de interacción humano-robot
- En robots diseñados principalmente en torno a una función, la interacción humano-robot suele convertirse en un elemento añadido después
- El robot de Disney muestra que, sin sacrificar funcionalidad, se puede transmitir mucha información mediante el personaje
- En situaciones donde humanos y robots están cerca, transmitir emociones e intenciones puede convertirse en una función importante
- Este enfoque también podría tener valor en otras aplicaciones donde las personas trabajan junto a robots
Un proceso independiente del hardware, más importante que un robot específico
- El foco de este trabajo está en el proceso, más que en el robot específico
- Según Bächer, esta plataforma es independiente del hardware
- El mismo enfoque puede aplicarse para agregar más piernas, añadir brazos o crear personajes con formas completamente distintas
- Los actuadores comerciales, las piezas impresas en 3D y el framework adaptativo de aprendizaje por refuerzo pueden aplicarse también a robots con apariencias y movimientos muy diferentes
- El siguiente paso de Disney es desarrollar más personajes robóticos físicos con esta tecnología y llevar al límite movimientos más rápidos y dinámicos
- Este robot todavía no tiene nombre oficial, y Disney aún no está lista para revelar dónde podría verse
1 comentarios
Opiniones en Hacker News
Trabajé en Disney Research, y este es un buen ejemplo del tipo de problemas que se abordan ahí.
Las restricciones son completamente distintas a las de la ingeniería orientada al consumidor común. Porque el planteo creativo es, al mismo tiempo, el desafío y la vía de escape.
Las partes que parecen imposibles se resuelven con engaños visuales o trucos artísticos, y con la tecnología se pueden explorar problemas muy interesantes específicos de la aplicación. La parte mucho más difícil es hacer que esa investigación sea lo bastante robusta y atractiva como para mostrarla en un parque temático real.
Además, Disney Research no es lo mismo que Imagineering. Research aborda todo tipo de problemas, no solo problemas de parques temáticos.
Estuve casi 10 años en Disney, y no creo que hubiera podido encontrar un lugar mejor para aprender cómo la ingeniería debe servir a la experiencia del usuario. Disney hace esto realmente bien. Apple quizá sea lo más cercano, pero no estoy seguro.
https://la.disneyresearch.com/publication/autoconnect/
Claro que el método más fácil era pegarle stickers de ojitos móviles. Mi hija también le dibujó un corazoncito y le puso nombre; no por una razón especial, solo por diversión.
Disney presentó en la Feria Mundial de 1964 al Lincoln animatrónico, que sorprendió a todos.
https://en.wikipedia.org/wiki/Great_Moments_with_Mr._Lincoln
Curiosamente, We Can Build You, de Philip K. Dick, que incluye un simulacro humano de Lincoln, fue escrita en 1962, unos años antes que el Lincoln de Disney.
El impacto emocional de ese Lincoln se sostenía en el actor de voz Royal Dano, que trabajó bajo la dirección de Disney.
https://en.wikipedia.org/wiki/Royal_Dano
Este tipo de sistema es un buen ejemplo de cómo el conjunto puede funcionar si aciertas muy bien en algunas cosas y haces que el resto resulte lo suficientemente verosímil.
Con el reciente aumento del interés por los modelos de lenguaje grandes, estuve pensando en ideas como mascotas robóticas.
Los modelos de lenguaje grandes parecen capaces de entender lenguaje humano e imágenes al nivel que una mascota necesitaría. Si se hiciera bien algo como un perro robot que no solo exprese emociones, sino que además entienda lo que dice la gente, creo que tendría bastante éxito.
Ni siquiera necesita entenderlo todo perfectamente. Con comprensión visual y lingüística al nivel de GPT-4 sería suficiente. No hace falta que mantenga conversaciones largas; basta con que pueda reaccionar con alegría o tristeza cuando corresponde.
Tecnologías masivas como el mapeo LiDAR del iPhone o el escaneo de interiores de Meta Quest se están acercando, pero para robots inherentemente mucho más inestables que un Roomba todavía faltan muchos puntos por conectar.
Al principio, creo que veremos a estos pequeños robots interactuar con visitantes en zonas valladas dentro de los parques de Disney o en escenarios pequeños que el personal mantenga extremadamente limpios. Es una forma de no tener que manejar todavía toda la complejidad del mundo real.
Las mascotas conocen todos nuestros hábitos y detectan nuestras emociones incluso antes de que nosotros nos demos cuenta.
¿Qué tamaño tendría el mercado total de una mascota droide electrónica con marca Disney/Star Wars? Al ver a niños paseando con correa a robots con tanta “personalidad”, me pareció un caso de uso evidente.
Ni siquiera tendría que ser súper barata, siempre que cueste menos que comprar y cuidar un perro. Eso sí, tendría que ser tan adorable como este robot.
No creo que el mercado objetivo llegue a ser el mismo que el de las mascotas reales. Quizá esa diferencia pueda presentarse como una ventaja.
Si Disney mete en estos robots el hardware suficiente para ejecutar un modelo de lenguaje, podría capturar un mercado de billones de dólares.
Creo que se podría entrenar un modelo de menos de 1.000 millones de parámetros que sea tierno e interactivo.
Si el ancho de banda inalámbrico es lo bastante grande, no hay razón para que el cerebro tenga que estar dentro del cuerpo.
La Disney de antes habría construido cuatro de estos robots y los habría dejado dando vueltas por Future World de EPCOT para crear ambiente. La Disney de ahora probablemente los usaría para una experiencia de Star Wars. Aun así, se ve bien.
El talón de Aquiles de los robots móviles autónomos es la densidad de almacenamiento de energía.
Dudo que el mercado de juguetes sea realmente de billones.
Disney Imagineering —no sé si todavía lo llaman así— siempre me pareció fascinante como parte de una empresa como Disney.
Si lo piensas bien, parece que no tuviera sentido que exista dentro de Disney y, al mismo tiempo, es clave para que Disney sea Disney.
Cada vez que publican videos de investigación, siempre resultan interesantes. También recuerdo el video sobre la simulación de nieve de Frozen.
Desde afuera parece un lugar realmente interesante para trabajar, con prioridades bastante peculiares. No se trata de lanzar productos de consumo ni nuevos proyectos empresariales, sino de respaldar otros propósitos narrativos.
A mitad del video pensé que obviamente tenía que ser CGI; quizá sea porque todavía no estamos acostumbrados a ver robots así en la vida cotidiana.
Dicho sea de paso, este robot es realmente tierno y quiero uno.
En el año fiscal 2022, la utilidad operativa de Disney fue de 12.700 millones de dólares, y 7.900 millones de dólares provinieron de los parques temáticos. Es el 65%.
Todo lo demás de Disney —películas de Pixar, películas de Disney, películas de Star Wars, TV, streaming, musicales en gira, mercancía, alianzas y licencias de propiedad intelectual— representa el 45% restante.
La robótica es esencial para los parques temáticos.
La “magia” literal es, en gran medida, “poder hacer cosas que otros no saben cómo hacer”. Por eso mantienen esa investigación internamente: para obtener una ventaja inicial en ilusiones, efectos y experiencias que nadie más puede lograr.
La mejor forma de entender Imagineering es verlo como una fábrica de magia. En ese sentido, dentro de la división de parques temáticos y entretenimiento en vivo de la compañía, forma parte absolutamente central del modelo de negocio.
Algunos CEO recientes no entendieron bien este aspecto y, durante más o menos los últimos cinco años, de hecho tercerizaron parte del trabajo que antes se hacía internamente. Si la tecnología desarrollada por proveedores externos para Disney se difunde directamente hacia competidores de Disney, me da mucha curiosidad ver cómo será el panorama de los parques temáticos en la zona de Orlando durante la próxima década.
En verdad es adorable.
Hizo el primer largometraje animado, creó la cámara multiplano para representar profundidad y colaboró con Pixar, pionera de la animación por computadora, para luego adquirirla.
Si ignoras la parte de la cabeza, este robot se parece mucho a este: https://en.wikipedia.org/wiki/Walker_(Star_Wars)#All_Terrain...
Recuerden mis palabras: la autoría de comportamientos será la ingeniería de prompts del futuro, y no habrá vuelta atrás.
A las plataformas robóticas les quedan, como mucho, unas pocas iteraciones.
Me pregunto si alguien recuerda a los pequeños robots de trabajo de la película Silent Running, de 1972.
https://www.imdb.com/title/tt0067756/?ref_=fn_al_tt_1
No sé por qué uno terminaba sintiendo apego emocional por ellos. Ni siquiera tenían un medio visible para expresar emociones. Simplemente hacían su trabajo en silencio y con dedicación.
Aun así, de alguna manera tocaban algo, y la escena en la que los destruyen hacia el final de la película fue bastante dolorosa.
La película fue realizada por Douglas Trumbull, también famoso por sus aportes a los efectos especiales.
https://en.wikipedia.org/wiki/Douglas_Trumbull
No sé por qué, pero me molesta que este robot no tenga nombre, o que el artículo no lo mencione.