Toyota Research Institute afirma haber logrado un avance para enseñar nuevos comportamientos a robots
(tri.global)- Para ampliar rápidamente las tareas de manipulación sofisticadas, Toyota Research Institute presentó un enfoque que entrena comportamientos robóticos con IA generativa basada en Diffusion Policy
- Este método es un paso hacia los Large Behavior Models para robots, en un intento por aplicar al aprendizaje de comportamientos robóticos el papel que tuvieron los LLM en la IA conversacional
- TRI afirma que enseñó más de 60 habilidades, como verter líquidos, usar herramientas y manipular objetos deformables, sin escribir código nuevo y proporcionando solo datos nuevos
- El aprendizaje combina demostraciones hápticas del docente con descripciones en lenguaje del objetivo, y la clave es que puede crear comportamientos desplegables de forma autónoma con solo decenas de demostraciones
- El objetivo es llegar a cientos de habilidades para fines de 2023 y a 1,000 habilidades para fines de 2024, con garantías de seguridad diseñadas junto con Drake y una pila de control personalizada
Diffusion Policy acelera el aprendizaje de comportamientos robóticos
- Toyota Research Institute anunció un enfoque de IA generativa para enseñar a robots nuevas habilidades sofisticadas de forma rápida y confiable
- Este enfoque es un paso hacia la construcción de Large Behavior Models (LBMs) para robots, y se compara con el papel que tuvieron los Large Language Models (LLMs) en la IA conversacional
- Los métodos de última generación existentes tenían varias limitaciones para enseñar nuevos comportamientos
- El aprendizaje era lento y poco consistente
- Tenían baja eficiencia y a menudo quedaban restringidos a tareas acotadas en entornos muy limitados
- Requerían que especialistas en robótica escribieran código complejo durante muchas horas o pasaran por mucho ensayo y error
Aprendizaje de más de 60 habilidades sin código nuevo
- El modelo de comportamiento robótico de TRI usa conjuntamente demostraciones hápticas del docente y descripciones en lenguaje del objetivo
- Luego aprende las habilidades demostradas mediante Diffusion Policy basada en IA
- Los nuevos comportamientos pueden desplegarse de forma autónoma con solo decenas de demostraciones
- El resultado del aprendizaje se enfoca en crear rápidamente comportamientos consistentes, repetibles y de alto rendimiento
- TRI ya enseñó a robots más de 60 habilidades sofisticadas
- Algunos ejemplos son verter líquidos, usar herramientas y manipular objetos deformables
- Lo logró sin escribir código nuevo, solo proporcionando datos nuevos
- La meta es llegar a cientos para fines de 2023 y a 1,000 habilidades para fines de 2024
- Las nuevas habilidades van más allá del simple “pick and place” e incluyen comportamientos que interactúan con el mundo de distintas maneras
- A largo plazo, podrían usarse en robots que ayuden a las personas en entornos cotidianos, impredecibles y en constante cambio
Plataforma personalizada y diseño de seguridad basado en Drake
- TRI y el grupo del profesor Song de Columbia University desarrollaron Diffusion Policy, un enfoque de IA generativa para el aprendizaje de comportamientos
- Diffusion Policy se presentó en la conferencia Robotics Science and Systems de 2023
- La plataforma robótica de TRI fue construida a medida para tareas sofisticadas de manipulación con dos brazos
- Se enfoca en habilitar retroalimentación háptica y sensado táctil
- TRI usa Drake como herramienta de diseño basada en modelos y plataforma de simulación para robótica
- La pila robótica interna está construida sobre los frameworks de optimización y sistemas de Drake
- Drake está disponible como código abierto para impulsar el trabajo de toda la comunidad de robótica
- La seguridad es un elemento central del diseño en la investigación robótica de TRI
- El sistema incluye salvaguardas impulsadas por Drake y una pila de control robótico personalizada
- Está diseñado para mantener garantías de seguridad que eviten que el robot choque consigo mismo o con el entorno
1 comentarios
Opiniones de Hacker News
Como alguien que estuvo en la comunidad de aprendizaje robótico en posgrado y en la industria, entiendo perfectamente que TRI reciba la mayor parte de los elogios aquí, pero también quiero señalar bien el mérito principal.
En el centro de este avance está Diffusion Policy [1], desarrollado e impulsado por el laboratorio de la profesora Shuran Song de Columbia. El sitio original del proyecto [2] también vale mucho la pena, y contiene muchos experimentos difíciles del mundo real.
En la conferencia R:SS de este año [3] fue uno de los candidatos favoritos de la comunidad al Best Paper Award, y en nuestro laboratorio y otros laboratorios de aprendizaje del departamento de robótica analizamos este paper a fondo. Conozco gente que dejó sus proyectos de clonación de comportamiento/aprendizaje por imitación y cambió por completo de dirección hacia este enfoque, que maneja espacios de acción multimodales de forma mucho más natural.
La profesora Song es una investigadora realmente destacada en robótica hoy, y ha presentado varios enfoques excelentes que escalan con elegancia al mundo real, como IRP [4]. IRP recibió el Best Paper de R:SS 2022, y también vale la pena ver FlingBot [5] y Scaling Up Distilling Down [6].
[1] - https://arxiv.org/abs/2303.04137
[2] - https://diffusion-policy.cs.columbia.edu/
[3] - https://roboticsconference.org/program/awards/
[4] - https://irp.cs.columbia.edu/
[5] - https://flingbot.cs.columbia.edu/
[6] - https://www.cs.columbia.edu/~huy/scalingup/
“Diffusion Policy: colaboradores de TRI y del grupo de la profesora Song en Columbia University desarrollaron un enfoque nuevo y potente de IA generativa para el aprendizaje de comportamientos. Este enfoque, llamado Diffusion Policy, permite enseñar comportamientos de manera fácil y rápida mediante demostraciones”.
Me intriga por qué funciona mucho mejor que las alternativas mencionadas arriba.
Para quien le interese, Russ Tedrake tiene un canal de YouTube: https://www.youtube.com/@underactuated5171
Ahí están subidas las clases de 6.4210 (2023) Robotics Manipulation y 6.8210 (2023) Underactuated Robotics.
Me da gusto ver trabajo reciente de Russ Tedrake. Su curso en línea Underactuated Robotics es excelente para entender la complejidad de la robótica.
En HN se recomiendan mucho trabajos de aprendizaje robótico que, en general, están al nivel de “solo pegale un LLM al robot y listo”, así que es bueno ver que se hable de alguien con conocimientos mucho más profundos. Para crear agentes encarnados de verdad en el mundo real, que es caótico, no alcanza con resolver solo el aprendizaje del lenguaje.
El sitio web no carga, pero encontré el video en Toyota Research YouTube: https://www.youtube.com/watch?v=w-CGSQAO5-Q
Me pregunto si, con un protocolo estándar de tecnología de aprendizaje, se podría hacer crowdsourcing del aprendizaje de nuevas tareas. Algo como ofertar por las tareas deseadas, que quien las resuelva reciba una recompensa y que todos se beneficien. La cola larga de tareas es tan larga que parece difícil que un solo laboratorio central se encargue de todo.
Google hizo algo parecido hace más o menos un mes y también apareció en HN [1].
Me pregunto cuánto usan la retroalimentación de fuerza. ¿El objeto grande, redondo y blando del video es como un dedo grande con muchos sensores de presión? Los sensores de presión superficial existen desde los años 80, pero en ese entonces no se sabía qué hacer con tantos datos. Hoy, tener demasiados datos de sensores es un problema mucho menor.
Hace tiempo intenté este problema montando una llave de boca en un brazo robótico. La idea era palpar hasta encontrar la cabeza del perno, encajar la llave y luego girarla. Un sensor de fuerza de 6 grados de libertad habría sido suficiente, pero era antes del deep learning, así que no llegó muy lejos. Aun así, sí construí el dispositivo robótico con la llave.
[1] https://news.ycombinator.com/item?id=37167698
Realmente impresionante. Se ve incluso mucho más así que las demostraciones de Boston Dynamics.
Voltear pancakes es muy difícil porque cada pancake es distinto. Sé que este tipo de videos muestra escenas seleccionadas, pero hacer que un robot aprenda esto solo a partir de demostraciones simples se siente como un salto enorme.
Otro ejemplo: los robots ya hacían malabares en los años 90, pero todavía no existe un robot que abra de forma confiable cualquier puerta como un humano. Es algo parecido a la paradoja de Moravec.
Suena parecido a trabajos como PaLM-E de Google: https://blog.research.google/2023/03/palm-e-embodied-multimodal-language.html
Es una época realmente interesante para la robótica.
Además, realiza las acciones a la misma velocidad que cuando una persona lo controla para demostrarlas. Las demostraciones de PaLM-E en realidad eran dolorosamente lentas, así que las mostraban todas en videos acelerados.
Creo que la forma de llegar a robots humanoides de propósito general se verá bastante parecida a esto.
Por ejemplo, imagina que en una obra hay un robot humanoide estilo Boston Dynamics y que, en este caso, es albañil. En un espacio abierto fuera de la obra hay un piso con caminadora omnidireccional, cámaras y sensores de profundidad alrededor, y una persona usa un traje de captura de movimiento estilo Hollywood y un visor de VR para ver la vista de las cámaras del robot.
Esa persona camina hacia una pila de ladrillos, los toma y los coloca como lo haría en la obra. El robot se mueve en tiempo real en la obra, imitando los movimientos de la persona. No sé si se necesitarían accesorios para hacerlo bien, o si bastaría con años de memoria muscular de trabajo en obra.
Se registran todos los datos, y alguien mira el stream de video y etiqueta cada acción que se realiza. Luego todo se mete en algoritmos de machine learning, hasta llegar finalmente al punto en que puedas enviarle al robot solo los planos de construcción y decirle “construye este muro”.
Probablemente envíen un equipo para digitalizar la obra y crear un gemelo digital. El arquitecto mapeará todo en ese gemelo, y el sistema informático simulará las etapas de construcción. Después se llevarán los robots a la obra y, si hace falta, recibirán un modelo ajustado para construir automáticamente.
Entiendo que se usa la expresión “modelo de lenguaje a gran escala” porque, gracias a la enorme cantidad de texto proveniente de toda la web, la Library of Congress, etc., los LLM tienen un conjunto de datos inmenso con el cual entrenarse. Ahí es donde entra lo de “gran escala”.
Pero cuando en este video dicen “modelo de comportamiento a gran escala”, ¿qué es lo que tiene gran escala? ¿De dónde obtienen una cantidad igualmente gigantesca de datos de entrada sobre comportamientos? Parece que tienen a decenas de personas demostrando acciones en un gran laboratorio, lo cual está bien, pero no parece que ese grupo pueda generar tantos datos como todo el contenido digital escrito.
Se ve bastante genial, pero no sé bien si alguien puede ser profesor de tiempo completo en MIT y al mismo tiempo vicepresidente de tiempo completo en TRI.
Ya he visto antes este tipo de doble empleo, pero me cuesta entender cómo puede ser práctico si no trabajan más de 70 horas por semana.
Para hacer una analogía con la ingeniería de software, le ofrecerías con gusto un buen sueldo y un buen puesto a John Carmack aunque trabajara en un proyecto solo 6 o 7 días al mes. Porque es John Carmack.