OK-Robot: un framework abierto y modular para tareas de pick-and-drop en el hogar con condición de lenguaje y zero-shot
- OK-Robot es un framework abierto y modular para tareas de pick-and-drop zero-shot basadas en instrucciones de lenguaje en entornos domésticos arbitrarios.
- En 10 entornos domésticos de la ciudad de Nueva York, OK-Robot intentó 171 tareas de pick-and-drop y mostró 5 ejemplos de tareas en cada uno de 5 hogares.
Entender el rendimiento de OK-Robot
- OK-Robot puede mostrar generalización zero-shot en entornos completamente nuevos, pero se realizó un análisis para entender mejor las razones de sus éxitos y fallas.
- Mostró una tasa de éxito de 58.5% en nuevos entornos domésticos, pero existe una larga cola de causas de falla; las tres principales son no recuperar el objeto correcto desde la memoria semántica (9.3%), obtener posturas difíciles en el módulo de manipulación (8.0%) y problemas de hardware (7.5%).
Paper
- Título: "OK-Robot: qué importa realmente en la integración de modelos de conocimiento abierto para robótica"
- El paper puede leerse en formato arXiv y PDF, y ofrece la información de cita en formato bibtex.
Código
- El código de OK-Robot puede obtenerse en GitHub; el código fuente se ofrece bajo licencia MIT, y el contenido del sitio web está licenciado bajo CC ANS 4.0.
Opinión de GN⁺
- El proyecto OK-Robot presenta un enfoque innovador para integrar comprensión del lenguaje e interacción física en el campo de la robótica.
- Este framework puede desempeñar un papel importante para mejorar la autonomía y adaptabilidad de los robots en entornos domésticos reales.
- Con el código y el paper proporcionados, investigadores y desarrolladores tienen la oportunidad de seguir avanzando esta tecnología y aplicarla a diversos campos.
3 comentarios
https://hello-robot.com/purchase
El producto en sí cuesta 25 mil dólares...
Además, necesitas un iPhone Pro
El cargador con base de acoplamiento cuesta 995 dólares jajajaja
¿Es un precio para estafar incautos?
¿Por qué la estación de acoplamiento realmente cuesta así?
Parece que incluso el método de conexión es enchufar directamente un conector DC... jajaja
https://hello-robot.com/stretch-docking-station
Comentarios en Hacker News
El robot parece moverse lento, pero según las pruebas completa la mayoría de las tareas más rápido, con mayor precisión y sin quejarse que la generación Z.
Es un avance asombroso que podría cambiar la vida de personas con discapacidad, adultos mayores, gamers, personas extremadamente perezosas y quienes cuidan de ellas.
Se plantea la posibilidad de resolver tareas de largo plazo mediante modelos grandes basados en ficción interactiva.
Preguntas sobre cómo el robot reconoce objetos, cómo detecta cuando no puede cumplir una solicitud y qué capacidad tiene para manejar objetos ocultos.
Opinión personal de que le gustaría comprar un robot de 25,000 dólares para usarlo para doblar y ordenar la ropa.
Duda sobre por qué los robots de propósito general son tan lentos, pese a que se esperaría que las máquinas realizaran las tareas más rápido que los humanos.
Mención de robots como Dobb-e.
Expresión de expectativa por seguir el progreso del proyecto, con la idea de que su integración con ayudas de movilidad podría generar un gran cambio para personas con limitaciones físicas.
Se valora que el análisis de fallas esté bien hecho, y surge curiosidad sobre qué constituye una falla de hardware y cómo se determina eso en cinco pruebas, por ejemplo cuando "Realsense proporcionó una profundidad incorrecta".
Deseo de contar con un vehículo de plataforma estabilizado con giroscopio, y pregunta sobre si existe una solución que pueda transportar bebidas y botanas por caminos irregulares.