Mistral presenta Robostral Navigate, un modelo de navegación robótica con una sola cámara

• Es el primer modelo 8B de navegación embodied de Mistral, diseñado para que un robot se desplace por entornos complejos usando solo una cámara RGB e instrucciones en lenguaje natural
• En R2R-CE validation unseen logró una tasa de éxito del 76.6%, superando no solo a los métodos de una sola cámara, sino también a los mejores sistemas basados en depth y múltiples cámaras
• Usa un enfoque de pointing que predice las coordenadas de imagen del objetivo en la pantalla actual y la orientación al llegar; para objetivos fuera del campo de visión, lo reemplaza por comandos de desplazamiento en el sistema de coordenadas local del robot
• Fue construido internamente sin depender de VLM open source existentes, y se entrenó con cerca de 400 mil trajectories y 6,000 scenes generadas por simulación
• Con prefix-caching redujo 22 veces los tokens de entrenamiento, y luego con aprendizaje por refuerzo online CISPO aumentó la tasa de éxito en 3.2% adicional

---

Navegación robótica basada en una sola cámara

• Robostral Navigate es el primer modelo de navegación embodied de Mistral, creado para que un robot se desplace por un entorno recibiendo como entrada imágenes RGB e instrucciones en lenguaje natural
• Un ejemplo de instrucción sería: “sal del lobby, cruza el pasillo, entra al cuarto de suministros, mira el segundo estante y detente”
• A diferencia de los enfoques que combinan sensores depth, LiDAR o varias cámaras, este modelo usa solo una cámara RGB común
• R2R-CE (Room-to-Room in Continuous Environments) validation unseen es un benchmark en el que el robot debe desplazarse siguiendo instrucciones en entornos que no fueron incluidos en el entrenamiento
  • Robostral Navigate registró una tasa de éxito de 76.6% en validation unseen
  • Es 9.7 puntos superior al mejor enfoque de una sola cámara
  • Es 4.5 puntos superior al mejor sistema que usa depth o múltiples cámaras

Rendimiento en benchmarks y compatibilidad con robots

• Este modelo está diseñado para que robots se desplacen de forma autónoma en espacios complejos como oficinas, edificios residenciales y comerciales, y entornos al aire libre
• Con una sola instrucción puede ejecutar por sí mismo una tarea completa en espacios reales con personas y obstáculos
• Sus principales métricas y condiciones de operación son las siguientes
  • Registró rendimiento de estado del arte en R2R-CE
  • La tasa de éxito en validation seen es de 79.4%
  • La tasa de éxito en validation unseen es de 76.6%
  • Funciona con una sola cámara RGB, sin LiDAR ni sensores depth
  • Es un modelo 8B construido internamente, y su entrenamiento está basado completamente en simulación
  • Funciona en robots con ruedas, con patas y voladores, y generaliza frente a diferencias de tamaño entre robots
  • Es robusto ante diferencias en los parámetros internos de la cámara
  • Usa entrenamiento eficiente en tokens mediante prefix-caching

Método de desplazamiento basado en pointing

• Robostral Navigate predice, con base en la tarea y el historial de observaciones, la siguiente ubicación a la que debe moverse el robot mediante un enfoque de pointing
• Lo que predice son las coordenadas de imagen correspondientes a la ubicación objetivo dentro de la vista actual de la cámara, y la orientación necesaria al llegar
• A diferencia de los comandos que dependen de metric displacement, el pointing es naturalmente robusto ante cambios en los parámetros internos de la cámara y en la escala del mundo real
• Si la ubicación objetivo está fuera del campo de visión actual, es difícil resolverlo solo con pointing
  • En ese caso se reemplaza por un comando de desplazamiento en el sistema de coordenadas local del robot
  • Un ejemplo sería: “avanza 2 metros, muévete 1.5 metros a la izquierda y gira 25 grados a la izquierda”

Modelo construido internamente y datos de simulación

• Robostral Navigate fue construido completamente de forma interna, sin depender de VLM open source existentes
• Para la inicialización se usa el modelo visión-lenguaje de Mistral especializado en tareas de grounding como pointing, counting y object localization
• La navegación consiste en comprender la ubicación de los objetos y luego aprender cómo desplazarse, por lo que corresponde a una extensión de estas capacidades de grounding
• Todo el pipeline de generación de datos se construyó dentro de simulación
  • Esto permitió iterar y mejorar los datos rápidamente
  • El dataset final está compuesto por cerca de 400 mil trajectories y 6,000 scenes

Entrenamiento eficiente y aprendizaje por refuerzo online

• Un componente central del aprendizaje supervisado es un algoritmo de entrenamiento eficiente basado en prefix-caching
• Mediante una estrategia de attention masking basada en árbol, comprime todo el episode en una sola sequence
  • Permite entrenar todos los time steps en un único forward pass
  • Evita la fuga de información entre time steps
• En comparación con el entrenamiento que usa una muestra por cada time step, reduce 22 veces la cantidad de tokens de entrenamiento sin perder la señal de aprendizaje
• En la práctica, transforma una ejecución de entrenamiento que tomaría meses en una que termina en pocos días
• Después del aprendizaje supervisado, mejoró el rendimiento con el algoritmo de aprendizaje por refuerzo online CISPO
  • Permite que el modelo aprenda por prueba y error, se recupere de fallos y adquiera conductas de exploración
  • Mitiga el problema de distribution shift del behavior cloning común
  • Solo esta etapa aumentó la tasa de éxito en 3.2%
  • Como aún no se observa un plateau, más entrenamiento y experimentos podrían elevar aún más la cifra

Próximo paso hacia un embodied agent integrado

• Robostral Navigate representa el primer paso hacia un embodied agent integrado
• Mistral considera la navegación como una capacidad base para la robótica de propósito general
• Demuestra que al combinar simulación a gran escala, entrenamiento eficiente y un grounding prior fuerte, es posible lograr navegación embodied de estado del arte con un modelo compacto y una sola cámara RGB
• Mistral está ampliando su equipo de robótica y está contratando investigadores científicos e ingenieros

[GN⁺]

Opiniones de Hacker News

• Dicen “rendimiento de punta en R2R-CE”, pero hay que dejar claro que R2R-CE es un benchmark compuesto por entornos de simulación.
  Superar este benchmark tiene un significado similar a lograr que un robot sea bueno en Minecraft u otros videojuegos. Está genial, pero los robots tienen que operar en la realidad física, no en entornos digitales.
  Evaluar el rendimiento de sistemas robóticos en el mundo real es muy difícil. Si el rendimiento es malo, se necesitan muchos robots de reserva para poder terminar la evaluación.
  El artículo también incluye el video de demostración obligatorio donde un robot físico se desplaza a 2x en un entorno tipo oficina con piso liso y casi vacío. Ya es una escena emblemática de este campo, y suma puntos extra que al final tres personas crucen cuidadosamente la trayectoria del robot.
  Pero esto se parece a la exageración que hubo alrededor de Aloha hace unos años. Sirve para que una gran tecnológica adquiera al equipo o para conseguir más financiamiento para investigar tecnología interesante, pero no alcanza para verlo como un avance sustancial hacia una empleada doméstica/mayordomo robótico que se mueva por casas u oficinas.

• Por lo que se sugiere, y espero que sea cierto, esto parece ser navegación sin mapa. Si es así, es impresionante.
  Con un mapa del entorno capturado de antemano, este tipo de tarea es mucho más fácil. Pero si lo hace sin mapa, es notable.
  Antes siempre existía el problema del “robot secuestrado”, en el que el robot no podía moverse en absoluto si no sabía su propia ubicación. Aquí parece que el robot ejecuta las instrucciones siempre que sean interpretables desde su vista actual o que pueda seguirlas por navegación por estima.

  • Trabajo en el equipo de robótica de Mistral, y sí, esto es sin mapa. Las únicas entradas son el prompt de texto y la imagen de la cámara RGB frontal.
  • ¿No resolvería ese problema un SLAM o VSLAM moderno?
  • Si no usa ningún sensor y no tiene geometría real, solo algo así como tokens recientes de propagación hacia adelante, ¿podrías explicar por qué se vuelve mucho más fácil cuando hay un mapa capturado previamente?
  • Sería muy interesante crear una especie de nodo de exploración. Algo así como resolver el problema de SLAM semántico mientras se desplaza.
    Si le das la instrucción “encuentra el ascensor en este piso”, ¿podría moverse, construir un mapa y comportarse como una persona que busca el ascensor?
    Actualmente, estos modelos de navegación asumen que quien escribe la instrucción conoce muy bien puntos de referencia visuales útiles para moverse, lo cual no es realista en la mayoría de los casos de uso.

• Me interesa saber cuál sería una ruta realista para poder probar esto. Quisiera conectarlo a OpenClaw para experimentos de hobby.
  Mi sueño es poner OpenClaw en un robot agrícola. Quiero modificar una podadora RC de orugas para desmalezar pendientes pronunciadas y encargarle tareas como: “explora la línea de la cerca y toma fotos de las plantas, encuentra todo el zumaque venenoso y la madreselva invasora, rocíalos con un pulverizador de Roundup, repite cada semana, informa el mapa de distribución de especies y, cuando la batería esté baja, vuelve al granero para cargarte”.
  Poner OpenClaw en el cuerpo de un robot no es difícil. Hay muchos videos de eso en YouTube. Pero cuando uno revisa en detalle lo que la gente ha construido, la parte de movilidad siempre es la más rudimentaria, y en mis experimentos pasó lo mismo.
  Un modelo 8B como este parece ideal para resolver el problema de trazado de rutas y navegación.
  Si alguien está más familiarizado con Mistral o empresas similares, me gustaría saber si les interesan también estos experimentos de makers aficionados. ¿O buscan principalmente socios comerciales? Estaría dispuesto a pagar una licencia para usarlo en experimentos, pero siendo una persona sola, quizá no quieran colaborar salvo que haya intención de comercializarlo.

  • Sería genial construir un robot tipo OpenClaw con esto, pero el modelo actual parece enfocado en caminar/entender el entorno mediante texto. ¿Qué se podría usar para que el robot interactúe con el mundo?
  • Por si alguien tenía la misma duda que yo, comparto lo que averigüé hasta ahora. Fui al Discord de Mistral y le pregunté al bot Miscord; me respondió que, por ahora, los anuncios y la documentación oficiales se enfocan principalmente en alianzas empresariales e industriales con compañías como Airbus y BMW.
    Aun así, Robostral Navigate está diseñado para ser independiente del hardware y puede acoplarse a cualquier plataforma robótica; además, como solo requiere una cámara RGB única, sin LiDAR ni sensor de profundidad, en teoría también encaja bien con equipos de hobby.
    Todavía no hay una licencia pública para hobby/no comercial ni un lanzamiento open source, y tampoco se han anunciado precios o niveles de licencia para uso personal. Lo que se puede hacer ahora es contactar directamente a Mistral AI y preguntar claramente: “soy un maker aficionado haciendo experimentos personales con OpenClaw + Robostral Navigate y quisiera conversar sobre una licencia no comercial”.
    También conviene seguir el Discord o los foros de Mistral, y si no hay respuesta, se puede esperar a que proyectos de robótica open source como ROS o Habitat implementen funciones similares.

• No parece ser un modelo público, pero si lo publican, haría mucho más fácil usar navegación con una sola cámara y permitiría muchos proyectos geniales de robótica de hobby.

• Muy interesante. Felicitaciones al equipo de Mistral. La navegación sin mapa en exteriores existe desde hace bastante tiempo, pero la navegación sin mapa dentro de edificios es relativamente nueva.
  Investigadores de Stanford entrenaron PIGEON, un modelo visual que estima la ubicación geográfica a partir de una imagen cualquiera. No se publicó por el enorme potencial de abuso contra la privacidad, como el stalking, pero parece que detrás de este robot hay un tipo de tecnología similar. Si alguien sabe más, agradecería que me corrija.
  Enlace al paper de PIGEON: https://lukashaas.github.io/PIGEON-CVPR24/

• Mistral parece estar yendo a lo amplio mientras también apunta a nichos. Podría ser una estrategia inteligente a futuro.

  • Están invirtiendo mucho en automatización a medida para socios industriales, así que esto será una incorporación bienvenida a su caja de herramientas.
  • Puede ser una estrategia bastante buena. En capacidad de cómputo pura es difícil alcanzar a Anthropic u OpenAI, pero hay muchísimas aplicaciones que no necesitan tanta potencia, y en muchos casos conviene más optimizar por velocidad y eficiencia energética.
  • Es porque funcionan con mis impuestos en lugar de con ánimo de lucro.

• Es tan minimalista que impresiona.
  Por otro lado, me recuerda a los videos de demostraciones de robots que investigadores académicos y Willow Garage subían alrededor de 2010.
  El problema de la robótica es que es fácil crear una demostración que parezca convincente, pero es realmente difícil hacer que funcione bien en casos generales. La conducción autónoma es un buen ejemplo.

  • En robótica, al final todo se reduce a los casos límite. Hay muchas aplicaciones en las que ya es posible tener robots que realizan perfectamente el 95% de la tarea, pero aun así no es suficiente. El último 5% es tan amplio que cubrirlo es casi imposible.

• Estoy listo para esperar a un robot asistente doméstico que prepare la cena, lave los platos y saque la basura.
  Pero me asusta el momento en que esos asistentes sean usados en la guerra, ya sea a mi favor o en mi contra.

  • Honestamente, muchas funciones están bien, pero los robots convencionales son pesados y me preocupa que puedan caerse encima de los niños. Los niños son impredecibles desde el punto de vista de una máquina, pero para la mayoría de los padres son hasta cierto punto previsibles.
    Nuestra velocidad de muestreo sensorial y la velocidad de razonamiento de nuestra inteligencia están varios órdenes de magnitud por delante de los robots más avanzados actuales. Hoy, las personas son mucho más precisas y capaces.
    Espero que sea posible crear dispositivos suficientemente ligeros, pero considerando los requisitos de peso de las baterías, no sé bien cómo sería posible.
  • Creo que lo segundo llegará mucho antes que lo primero.
  • Si en lugar de enviar personas a ser voladas por drones enviamos robots, quizá incluso deberíamos sentirnos más tranquilos.
  • Para lo primero, parece que habrá que esperar bastante. Salvo que te parezca bien que, cada vez que el robot se confunda, un desconocido lo opere remotamente y se pasee por tu casa.
  • Un robot humanoide inteligente en cada hogar; de verdad, ¿qué podría salir mal? Probablemente sea una de las peores ideas posibles.

• Dicen que logró 76.6% en “R2R-CE (Room-to-Room in Continuous Environments)”, pero me da curiosidad qué hizo durante el 23.4% restante.

  • Me imagino que los problemas más grandes serían cosas como que le digan “ve a la siguiente habitación” y haya dos puertas, o “gira en el dispensador de agua” y haya un fregadero. Claro, como siempre, el último 1% es tan difícil como otro 99%.
    Si miras los errores de navegación en la página con los gráficos de resultados, aparece la métrica más relevante para esta pregunta. Ese modelo es muy bueno para “no moverse en la dirección equivocada”, así que probablemente la tasa de fallas corresponda a casos en los que no pudo encontrar el camino.
  • Probablemente no logró llegar a la otra habitación.

• Esto es realmente genial. Que el robot pueda usar la dirección indicada con el dedo para decidir adónde ir es una excelente decisión de diseño, y la robótica es realmente la próxima frontera. Definitivamente me dan ganas de apoyar a Mistral.