El Moneyball de la IA física

• Los datos de robótica no pueden extraerse de corpus existentes como el texto, y cada hora útil implica un costo; por eso, la eficiencia del capital depende de qué tan bien se calcule la utilidad marginal por dólar y la novedad de los datos, más que del volumen total recopilado.
• A medida que aumentan los datos, la pérdida disminuye según una ley de potencia, pero la diversidad cambia el rango de generalización y el límite inferior del error; mientras que las repeticiones y los casi duplicados se saturan rápido, los casos raros de fallas OOD aportan gran utilidad.
• Los datos de despliegue en producción siguen una curva de declinación de pozo, que converge desde fallas iniciales de alta entropía hacia éxitos rutinarios y casi duplicados; por lo tanto, más que aumentar las horas de operación, hay que seleccionar la cola de fallas.
• Las primeras tareas robóticas deben limitar la variabilidad del entorno para ser comerciales, lo que reduce la dimensión intrínseca y la transferibilidad; el flywheel de producción, según el cual los ingresos del despliegue mejoran un modelo generalista, difícilmente funciona sin alcance de observación externo y diversidad de intervenciones.
• El presupuesto de datos debe asignarse ampliando el alcance con datos de observación de bajo costo, recolectando teleoperación de alto costo solo hasta el punto de saturación por tarea y, en la telemetría de producción, seleccionando únicamente fallas OOD.

---

La IA física valora mal la cantidad de datos

• En 2002, los Oakland Athletics lograron 103 victorias con la tercera nómina salarial más baja de la MLB, y aprovecharon precios de jugadores mal valorados por el mercado al identificar el porcentaje de embasado, que sí se correlacionaba con las carreras, en lugar de la estética subjetiva, las bases robadas o el promedio de bateo.
• En la IA física, las horas operativas acumuladas también se priorizan porque son una métrica visible y fácil de financiar, pero su correlación con el desempeño real de los submodelos es débil.
• Los datos de robótica no pueden extraerse de corpus existentes como los datos de texto, y hay que pagar por cada hora de datos útiles, de modo que el costo crece linealmente junto con el volumen recolectado.
  • Ken Goldberg estima que los modelos robóticos de frontera podrían necesitar alrededor de 100.000 años de datos.
  • Suministrar los datos supervisados necesarios para la AGI solo con infraestructura de teleoperación manual a gran escala no es sostenible.
• El enfoque de desplegar robots en entornos de producción y obtener telemetría como subproducto de los ingresos operativos puede incurrir en el mismo error estadístico.
  • Las tareas de nicho que hoy pueden desplegarse están en los dominios de menor variabilidad.
  • Los datos generados allí tienen baja entropía, están correlacionados entre sí y tienen poca utilidad marginal.
• La métrica equivalente al porcentaje de embasado en la IA física es la reducción marginal de pérdida por dólar, que incorpora tanto las leyes de escalamiento como el costo unitario de adquisición de datos.

Intereses que mueven la cadena de suministro de datos

• Cada participante tiene una perspectiva de los datos que hace que su propio negocio parezca el más valioso.
  • Los laboratorios de modelos fundacionales venden escala de modelos generalistas, por lo que consideran que el preentrenamiento a gran escala y la ampliación del cómputo eliminarán los errores en casos límite.
  • Las empresas de teleoperación priorizan el volumen bruto de datos, porque sus ingresos crecen con las horas de operación más que con la utilidad o la novedad de los datos.
  • Los proveedores de hardware tradicionales asumen que el entorno es normal y estable, porque sus soluciones fallan en entornos fuera de distribución.
  • Muchos investigadores académicos de robótica creen que la brecha puede cerrarse con física, modelos y control más que con datos.
• El neo-integrator busca sortear el cuello de botella de la recolección de datos desplegando robots especializados en producción comercial y gestionando las fallas mediante intervención humana.
  • Evan Beard propone un flywheel económico en el que la telemetría de producción genera la novedad necesaria para capacidades multitarea.
  • Kyle Vedder refuta esto señalando que los entornos dispuestos a pagar por las primeras adopciones robóticas son inherentemente de baja variabilidad, lo que crea una restricción de bomba de novedad (novelty pump).
• Para determinar qué estrategia genera la mayor capacidad de modelo por dólar, hay que comparar en conjunto las leyes empíricas de escalamiento y la economía unitaria de la adquisición de datos.

Tres tipos de datos según costo y forma de supervisión

• Los datos de observación, como video en primera o tercera persona, tienen bajo costo y amplio alcance, por lo que expanden el soporte del espacio de representación, pero no ofrecen supervisión directa de acciones.
• Los datos de intervención, como demostraciones de teleoperación, son costosos y de alcance estrecho, pero contienen explícitamente trayectorias estado-acción; su costo aumenta en proporción al trabajo humano.
• Los datos de despliegue son telemetría sin depurar generada endógenamente en sistemas de producción.
  • En algunos casos, la operación en sí puede generar pérdidas.
  • La distribución de los datos no la determina el diseño algorítmico, sino las condiciones comerciales de operación.
• Maximizar los datos puede aumentar el ruido de baja entropía y reducir la eficiencia del aprendizaje.
  • En el dataset C4 de modelos de lenguaje, los modelos mejoraron al eliminar texto boilerplate y casi duplicados, y aumentar la cobertura de tokens únicos dentro de un presupuesto fijo.
• Un pipeline de datos es un problema de asignación de capital: qué se obtiene por cada dólar en cada tipo, dónde surge información nueva y si los datos de despliegue pueden ampliar el alcance de las tareas.

La utilidad de los datos vista desde las leyes de escalamiento

• Cantidad de datos y reducción de pérdida

  • Cuando aumentan los datos, el tamaño del modelo y el cómputo, la pérdida de prueba disminuye como una ley de potencia con forma de línea recta en ejes log-log, pero la magnitud de la mejora se reduce y finalmente alcanza un límite inferior.

  • La forma combinada de Kaplan 2020 y Hoffmann 2022, para tamaño de modelo (N) y número de tokens (D), es la siguiente:

    [ L(N,D)=E+A N^{-\alpha}+B D^{-\beta} ]

  • En una asignación óptima de cómputo, se reduce a una envolvente unidimensional en función de los datos:

    [ L^{*}(D)=E+\tilde B D^{-\beta} ]

• (E) es la incertidumbre predictiva que el modelo no puede eliminar; la forma funcional es consistente, pero los valores numéricos son aproximados, como trata Besiroglu 2024

• Diversidad y dimensión intrínseca

  • Una mezcla diversa de datos genera simultáneamente dos efectos independientes de la cantidad de datos
    • Reduce el límite inferior del error asintótico mediante la transferencia entre dominios y la ampliación del alcance de la variedad
    • Aumenta la dimensión intrínseca (d_{\text{int}}) del dataset
  • En el régimen limitado por resolución para objetivos suaves, según Sharma & Kaplan 2020 y Bahri 2021, se cumple la relación (\beta \approx 4/d_{\text{int}})
  • Si se reduce a la mitad la dimensión intrínseca de la tarea, el exponente de escalamiento aproximadamente se duplica, por lo que la pérdida disminuye más rápido
  • En cambio, puede converger a óptimos inferiores que no generalizan, por lo que no se debe reducir artificialmente la dimensión intrínseca de la distribución de preentrenamiento
  • La ley de mezcla de datos de Ye et al. 2024 descompone la pérdida de mezcla en leyes de potencia por dominio y un término de acoplamiento entre dominios, y ese término determina la transferencia positiva y la interferencia negativa

• Saturación por repetición y degradación del rendimiento

  • Los datos repetidos muestran una eficiencia similar a la de tokens nuevos hasta alrededor de 4 épocas (epochs), pero después su utilidad disminuye rápidamente y, al final, reduce las capacidades
  • Muennighoff et al. 2023 ajustan una forma de saturación exponencial con semivida (R^{*}\approx15)
  • Cuatro repeticiones casi no generan pérdida
  • A partir de 16 repeticiones, se entra en una zona clara de rendimientos decrecientes, donde el cómputo adicional no crea información nueva
  • Cuando la cantidad de ejemplos únicos es (U) y el número de repeticiones es (r=T/U), el tamaño efectivo de datos es (D_{\text{eff}}=U\cdot f(r)), donde (f(r)) se satura exponencialmente
  • Según Hernandez et al. 2022, repetir en exceso una parte estrecha de los datos provoca un doble descenso local en la pérdida de prueba, y daña los induction heads y copying heads necesarios para el aprendizaje en contexto
  • Al repetir 100 veces el 0.1% de todo el corpus, el rendimiento en subtareas de un modelo de 800 millones de parámetros cayó al nivel de un modelo de 400 millones de parámetros

• Duplicados cercanos y saturación local

  • Los duplicados cercanos tienen una utilidad continua entre la repetición completa y una muestra totalmente nueva
  • Lee et al. 2021 identificaron casos en C4 donde la misma oración aparece más de 60 mil veces
  • La deduplicación reduce la memorización literal y acelera la convergencia al asignar el presupuesto de tokens a variedades distintas
  • Una pequeña variación (\varepsilon) hace que (x) y (x+\varepsilon) se mapeen al mismo objetivo, actuando como una regularización implícita de consistencia
    • Los cambios muy pequeños tienen baja utilidad
    • Los cambios de tamaño intermedio son útiles para la regularización
    • Cuando el cambio se vuelve lo suficientemente grande, se convierte en un dato separado
  • Muestrear densamente un vecindario estrecho satura rápidamente la capacidad local y perjudica el rendimiento del modelo

• Eventos raros y cola larga

  • Los eventos raros fuera de distribución (OOD) constituyen la cola de fallas que limita el rendimiento del modelo en el límite de escalamiento, por lo que tienen una gran utilidad marginal
  • Las distribuciones físicas reales tienen colas largas y, según Michaud et al. 2023, las capacidades macroscópicas aparecen al adquirir en orden de frecuencia subhabilidades que siguen una distribución de Zipf
  • Según Feldman 2020, para alcanzar precisión de frontera hay que aprender subpoblaciones raras que representan una gran proporción de toda la densidad operativa
  • Sorscher et al. 2022 muestran que seleccionar muestras difíciles y de baja frecuencia puede eludir las restricciones habituales de las leyes de potencia
  • Los casos borde que surgen de la estocasticidad del mundo real son difíciles de reproducir mediante generación sintética o staging estructurado
  • A medida que se amplía la distribución conocida, las nuevas variantes restantes se vuelven exponencialmente raras, por lo que el costo de descubrirlas aumenta bruscamente

La economía de la utilidad marginal por dólar

• Pérdida por tarea y asignación de capital

  • En los modelos de lenguaje, el cómputo es la restricción y los datos abundan, pero en robótica el costo de adquisición de datos útiles es una restricción directa

  • El objetivo de capacidad total se modela como la combinación de clústeres de tareas (j) con pesos previos (\pi_j), y la pérdida de cada clúster sigue la siguiente forma

    [ L_j=A_j(\phi)+B_j(\phi)D_j^{-\beta_j} ]

  • (A_j(\phi)) es el límite inferior bajo la configuración de sensado (\phi), (D_j) es la cantidad de datos y (\beta_j\approx4/d_j) es el exponente según la dimensión intrínseca (d_j)

  • Para asignar capital finito de forma óptima, se debe gastar de modo que el valor marginal por dólar de todos los canales de recolección y depuración sea igual

  • Los canales de intervención tienen un premium por la supervisión directa de acciones, pero la cantidad de datos se satura rápidamente, por lo que su principal utilidad económica surge de la transferencia de habilidades entre tareas

  • El costo del canal (i) se representa como (c_i), la función de saturación como (g_i(n_i)) y la proyección de transferencia hacia la tarea (j) como (w_{ij})

  • A medida que aumenta la recolección y (g_i'(n_i)) se hace más pequeño, también disminuye la utilidad por dólar

  • Los canales de observación mejoran el espacio de representaciones sin etiquetas de acción, e influyen en el límite inferior del error (A_j) y en el coeficiente de escalamiento (B_j)

• El límite inferior del error lo determinan los sensores

  • El error estocástico no es un valor absolutamente fijo, sino relativo al estado de información que observan sensores específicos del robot

  • El límite inferior de la tarea (j) según la configuración de sensado (\phi) puede expresarse como la entropía condicional (A_j(\phi)=E[H[a|s_\phi]])

    [ A_j(\phi)=A_j^{\min}+\left(A_j(\phi)-A_j^{\min}\right) ]

  • (A_j^{\min}) es un límite físico que no puede eliminarse con ningún sensor, y el resto es la parte que puede reducirse con mejor sensado

  • Las variaciones del entorno que sensores de baja resolución no pueden distinguir aparecen para el modelo como ruido aleatorio, pero los sensores de alta resolución las convierten en errores epistémicos aprendibles

  • Los datos de acción acercan la pérdida a (A_j(\phi)), y mejores sensores reducen el propio (A_j(\phi))

  • Para la pérdida de equilibrio económico de la tarea (L_{\text{neutral}}), debe cumplirse (A_j(\phi)\ll L_{\text{neutral}}) para que el despliegue sea posible

  • Si incluso con el sensado óptimo (A_j^{\min}\ge L_{\text{neutral}}), aumentar la cantidad de datos no tiene efecto

  • En ese caso hay que cambiar la configuración de hardware o elegir otra tarea operativa

Curva de descuento de los datos de despliegue y trampa de convergencia

• La telemetría de producción se agota como un pozo petrolero

  • En las etapas iniciales de producción aparecen modos de falla de alta entropía, pero a medida que se resuelven las anomalías, los datos se convierten en duplicados cercanos y repeticiones, y su utilidad cae drásticamente

  • La utilidad efectiva de la distribución local se satura exponencialmente como (U_{\text{eff}}(n)=U_0+\Delta U(1-e^{-n/n_c}))

  • Al superar (n_c), que es el punto de saturación o covering number, el stream de producción converge a datos repetidos de baja utilidad

  • El alto valor se concentra en la cola de fallas, y los éxitos rutinarios no tienen utilidad marginal

  • El costo neto de los datos de despliegue depende de la tasa de error, el costo de intervención y pérdida de throughput, y el valor de completar la tarea

    [ c_{\text{dep}}(L)=\rho(L)(\kappa_{\text{int}}+\kappa_{\text{prod}})-\nu ]

• Antes del punto de equilibrio, donde (c_{\text{dep}}\approx0), la recopilación de datos genera pérdidas, por lo que en los despliegues iniciales debe inyectarse capital externo como activo de I+D, no como ingresos operativos

  • A menudo se considera que el despliegue con intervención empieza con un rendimiento del 95% y que la rentabilidad aparece al 99.5%, pero los datos necesarios desde (L_{\text{start}}) hasta (L_{\text{neutral}}) pueden aumentar en varios órdenes de magnitud debido a la ley de potencias
  • Si el objetivo de punto de equilibrio se acerca al límite inferior de error y (\Delta_{\text{safe}}=L_{\text{neutral}}-A_j(\phi)\to0), los datos y costos necesarios divergen de forma superlineal
  • Las tareas en las que (L_{\text{neutral}}\approx A_j(\phi)) se convierten en sumideros de capital
  • Antes de ampliar la escala del despliegue, hay que mejorar la cobertura de datos y el sensado

• Conflicto entre la convergencia comercial y la generalización

  • Para desplegar comercialmente un modelo fundacional que no es óptimo, hay que reducir la dimensión intrínseca de la tarea limitando artificialmente las variaciones del entorno
  • Un (d_j) bajo genera un (\beta_j) grande y acelera la convergencia, pero converge hacia una variedad estrecha y no transferible
  • Los datos de baja entropía y correlacionados obtenidos en celdas operativas estructuradas no amplían la frontera de generalización de un modelo de propósito general, y atan al sistema a su nicho inicial
  • Cada tarea fragmentada y de baja variabilidad genera costos de ingeniería no recurrente (NRE), y para lograr márgenes similares a los del software, el costo marginal de integración de cada nueva tarea agregada secuencialmente debe acercarse a cero
  • Dos sesgos de datos crean límites distintos
    • Sesgo de staging: los datos de intervención tienen alta densidad de acciones, pero están estructurados artificialmente, como en simulaciones o laboratorios, y no capturan la cola de fallas probabilísticas del entorno físico real
    • Sesgo de distribución: los datos de despliegue provienen del entorno real, pero por supervivencia comercial se limitan a nichos de baja variabilidad y muestrean una mezcla de distribuciones equivocada
  • Una estrategia de expansión secuencial de tareas estrechas a tareas amplias solo es económica cuando el ritmo de aumento de las tareas desplegables supera el déficit acumulado de NRE
  • Como esta expansión es difícil solo con datos de despliegue de nichos comerciales, el flywheel de producción solo funciona si se suministran desde fuera la cobertura de observación que reduce el límite inferior de error y la diversidad de intervenciones que amplía la frontera de generalización

Métricas de densidad de información para reemplazar las horas de operación

• El costo marginal de integración por tarea rastrea como contabilidad de proyecto los costos de NRE generados por cada nueva tarea
  • Si el costo no baja aunque crezca el portafolio de tareas, la capa del modelo no está acumulando representaciones entre tareas
  • La estructura del negocio también se parece más a una integración lineal de sistemas que a software escalable
• El punto de saturación por tarea (n_c) identifica el punto donde la curva de aprendizaje por tarea y entorno se aplana
  • Detener la recopilación en ese punto puede reducir gran parte del desperdicio del presupuesto de teleoperación manual
• La tasa de cambio de distribución (v_j) rastrea la velocidad de aparición de entradas OOD y la frecuencia de reentrenamiento
  • Como una distribución objetivo no estacionaria crea continuamente nuevos modos de falla, la telemetría continua de despliegue es la única condición operativa que puede sostener una ventaja de datos
• La cobertura de clústeres mide, en lugar del número bruto de episodios, la cantidad de clústeres ortogonales de tareas, objetos y entornos en embeddings de datos estándar
  • La expansión de clústeres con el tiempo se convierte en un indicador sustituto de la generalización entre dominios
• La densidad de novedad de datos estima la densidad de información del flujo entrante mediante heurísticas de aprendizaje activo, como el desacuerdo de ensambles o la varianza predictiva del estado registrado
  • Filtra los éxitos rutinarios de baja entropía y prioriza la cola de fallas de alta utilidad
• El límite inferior de error contingente (A_j(\phi)), que determina la factibilidad, no puede medirse directamente
  • Se puede ajustar (L(D)=E+BD^{-\beta}) para estimar el valor asintótico (E), pero el error de aproximación es grande y dificulta usarlo como métrica operativa directa

Ecosistema de robótica clasificado por estrategia de datos

• Los laboratorios model-first depuran y limpian a gran escala corpus de observación de distintas morfologías robóticas para preentrenar, y buscan obtener generalización acumulada a partir de esa cobertura
  • Los laboratorios de modelos del mundo apuestan por crear datos de intervención baratos con modelos aprendidos
  • Ni el preentrenamiento estático ni la simulación sintética replican con precisión la cola de fallas de casos límite contingentes del despliegue real
• Los integradores verticales realizan directamente la recopilación y depuración de datos sobre hardware propietario
  • Los datos alineados con el hardware son eficientes
  • Salvo en áreas de variabilidad intrínsecamente alta, como la conducción autónoma, caen en una trampa circular en la que, al limitarse a entornos de baja variabilidad por razones comerciales, terminan careciendo de novedad
• El neo-integrator tiene una base operativa poco profunda pero amplia en diversos entornos industriales, lo que lo coloca en una buena posición para asegurar diversidad de tareas
  • Un modelo de negocio que trate esto solo como superficie operativa facturable y no como un entorno de datos a depurar activamente es un error estratégico
• Las empresas de teleoperación venden horas de operación, por lo que tienen incentivos para maximizar el volumen bruto de datos más que la cobertura de muestras únicas
  • Siguen generando datos incluso después de superar el punto de saturación por tarea (n_c), y aunque proveen herramientas de infraestructura que generan ingresos locales, no crean una ventaja de escalamiento
• Los fabricantes de hardware tradicionales defienden mercados rentables de baja variabilidad orientados a la reproducción determinista de movimientos
  • Recopilan muy pocos datos para aprendizaje, por lo que no tienen una ruta para ascender por la curva de escalamiento
• En Physical AI, la capacidad más escasa es la identificación y captura de la novedad de datos, y el valor se acumula en los equipos operativos que detectan variantes OOD, independientemente de las fronteras organizacionales tradicionales entre investigación e ingeniería de hardware

Diferencias entre Physical AI y las aplicaciones de LLM

• Las aplicaciones de software como Cursor y Harvey toman prestados modelos fundacionales a nivel de tokens, pero capturan valor económico mediante la integración en flujos de trabajo y la distribución propietaria
• La captura de valor económico y la capacidad del modelo son variables separadas, y Physical AI difiere de las aplicaciones de software en tres ejes

• Dimensión de la tarea y velocidad de saturación

  • El desarrollo de software tiene una alta dimensión intrínseca, por lo que el feedback continuo del flujo de trabajo sigue aportando utilidad marginal
  • Las tareas físicas como el picking en almacenes estructurados tienen baja dimensión intrínseca, por lo que el flujo de datos por tarea se satura rápido y entra en una zona de rendimientos decrecientes

• Asimetría de la capa fundacional

  • Las aplicaciones de software operan aguas abajo de modelos fundacionales de propósito general y altamente subsidiados
  • En Physical AI no existe una capa fundacional de propósito general equivalente que pueda tomarse prestada, por lo que los despliegues robóticos actuales deben reducir artificialmente la variabilidad del entorno para poder operar
  • Las subdistribuciones especializadas recopiladas de esta forma no generan una generalización más amplia

• Costo de telemetría y márgenes

  • En software, todo el ciclo operativo —código fuente, modificaciones de usuarios, resultados de compilación, etc.— puede observarse por completo a bajo costo
  • La telemetría física tiene un costo de recopilación alto y, por la resolución de los sensores, siempre quedan partes intrínsecamente no observadas
  • Si los datos de observación fundamentales de Physical AI se mantienen como un activo competitivo y propietario, el apalancamiento se concentra en la capa de modelos aguas arriba
  • Los proveedores de infraestructura conservan poder de fijación de precios propietario, y los márgenes de las aplicaciones aguas abajo quedan presionados

Cómo asignar el presupuesto de datos

• Las horas operativas acumuladas deben excluirse como métrica básica del rendimiento del modelo, y la eficiencia de ingeniería y el escalamiento deben evaluarse con el costo marginal de integración por tarea, el umbral de saturación, la cobertura de clústeres de embeddings y la tasa de cambio de distribución
• Ni los datos de intervención staged ni los datos de despliegue estrechos pueden, por sí solos, escalar un modelo fundacional
  • El staging de alto volumen satura rápido la cobertura por tarea y genera rendimientos decrecientes
  • El despliegue comercial carece de novedad en nichos rentables y genera costos de NRE para el manejo de errores en cada entorno
• A la cobertura de observación se le deben asignar con prioridad datos de bajo costo y alta diversidad para reducir el límite inferior de error contingente y ampliar la frontera de las capacidades básicas
• El staging de intervención debe realizarse solo hasta el punto de saturación de la tarea (n_c), y el presupuesto restante debe reasignarse a diversidad de tareas, no a repetir la misma tarea
• En la telemetría de despliegue, hay que separar los casos límite OOD y los modos de falla, y descartar los éxitos rutinarios masivos que no aportan densidad de información
• Aunque los despliegues iniciales puedan generar algunas señales útiles, la operación continua antes del punto de equilibrio consume capital
• La eficiencia de capital de Physical AI no escala maximizando la cantidad de datos, sino según la capacidad de ponerle el precio correcto a la novedad de los datos