- Así como los tokens indican el uso de IA, se prevé que las tareas (tasks) —unidades de trabajo de datos que mejoran las capacidades de los modelos— formen un mercado a gran escala para medir la inversión en IA
- A medida que se saturan los datos de entrenamiento de internet y las capacidades simples y generales, los datos de alta calidad que enseñan el conocimiento tácito de expertos en entornos reales emergen como el cuello de botella para el avance de los modelos
- Las tareas proporcionan un estado inicial y un entorno de trabajo, y evalúan los resultados con señales de recompensa o verificadores, para enseñar a los modelos procedimientos de trabajo expertos difíciles de reproducir solo con internet público
- El gasto en datos de OpenAI y Anthropic está aumentando 10 veces cada año, y Mercor llegó a US$1.000 millones de ARR en febrero y alcanzó US$2.000 millones cuatro meses después
- En derecho, medicina, finanzas, software y ciencia se necesitarán conjuntos de datos, sistemas de evaluación y entornos de aprendizaje por refuerzo separados, por lo que se espera que se intensifique la competencia por infraestructura de datos entre laboratorios de IA, empresas de aplicaciones y empresas tradicionales
La economía de tokens que mide el crecimiento de la IA
- Los tokens de inferencia se consolidaron como un indicador representativo para seguir el crecimiento del ecosistema de IA
- Las empresas públicas divulgan sus tokens procesados mensualmente para mostrar el crecimiento de la IA
- Los analistas comparan el uso de tokens por modelo, como en el ranking de OpenRouter
- Los ejecutivos miden la inversión y el nivel de adopción de IA mediante el uso de tokens a lo largo del tiempo
- Los tokens abstraen procesos complejos de inferencia en una sola unidad de medida y funcionan como un lenguaje común para entender la expansión de la IA incluso sin contexto técnico
- El aumento de usuarios de IA, el paso de modelos sin razonamiento a modelos con razonamiento y la transición de consultas a agentes se traducen en crecimiento de tokens
- Los agentes en segundo plano y los agentes de tareas de larga duración también incrementan el uso de tokens
- A medida que se superponen la ampliación de la adopción y la intensidad de tokens por modelo, el uso total crece rápidamente, y la inversión y la entrada de empresas se concentran en el mercado de inferencia
- La alta visibilidad del mercado de inferencia también tiene el efecto de ocultar otras corrientes que podrían crecer a una escala similar, pero son más difíciles de entender
El surgimiento de la economía de las tareas
- Durante los últimos 3 años, los LLM evolucionaron desde preguntas y respuestas básicas, pasando por razonamiento complejo, hasta agentes que realizan trabajo real durante largos períodos
- Las primeras mejoras de los modelos dependían de datos de internet y de más recursos de cómputo, pero con los siguientes dos cambios, los datos adicionales de alta calidad se volvieron el cuello de botella
- Se agotaron los nuevos datos que pueden aprenderse de internet
- Las capacidades simples y generales se están saturando gradualmente
- La economía de las tareas se refiere al mercado que crea y suministra los datos necesarios para seguir mejorando los modelos
La tarea como unidad de mejora de modelos
- En aprendizaje por refuerzo, una tarea es la unidad con la que practica un modelo
- Proporciona al modelo un estado inicial y un entorno en el que actuar
- Califica las acciones del modelo con una señal de recompensa o un verificador
- Integra las puntuaciones de varias tareas como señal de aprendizaje y ajusta el modelo hacia las acciones con mayor puntuación
- En sentido estricto, se refiere a la base del entrenamiento posterior mediante aprendizaje por refuerzo, pero aquí se usa como una unidad que abarca en general la mejora de modelos basada en datos
- A medida que la industria sigue creando nuevos formatos de datos para mejorar modelos, el alcance de las tareas también se está ampliando
- El etiquetado de datos tradicional evoca cajas delimitadoras o evaluaciones de me gusta/no me gusta de respuestas de LLM, pero el mercado actual evolucionó hacia trabajos más complejos y valiosos
Cómo funciona en el trabajo legal
- Una IA entrenada con internet público puede entender conceptos básicos del derecho y jurisprudencia pública, pero en internet no hay suficientes datos necesarios para reproducir el trabajo real de un abogado competente
- Para entrenar trabajo legal de alta calidad, hay que combinar los siguientes elementos
- Prompts como revisar contratos o redactar argumentos
- Un entorno realmente relevante, como una sala de datos legal
- Verificación de resultados según criterios como la tabla de evaluación de agentes de abogados corporativos
- Estas tareas enseñan al modelo no solo qué debe hacer, sino también cómo debe hacerlo, y mientras más tareas de alta calidad existan, más mejoran las capacidades del modelo
Estructura de crecimiento común de tokens y tareas
- Si los tokens son la unidad básica de la inferencia y el uso de modelos, las tareas pueden verse como la unidad básica de mejora de modelos
- La demanda de tareas aumenta por la combinación de una mayor adopción de IA y crecientes necesidades de datos de los modelos de frontera
- Se pasa de etiquetas simples de preferencia a trabajos basados en rúbricas realizados por expertos calificados
- Surgen agentes especializados por área con nivel experto
- Los agentes realizan tareas con horizontes temporales más largos
- Las empresas adoptan sistemas de evaluación a gran escala
- Estos factores se superponen, igual que en el mercado de tokens de inferencia, e impulsan el rápido crecimiento de la economía de las tareas
Gasto en datos y señales de crecimiento del mercado
- OpenAI y Anthropic están aumentando su gasto en datos 10 veces por año al movilizar expertos para crear datos y materiales de entrenamiento para agentes
- Algunas grandes empresas de aplicaciones de IA y empresas tradicionales consideran que los datos son una ventaja competitiva y están elevando en poco tiempo su gasto relacionado con tareas individuales a más de US$100 millones
- La premisa es que una IA aplicada con una estrategia de datos diferenciada puede producir mejores resultados que los modelos genéricos listos para usar
- La plataforma de economía de tareas Mercor alcanzó US$1.000 millones de ARR en febrero y registró US$2.000 millones de ARR cuatro meses después
- Los agentes que reproducen trabajos de áreas avanzadas todavía están en una etapa inicial, y la expansión del gasto empresarial en datos apenas está comenzando
- Bajo la premisa de que el 99% del conocimiento humano que la IA deberá manejar en el futuro está en la cabeza de las personas, se espera que se amplíe el rango de participantes y compradores a medida que laboratorios de IA, empresas de aplicaciones y empresas tradicionales transfieran conocimiento tácito a modelos y agentes
Por qué el mercado de tareas no se ve bien
- La primera razón por la que las tareas se discuten menos que los tokens en línea es que el gasto se ha concentrado en laboratorios de IA de frontera, caracterizados por un fuerte secretismo
- Los laboratorios casi no divulgan sus estrategias de mejora de modelos ni su gasto en datos y tareas
- La situación está cambiando a medida que empresas de aplicaciones de IA y empresas tradicionales participan en la economía de tareas para diferenciarse de los modelos listos para usar
- Es más probable que estas empresas promocionen sus propias actividades de datos, lo que puede aumentar la visibilidad del mercado de tareas
- La segunda razón es que no existía una unidad común que abstrajera el valor de forma simple, como los tokens en el mercado de inferencia
- Si se usan las tareas como unidad estándar de valor, incluso personas sin conocimientos técnicos pueden entender cuánto invierte la industria en mejorar las capacidades de la IA
- Hoy no existe un servicio tipo “OpenRouter para tareas” que muestre en tiempo real la escala y el crecimiento de las tareas
- Los datos trimestrales de horas de trabajo experto de Mercor se usan como indicador indirecto del crecimiento del mercado
Construcción de datos para toda la actividad económica
- Para automatizar con agentes todo el trabajo que se realiza en una laptop, hay que cubrir las aplicaciones, entornos y distribuciones de tareas de toda la economía
- Para ello se necesita construcción de datos a gran escala en profesiones, disciplinas académicas y casos de uso de consumidores
- Derecho, medicina, finanzas, software y ciencia requieren cada uno conjuntos de datos creados por expertos
- También deben prepararse por separado sistemas de evaluación y entornos de aprendizaje por refuerzo para cada área
- Los laboratorios de IA, las empresas de aplicaciones y las empresas tradicionales competirán ampliando la infraestructura de datos en todo tipo de trabajos económicamente útiles
- Las organizaciones que logren construir infraestructura de datos podrán seguir mejorando capacidades de frontera y asegurar participación de mercado
- Cuando la economía de las tareas se difunda y gane visibilidad, se espera que la industria de IA también siga el volumen de tareas, junto con los tokens, como un indicador clave de crecimiento
Mejoras algorítmicas y alcance de la discusión
- Las capacidades generales de IA pueden mejorar no solo con datos, sino también mediante mejoras algorítmicas de los modelos
- Excluir las mejoras algorítmicas no busca negar posibilidades futuras, sino delimitar el alcance para concentrar la discusión en los datos y la economía de las tareas
Aún no hay comentarios.