Anthropic Economic Index: el impacto de Claude 3.7 Sonnet

• Anthropic publicó su segundo informe de investigación sobre el impacto económico de la IA tras el lanzamiento de Claude 3.7 Sonnet
• El informe analiza datos de uso de Claude.ai después del lanzamiento de Claude 3.7 Sonnet, su modelo nuevo y más potente
• El conjunto de datos se publicó para que pueda descargarse libremente

Hallazgos principales

• Tras el lanzamiento de Claude 3.7 Sonnet, aumentó la proporción de uso en aplicaciones de programación, educación, ciencia y salud
• El nuevo modo de "pensamiento extendido (extended thinking)" de Claude 3.7 Sonnet se usa principalmente para tareas técnicas
  • Se aprovecha sobre todo en tareas relacionadas con investigadores en ciencias de la computación, desarrolladores de software, animadores multimedia y diseñadores de videojuegos
• Se publicaron datos de análisis de asistencia/automatización a nivel de tareas y ocupaciones
  • Las tareas relacionadas con redactores publicitarios y editores muestran el nivel más alto de iteración del trabajo (humanos y modelo escriben juntos)
  • Las tareas relacionadas con traductores e intérpretes muestran el nivel más alto de comportamiento directivo (el modelo completa la tarea con mínima participación humana)
• Se presentó por primera vez una taxonomía ascendente del uso en Claude.ai
  • Se ofrece un nuevo conjunto de datos que incluye 630 categorías detalladas
  • Se espera que esta clasificación ayude a identificar casos de uso que los enfoques descendentes existentes podrían pasar por alto

Cambios tras el lanzamiento de Claude 3.7 Sonnet

• Se analizaron 1 millón de conversaciones anonimizadas de Claude.ai Free y Pro durante los 11 días posteriores al lanzamiento
• La proporción de uso en programación, educación y ciencia aumentó ligeramente
• Se estima que el aumento en el uso para programación se debe a la mejora en las puntuaciones de benchmark de programación de Claude 3.7 Sonnet
• El aumento en otras categorías podría reflejar la expansión de la IA en toda la economía, nuevas aplicaciones de la programación en esos dominios, o mejoras inesperadas en las capacidades del modelo

Patrones de uso del modo de pensamiento extendido (extended thinking)

• El modo de pensamiento extendido se usa principalmente en situaciones de resolución de problemas técnicos y creativos
• Las tareas relacionadas con científicos de investigación en computación e información son las más frecuentes, con casi 10%
• También muestra una tasa de uso considerable en tareas relacionadas con desarrolladores de software (aprox. 8%), artistas multimedia (aprox. 7%) y diseñadores de videojuegos (aprox. 6%)
• Para impulsar más investigación sobre esta nueva función del modelo, se publicó un conjunto de datos que mapea la proporción del modo de pensamiento asociada a cada tarea

Cambios en la proporción entre asistencia y automatización

• El equilibrio entre uso asistido y uso automatizado se mantiene básicamente igual en los nuevos datos, con la asistencia representando 57%
• Se observaron algunos cambios en los tipos de automatización y asistencia
  • Las interacciones de aprendizaje en las que los usuarios solicitan información o explicaciones sobre diversos temas aumentaron de ~23% a ~28%
• Las tareas de servicios sociales muestran una tasa de uso asistido cercana a 75%
• Las tareas relacionadas con producción o con ocupaciones de computación y matemáticas muestran una proporción asistencia/automatización cercana al 50-50%
• No hay ninguna categoría ocupacional dominada por la automatización

Taxonomía ascendente

• Se publicó un conjunto de datos ascendente sobre el uso de Claude.ai
• Fue generado con Clio y usa el mismo conjunto de conversaciones anonimizadas
• Consta de 630 clústeres detallados, con descripciones relacionadas, métricas de adopción y análisis de automatización/asistencia
• Está compuesto por 3 niveles jerárquicos
• Ejemplos de clústeres particularmente interesantes:
  • Apoyo a sistemas de gestión de recursos hídricos y proyectos de infraestructura
  • Creación de simulaciones basadas en física con funciones de visualización interactiva
  • Apoyo para selección, implementación y resolución de problemas de tipografías
  • Apoyo para crear y mejorar materiales de postulación laboral
  • Orientación sobre tecnología de baterías y sistemas de carga

Conclusión y planes futuros

• A medida que los modelos evolucionan, también debe evolucionar la medición de su impacto económico
• Los datos posteriores al lanzamiento de Claude 3.7 Sonnet muestran aumentos relativamente modestos en casos de uso de programación, educación y ciencia, sin cambios en el equilibrio entre asistencia y automatización
• El modo de pensamiento extendido se usa con mayor frecuencia en dominios y tareas técnicas
• Se identificaron patrones en automatización/asistencia a través de tareas y ocupaciones
• En los próximos meses, se seguirá dando seguimiento a estos indicadores y se desarrollarán nuevos a medida que mejoren las capacidades y los modelos sigan aplicándose en toda la economía

[esc5221]

Anthropic Economic Index (índice económico)