Informe AI Index 2025

• El impacto social de la IA es hoy más claro que nunca, y su alcance es verdaderamente histórico
• Stanford HAI considera que la IA será la tecnología transformadora más importante del siglo XXI
• Sin embargo, enfatiza que para que los beneficios del avance de la IA lleguen de manera equitativa a todos, se necesita un desarrollo con una dirección clara
• AI Index analiza de forma objetiva el progreso técnico, el impacto económico y el impacto social de la IA, y ofrece perspectivas clave para responsables de políticas públicas y líderes empresariales

1. El rendimiento de la IA sigue mejorando en benchmarks de alta dificultad

• En 2023, los investigadores introdujeron nuevos benchmarks para poner a prueba los límites de los sistemas de IA más recientes:
  • MMMU, GPQA, SWE-bench
• En solo un año, el rendimiento mejoró de forma drástica:
  • MMMU: +18.8%p
  • GPQA: +48.9%p
  • SWE-bench: +67.3%p
• Más allá de los benchmarks, la IA también mostró avances notables en generación de video de alta calidad
• En algunos entornos, agentes basados en modelos de lenguaje incluso lograron mejores resultados de programación que humanos dentro de un tiempo limitado

2. La IA se está expandiendo rápidamente a la vida cotidiana

• Desde la salud hasta el transporte, la IA está dejando el laboratorio para integrarse de lleno en la vida diaria
• En 2023, la FDA de Estados Unidos aprobó 223 dispositivos médicos basados en IA (en 2015 eran apenas 6)
• Los vehículos autónomos ya no están en fase experimental, sino entrando en la etapa comercial
  • Waymo: ofrece más de 150 mil viajes autónomos por semana
  • Baidu: opera servicios comerciales en varias ciudades de China mediante Apollo Go robotaxi

3. Las empresas están invirtiendo y usando IA de forma intensiva

• En 2024, la inversión privada en IA en Estados Unidos alcanzó los 109.1 mil millones de dólares, el nivel más alto del mundo
  • Casi 12 veces la de China (9.3 mil millones de dólares) y unas 24 veces la del Reino Unido (4.5 mil millones de dólares)
• Solo en IA generativa se invirtieron 33.9 mil millones de dólares → 18.7% más que en 2023
• La proporción de empresas que usan IA también aumentó rápidamente:
  • 55% en 2023 → en 2024 78% reportó haber adoptado IA
• Según los estudios, la IA en general contribuye a mejorar la productividad y además
  • ayuda positivamente a reducir brechas de habilidades entre puestos de trabajo

4. Estados Unidos sigue liderando en la producción de modelos de IA clave, pero China está cerrando rápido la brecha de rendimiento

• En 2024, Estados Unidos publicó 40 modelos de IA importantes, superando ampliamente a China (15) y Europa (3)
• Aunque Estados Unidos va delante en cantidad, la brecha de calidad de los modelos chinos se está reduciendo rápidamente
  • En benchmarks representativos (MMLU, HumanEval), la diferencia pasó de dos dígitos en 2023 a niveles casi equivalentes en 2024
• China sigue siendo líder mundial en número de artículos y patentes de IA
• El desarrollo de modelos de IA se está diversificando cada vez más hacia Medio Oriente, América Latina, el Sudeste Asiático y otras regiones

5. El ecosistema de IA responsable (RAI) está evolucionando, pero de forma desigual

• Los incidentes y problemas relacionados con la IA están aumentando con rapidez, pero los grandes desarrolladores de modelos industriales aún rara vez adoptan evaluaciones estándar de RAI
• Están surgiendo nuevos benchmarks de evaluación de seguridad:
  • HELM Safety, AIR-Bench, FACTS → herramientas prometedoras para evaluar precisión y seguridad
• Las empresas tienen alta conciencia de los riesgos de RAI, pero siguen siendo insuficientes en acciones concretas
• En cambio, los gobiernos están acelerando su respuesta en gobernanza de IA
  • La OCDE, la UE, la ONU, la Unión Africana y otros actores han publicado marcos de política centrados en la transparencia y la confiabilidad

6. El optimismo global sobre la IA va en aumento, pero existen grandes diferencias regionales

• Proporción de personas que consideran beneficiosa a la IA:
  • China (83%), Indonesia (80%), Tailandia (77%) muestran evaluaciones mayormente positivas
  • Canadá (40%), Estados Unidos (39%), Países Bajos (36%) registran cifras bajas
• Sin embargo, el optimismo está creciendo:
  • Aumento de la percepción optimista frente a 2022: Alemania (+10%), Francia (+10%), Canadá (+8%), Reino Unido (+8%), Estados Unidos (+4%)

7. La IA avanza hacia ser más eficiente, más barata y más accesible

• Gracias a la mejora en el rendimiento de los modelos pequeños, el costo de inferencia de modelos a nivel GPT-3.5 se redujo 280 veces entre noviembre de 2022 y octubre de 2024
• En hardware:
  • los costos anuales bajaron 30%
  • la eficiencia energética mejoró 40%
• Los modelos de pesos abiertos también están mejorando de forma acelerada
  • En algunos benchmarks, la brecha frente a modelos cerrados se redujo de 8% a 1.7%
• Todos estos factores están bajando rápidamente las barreras de entrada a tecnologías avanzadas de IA

8. Los gobiernos de distintos países están entrando de lleno en regulación e inversión en IA

• En 2024, las agencias federales de Estados Unidos emitieron 59 regulaciones relacionadas con IA
  • Más del doble que en 2023, y el número de agencias involucradas también se duplicó
• Las menciones legislativas relacionadas con IA aumentaron 21.3% en 75 países
  • Un incremento de 9 veces frente a 2016
• Casos destacados de inversión pública:
  • Canadá: $2.4 mil millones, China: fondo de semiconductores de $47.5 mil millones
  • Francia: €109 mil millones, India: $1.25 mil millones
  • Arabia Saudita: inversión de $100 mil millones mediante Project Transcendence

9. La educación en IA y ciencias de la computación se está expandiendo, pero persisten problemas de acceso y preparación

• Dos tercios de los países del mundo ya imparten o planean impartir educación en ciencias de la computación en K–12
  • El doble que en 2019
  • África y América Latina muestran los avances más rápidos
• En Estados Unidos, el número de personas con licenciatura en áreas relacionadas con computación aumentó 22% en la última década
• Sin embargo, la falta de infraestructura básica (como electricidad) sigue dificultando el acceso en algunas regiones de África
• Entre docentes de ciencias de la computación K–12 en Estados Unidos, 81% cree que la IA es un componente educativo esencial, pero
  • menos de la mitad respondió estar realmente preparada para enseñarla

10. La industria lidera el desarrollo de IA, pero la competencia se intensifica

• En 2024, alrededor del 90% de los principales modelos de IA fueron desarrollados por la industria (en 2023 era 60%)
• En cambio, la investigación en IA más citada sigue saliendo de la academia
• La escala de los modelos sigue creciendo:
  • el cómputo de entrenamiento se duplica cada 5 meses
  • los datasets se duplican cada 8 meses
  • el consumo eléctrico se duplica cada año
• Pero la brecha de rendimiento tiende a reducirse:
  • diferencia de puntaje entre el modelo número 1 y el número 10: 11.9% → 5.4%
  • diferencia entre el modelo número 1 y el número 2: solo 0.7%
• Esto refleja un entorno de desarrollo de IA cada vez más competitivo y complejo

11. La IA está recibiendo el mayor reconocimiento en el ámbito científico

• La IA ha sido reconocida recientemente como tecnología central en investigaciones ganadoras del Premio Nobel
  • Hubo premios por tecnología de deep learning (en física) y por aplicaciones de predicción de estructura de proteínas (en química)
• Además, también se otorgó el Premio Turing por contribuciones revolucionarias en aprendizaje por refuerzo
• Esto sugiere que el impacto científico de la IA está empezando a ser reconocido formalmente en campos académicos clave

12. El razonamiento complejo sigue siendo un gran reto para la IA

• La IA muestra resultados sobresalientes en resolución de problemas al nivel de la Olimpiada Internacional de Matemáticas
• Sin embargo, todavía enfrenta dificultades en benchmarks de razonamiento complejo como PlanBench
• Aunque exista una respuesta correcta clara, en muchos casos aún no logra resolver de manera consistente problemas lógicos
• Por eso, la efectividad práctica de la IA sigue teniendo límites en áreas de alto riesgo donde la precisión es crucial

[GN⁺]

Opiniones en Hacker News

• Los datos de este informe se ofrecieron como archivos CSV en Google Drive, lo que permitió convertirlos a una base de datos SQLite y explorarlos con Datasette Lite
  • La tabla más interesante muestra ejemplos de sesgos en distintos modelos
• Se publicó una refutación sobre el punto 11 (AlphaFold3 vs Vina, Gnina, etc.) en Substack
  • Gnina reevalúa los resultados de Vina con una red neuronal, así que se aplica la misma preocupación
  • Soy optimista respecto a la IA, pero esta comparación estuvo mal planteada
  • Se necesita un método que pueda generalizarse a nuevos candidatos a fármacos, pero se evaluó con un conjunto de datos repetitivo
• A menudo veo informes que dicen que la IA supera a los humanos, pero no me ha ayudado a resolver problemas cotidianos
  • Le di a Claude cientos de líneas de código y la ubicación del problema, pero no pudo resolverlo
  • Los LLM tienden a obsesionarse con una salida específica
  • Como en la búsqueda de Google, aunque intentes una búsqueda más específica, devuelve los mismos resultados
• Sorprende que no haya un capítulo sobre el impacto ambiental
  • En Europa, especialmente en Francia, es uno de los principales argumentos para criticar el uso de la IA
  • Esto incluye el robo de arte, la destrucción de empleos, la facilidad para generar desinformación y las condiciones laborales de quienes entrenan IA en países de bajos ingresos
  • Personalmente no estoy en contra de la IA; solo enumeré puntos que veo con frecuencia en mi feed
• Cada capítulo está disponible como PDF individual y el informe completo tiene 456 páginas
• "El rendimiento de la IA en benchmarks difíciles sigue mejorando"
  • Da la impresión de que cada vez más modelos de IA se están ajustando para rendir bien en estos benchmarks de referencia
• Hay una pregunta sobre por qué el sitio web dificulta abrir imágenes en una nueva pestaña
  • Si copias la URL, te lleva a una imagen con ruido, pero puedes descargar la imagen original desde AWS S3
  • Me pregunto si es para intimidar a los usuarios no técnicos
• Los informes anteriores sobre IA de Stanford eran sustanciales y críticos
  • El informe actual parece más bien una recopilación de varios comunicados de prensa pequeños
  • La IA pasó de la universidad a la empresa, y de los artículos de investigación a los comunicados de prensa
  • Los comunicados de prensa de OpenAI sobre GPT solo enumeraban estadísticas sin información útil
• Estoy convencido de que el nivel de vida mejorará
  • Será posible trabajar de forma más efectiva en el mismo tiempo, lo que aumentará la productividad y abaratará los costos
  • No estoy seguro de cómo se reflejará este efecto en el mercado bursátil
• Estados Unidos sigue produciendo los mejores modelos de IA, pero China está cerrando la brecha de rendimiento
  • La mayoría de los investigadores se enfocan en crear cosas geniales con gente inteligente, no en los países
  • No quiero una guerra con la única superpotencia manufacturera del mundo
  • Ojalá que, si Estados Unidos se toma en serio la competencia en IA con China, lo haga en I+D, pero preferiría que no ocurriera