- Se agregó una página dedicada de AI Insights a Cloudflare Radar, que permite ver en una sola pantalla el tráfico de bots y crawlers de IA, la popularidad de servicios de IA generativa basada en DNS, las directivas de robots.txt y las tendencias de uso de modelos en Workers AI
- El gráfico de tráfico de bots y crawlers de IA ofrece datos resumidos y series temporales de los principales UA con base en la lista de ai.robots.txt, y permite análisis detallado con Radar API y Data Explorer
- El ranking de servicios de IA generativa usando datos DNS de 1.1.1.1 muestra los cambios diarios en la tendencia; permite confirmar variaciones bruscas de servicios emergentes, como el rápido ascenso de DeepSeek a finales de enero de 2025 (apareció el 26/1 → puesto 3 el 29/1)
- El análisis de robots.txt agrega las directivas Allow/Disallow relacionadas con IA de los 10,000 dominios principales para visualizar tendencias de bloqueo por categoría, mostrando una amplia tendencia de no permitir en el sector de noticias y medios
- La popularidad de modelos/tareas en Workers AI ofrece tendencias de uso por modelo y tarea y comparaciones por período con base en datos compartidos, ayudando a entender la evolución de un ecosistema de modelos que cambia rápidamente
Resumen general
- Cloudflare creó una página de AI Insights en Radar para ofrecer de forma integrada tendencias de tráfico, popularidad de servicios, control de acceso y uso de modelos relacionados con IA
- Las fuentes de datos incluyen tráfico DNS de 1.1.1.1, la lista de user-agents de ai.robots.txt, datos compartidos de Workers AI y la integración con API/Data Explorer de Radar
Tendencias de tráfico de bots y crawlers de IA
- Se visualiza la actividad de los 5 principales bots/crawlers de IA por período para facilitar la comprensión de la intensidad de solicitudes y su periodicidad
- El criterio de recopilación de user-agents toma como referencia la lista de ai.robots.txt y se actualiza de forma continua
- Se admite acceso programático mediante endpoints de API de series temporales y resumen
- En Data Explorer se puede explorar la tendencia general del conjunto completo de bots de IA
- Los operadores pueden revisar tráfico anómalo según región, período y UA
- Puede usarse para análisis de correlación con políticas internas de respuesta
Popularidad de los servicios de IA generativa
- Con base en el volumen de solicitudes DNS de 1.1.1.1, se ofrece una clasificación relativa diaria de los servicios públicos de IA generativa
- En las revisiones anuales de 2023/2024 se registró que ChatGPT mantuvo el puesto 1
- A finales de enero de 2025 se observó una alta volatilidad en los puestos 6–10
- DeepSeek apareció por primera vez el 26 de enero y subió rápidamente hasta el puesto 3 el 29 de enero
- Se proporcionan datos de ranking de alta frecuencia útiles para detectar servicios emergentes de rápido crecimiento
- En Radar API se puede acceder a la serie temporal de datos originales con el parámetro
serviceCategory=Generative%20AI
Análisis de archivos robots.txt
- Se recopilan periódicamente los 10,000 dominios principales para agregar las directivas Allow/Disallow relacionadas con IA
- Los gráficos resumen por user-agent los casos de permitido/no permitido total y permitido/no permitido parcial
- La categoría de noticias y medios muestra una amplia tendencia de no permitir a los UA de IA
- Con base en las directivas Allow, el número de sitios con permiso explícito ha disminuido notablemente
- Si no se especifica el UA y no hay wildcard, debe tenerse en cuenta el comportamiento predeterminado de permiso total
- Radar API y Data Explorer permiten análisis filtrados por bot y por directiva
Popularidad de modelos y tareas en Workers AI
- Se visualizan, con base en datos compartidos, las tendencias de uso de los modelos y tareas (Task) compatibles públicamente en Workers AI
- La popularidad de modelos y la popularidad de tareas se ofrecen por separado en formato de serie temporal y resumen
- En Data Explorer, la función timeCompare permite analizar los aumentos y disminuciones frente al mes anterior
- Ejemplos de modelos: generación de texto, generación de imágenes, reconocimiento de voz, clasificación de imágenes y otras tareas variadas
- Cuando se lanza un nuevo modelo potente, su visibilidad temprana puede aprovecharse para una respuesta anticipada
Conclusión e implicaciones
- El ecosistema de IA muestra una volatilidad fuerte, con múltiples casos de servicios nuevos que crecen rápidamente en poco tiempo
- Junto con la expansión de los servicios generativos, los temas de scraping de contenido, derechos de autor y control de acceso siguen en una relación de tensión constante
- La página de AI Insights ofrece de forma integrada tráfico, popularidad, control de acceso y uso de modelos, por lo que resulta útil para que observadores del sector y profesionales identifiquen tendencias oportunas
- Los operadores pueden construir un sistema de monitoreo y reporting automatizado mediante Radar API y Data Explorer
- También pueden perfeccionar la respuesta ante bots de IA vinculando la estrategia de directivas en robots.txt con las políticas de CDN/seguridad
Aún no hay comentarios.