Cloudflare introduce una función de entrega con conversión a Markdown para agentes

• Con el aumento del tráfico centrado en rastreadores y agentes de IA, la estructura del contenido web está cambiando para que no solo las personas, sino también las máquinas lo consuman directamente
• Al convertir HTML a Markdown, el uso de tokens se reduce aproximadamente un 80%, mejorando los costos y la eficiencia de procesamiento
• Soporte a nivel de red para la conversión en tiempo real de HTML→Markdown basada en el encabezado Accept: text/markdown
• Los encabezados x-markdown-tokens y Content-Signal también proporcionan una estimación de la cantidad de tokens y la política de uso para IA
• La forma en que los bots de IA consumen contenido puede rastrearse en Radar, y está disponible gratis en beta para planes Pro o superiores

---

Contexto: la estructura del tráfico web cambia hacia un modelo centrado en agentes de IA

• La forma de descubrir contenido en línea está pasando rápidamente de un modelo centrado en motores de búsqueda tradicionales a una estructura centrada en rastreadores y agentes de IA
  • Antes, el SEO determinaba el tráfico, pero ahora los sistemas de IA que requieren datos estructurados están surgiendo como principales consumidores
• Las empresas deben considerar no solo a los visitantes humanos, sino también a los agentes como ciudadanos de primera clase (first-class citizen)
• La web existente está basada en HTML y diseñada para personas, por lo que contiene demasiados elementos innecesarios para que la IA los procese

Por qué Markdown

• HTML, por elementos como <div>, <script> y navegación sin relación con el significado semántico, tiene una estructura que desperdicia tokens
  • Ejemplo: ## About Us usa alrededor de 3 tokens, mientras que el mismo HTML <h2 class="section-title"...> consume entre 12 y 15 tokens
• Según esta publicación del blog, HTML pasa de 16,180 tokens a 3,150 tokens en Markdown, lo que representa una reducción de tokens de aproximadamente 80%
• Markdown proporciona una estructura explícita que mejora la eficiencia de procesamiento de IA y la calidad de los resultados
• Actualmente, la mayoría de los pipelines de IA incluyen una etapa de conversión de HTML a Markdown, pero esto implica
  • aumento en el costo computacional
  • mayor complejidad de procesamiento
  • posibilidad de alejarse de la intención del autor

Markdown for Agents: conversión automática a nivel de red

• La red de Cloudflare ofrece conversión en tiempo real de HTML→Markdown
  • Funciona con content negotiation en zonas habilitadas
• Cuando el cliente envía una solicitud con el encabezado Accept: text/markdown
  • obtiene el HTML original desde el origin
  • lo convierte a Markdown en la red y lo devuelve
• Ejemplo de respuesta
  • content-type: text/markdown
  • vary: accept
  • incluye el encabezado x-markdown-tokens: 725
• x-markdown-tokens proporciona una cantidad estimada de tokens del documento Markdown
  • útil para calcular la ventana de contexto
  • o decidir estrategias de chunking

Integración con Content Signals Policy

• Integrado con el marco de trabajo Content Signals framework
• Las respuestas en Markdown incluyen de forma predeterminada
  • el encabezado Content-Signal: ai-train=yes, search=yes, ai-input=yes
• Permite indicar si se autoriza el uso para entrenamiento de IA, búsqueda y entrada para agentes
• Más adelante se ofrecerán opciones de políticas personalizadas

Casos de uso: Cloudflare Blog y Developer Docs

• La función está habilitada en la documentación para desarrolladores y en el blog
• Una solicitud con curl -H "Accept: text/markdown" devuelve Markdown
• La parte superior de la respuesta incluye metadatos YAML
  • title
  • description
  • image y otra información estructurada

Cómo convertir documentos fuera de Cloudflare

• Workers AI AI.toMarkdown()
  • admite conversión y resumen de varios formatos de documento, incluido HTML
• Browser Rendering /markdown REST API
  • admite conversión a Markdown después de renderizar en un navegador real
  • puede manejar páginas dinámicas

Seguimiento del uso de Markdown: Cloudflare Radar

• Radar AI Insights añade la dimensión content_type
  • permite ver la distribución de tipos MIME del contenido devuelto a bots y rastreadores de IA
• Se pueden filtrar solicitudes de Markdown por agente específico
  • por ejemplo: OAI-Searchbot(GPTBot)
• Los datos están disponibles mediante la API pública y Data Explorer

Cómo empezar y alcance de disponibilidad

• Activar la función en Cloudflare Dashboard → seleccionar Zone → Quick Actions
• Disponible para clientes de planes Pro, Business, Enterprise y SSL for SaaS
• Actualmente está en beta y se ofrece sin costo
• Más detalles disponibles en Developer Docs