agents.txt — propuesta de un estándar de mapa del sitio documental para agentes de IA

La forma actual en que un agente de IA general, sin ajuste fino, encuentra contenido en documentación web es abrir las páginas una por una, como lo haría una persona.
Como cada página HTML viene con barra lateral, encabezado y pie de página, hay mucho más ruido que contenido realmente necesario,
y explorar un sitio de documentación de 651 páginas puede consumir millones de tokens.

robots.txt le dice a los crawlers “no entres aquí”,
y sitemap.xml le entrega a los motores de búsqueda una lista de URLs,
pero ninguno de los dos ayuda mucho a que un agente de IA encuentre rápidamente la página que quiere.
llms.txt también es una descripción en formato libre, así que no encaja bien para navegación estructurada.

agents.txt es un archivo de índice estructurado que un sitio de documentación publica en la ruta /.well-known/agents.txt.
Con solo leer este archivo, un agente de IA puede, en un sitio de 651 páginas, obtener respuestas directas con unos 3,200 tokens
a preguntas como “dónde está la página sobre prompt caching” o “qué es el quickstart del SDK de Python”,
sin tener que hacer crawling de las páginas.

En este proyecto de propuesta, la navegación para la documentación oficial de claude-code y gpt-codex soporta cuatro formatos: TXT, MD, JSON y XML.
También incluye 12 anotaciones de tipos de página y una función de compresión de patrones de SDK.
Es una idea similar a cómo Vercel redujo en 93% el uso de tokens con agent-browser, pero abordada a nivel de estándar web y no de aplicación individual.

Como parecía que la mejor forma de mostrarlo era con un agente, dejé un agente llamado NAVIGATOR.md en la raíz del proyecto.
La implementación de referencia se puede revisar en https://agentnav.baekenough.com.

Agradeceré mucho sus comentarios.