Parser de Robots.txt para NodeJS

• Desarrollado con el objetivo de ser compatible con el borrador del Robots Exclusion Protocol de la IETF

• Reglas compatibles

→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host

→ Path: coincidencia de comodines (*) y EOL ($)

[xguru]

• El robots.txt de Wikipedia https://es.news.hada.io/topic?id=90