El robots.txt de Wikipedia
(en.wikipedia.org)Un robots.txt curioso con comentarios: bots que funcionan de forma extraña, bots que no respetan las reglas, bots de captura, bots de anuncios de Google y el problemático modo recursivo de wget, entre otros.
2 comentarios
La parte de "Doesn't follow robots.txt anyway, but..." está divertida jajaja
¡Realmente se puede considerar una buena práctica para
robots.txt!Gracias por la buena información.