Si hay un problema, bloquéenlo a nivel de IP

• Durante un análisis reciente del tráfico web, se descubrió que un web bot llamado Thinkbot era el que más tráfico generaba
• Ese bot ignora robots.txt, y su texto de presentación también es muy poco serio: básicamente dice “si hay un problema, bloqueen la IP”
• Durante un mes usó 74 IP distintas, distribuidas en 41 bloques de red
• La investigación mostró que todos esos bloques de red eran propiedad de Tencent, lo que despertó sospechas sobre si esto está relacionado con una posible transferencia de costos del Great Firewall
• Al final, se agregó una enorme regla de bloqueo que cubre más de 470 mil IP

---

La aparición de Thinkbot

• Mientras analizaba el tráfico web, se detectó que un web bot llamado Thinkbot ocupaba una de las posiciones más altas
• La cadena de User-Agent era igual de descuidada
  > “Mozilla/5.0 (compatible; Thinkbot/0.5.8; +In­_the­_test­_phase,­_if­_the­_Thinkbot­_brings­_you­_trouble,­_please­_block­_its_IP_address._Thank_you.)”.
  • Aparte de la frase “si causa problemas durante la fase de prueba, por favor bloqueen su IP”, ni siquiera incluye una URL de referencia
• Tampoco respeta en absoluto el archivo robots.txt y siguió haciendo crawling
• Incluso intentando bloquearlo como operador del sitio web, no usaba una sola IP sino 74 direcciones IP
• Al rastrearlas y consultar sus ASN, se vio que provenían de 41 bloques de red
• Esto significa que no es posible defenderse con un simple bloqueo de una sola IP

Relación con Tencent

• Esos 41 bloques de red eran todos propiedad de Tencent
• El autor sospecha que el gobierno chino podría estar tolerándolo o incluso fomentándolo, y que puede interpretarse como un intento de trasladar al mundo exterior el costo del Great Firewall
• Dentro de China, la recolección de contenido está permitida, y aunque se bloquee desde fuera, para el CCP eso no representa un problema; en cambio, sí impone una carga a otros países y sitios que intentan bloquearlo

Medidas de bloqueo en el firewall

• El autor añadió directamente los bloques de red de Tencent a las reglas de firewall de badbots
• Ejemplos: 43.130.0.0/18, 101.32.0.0/20, 150.109.96.0/19
• En total se añadieron más de 40 bloques de red, y aunque esto no cubre todas las IP propiedad de Tencent, sí incluye más de 476,590 IP únicas

Conclusión y metáfora

• El autor describe esta situación como la realidad de que en internet “ya no se puede tener nada bueno”
• Más allá del simple bloqueo de tráfico de bots, este caso muestra la erosión de la confianza en todo el ecosistema de internet y la respuesta defensiva inevitable