Quizá debas revisar tus electrodomésticos inteligentes

• De las aproximadamente 2.67 millones de IP únicas recolectadas por el honeypot de Anubis en Sourceware, 89.3% no aparecían en listas de amenazas existentes, lo que dificulta identificar la mayor parte de la actividad de scrapers usando solo listas de bloqueo conocidas
• Inserta HTML semánticamente inválido y un enlace “Don't click me” en la página de desafío para atraer a scrapers mal implementados hacia contenido sin sentido y enlaces adicionales
• De 2,678,193 IP únicas, 286,161 direcciones (10.7%) estaban registradas en bases de datos; de ellas, 98.6% caían en la categoría abuse, y el tráfico total abarca 229 países y 21,116 ASN
• Es posible que el tráfico provenga de electrodomésticos inteligentes infectados que participan en redes proxy, pero con los datos recolectados no se puede demostrar el tipo real de dispositivo ni si está infectado
• Para responder al scraping que no se limita a un país o red concreta, se necesita un firewall de aplicaciones web como Anubis, y una solución de fondo requiere una respuesta global coordinada al mismo tiempo

---

Scrapers que las listas de amenazas existentes no detectan

• Durante la construcción de Anubis reputation database, 80~90% de los accesos registrados por la función de honeypot provenían de IP que no estaban en listas existentes de monitoreo de amenazas
• Los datos recolectados por Sourceware en los últimos meses incluyen 2,678,193 IP únicas
  • No hubo direcciones excluidas por entradas no IP ni por duplicados
  • Las direcciones registradas en bases de datos fueron 286,161, equivalentes al 10.7% del total
  • Las direcciones no registradas fueron 2,392,032, equivalentes al 89.3% del total
• La tabla completa de entrada puede consultarse en Appendix A: Full tables for the reputation database input

Clasificación y proveedores de las IP registradas

• Entre las direcciones registradas en bases de datos, la categoría abuse representó 282,182 casos, o 98.6%
  • datacenter: 7,918 (2.8%)
  • proxy: 2,562 (0.9%)
  • vpn: 1,264 (0.4%)
  • crawler: 46
  • tor: 17
• Según banderas separadas, se contabilizaron is_datacenter 7,918, is_proxy 2,562, is_vpn 1,264 e is_crawler 46
• Hubo 126 proveedores, y netshield tuvo la mayor proporción con 237,945 direcciones (83.2%)
  • bitwire 96,539 (33.7%), magicteamc 26,475 (9.3%), ipinsights 17,378 (6.1%), threathive 8,422 (2.9%)
  • También se incluyen netmountains, multacom, fyvri, cbuijs, x4bnet, solispirit, dailyproxy, blackwall, hproxy, Scaleway, AWS, Alibaba Cloud y OVHcloud
  • Como a una misma IP se le puede asignar más de una categoría o proveedor, la suma de porcentajes supera 100%

Distribución entre países y redes

• El total de direcciones se observó en 229 países, por lo que no está limitado a una región específica
  • Los países con más direcciones fueron Brasil con 270,937, India con 185,091, Arabia Saudita con 120,372, México con 95,449 y Turquía con 87,258
  • Las tasas de registro en bases de datos fueron 29.9% en Bangladés, 27.6% en Ucrania, 21.9% en Irak, 21.3% en Venezuela y 20.0% en Pakistán
  • En Estados Unidos, 3,347 de 40,828 direcciones estaban registradas, lo que da 8.2%
• Si se compara con los 249 países incluidos en ISO 3166-1, de los cuales 193 son miembros de la ONU, la actividad de scraping está extendida por todo el mundo
• Las direcciones se distribuyen en 21,116 ASN
  • AS55836 Reliance Jio Infocomm Limited: 1,749 registradas de 57,029, o 3.1%
  • AS45899 VNPT Corp: 6,831 de 56,910, o 12.0%
  • AS14593 Space Exploration Technologies Corporation: 4,597 de 31,569, o 14.6%
  • AS9541 Cyber Internet Services: 3,696 de 21,386, o 17.3%
  • En la tabla se omiten los otros 18,069 ASN

Cómo el honeypot de Anubis atrapa a los scrapers

• Para medir el alcance del problema de los scrapers, Anubis inserta el siguiente HTML semánticamente inválido en todas las páginas de desafío

/init">Don't click me

• Es un enlace que debería ignorarse en un procesamiento normal, pero si se sigue, devuelve contenido barato de generar y sin información útil
  • El contenido devuelto incluye nuevamente dos enlaces hacia otras páginas
• Esta estructura está diseñada para desviar a scrapers mal hechos hacia el interior del honeypot, en vez de hacia el sitio web protegido, mientras permite medir la magnitud del problema

Posible infección de electrodomésticos inteligentes y límites de la respuesta

• Una parte considerable del tráfico observado podría provenir de electrodomésticos inteligentes infectados que aportan tráfico a redes proxy
• Sin embargo, esto sigue siendo una especulación, y los datos recolectados no prueban directamente el tipo real de dispositivo ni si está infectado para cada IP individual
• Para tener un efecto real sobre un problema distribuido entre países y ASN, se necesita una respuesta global coordinada al mismo tiempo
• Dado que la escala del scraping es lo bastante amplia, hace falta operar un firewall de aplicaciones web como Anubis
• Como los hechos y la situación pueden haber cambiado desde su publicación, conviene verificar cualquier punto ambiguo o erróneo antes de sacar conclusiones apresuradas

[GN⁺]

Opiniones en Lobste.rs

• script type=ignore es ingenioso. Tanto herramientas como elinks como Chrome headless usado por scrapers lo ignoran por completo, pero el contenido en sí puede enviarse a la base y agregarse a la cola de trabajo.
• No aborda la pregunta realmente interesante. Me da curiosidad cómo se realizaría la inspección y qué habría que hacer si se detecta comportamiento hostil.
  En particular, quisiera saber más sobre cómo detectar si un dispositivo infectado se comunica con un servidor de comando y control (C&C).
  • Ni siquiera sé cómo identificar todos los modelos posibles de smart TV, así que mucho menos sería fácil explicar cómo revisar malware en cada modelo. El único consejo que se puede dar es no instalar apps ilegales que prometen TV gratis.
  • Parece difícil sin cierto grado de ingeniería de redes. La forma más sólida sería analizar en el router el tráfico de cada dispositivo de origen en la LAN.
    Se podría usar como criterio el volumen total de tráfico o la cantidad de IP de destino distintas a las que se conectó.
• Me pregunto qué significa aquí la categoría abuse.
  • Mezcla varios significados y habría que separarlos, pero normalmente se refiere a destinos conocidos como origen de spam de correo electrónico o marcados en FireHOL. Basta con buscar abuse en este archivo: https://github.com/TecharoHQ/reputationdb/…