Los ataques de scrapers de IA están volviendo difícil mantener la web abierta

• Los ataques de web scraping para recolectar datos de entrenamiento de modelos de lenguaje a gran escala y proyectos relacionados llevan más de un año en aumento, elevando la carga de tráfico hasta el punto de dificultar que los sitios independientes mantengan su apertura
• Los atacantes usan proxies residenciales formados por millones de dispositivos comunes y móviles, haciendo solo unas pocas solicitudes por IP y disfrazando el user-agent para inutilizar los bloqueos tradicionales por IP
• Redes de malware, dispositivos vulnerables de streaming multimedia, VPN gratuitas y SDK de apps conforman estas redes de proxies, y ya hubo un antecedente en el que el volumen del ataque bajó temporalmente tras el desmantelamiento de IPIDEA y NetNut por parte de Google, antes de volver a subir
• Los sitios responden con prueba de trabajo de Anubis, CAPTCHA, barreras de login o de pago, y herramientas de contaminación de datos, pero LWN se enfoca en optimizar el sitio y contener costos durante el ataque sin interferir con lectores reales, motores de búsqueda e Internet Archive
• Mientras el costo de defenderse de scrapers y verificar usuarios se traslada al conjunto de la web, si no aparece una solución sostenible, los sitios independientes podrían terminar detrás de muros de defensa y dañar el internet abierto

---

Ataques de scrapers en constante crecimiento

• El problema de recolectar datos de entrenamiento para modelos de lenguaje a gran escala y proyectos relacionados, tratado a inicios de 2025, sigue empeorando más de un año después
• Las solicitudes que actores no identificados envían a los sitios web han crecido hasta niveles sin precedentes, y el exceso de tráfico hace cada vez más difícil mantener la web abierta

Proxies residenciales que movilizan millones de IP

• Los ataques envían solicitudes coordinadas durante horas desde millones de direcciones IP únicas, y cada dirección accede al sitio no más de dos o tres veces
• La información controlada por los atacantes, como el user-agent, es ficticia, y cada solicitud se disfraza como si fuera el acceso de una persona común usando un navegador web
• Los bots normalmente no descargan imágenes ni CSS, lo que da pistas para distinguirlos de personas, pero cuando termina la identificación esa dirección ya no vuelve a usarse, así que el bloqueo posterior por IP no sirve
• El tráfico proviene principalmente de redes domésticas y móviles dirigidas por un nodo central de comando y control
  • El software instalado en dispositivos comunes recibe órdenes del nodo de control, obtiene páginas web y reenvía los datos
  • Una parte importante opera sin que el dueño del dispositivo lo sepa o lo haya autorizado, y a los sistemas usados de esta manera se les llama proxies residenciales

Redes de proxies criminales y dispositivos infectados

• Un tipo de operador es el operador criminal que ejecuta scrapers en sistemas tomados mediante malware
• A inicios de año, Google actuó para el desmantelamiento de la red de bots IPIDEA y publicó información sobre su funcionamiento
  • El momento en que IPIDEA fue interrumpida coincide con una fuerte caída del tráfico scraper en LWN
  • Hubo unos meses relativamente tranquilos, pero luego los ataques volvieron a aumentar
• Más recientemente, se identificó a los dispositivos de streaming multimedia como un medio principal de distribución de software malicioso de scraping
  • Algunos dispositivos llegan infectados desde la etapa de suministro
  • Otros se venden con seguridad deficiente y son fáciles de comprometer después

Redes comerciales de proxies usando VPN gratis y SDK de apps

• Otro tipo actúa como una empresa hasta cierto punto legítima y vende direcciones IP “obtenidas éticamente”
• Bright Data es una empresa representativa que publicita su capacidad para evadir controles de acceso y límites de tráfico de sitios web
  • Quienes usan su VPN “gratuita” deben permitir que Bright Data enrute tráfico a través de su dispositivo
  • Los teléfonos y otros equipos que usan esa VPN se convierten en endpoints de la red de proxies residenciales de Bright Data y se usan para atacar sitios web
• Empresas similares ofrecen bibliotecas que los desarrolladores pueden integrar a sus productos, e incluso les pagan a cambio de ceder la conexión de red de sus usuarios
  • Una empresa preguntó a LWN si podía publicar un anuncio de su SDK, pero la conversación terminó pronto
  • Hay de todo, desde quienes intentan dar una apariencia legal hablando de “cumplimiento de GDPR” hasta quienes son abiertamente poco éticos
• Como estos operadores de proxies pueden ejecutar código con acceso a los recursos de redes conectadas a millones de dispositivos, no se puede asumir que ese privilegio se use solo para web scraping

Empresas de modelos y usuarios de redes de proxies

• Incluso empresas conocidas cuyo negocio principal es desarrollar modelos también hacen scraping web por cuenta propia
  • El tráfico que puede atribuirse fácilmente a esas empresas se identifica claramente en el user-agent
  • En general siguen mecanismos de control como robots.txt
  • Recolectan repetidamente todo el sitio, como si revisaran si hubo cambios recientes incluso en artículos escritos en 2003
  • Aun así, no envían tráfico imposible de sostener desde millones de sistemas, así que no son el mayor problema
• No está claro quién paga y ejecuta los ataques con proxies residenciales
  • No se ha confirmado evidencia de que las empresas líderes en modelos usen estas redes
  • Estas empresas no revelan cómo alimentan sus modelos ni de dónde salen sus datos de entrenamiento, y tampoco han mostrado respeto por quienes producen contenido o se preocupan por los problemas operativos
• Por cada modelo público puede haber muchos otros que no son visibles externamente
  • Muchas empresas podrían estar creando sus propios modelos con la expectativa de obtener una enorme valuación si se adelantan en la carrera de la IA
  • Organismos gubernamentales no públicos de varios países también podrían querer sus propios modelos y datos de entrenamiento
  • Grandes organizaciones criminales también podrían querer modelos propios
• A medida que las herramientas de IA se perciben como armas, avanza una carrera armamentista, y todo internet está quedando atrapado en ese proceso

Medidas de defensa para proteger el internet abierto

• Los operadores de sitios web están implementando varias defensas para frenar los ataques mientras minimizan el impacto en usuarios reales
• Anubis se usa ampliamente para bloquear scrapers exigiendo prueba de trabajo (proof of work) a quien intenta acceder
• Los servicios comerciales muestran botones para “demostrar que eres humano”, y otros sitios exigen CAPTCHA como elegir cuadros con semáforos o acomodar piezas de rompecabezas
• Algunos sitios movieron funciones principales detrás de barreras de login o de pago, y con herramientas como iocaine contaminan activamente los datos que reciben los scrapers
• El costo de construir y mantener estas defensas, junto con la molestia que supone para los usuarios atravesarlas, es una pesada carga impuesta al mundo entero por los scrapers y quienes pagan por ellos

El enfoque defensivo de LWN y sus limitaciones

• LWN recibió recientemente el ataque scraper más fuerte hasta ahora, pero gracias a las defensas implementadas logró soportar el tráfico hasta el punto de que la mayoría de los lectores reales ni lo notó
• Mantienen en reserva las medidas específicas porque publicarlas daría información útil a los atacantes, y la carrera armamentista continúa también del lado defensivo
• Su prioridad es reducir al máximo el impacto en los lectores reales
  • No usan Anubis porque retrasa el acceso al sitio y resulta molesto para los lectores
  • Parece probable que los scrapers eventualmente eludan Anubis, y ya hay señales de ello
  • Si se pueden movilizar millones de dispositivos ajenos, la prueba de trabajo no representa un gran obstáculo
• Tampoco quieren bloquear el acceso de motores de búsqueda legítimos ni de organizaciones como Internet Archive
  • Una lista explícita de permitidos que solo deje pasar al motor de búsqueda dominante reforzaría aún más la posición de un operador monopólico cuyo nivel de servicio ya presenta problemas
  • Hasta ahora, LWN ha logrado mantener el acceso legítimo sin una lista de permitidos para motores de búsqueda concretos
• Optimizan agresivamente partes del sitio y, durante el ataque, minimizan las tareas costosas
  • Los lectores anónimos a veces pueden verse afectados por estas medidas, pero los usuarios con sesión iniciada no
  • En situaciones de ataque con defensas activadas, a veces el tiempo de respuesta incluso resulta más rápido que en condiciones normales
• No consideran que las medidas actuales sean una solución permanente, y deben evaluar la siguiente respuesta para cuando pierdan eficacia

Desmantelamiento de NetNut y una calma temporal

• El 2 de julio, Google anunció que, en cooperación con el Buró Federal de Investigaciones de EE. UU. (FBI) y otros organismos, desmanteló la red de proxies residenciales NetNut
• Tras esa acción, el nivel de ataques scraper parece haber bajado en cierta medida, pero la experiencia pasada sugiere que esta calma no durará mucho
• Google Play Store planea revisar las apps infectadas con NetNut
• Los principales operadores de tiendas de apps siguen sin responder por qué es tan fácil registrar aplicaciones con funciones de proxy residencial

Un internet empujado detrás de muros

• Hace falta una solución más duradera antes de que todo internet termine detrás de muros de defensa y desaparezca la red abierta que fomentaba la creatividad
• La industria que provoca estos ataques toma el contenido de sitios web independientes sin preocuparse de que esos sitios terminen destruidos, y la misma actitud se extiende al planeta y a la economía
• Mientras no se apliquen estándares éticos mínimos a las empresas que operan modelos de lenguaje a gran escala y tecnologías relacionadas, este comportamiento seguirá, y los operadores de sitios web no tendrán otra opción que defenderse por sí mismos

[GN⁺]

Opiniones en Lobste.rs

• De todos los negocios descaradamente sospechosos que he conocido últimamente, los proxies residenciales fueron lo más impactante
  Leí más al respecto en https://spur.us/blog/smart-tv-apps-residential-proxy-sdks, y me cuesta creer que esto sea legal. Deberían clasificarse en la misma categoría que una botnet y llamarse una botnet legalizada

  • Es un negocio que realmente merece ser condenado. Dicen que solo usan afiliados verificados y aprobados, pero no se me ocurre ni un solo uso legítimo para un proxy residencial. ¿De verdad existe alguno?
  • Hay que tener cuidado con la regulación de proxies residenciales. Si se crea una regulación apuntando a esto, terminará afectando a muchos más casos además de las botnets de proxies residenciales

• Otra víctima son los verificadores de enlaces. Se está volviendo bastante difícil revisar si un sitio tiene enlaces rotos
  Si tuviera tiempo, probablemente intentaría usar el proyecto Common Crawl para comprobar si el contenido sigue disponible

  • Las vistas previas de enlaces que generan las apps de chat del lado del remitente también se ven afectadas. Me alegró contribuir esta función a gajim, un cliente XMPP, pero en la práctica es deprimente ver que las solicitudes de vista previa de enlaces quedan bloqueadas tan seguido por pantallas de “verificando si eres humano”

• Al final, todas las operaciones costosas como listar el historial de un repositorio en GitHub quedarán ocultas detrás de barreras de autenticación, y el resto se volverá estático para entregarse por CDN

  • Como preocupan la centralización y la vigilancia gubernamental, los CDN deberían ser el último recurso, y antes habría que exprimir más rendimiento del propio servidor
    A nivel de aplicación, claramente ayuda volver estático más contenido, reducir las consultas a la base de datos y usar caché. Durante mucho tiempo disfrutamos del lujo de no tener que preocuparnos demasiado por el rendimiento, pero ahora incluso los sitios pequeños tienen que prestarle más atención, y eso es mucho mejor que ver “verificando navegador” de Cloudflare por todas partes
    He tenido problemas en un VPS pequeño por la forma tradicional en que Apache hace un fork de un proceso separado por cada solicitud. Crecí metiendo mano a servidores LAMP, así que Apache me resulta familiar y cómodo, pero no aprovecha el hardware de la forma más eficiente, y al final eso importa más. No tengo datos empíricos, pero siento que un servidor como Caddy soportaría mejor la carga, así que pienso cambiarme en la próxima actualización del servidor
  • Mi servidor de Forgejo estaba en la misma situación. Intenté manejar el tráfico malicioso constante con Anubis, pero nunca entendí del todo cómo ajustar la configuración para ese tráfico, y tampoco me gustaba enfrentar personalmente los desafíos lentos de autenticación
    También probé fail2ban, pero cuando la escala creció dejó de responder bien. Al final dejé que Cloudflare lo manejara con las reglas de seguridad que resumí en una entrada de blog. No me gustaba depender de Cloudflare a largo plazo, pero cambié de opinión después de ver la gráfica de uso de CPU al final del artículo
  • En cambio, los repositorios Git y los crawlers se llevan extremadamente mal. Los enlaces generados dinámicamente provocan una explosión combinatoria y crean una especie de trampa para crawlers improvisada, así que cualquier crawler medianamente decente evita activamente las URL con cadenas hexadecimales largas en la ruta
    Aunque generan costos enormes para los hosts Git, sorprendentemente muchos hosts no configuran robots.txt para impedir que se rastree en profundidad dentro de los repositorios

• Me duele la parte que dice: “Hubo solicitudes para que explicara las medidas que tomé para defender el sitio, pero por razones obvias no quiero discutirlo en detalle. Incluso a este nivel hay una carrera armamentista”
  A mí también me ha ido bastante bien en esta pelea, pero por la tragedia de los comunes, si hago públicas las medidas muy simples que usé, dejan de ser efectivas. Es un tema realmente interesante y tengo ideas originales que me gustaría escribir en un blog, pero me da pena no poder hacerlo