- Muchos usuarios usan lectores de feeds RSS para mantenerse al día con el contenido de los sitios web.
- Sin embargo, si activas Cloudflare en tu sitio web, existe la posibilidad de que esos usuarios de RSS queden bloqueados y no puedan acceder al contenido.
- El panel de Cloudflare incluye herramientas para bloquear tráfico de bots. En particular, están Bot Fight Mode y la opción para bloquear "AI scrapers and crawlers".
- Si activas estas funciones, los usuarios que acceden al sitio web mediante lectores RSS pueden quedar bloqueados.
Cómo Cloudflare bloquea a los lectores RSS
- Cloudflare puede considerar las visitas al sitio web como scrapers de IA o bots y bloquearlas.
- Cuando un lector RSS intenta leer un sitio web, Cloudflare presenta un desafío que debe resolver una persona. El lector RSS no puede resolverlo.
- En otros casos, también bloquea el acceso del lector RSS sin una razón clara.
Cómo desbloquear lectores RSS mientras usas Cloudflare
- Aun usando Cloudflare, puedes agregar lectores RSS a la lista blanca para quitarles el bloqueo.
- Debes buscar el user agent de los lectores RSS bloqueados en el panel de analítica de Cloudflare.
- Puedes crear reglas personalizadas basadas en la cadena del user agent o en la dirección IP para permitir ese tráfico.
Hace falta una mejor forma de que Cloudflare permita lectores RSS
- Cloudflare ofrece un programa de verificación de bots al que los propietarios de lectores RSS pueden postularse manualmente, pero este programa no está garantizado y tiene varios problemas.
- El proceso de verificación es inestable.
- Los lectores RSS verificados siguen siendo bloqueados.
- Desbloquear lectores RSS en varios sitios web resulta engorroso.
Resumen de GN⁺
- Las herramientas de seguridad de Cloudflare son útiles para prevenir bots maliciosos y ataques, pero también deben permitir que los usuarios de herramientas RSS accedan al contenido de los sitios web.
- Cloudflare debería ofrecer una forma sencilla de resolver el problema del bloqueo a lectores RSS.
- Es información importante para los dueños de sitios web que usan la configuración de seguridad de Cloudflare
1 comentarios
Comentarios en Hacker News
El operador de NewsBlur está teniendo dificultades para recopilar feeds RSS debido a bloqueos de Cloudflare, y los usuarios están pidiendo reembolsos. Compartió una lista de direcciones IP con Cloudflare, pero no tuvo efecto. Espera que Cloudflare agregue esa lista a una lista de permitidos
Listen Notes usa Cloudflare para gestionar la seguridad del servicio, y separa los subdominios según el tipo de tráfico para aplicar a cada uno reglas de firewall y de página adecuadas. Con eso garantiza una prestación óptima del servicio
Al ejecutar Firefox en OpenBSD con configuraciones estrictas de privacidad, en sitios web protegidos por Cloudflare aparece un error 403 Forbidden. Parece ser un problema de Cloudflare
Agregar ciertos user agents a una lista blanca es un trabajo manual interminable y los actores maliciosos pueden evadirlo. En su lugar, recomiendan crear una regla de página que desactive el bloqueo de bots para resolver el problema de todos los lectores RSS. El problema de la configuración predeterminada de Cloudflare sigue sin resolverse desde hace años
A través del correo jgc@cloudflare.com, Cloudflare dice que quiere conocer la experiencia de los propietarios de lectores RSS y planea pedirle al equipo que investigue el problema en detalle
Un propietario de lector RSS menciona que muchas solicitudes de soporte surgen por el problema de que "el feed no funciona", y que esto ocurre no solo por Cloudflare sino también por distintas configuraciones de firewall
Cloudflare interfiere con la recolección de feeds por parte de los lectores RSS, y no hay solución aparte de pedir a los dueños de sitios web que agreguen excepciones individualmente
Los sitios web que usan Cloudflare pueden bloquear a usuarios de Safari, Chrome o incluso a todos los usuarios, lo que provoca pérdidas para los propietarios del sitio. Al acceder a Cloudflare directamente no se produce el bloqueo
Cuando un sitio web gubernamental queda bloqueado por Cloudflare, es casi imposible explicar el problema y pedir una solución. Incluso si se resuelve, el problema vuelve a aparecer unas semanas después
Cloudflare dificulta el acceso web desde IP de Tailandia y con huellas digitales de Firefox en Linux, y los administradores web no son conscientes de estos problemas. Se resolvió creando un puente RSS con la API de web scraping de Scrapfly. La web moderna es antisocial y está muy lejos del ideal de la Web 2.0 de que todo estaría conectado mediante APIs