Cloudflare enfrenta polémica por bloquear un sitio web tras exigir US$120 mil en 24 horas
(robindev.substack.com)- Un casino en línea que desde 2018 usaba el plan Cloudflare Business de US$250 al mes sufrió fallas en servicios clave y sistemas internos después de que le exigieran un prepago anual de US$120 mil para Enterprise y luego eliminaran sus dominios
- La empresa explicó que tiene alrededor de 4 millones de usuarios activos mensuales, usaba Cloudflare para caché de contenido estático en CDN y protección DDoS, y que la mayor parte del tráfico provenía de su dominio principal
- Cloudflare mencionó la “rotación” de varios dominios y temas de términos de servicio, pero sin indicar con precisión qué dominio estaba afectado ni qué condiciones resolverían el problema, limitándose a ofrecer un contrato Enterprise de US$10 mil al mes
- Horas después de que la empresa dijera que también estaba hablando con Fastly, se eliminaron las configuraciones del dominio, incluidos registros DNS, caché,
rate limit,whitelisty la autenticación de Cloudflare Access - Luego migraron de emergencia a Fastly, pero la propagación del cambio de NS podía tardar de 1 a 48 horas, lo que prolongó la caída para usuarios y la carga de reconstruir la infraestructura interna de autenticación
Del plan Business a la presión para pasar a Enterprise
- La empresa venía usando desde 2018 el plan Cloudflare Business de US$250 al mes
- Sus principales usos eran CDN, caché de contenido estático y protección DDoS
- La empresa se describió como un casino en línea con unos 4 millones de usuarios activos mensuales
- El primer correo de Cloudflare tenía un tono que hacía pensar en un problema grave con el sitio web, pero la llamada real no fue con “Business Development”, sino con el equipo de Sales
- El equipo de Sales no explicó concretamente cuál era el problema grave y preguntó si había interés en pasar a Enterprise
- La empresa dijo haberse sentido confundida por el tono del correo, pero rechazó cortésmente el cambio
- Dos semanas después, Cloudflare planteó un problema dando a entender que varios dominios funcionaban como espejos del dominio principal
- La empresa opera varios dominios por requisitos regulatorios de distintos países, alcance de los juegos, funciones sociales, sportsbook y seguimiento de afiliados
- En algunos países, el dominio principal puede ser bloqueado a nivel DNS, por lo que los dominios secundarios pueden servir como vía de acceso
- La empresa consideró que esta configuración podía interpretarse como una posible infracción de los términos de Cloudflare
- Más del 95% del tráfico total ocurría en el dominio principal, y la empresa consideró que incluso podía retirar de Cloudflare los dominios secundarios que causaran problemas
Un tema de Trust and Safety se convierte en una exigencia comercial
- La empresa envió a Cloudflare información sobre sus dominios y preguntó cuál era el alcance del problema y qué responsables internos debían participar, pero no recibió respuestas concretas más allá de la fecha de una llamada
- La reunión que entendieron que sería con el equipo de “Trust and Safety” en realidad volvió a ser con el equipo de Sales
- El equipo de Sales propuso un contrato Enterprise de US$10 mil al mes
- La empresa preguntó cómo se relacionaba un problema de términos de servicio con la exigencia de un contrato Enterprise
- También preguntó qué dominios estaban bajo la preocupación de “rotación”, pero no obtuvo respuesta
- Tampoco quedó claro qué funciones Enterprise eran realmente imprescindibles
- Cloudflare no mostró interés en una solución distinta al contrato de US$10 mil mensuales y dijo que debían firmarlo en 24 horas para poder responder a “Trust & Safety”
- La empresa pidió pagos mensuales, pero Cloudflare exigió un compromiso de 1 año y prepago total
- En el correo parecía haber matices que sugerían que el pago mensual podía ser posible, pero al pedir confirmación la respuesta fue que debía pagarse por adelantado el año completo
- La empresa consideró que BYOIP podía entenderse como una forma de reducir la responsabilidad sobre temas de dominios, pero que la mayoría de las demás funciones no eran necesarias o solo serían un extra útil
Eliminación del dominio justo después de evaluar Fastly
- Con la participación del CEO y el CTO en la negociación, la empresa logró ganar aproximadamente una semana hablando directamente con Cloudflare
- Cloudflare no ofreció otras opciones de contrato ni una solución simple al problema planteado
- La empresa tampoco pudo verificar la cifra de 80 TB de tráfico mencionada por Sales
- Explicó que Cloudflare había retirado el acceso a análisis históricos
- Basándose en publicaciones de Hacker News, la empresa estimó que un precio razonable para 80 TB de tráfico podría estar entre US$150 y US$2,000 al mes, aunque aclaró que era una comparación con publicaciones externas
- Como alternativa, configuró un dominio de prueba con Fastly y también agendó una llamada relacionada
- Durante una llamada de negociación, el CEO dijo al equipo de Sales de Cloudflare que también estaban hablando con un competidor, y unas horas después Cloudflare eliminó todos los dominios de la empresa
- Desaparecieron registros DNS, configuraciones de caché,
rate limitywhitelist - Se interrumpieron el sitio web público, el correo entrante, incluido el email de soporte al cliente
- También cayeron la infraestructura interna y la configuración de autenticación de Cloudflare Access
- Desaparecieron registros DNS, configuraciones de caché,
- El correo de Cloudflare decía que “actualmente no hay impacto en el servicio”, pero en la práctica sí hubo una caída y tampoco respondieron de inmediato a los tickets de soporte
Migración de emergencia a Fastly y carga de recuperación
- La empresa reunió a su equipo de SysOps y realizó una migración de emergencia a Fastly para el sitio principal
- En pocas horas lograron recuperar el funcionamiento básico, pero la propagación del cambio en las entradas NS de DNS no era predecible
- La propagación podía tardar entre 1 y 48 horas
- Explicaron que para la mayoría de los usuarios hubo entre 3 y 24 horas de caída
- Cloudflare respondió más tarde a los tickets, pero según la empresa, “Trust and Safety” nunca se puso en contacto directamente y la cuenta siguió bloqueada
- El impacto de la eliminación no se limitó a los servicios públicos, sino que se extendió a los sistemas internos
- Se interrumpió la configuración de autenticación interna basada en Cloudflare Access
- La empresa tuvo que reconstruir desde cero la infraestructura de autenticación de sus productos internos, lo que provocó una gran interrupción
El riesgo operativo de depender de Cloudflare
- El riesgo central sigue siendo que no existe un criterio público sobre cuándo Cloudflare intenta pasar a clientes Business a un cobro Enterprise a medida
- La empresa considera difícil encontrar criterios públicos sobre límites de tráfico o precios Enterprise
- Factores como manejar varios dominios pueden convertirse en base para presionar un cambio a Enterprise
- La empresa concluyó que el precio parecía definirse no tanto por métricas medibles o por un conjunto de funciones, sino por cuánto parecía poder pagar el cliente
- Preguntó cómo cambiaría el precio si bajaba el tráfico, pero Cloudflare no respondió más allá de decir que incluía 80 TB
- Dijo que muchas de las 14 funciones incluidas no eran necesarias, pero Cloudflare solo respondió que estaban incluidas
- También señaló que no todos los dominios internos necesitaban Enterprise, pero Cloudflare respondió que toda la cuenta debía ser Enterprise
- La conclusión fue que hay que estar preparado para migrar en 24 horas si se quiere poder salir de Cloudflare
- Recomiendan no registrar directamente los dominios en Cloudflare
- Consideran que, si la cuenta de Cloudflare queda bloqueada, es difícil saber cómo recuperar el dominio en un tiempo razonable
- La empresa pudo migrar porque solo tenía los NS apuntando a Cloudflare
- Las funciones exclusivas de Cloudflare elevan el costo de migración
- Recomiendan usar “Cache: Always” y “Respect Origin Headers” en lugar de reglas de caché personalizadas, para que también funcionen con otros proxies de caché
- Consideran más seguro evitar productos propietarios como Zero Access o Workers y usar tecnologías compatibles con estándares de terceros
- También hace falta mantener respaldos separados de la configuración
- Configuraciones DNS relacionadas con envío de correo, como SPF y DKIM
- Entradas DNS de verificación de sitios
- Listas de IP
- Reglas de
rate limiting
- La empresa dijo que la protección DDoS de Cloudflare sí fue efectiva ante ataques de gran escala, pero que superficies vulnerables como solicitudes API no autenticadas y sin caché que consumen 100 ms de CPU pueden agotar los núcleos con apenas 10 a 100 rps
- Añadió que algunos grupos de “DDoS attack as a service” parecen especializarse en servicios protegidos por Cloudflare y en evadir “Under Attack Mode”
2 comentarios
La uso porque Cloudflare permite evadir el bloqueo de dominios del gobierno de Corea; ¿empresas como Fastly también ofrecen eludir el bloqueo de dominios?
Opiniones de Hacker News
Este problema parece surgir del hecho de que el OP opera un sitio de casino/apuestas.
El juego está pésimamente regulado, por lo que hay que demostrar cumplimiento en cada jurisdicción, y en Internet es difícil aplicarlo de forma perfecta, así que algunos países o ISP bloquean directamente. Las IP que alojan sitios de apuestas/juegos pueden quedar bloqueadas por región o marcadas como alojamiento de contenido ilegal, lo que afecta la reputación de la IP, y para agregadores de tráfico como Cloudflare eso puede convertirse en un problema para otros clientes. En particular, EE. UU. tiene regulaciones sobre apuestas agresivas y complicadas, así que es muy probable que Cloudflare haya tenido problemas por regulaciones a nivel estatal en EE. UU.
Parece que Cloudflare quería que usaran BYOIP del plan Enterprise y no quería tenerlos sobre sus propias IP. El mensaje correcto debió haber sido “Enterprise + BYOIP o bloqueo; el precio es negociable”, pero en la práctica se comunicó como “seguro les va a gustar el plan Enterprise”, lo cual fue un desastre de comunicación corporativa.
Como más o menos la mitad de las empresas de Internet usan Cloudflare u otra infraestructura multitenant, todos saben que no se puede bloquear una sola IP y acertarle solo al objetivo específico. Lo que he visto es bloqueo por DNS o por TLS SNI. Nosotros también bloqueamos por completo a usuarios de EE. UU. por temas regulatorios. El problema central es la comunicación poco profesional de mezclar “compliance” con ventas sin dar información clara ni opciones, y haber eliminado sin aviso una cuenta con la que estaban conversando.
BYOIP no solo es caro; si el contenido daña la reputación de la IP, puede ser marcado mucho más rápido con BYOIP que con IP compartidas, porque hay menos efecto de dilución. Si además se entra en el tema de rotar o alquilar IP continuamente, se vuelve aún más complejo. Aun así, si todo se redujo a esos correos de ventas, la comunicación de Cloudflare fue claramente torpe y poco profesional.
Les dijeron que necesitaban BYOIP mediante el plan Enterprise, y parece que simplemente no querían pagar el costo.
Pensé que random.org dominaba todo ese mercado.
La forma en que Cloudflare maneja este tipo de situaciones no es ideal para nadie.
Cuando empiezas a usar el servicio, el costo no es grande y planificas con base en ese nivel; luego de pronto llega un correo “urgente” de un vendedor y tienes que pasar de 20 o 250 dólares al mes directamente a miles de dólares. Desde el punto de vista de Cloudflare quizá no tenga sentido mantener clientes que no pagan lo suficiente, pero si le tiras una bomba al cliente y lo haces sentir como si lo fueran a echar, pierdes confianza. Podrían haber igualado el precio de Fastly; con otra respuesta habrían conservado al cliente, cobrado más dinero, mantenido la confianza y evitado mala prensa. Como los ejecutivos de Cloudflare que escriben en HN suelen decir “esto no debería pasar”, parece que deberían revisar los incentivos de sus vendedores.
Al hablar con Cloudflare, ni siquiera parece seguro mencionar a un competidor o insinuar que te podrías ir.
¿Cloudflare no es la empresa que antes filtró datos sensibles mediante archivos en caché y terminó indexada en Google?
Recuerdo que, cuando la comunidad técnica se indignó por una filtración masiva de información sensible, el CEO vino aquí a criticar que Google no desindexó lo bastante rápido. Si pagas barato, obtienes resultados acordes.
Un error tan grande es difícil de olvidar y parece una señal de una cultura de “moverse rápido y romper cosas”. No es una cultura adecuada para una empresa responsable de infraestructura crítica.
Dicho eso, si un proveedor grande ofrece versiones en caché de páginas, debería existir una forma de eliminar esos archivos cuando aparecen problemas como malware.
Es cierto que es difícil encontrar un proveedor de mitigación DDoS mejor que Cloudflare, pero no confío en ellos como para entregarles todo. Sobre todo porque es muy probable que puedan ver las conexiones HTTPS descifradas.
En el momento en que bloquearon la cuenta, el equipo de ventas de Cloudflare probablemente veía este caso como “60% de probabilidad de cerrarse en 6 semanas”.
En ese momento no tenían motivos para sospechar que Fastly se lo llevaría, y el ganador por defecto era Cloudflare. Fuera extorsión o no, cuesta creer que hayan abandonado por enojo una operación que casi tenían ganada. Por eso parece más probable que, al revisarlo, lo hayan considerado una línea de negocio que violaba los términos, o que se hayan superpuesto los disparadores de intervención del equipo de enforcement y del equipo de ventas. La conducta de Cloudflare fue pésima, no es la primera denuncia de este tipo y tienen fama de “tier gratuito muy generoso y experiencia paga terrible”. Aun así, ¿quién abandona por furia una venta que va ganando? Es posible que, al llamarles la atención, lo revisaran y se dieran cuenta de que no querían apoyar un negocio que parecía un casino sospechoso o un intento de eludir leyes estadounidenses.
Además, parece que tienen una división completa dedicada al mercado de juegos.
Un caso de uso de nicho pasa las verificaciones automáticas de términos y luego, al escalarse un problema de soporte no relacionado, se activa una revisión manual de términos. Aun así, una empresa tan grande como Cloudflare, manejando una factura de 120 mil dólares, debería evitar que esto ocurra. Se ve muy amateur.
El OP es un casino y suena como si estuviera jugando con dominios para evitar la atención regulatoria.
Recomiendo leer el texto con cuidado antes de reaccionar solo por el título. También sería bueno conocer la perspectiva de Cloudflare.
No parece que el casino haya intentado evadir la regulación, sino que estructuró el negocio para cumplirla. Tampoco parece que Cloudflare tuviera motivo para asumir el riesgo de ayudar a un cliente a evadir vigilancia solo para cobrar más dinero. Más bien parece que vio que era un negocio con mucho flujo de dinero y quiso su tajada.
O es un negocio aceptable o no lo es; en cualquiera de los dos casos, Cloudflare no queda bien parada.
Si puede cortar el servicio a un casino, ¿no podría también cortar el servicio a sitios de propaganda bélica o a sitios que venden servicios ilegales? Eso significa que no es simplemente un proveedor técnico ni una “tubería de Internet” neutral, sino que toma decisiones editoriales. Al final, la autocensura podría no beneficiar a Cloudflare, y también podría crear el riesgo de perder el puerto seguro de la DMCA.
El punto clave es que estaban dispuestos a eliminar todos los dominios excepto el principal, y que el dominio principal representaba más del 95% del tráfico. Pero Cloudflare no ofreció esa opción ni dio ningún detalle del problema.
Si había un problema legal, debería haber intervenido el equipo legal de Cloudflare, no el equipo de ventas.
Cloudflare también fue la empresa que se hizo viral por el video del despido de una ejecutiva de cuenta que no cumplió sus números.
Podría ser una señal de que, en general, su cultura para manejar relaciones con clientes Enterprise no es buena.
https://m.youtube.com/watch?v=7LuwPdp-_4c
A los vendedores los despiden con frecuencia si no llegan a sus cuotas, y a los ingenieros también los despiden si no cumplen objetivos de productividad. Si no haces bien tu trabajo, no deberías esperar quedarte. Si mal no recuerdo, esa empleada era nueva y todavía no había cerrado ni una sola venta. ¿Dejarías a una novata no probada en lugar de a un vendedor veterano con resultados comprobados?
Hace tiempo tuve un sitio con bastante ancho de banda en el plan Business de Cloudflare.
Era un sitio totalmente legal y con mucho contenido multimedia. Cloudflare propuso el plan Enterprise, pero no teníamos presupuesto; cuando pedimos algo de tiempo, dijeron que estaba bien. Después movimos una parte importante del uso de ancho de banda a varios servidores dedicados de OVH, y desde entonces no volvimos a saber de ellos.
¿Alguien puede explicar, desde el punto de vista del algoritmo de HN, por qué este artículo, que al momento de escribir esto tiene 355 puntos y 180 comentarios en 1 hora, ni siquiera está en la primera página y aparece en el puesto 31?
El género de “soporte al cliente como último recurso” es común y por lo general no encaja bien en HN [1]. Si esta historia te parece inusualmente relevante e interesante, no estoy de acuerdo, pero en casos específicos podemos ceder, así que revertí la penalización de este hilo. Desde nuestra perspectiva, el problema no es una publicación X ni una empresa Y en particular, sino un problema sistémico. Los géneros de publicaciones más populares, en especial los que provocan indignación, están sobrerrepresentados por defecto, así que para mantener espacio para los textos centrados en la curiosidad intelectual a los que aspira el sitio, se necesitan mecanismos de contrapeso [2].
[1] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&query=by%3Adang%20%22last%20resort%22%20support&sort=byDate&type=comment
[2] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&query=by%3Adang%20countervail&sort=byDate&type=comment
https://hnrankings.info/40481808/
Claramente es abuso del sistema de flags.
[flagged]no son visibles, pero aun así tienen el efecto de reducir el peso de la publicación.Es irónico que estemos exigiendo transparencia respecto de un artículo que trata sobre la opacidad.
El negocio de las apuestas, guste o no, es estructuralmente turbio
Es posible que Cloudflare haya considerado que el riesgo era mayor que lo que obtenía a cambio. USD 300 al mes es muy barato frente a los posibles dolores de cabeza de lidiar con ese tipo de negocio. Además, me parece muy inapropiado que haya ocultado cuidadosamente su propia información y el nombre de su empresa, mientras hizo público el nombre de la persona responsable en la otra compañía. Al final, Cloudflare también puede elegir con quién hacer negocios, y probablemente fijó el precio requerido teniendo en cuenta la rentabilidad de tu negocio y qué tan ruidoso y doloroso sería tratar contigo. No es ideal, pero esta es la desventaja de SaaS/PaaS
No hay garantía de que no haga lo mismo con miles de otros clientes
Coincido en que USD 300 al mes es barato, pero USD 10.000 al mes es muy caro, y parece que Fastly también lo vio así. No pensé que publicar el nombre fuera doxxing ni esperaba que se convirtiera en un gran problema, pero actualicé las capturas de pantalla para ocultar el nombre de la persona responsable. Cloudflare, por supuesto, puede elegir con quién hacer negocios, pero al mismo tiempo se presenta como neutral
Que Cloudflare le haya dado aunque sea 24 horas fue una suerte para el OP. No voy a revisar los términos, pero es posible que ciertos sectores como banca, criptomonedas, contenido para adultos y apuestas requieran un contrato Enterprise, y por eso lo hayan conectado con el equipo de ventas. El OP habla de pérdida de confianza de sus clientes, pero Cloudflare no quiere ni necesita la confianza del OP. USD 250 al mes no alcanza para sostener un negocio así
El CEO y cofundador de Cloudflare es bastante activo en Twitter[0] y también participa algo en HN[1], así que sería interesante escuchar su punto de vista sobre este asunto
[0] https://x.com/eastdakota/
[1] https://news.ycombinator.com/user?id=eastdakota
El cliente puede decir lo que quiera, pero si un empleado de Cloudflare o el CEO respondiera, ¿podrían aportar su propia versión de los hechos? Revelar detalles de la cuenta parecería ir contra las reglas de privacidad y solo aumentaría los problemas legales. Parece que el autor ocultó cuidadosamente el dominio en todas las capturas de pantalla
https://x.com/ArtemR/status/1795074047539068991