- Kiwix informó que el domingo 1 de diciembre de 2024 a las 00:00 su hosting fue interrumpido sin aviso previo, bloqueando el acceso a la biblioteca y la descarga de archivos
- La causa fue que Hetzner canceló la cuenta de Kiwix y apagó todos los servidores; Kiwix revisó incluso la carpeta de spam, pero no encontró ninguna notificación previa
- El lunes por la mañana lograron contactar a Hetzner, pero no pudieron confirmar el motivo de la cancelación; también recibieron como respuesta que el correo que Hetzner decía haber enviado no podía reenviarse
- Después de que los datos de los servidores ya habían sido eliminados, Kiwix recuperó cerca de 8 TB usando mirrors no afectados y nuevas máquinas de Scaleway; volver a poner todo en línea tomó alrededor de 48 horas
- Incluso el correo de cancelación compartido después no incluía el motivo, y Kiwix decidió revisar nuevas medidas de protección dentro de sus limitaciones de recursos a partir de este incidente
Servicio de Kiwix cortado a medianoche del domingo
- El domingo 1 de diciembre de 2024 a las 00:00, el hosting de los servidores de Kiwix fue interrumpido sin aviso
- Kiwix declaró que, con base en este hecho, no recomienda los servicios de Hetzner Online
- La desconexión de los servidores ocurrió a medianoche del domingo, y Kiwix consideró que parecía tratarse de una baja de servicio programada por parte de Hetzner
- El backend principal de almacenamiento quedó completamente inaccesible
- Los usuarios comunes no podían acceder a la biblioteca ni descargar archivos
- Kiwix tampoco podía conectarse al almacenamiento para verificar la causa
Cancelación de la cuenta y eliminación inmediata de datos de los servidores
- Al verificarlo, resultó que Hetzner había cancelado la cuenta de Kiwix y había apagado todos los servidores
- Kiwix no recibió ninguna advertencia previa y tampoco encontró notificaciones relacionadas en la carpeta de spam
- El domingo no había nadie disponible para contactar, y recién el lunes por la mañana pudieron comunicarse con Hetzner
- Nunca recibieron una explicación del motivo de la cancelación
- Hetzner respondió que había enviado un correo
- Kiwix pidió que lo reenviaran, pero Hetzner respondió que no podía volver a enviar ese correo
- Mientras tanto, todos los servidores ya habían sido eliminados, por lo que Kiwix dijo que no tenía forma de recuperar los datos
Recuperación usando mirrors y Scaleway
- Kiwix todavía tenía mirrors que no fueron afectados
- Las nuevas máquinas se obtuvieron con otro proveedor, Scaleway
- Luego comenzaron de inmediato a volver a importar los datos al nuevo servidor Master
- En total, volver a poner en línea cerca de 8 TB de datos tomó alrededor de 48 horas
Debilidades operativas expuestas y acciones posteriores
- Este incidente permitió a Kiwix identificar varios puntos débiles
- Al mismo tiempo, también comprobaron que los responsables de infraestructura podían revertir la situación en un tiempo relativamente corto
- Kiwix dijo que durante las próximas semanas o meses revisará cómo implementar nuevas medidas de protección dentro de sus limitaciones de recursos
Correo de cancelación compartido tardíamente
- Más adelante, Hetzner compartió el correo de cancelación
- El correo era un aviso simple de que cerrarían la cuenta de Kiwix a finales del mes siguiente
- No incluía el motivo de la cancelación, y Kiwix dijo que la redacción no daba la impresión de que hubiera violado los términos de servicio de Hetzner
- Kiwix afirmó que con ese correo pudo dar por cerrado el incidente y seguir adelante
- Kiwix agregó que haber hecho público el problema en internet fue efectivo
1 comentarios
Opiniones de Hacker News
Cuando le preguntas a un CTO si tiene backups o un plan B, muchas veces responde: “Está en AWS, también hacemos backups ahí, y no hay forma de que una empresa como AWS quiebre”.
Entonces vuelvo a preguntar qué harían si les cierran la cuenta. Por ejemplo, si les vinculan la cuenta por usar el mismo número de teléfono que una empresa que vende productos problemáticos en Amazon, o como el caso de hace unos años en que GCP clasificó mal imágenes en Drive y cerró una cuenta.
Los backups deben estar en otra ubicación, y Terraform también debería estar validado en otro proveedor de nube. Si no, se está poniendo en riesgo a toda la empresa.
Dicho eso, no pretendo culpar específicamente a Hetzner. Lo he usado por más de 20 años y, aunque alguna vez se detuvieron servidores individuales, nunca me cancelaron una cuenta completa.
Al principio nos dijeron que saliéramos del on-premises y que el costo no importaba; luego dijeron que teníamos que ser neutrales respecto de la nube, y cuando se acercó la fecha límite cambió a “no importa la deuda técnica, háganlo correr en AWS lo más rápido posible”.
Ahora hay un escándalo por los costos de AWS, así que encima del desarrollo de funcionalidades y el mantenimiento cargamos al mismo tiempo con “neutralidad de nube” y “reducir costos del servicio en todas las nubes”. Por la cantidad de deuda técnica y bugs, ambas cosas van como 10 veces más lento.
Tengo que buscar un trabajo nuevo pronto. La dirección y la alta gerencia están manejando la empresa de forma desastrosa. Todos los días hay una reacción improvisada de alguien desconectado de la realidad o que apenas entiende cómo funcionan las cosas, y solo se acumulan problemas de procesos que no ayudan mucho a resolver los problemas reales.
Normalmente la respuesta es algo como: “Es una herramienta integrada, ¿por qué deberíamos asumir que está rota?”. Y cuando intentan restaurar meses o años después, descubren que los datos realmente importantes nunca se habían respaldado.
A principios de este año, Google Cloud borró por error toda la implementación en la nube de un fondo de pensiones en Australia. Si de verdad se quieren backups robustos, creo que al final todo debería poder reducirse a almacenamiento de objetos y estar en la nube de otra empresa.
Además, es muy probable que quede sin probar y termine siendo inútil justo cuando más se la necesita.
Yo hice un respaldo manual de todo, pero la situación es realmente mala.
Dejo esto porque se está difundiendo información falsa sobre este caso. El 30 de octubre de 2024 enviamos por correo electrónico una notificación de terminación indicando el plazo conforme a los términos y condiciones.
Nuestro equipo ya se había comunicado varias veces con este cliente y también conserva los registros de transmisión de las comunicaciones. Pueden estar tranquilos: no cerramos cuentas al azar. Siempre hay motivos concretos y justificados, como abuso del servicio, infracción de los términos, etc.
Por lo tanto, les pedimos que cumplan los términos y condiciones: https://www.hetzner.com/legal/terms-and-conditions/. --Katie, Hetzner Online
En los últimos años ha habido mucha gente en línea que afirma que Hetzner cerró sus cuentas sin dar motivos. Creo que, en la mayoría de los casos, probablemente omitieron deliberadamente algunos detalles para que no pareciera una infracción de los términos.
Aun así, como cliente de Hetzner, aunque sea un cliente pequeño, me gustaría saber que esas quejas no tienen fundamento y que todavía puedo confiar en esta empresa.
Deberían tener nuestra dirección, pero como quizá se “perdió”, por favor reenvíen el correo del 30 de octubre a contact @ kiwix.org.
Esto es lo que iniciamos nosotros, y deberían poder encontrarlo fácilmente con el número de referencia:
Más aún si solo se avisó por correo, sin confirmación de recepción y sin intentar otros medios de contacto. ¿Es el procedimiento estándar de su empresa borrar datos de forma permanente apenas se interrumpe el servicio?
Las copias de seguridad no son el punto central aquí. Claro que los backups son importantes, pero si Hetzner realmente eliminó datos operativos sin advertencia ni período de gracia para migrar, entonces no es una base lo suficientemente estable como para construir encima.
Por razones como estas nunca me hice cliente de Google Cloud, y no voy a desplegar servidores nuevos en Hetzner hasta que Hetzner explique claramente qué salió mal y qué hará para que un error así no vuelva a ocurrir.
Hetzner, ahora la pelota está de su lado.
Eso de “la pelota está del lado de Hetzner” tampoco es necesariamente cierto. Si lees los términos, dicen que pueden hacer lo que quieran con los servidores.
La cláusula 2.7 dice: “Además, nos reservamos el derecho de terminar la relación contractual sin aviso cuando exista causa justificada”.
Cualquier servidor de cualquier empresa puede hacer lo mismo. Hay muchas historias de que Amazon hizo cosas parecidas, y Google también.
Si no es colocation o hardware propio, te pueden perjudicar de muchas maneras. Yo nunca confiaría por completo en un host de servidores dedicados.
Las quejas de que Hetzner suspendió el servidor de alguien por lo general eran porque alojaba contenido que iba contra los términos, o por razones parecidas.
Pero este caso parece tratarse de Kiwix, que es “Wikipedia offline” en varias modalidades, y no parece estar relacionado con contenido problemático.
Supongo que al final también aparecerá la versión de Hetzner. Normalmente, cuando la otra parte empieza a escribir públicamente, Hetzner también suele empezar a escribir públicamente sobre el problema.
En lo personal, he usado Hetzner durante años con satisfacción y no he tenido problemas que no fueran culpa mía. Pero la historia de que los servidores fueron eliminados en plena madrugada de domingo, hora de Berlín, que los datos se borraron de inmediato y que no hubo ningún recurso suena bastante agresiva. Por suerte, parece que tanto yo como Kiwix tenemos mirrors para los datos importantes.
Pudo haberlo decidido por una cadena dentro de un nombre de archivo arbitrario, o como en un caso reciente de una instancia de Mastodon, donde Hetzner la consideró riesgosa solo porque los usuarios podían subir imágenes. Esa función es común, y aunque había moderación y una estrategia para actuar si se subía contenido ilegal, el empleado que revisó ese día estaba sensible y no había forma de apelar.
El usuario primero descarga Kiwix o una extensión del navegador, y luego descarga con Kiwix el contenido para consultarlo offline [1].
“Nuestro backend principal de repositorio quedó completamente inaccesible. Para los usuarios comunes eso significaba no poder acceder a la biblioteca ni descargar archivos, y para nosotros significaba no poder conectarnos para ver qué había salido mal” [2].
Tal vez se subieron algunas fotos raras a Wikimedia y, al sincronizarse automáticamente con los servidores de Hetzner, dispararon una alerta.
Es difícil juzgar la parte en la que Hetzner borró los datos, pero que no haya intentado comunicarse correctamente con el equipo de Kiwix es una respuesta realmente terrible. Más aún sabiendo que es un equipo que intenta hacer algo bueno por el mundo. Es de la misma clase que Google cuando bloquea sin decir nada el acceso a la cuenta de un usuario, o que las empresas alemanas que demandan a investigadores que les reportan vulnerabilidades de seguridad.
Hetzner debería sentir vergüenza.
[0] https://en.wikipedia.org/wiki/Kiwix#Available_content
[1] https://en.wikipedia.org/wiki/Kiwix#Description
[2] https://mastodon.social/@kiwix/113622081750449356
Espera, ¿Hetzner de verdad eliminó todos los datos sin advertencia?
Eso es una locura total y puede matar un negocio. Podría ser devastador tanto para la reputación de Hetzner como para sus clientes.
Pero es barato, y la mayoría, aunque intente investigar a la empresa, probablemente no encuentre a la gente que se queja en línea, así que lamentablemente parece que no les ha pegado fuerte.
Da miedo la realidad de que Hetzner tenga esa facultad y pueda borrar datos de forma irrecuperable.
El año pasado configuré mal los puertos de un servicio Docker y alguien lo aprovechó para ejecutar un port scanner. Como estaba fuera de casa, si no hubiera visto a tiempo el email sobre abuso del servicio, podría haber vuelto unos días después y encontrarme con todos los datos borrados o con el monitor de uptime hecho un desastre.
Las empresas alemanas tienen un soporte al cliente pésimo. Incluso dentro de la UE.
No tengo una cuenta de Mastodon para responder directamente, así que dejo esto para quien necesite escucharlo.
También me ha pasado que un proveedor de VPS bajara contenido.
Lo que me funcionó bien fue usar un proveedor de VPS poco conocido por el público. Durante un tiempo usé OVH por su ancho de banda ilimitado y porque Wikipedia y Julian Assange usaban OVH. No sé si eso siga siendo así, y después moví el contenido a ENS e IPFS.
En cualquier caso, sin importar dónde estuviera alojado el contenido real, convertí mi servidor “real” en el origen del contenido y lo oculté para que no fuera visible desde afuera. Lo bloqueé con un firewall para que solo se pudiera acceder desde servidores proxy Squid desechables con un archivo de configuración de 10 líneas.
Luego apunté el DNS, Cloudflare y demás a los nodos Squid, y no me importaba si esos nodos se caían, porque podía desplegar otros en otro lugar en unos minutos.
No es que hubiera “contenido malo”; solo tenía un competidor comercial despiadado que me atacaba sin parar, como Tonya Harding. Tu contenido tampoco parece tan agresivo, por eso lo comparto.
En los nodos VPS frontales basta con poner la dirección real del contenido como origen remoto. Así nadie salvo tú sabrá dónde está.
Entonces, por lo general, la empresa de hosting tampoco sabrá qué es, a menos que se ponga a revisar archivos. Y si lo hace, ellos también están acabados.
Puedes transmitir esto como una forma de evitar la censura, o quedártelo como si fuera información exclusiva. Si necesitas ejemplos de configuración de Squid, avísame. De verdad son como mucho 10 líneas, y hay muchos ejemplos en Google.
La latencia también aumenta bastante, agregas otro punto de falla y tienes que sincronizar la IP “frontal” con el servidor “real” para permitir el acceso. Además, tienes que encontrar dos proveedores confiables, uno para el hosting “real” y otro para el “frontal”. Si usas el mismo proveedor, tienes el mismo problema del post original.
Si te funciona bien a ti, genial y felicidades, pero es difícil decir que resuelva el problema de mucha gente. Incluso dudo que realmente resuelva tu propio problema; en esencia es parecido a usar algo como Cloudflare/Akamai, pero levantando manualmente un proxy en un VPS.
No es la primera vez:
También tuve una experiencia negativa aquí. Si alguien les envía una solicitud por infracción de copyright, Hetzner no contacta primero al cliente. Simplemente baja el servidor de inmediato y exige una respuesta.
Obviamente no es un procedimiento sensato, y no puedo recomendar Hetzner para ningún sistema en producción.
Cada vez que veo publicaciones sobre Hetzner en HN me da rabia. Empresas así deberían estar en una lista negra, no recibir promoción.
También me da curiosidad de qué trataba el sitio web. A mí también me han avisado que debía responder en 24 horas o borrarían el servidor. Pero siempre respondí y cumplí, así que nunca me borraron ningún servidor.
Si no lo bajas, el asunto baja al nivel de infraestructura. Tú puedes bajar una publicación, pero el proveedor de hosting no puede bajar solo la publicación; puede bajar el servidor. Y tiene que hacerlo, porque si no corre el riesgo de multas o cárcel.
Ahora habría que conocer la historia completa. ¿Había un enlace público para solicitudes de retirada DMCA y de hecho procesaste la solicitud, pero el denunciante lo ignoró y fue directo a Hetzner? ¿O estabas operando un servidor con contenido generado por usuarios y lo trataste de manera superficial pensando “seguro no pasa nada”?
No digo que estés equivocado, pero estás contando solo una parte muy pequeña de la historia.
Hetzner congeló mi cuenta porque les debía 0.02 euros.
No podía pagar con tarjeta de crédito VISA, tarjeta de débito VISA ni Amex, y me exigían una transferencia bancaria. Pero mi banco no permitía transferir 0.02 euros porque el monto era demasiado bajo.
Por puro despecho construí mi propio centro de datos.
Si puedes compartir detalles, me encantaría escucharlos.
A la gente no le gusta oírlo, pero el soporte de Hetzner es pésimo
Mantuvimos una cuenta durante 2 años y usamos varios servidores de subasta; tuvimos que contactar a soporte algunas veces, y cada vez empezaban la conversación con “eso no es algo en lo que podamos ayudar”
Supuestamente decían que solo ayudaban en casos de fallas, pero incluso ante problemas técnicos reales, como un NVMe que se volvía tan lento que prácticamente se detenía, o problemas temporales de red, hacían todo lo posible por actuar como “no nos importa”
Por eso cancelamos la cuenta el mes pasado
Ni me imagino el dolor que habría sido si hubieran borrado todos nuestros datos como le hicieron al OP