Declaración sobre la interrupción en curso de Sourcehut
(outage.sr.ht)Disponibilidad actual del servicio
- sr.ht: fuera de línea
- meta.sr.ht: fuera de línea
- git.sr.ht: fuera de línea
- hg.sr.ht: fuera de línea
- todo.sr.ht: fuera de línea
- lists.sr.ht: fuera de línea
- paste.sr.ht: fuera de línea
- man.sr.ht: fuera de línea
- pages.sr.ht: fuera de línea
- builds.sr.ht: fuera de línea
- chat.sr.ht: fuera de línea
- El almacenamiento de objetos no está disponible actualmente, por lo que las versiones adjuntas a las etiquetas de git y hg tampoco están disponibles en este momento.
- hg.sr.ht tiene problemas de rendimiento conocidos y problemas relacionados con
hg clone, y como su mantenimiento está a cargo de la comunidad, las labores de recuperación están en pausa hasta que participe un mantenedor de la comunidad.
Actualización 2024-01-13 14:17 UTC
- Necesitamos encontrar un nuevo proveedor de tránsito y estamos negociando con un proveedor para mitigar el problema.
- Pronto comenzaremos el trabajo de ingeniería y avisaremos si hay más actualizaciones.
Actualización 2024-01-13 13:00 UTC
- El nuevo proveedor de tránsito informó que el ataque DDoS siguió hacia la nueva red.
- El proveedor implementó medidas de mitigación y no esperamos una interrupción del servicio.
Actualización 2024-01-13 12:40 UTC
- Se restauró el servicio de correo para lists y todo.
- Los correos que quedaron en espera durante la interrupción ahora reanudarán su procesamiento, y no creemos que se haya perdido ningún correo.
Actualización 2024-01-13 11:42 UTC
- pages.sr.ht fue puesto en servicio en modo de solo lectura.
- Todos los dominios personalizados deberían funcionar pronto, excepto los dominios personalizados que usan registros apex.
- Los usuarios afectados requieren intervención manual.
Actualización 2024-01-13 11:00 UTC
- Se habilitó acceso de lectura/escritura para la mayoría de los servicios.
- hg sigue en modo de solo lectura, y todo y lists procesan solicitudes en la web, pero el sistema de correo aún sigue en progreso.
Actualización 2024-01-13 09:26 UTC
- hg.sr.ht fue levantado en modo de solo lectura.
- Estamos trabajando para habilitar lectura/escritura en los servicios disponibles hoy.
- Terminamos de traer las diferencias desde el respaldo de git.sr.hg, y las diferencias de hg también deberían quedar listas pronto.
Actualización 2024-01-12 20:49 UTC
- Estamos realizando los trabajos finales para los objetivos de hoy.
- 7 servicios principales están operando en modo de solo lectura.
- También se resolvieron los problemas previos relacionados con
git clone/fetch.
Actualización 2024-01-12 16:38 UTC
- todo y lists fueron puestos en línea en modo de solo lectura.
Actualización 2024-01-12 16:13 UTC
- Comenzamos a volver a poner algunos servicios en línea.
- meta y git estarán disponibles conforme se propague el DNS.
¿Qué es SourceHut?
- SourceHut es una empresa fundada por Drew y actualmente se encuentra interrumpida.
- Conocido por su confiabilidad, SourceHut está atravesando su interrupción más grave y prolongada hasta ahora.
- El equipo de SourceHut está haciendo todo lo posible para resolver el problema y restaurar el servicio lo antes posible.
¿Qué está pasando?
- El 10 de enero a las 06:30 UTC comenzó un ataque distribuido de denegación de servicio (DDoS) contra SourceHut.
- SourceHut puede manejar ataques DDoS comunes, pero este ataque superó por su escala lo que podía mitigar por sí sola.
- El proveedor de red superior bloqueó completamente a SourceHut, impidiendo que tanto Internet como el personal de SourceHut accedieran a los servidores.
- El centro de datos de PHL se vio afectado, y SourceHut arrienda espacio de colocación a un proveedor en PHL.
- Tras dos adquisiciones del proveedor de PHL, la cuenta de SourceHut quedó fuera durante una migración del sistema de tickets, lo que inicialmente retrasó el contacto con el proveedor.
- La disponibilidad de SourceHut se recuperó parcialmente la noche del 10 de enero, pero a inicios del 11 de enero el DDoS se intensificó y el proveedor volvió a imponer el bloqueo.
¿Qué medidas estamos tomando?
- SourceHut mantiene tres sitios (PHL, FRE, AMS), y PHL es el principal, actualmente fuera de línea.
- Al perder por completo el acceso a PHL, se comenzó la restauración desde respaldos para una instalación paralela de SourceHut en AMS.
- Las perspectivas sobre pérdida de datos de usuarios son buenas, y los respaldos funcionan y se prueban con regularidad.
- Se están restaurando los servicios de SourceHut en AMS, y meta, todo, lists, paste y el hub de proyectos están completamente operativos con datos del entorno de producción.
- Se está trabajando con prioridad en restaurar servicios como git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht y builds.sr.ht.
- El objetivo es habilitar acceso de solo lectura para la comunidad lo antes posible y luego restaurar el acceso completo de lectura/escritura.
¿Cómo puedes ayudar?
- Lo más necesario es paciencia y comprensión.
- Mitigar este tipo de ataques es como correr un maratón, y hay que tener cuidado de no sobrecargar al personal.
- Puedes compartir actualizaciones y mensajes de apoyo en Mastodon y en el canal IRC #sr.ht de Libera Chat.
Opinión de GN⁺:
- La situación actual de SourceHut es un hecho importante para la comunidad de código abierto y los desarrolladores, ya que muestra la vulnerabilidad incluso de servicios confiables y la importancia de los planes de respuesta ante emergencias.
- Este incidente subraya la gravedad de los ataques DDoS y la necesidad de que las empresas se preparen para ciberataques a gran escala.
- La comunicación transparente del equipo de SourceHut y sus esfuerzos por resolver el problema generan confianza entre los usuarios y muestran que el apoyo y la paciencia de la comunidad cumplen un papel importante.
1 comentarios
Opiniones en Hacker News
Hace poco, un servicio que operamos sufrió un ataque DDoS; justo antes, una agencia policial de India había solicitado datos de un usuario específico.
Alegaban que estaba relacionado con terrorismo, y cuando les explicamos nuestra política de que en nuestra jurisdicción se requiere un proceso legal largo, el servicio cayó en cuestión de horas y permaneció así unas 12 horas.
No hubo pedido de rescate, y las únicas causas posibles eran tres: la policía/el gobierno de India, el usuario original o una coincidencia total.
Cuando uno pasa por algo así, piensa “esto no debería ser posible”, y queda claro que, ya sea que se deje sin resolver o se use directamente, es un juego demasiado favorable para el más fuerte.
¿No podría haber sido otra persona que se enojó de forma irracional al no obtener los datos que quería?
No se puede saber si es un competidor, alguien aburrido o un cliente molesto, y probablemente nunca lo sepamos.
También hay organizaciones militares y de seguridad interna con “Police” en el nombre, como CRPF o ITBP, y si depende del MHA, no sería sorprendente que entre en la categoría de “seguridad nacional”.
Para un servicio público, eso es algo casi estándar desde hace 10 o 20 años; si es un servicio pequeño, Cloudflare también es gratis o barato, y hay muchas otras opciones.
Conviene asumir que se puede sufrir un DDoS aleatorio apenas se lanza, y aunque se identifique al atacante, la probabilidad de rastrearlo y castigarlo es casi nula.
La conclusión aquí no es tanto “esto no debería ser posible”, sino “esto ha sido común durante décadas y seguirá pasando, así que hay que prepararse para la próxima”.
Da igual si es una agencia local corrupta o un script kiddie: mientras media humanidad esté conectada con dispositivos pésimos, los DDoS seguirán ocurriendo.
En mi primera semana en [un gran hosting público de código], nos atacó [un actor estatal], probablemente porque alojábamos algo que a [país] no le gustaba.
Que SourceHut y Codeberg estén recibiendo este tipo de atención también es una señal alentadora de que los hostings de código alternativos están empezando a ganar tracción real.
No sé si hubo alguna amenaza clara o un mensaje de exigencia del tipo “si no hacen esto…”.
Es interesante enterarse de por qué se cayó HN.
Dice: “Habrán visto que Hacker News cayó el 10 de enero; creo que fue resultado de que Cogent reaccionó con demasiada brusquedad mientras mitigaba el DDoS dirigido a SourceHut”.
También estaba en https://news.ycombinator.com/item?id=38939532, pero no lo había visto antes.
Están en asignaciones IP y ASN completamente separados.
Como resultado, toda la red /24 deja de enrutarse hacia tu red y se descarta del lado del peer.
Es una pena que el equipo tenga que lidiar con esto, pero como ejemplo de cómo comunicarse con los clientes, merece aplausos.
Espero que el personal de sr.ht complete bien la migración a AMS.
Por suerte, git es lo suficientemente distribuido como para que en los últimos días básicamente haya podido hacer todo; lo único que no pude hacer fue hacer push de una nueva release al repositorio upstream oficial.
Si sufren un DDoS en AWS, aunque Amazon absorba el tráfico, Drew y SourceHut probablemente terminen en bancarrota.
Además, están los problemas de principios que ellos tienen con AWS desde el inicio.
Al ver la parte que dice “hablamos con CloudFlare, pero nos cotizaron una suma financieramente inviable”, me pregunto si alguien de alto nivel dentro de Cloudflare podría elevar este caso y ayudarles a obtener una cotización adecuada.
Las funciones que manejan múltiples protocolos están en los planes empresariales con los que ganan dinero.
CloudFlare tendría que hacerlo gratis por promoción, o bien cobrar lo que corresponde según una cotización real.
Otras empresas podrían ofrecer mejores condiciones.
Si atacaron a Godot, Codeberg y SourceHut, ¿hay otros sitios?
Parece que alguien está apuntando a sitios web relacionados con el código abierto.
Me pregunto cuál suele ser la motivación detrás de un ataque DDoS.
Debe haber cierto riesgo de persecución penal, así que tendría que haber algo que ganar; y en este caso, ni la extorsión ni perjudicar a un competidor parecen explicaciones muy plausibles.
Una de las grandes razones por las que Discord se volvió popular fue que Skype y Teamspeak exponían direcciones IP, y esta es también la razón por la que la mayoría de los juegos en línea dejaron de usar redes P2P directas.
La motivación muchas veces se parece a la razón por la que se reescriben muchas cosas: “porque se puede” o “porque está ahí”.
No estoy dentro de esos grupos, pero por la historia y las noticias, muchas veces ocurre con personas por debajo de la edad de procesamiento penal como adultos, o en países sin voluntad de hacer cumplir la ley, así que el riesgo es bajo; e incluso cuando existe riesgo, muchos no creen que vayan a atraparlos.
Por ejemplo, atacar sitios de apuestas, o que el gobierno chino apunte periódicamente a GitHub porque aloja software de VPN.
También es posible que antes haya habido alguna advertencia leve que desconocemos.
Codeberg también se cayó por un DDoS hace unas 12 horas.
https://status.codeberg.eu/status/codeberg
Parece que un servicio colega de la misma región está sufriendo el mismo problema, y mudarse a Europa no lo resolvería; aun así, eso aparecía en el anuncio público.