El impacto de la interrupción de CrowdStrike en la industria aérea

• La actualización de configuración del sensor de CrowdStrike para Windows, distribuida el 19 de julio de 2024 a las 04:09 UTC, provocó pantallas azules en unos 8.5 millones de computadoras y también afectó las operaciones de las aerolíneas
• En todo el tráfico aéreo de Estados Unidos, incluyendo bomberos, policía, fuerzas armadas y aviación general, el número acumulado de despegues desde las 04:00 del 19 de julio fue 2.6% mayor que el del viernes anterior, pero entre las 08:00 y las 09:00 cayó 31%, de 378 vuelos a 261
• El impacto en las cuatro mayores aerolíneas de Estados Unidos fue muy dispar: Delta registró -1,087 vuelos (-46%), United -596 (-36%), American -376 (-16%) y Southwest +101 (+3%)
• Delta canceló miles de vuelos durante varios días y su recuperación fue más lenta, mientras que ABC News explicó que Southwest no se vio afectada porque no usaba CrowdStrike
• El análisis detectó despegues a partir de los datos ADS-B sin procesar de ADS-B Exchange y los consideró una aproximación de los vuelos; aunque el número absoluto puede estar subestimado, la comparación porcentual entre periodos sigue siendo válida

---

Punto de partida de la interrupción de CrowdStrike del 19 de julio de 2024

• El 19 de julio de 2024 a las 04:09 UTC, CrowdStrike distribuyó una actualización de configuración del sensor a sistemas Windows
• Después, unas 8.5 millones de computadoras sufrieron pantallas azules, y se vieron afectados hospitales, bancos, sistemas 911 y otros sectores
• No se menciona a Linux, Mac ni teléfonos móviles como afectados directos por esta interrupción
• Servicios como Gmail, Facebook y Twitter siguieron funcionando, pero quedó en evidencia el contraste con las máquinas Windows que manejan operaciones reales como reservas, apertura de cuentas o despacho policial, que sí sufrieron fallas
• Los sistemas de las aerolíneas también forman parte de ese entorno operativo basado en Windows

Enfoque en comparar el tráfico aéreo real, no solo las cancelaciones

• En lugar de mirar solo la cantidad de cancelaciones de las aerolíneas, se eligió comparar la cantidad de aeronaves que realmente estaban en el aire con la cantidad de aeronaves que normalmente deberían haber estado en vuelo
• Se compartieron videos timelapse de 12 horas basados en FlightRadar24 de American Airlines, Delta y United, pero sin una referencia comparativa era difícil juzgar la magnitud del impacto
• Que haya menos aviones durante la noche es algo que ocurre todos los días, así que hay que compararlo con el patrón normal del mismo día de la semana
• Este caso encaja con el problema de “falta de contexto sobre el fenómeno observado” descrito por Bellingcat en “OSHIT: Seven Deadly Sins of Bad Open Source Research”

Cambios por franja horaria en los despegues de todo Estados Unidos

• Se comparó el número de despegues por franja horaria dentro de Estados Unidos entre el 19 de julio, día de la interrupción de CrowdStrike, y el viernes anterior, 12 de julio
• La comparación incluye no solo aviación comercial, sino también aeronaves de bomberos, policía, militares y aviación general
• También se revisó el 18 de julio, pero como era muy parecido al viernes anterior, se mantuvo el 12 de julio como referencia principal
• Entre alrededor de las 06:00 y las 13:00 hubo una leve disminución en la cantidad de vuelos, y después hubo un leve aumento
• En términos acumulados desde las 04:00, el número de vuelos del 19 de julio fue 2.6% mayor que el del mismo periodo del viernes anterior
• La mayor caída apareció entre las 08:00 y las 09:00, con una reducción de 31%, al pasar de 378 vuelos el viernes anterior a 261

Un impacto muy desigual según la aerolínea

• Los cambios en las cuatro mayores aerolíneas de Estados Unidos fueron muy distintos entre sí
  • Delta Air Lines: -1,087 vuelos, -46%
  • United Airlines: -596 vuelos, -36%
  • American Airlines: -376 vuelos, -16%
  • Southwest Airlines: +101 vuelos, +3%
• Delta fue la más afectada, seguida por United, mientras que la caída de American fue menor
• Según el conteo, Southwest no mostró afectación
• La explicación de que Southwest evitó el impacto porque seguía usando Windows 3.1 apareció en un artículo de TechRadar, pero OSNews la trata como falsa
• Un artículo de ABC News informó que Southwest no se vio afectada porque no usa CrowdStrike

Explicaciones y límites alrededor de la lenta recuperación de Delta

• Delta Air Lines tardó mucho en recuperarse y canceló miles de vuelos durante varios días después de la actualización de CrowdStrike
• Un artículo de ABC News informó que la respuesta a la interrupción requirió una corrección manual de cada sistema informático; aunque cada corrección podía hacerse en menos de 10 minutos, Delta necesitó mucho personal por la gran cantidad de terminales digitales
• Solo con esa explicación es difícil entender por completo la diferencia entre Delta y otras aerolíneas
• Un comentario en Reddit ofreció una explicación no verificada según la cual Delta no contaba con un plan adecuado de recuperación ante desastres ni de continuidad operativa de TI, mientras que United, American y Frontier ejecutaron sus planes de inmediato y se recuperaron rápido
  • Ese comentario afirma que United y American tenían una dependencia de Windows comparable a la de Delta
  • También dice que American se recuperó al cierre del viernes y reanudó operaciones normales el sábado, y que United resolvió la situación el sábado por la mañana y retomó su programación normal el sábado por la tarde
  • Se aclara que esa explicación proviene de un comentario de Reddit sin fuentes y que podría estar equivocada

Método de análisis basado en datos ADS-B

• Para el análisis se usaron los datos ADS-B sin procesar de ADS-B Exchange
• Se detectaron despegues con código personalizado y se asumió que cada despegue equivale aproximadamente a un vuelo
• La cantidad de despegues y la cantidad de vuelos no son exactamente lo mismo, pero se asume que para este propósito son lo bastante cercanas
• Algunos casos podrían quedar subcontados, como aeronaves que despegaron desde aeródromos fuera de la cobertura de ADS-B Exchange
• Como ese subconteo ocurre de forma sistemática, se considera útil para comparaciones entre periodos; el número absoluto de vuelos puede quedar por debajo del real, pero el cambio porcentual se considera preciso
• Como ya existía código para detectar despegues, se usó el número de despegues en vez de volver a contar las aeronaves en vuelo

[GN⁺]

Opiniones de Hacker News

• Leí que a Delta le tomó más tiempo recuperarse porque su software de seguimiento de tripulación se vio muy afectado
  Fuente: https://news.delta.com/update-delta-customers-ceo-ed-bastian
  Dice que “una herramienta relacionada específicamente con el seguimiento de la tripulación se vio afectada y no pudo manejar eficazmente el volumen sin precedentes de cambios provocados por la interrupción del sistema”

  • Otro factor que empeoró la situación es que la sede central de Delta y sus principales patrones de operación están en la costa este. CrowdStrike golpeó a las aerolíneas casi al mismo tiempo, así que Delta tuvo aproximadamente entre 1 y 2 horas menos para responder antes de entrar al pico de vuelos de la mañana
    No estuvieron listos para cuando el sistema se volvió necesario en la hora pico matutina, así que es muy probable que pasaran al procesamiento manual como estrategia de continuidad operativa. Ese método perjudica la capacidad de procesamiento y el tiempo de recuperación, y mientras más se prolonga, naturalmente peor se vuelve
    Lo que parecen mostrar tanto el caso de Southwest como este de Delta es que las grandes aerolíneas no tienen suficiente personal ni suficiente holgura en la programación para resistir cuando pasan a modo de continuidad operativa. Hace falta investigarlo, y espero que las sanciones económicas impulsen cambios, pero habrá que ver con el tiempo
  • Más que decir que Delta simplemente recibió un golpe “grave”, el problema es que en el modelo hub-and-spoke que usa Delta, si la gestión de itinerarios cae aunque sea un poco en viernes y además se cruza con los límites de horas de servicio de la FAA, la dificultad de reasignar vuelos sube exponencialmente
    Dicho más simple: si el software de programación estuvo caído 4 horas el viernes por la mañana, empiezan a “pedir prestado” personal de distintos lados para cubrir a empleados retrasados o enfermos. Eso arruina la disponibilidad de personal del siguiente vuelo, y para entonces uno espera que el sistema ya haya vuelto, pero si no vuelve, hay que volver a pedir prestado del vuelo de la tarde
    Mientras tanto, los vuelos demorados o cancelados también afectan las horas de trabajo restantes del personal que originalmente estaba disponible. Después de que esta cadena continúa y llega el fin de semana, primero hay que ordenar cuántas horas registró realmente cada tripulante, y además ya no está claro cómo devolverlos a su posición original a tiempo
  • Según lo que oí en la radio, el problema fue más bien la forma en que respondió Delta que las computadoras en sí
    Decían que otras aerolíneas retrasaron vuelos, mientras que Delta los canceló de inmediato, y como resultado quedaron más personas y aviones varados en lugares equivocados, lo que hizo más difícil la recuperación

• Me pregunto si un plan de recuperación ante desastres sólido, actualizado y suficientemente ensayado realmente salvó a alguien. O si todos simplemente operan al límite, sin importar si TI gasta o no en respaldos y recuperación

  • Nuestros sistemas estuvieron bien. Porque asumimos que algo va a fallar, incluyendo software como SentinelOne y CrowdStrike, y tenemos un sistema de recuperación ante desastres que nos permite seguir operando a duras penas
    También tenemos sistemas de recuperación que funcionarían en otras situaciones, como si fallara el Thames Barrier y desapareciera Docklands. Lamentablemente, algunos proveedores subcontratados no tenían esa misma actitud
  • Definitivamente ayuda. Cuando en un sitio desconectaron por error una fibra óptica, HSRP y VRRP, junto con otras funciones de SD-WAN, marcaron la diferencia. Un técnico del centro de datos cometió un error enorme y nos tumbó a nosotros y al menos a otro cliente
    Hubo claramente una interrupción momentánea y durante unos 10 minutos tuvimos problemas como timeouts de página o reinicios de procesos, pero en general los sitios hicieron failover y pudimos seguir aguantando a duras penas mientras averiguábamos la causa
    En el centro de datos nos dieron un crédito de servicio de 19 o 21 dólares, no recuerdo, junto con una disculpa. El CEO se enfureció y dijo que iba a demandar, pero no pasó de eso, y el director de infraestructura de TI agradeció en silencio que hubiéramos preparado una conmutación por error que en su mayor parte sí funcionó
  • Claro que la infraestructura de recuperación ante desastres debía estar preparada. Con CrowdStrike ya instalado de antemano en todos los servidores de recuperación ante desastres
  • Nunca lo he visto directamente. Claro, puede haber sesgo de muestra, pero me gustaría oír casos de éxito
  • Justo después de que publiqué eso, alguien subió esto: https://news.ycombinator.com/item?id=41103486
    Así que sí parece que la razón de que Delta quedara tan mal fue la falta de recuperación ante desastres

• Lo que no entiendo de estas gráficas es por qué hubo un aumento relativo en el número de despegues un poco antes de que se desplegara la actualización de CrowdStrike
  Se ve en la gráfica general y también en las de United, American y especialmente Delta. No se me ocurre la razón; podría ser solo ruido aleatorio o quizá pasó algo inusual a esa misma hora la semana anterior

  • Una de las razones por las que incluí en la gráfica tanto el número absoluto de vuelos como el cambio porcentual fue para entender mejor el contexto general. Esos aumentos relativos ocurrieron justo antes de que explotara lo de CrowdStrike, es decir, cerca de la medianoche en la hora del este de EE. UU., cuando el volumen de operaciones ya era muy bajo
    Así que incluso un aumento del 25% podría significar apenas 12 vuelos más despegando por hora en todo Estados Unidos. Sin duda hay mucho ruido, y mirar juntos los valores absolutos y los cambios porcentuales ayuda a hacerse una idea de lo que pasó
    Dos días de datos bastan para ver la tendencia principal del impacto de CrowdStrike, pero no alcanzan para explicar todas las variaciones
  • Se reportó ampliamente que fue el día de viaje más ocupado en bastante tiempo, y eso empeoró aún más el problema
  • Para al menos tener idea de la magnitud de la variación, no parece que hubiera sido tan difícil incluir varias semanas de datos

• Lo más interesante probablemente será ver cómo se desarrolla la demanda que Delta quiere presentar contra Microsoft y CrowdStrike
  https://www.marketwatch.com/story/delta-hires-law-firm-seeking-damages-from-crowdstrike-microsoft-after-massive-tech-outage-report-a882328a

• Contenido del enlace incluido: https://www.techradar.com/pro/security/southwest-airlines-avoided-crowdstrike-microsoft-outage-because-its-still-running-windows-31-fourth-largest-us-airline-remained-free-of-bsod-errors-because-its-os-hasnt-been-updated-in-decades
  Dice: “Para dar una idea de qué tan antiguo es este sistema operativo, Windows 3.1 se lanzó originalmente en 1992 y Microsoft dejó de darle soporte el 31 de diciembre de 2001, salvo la versión embebida, que también fue oficialmente descontinuada en 2008”
  Sigo escuchando repetirse la historia de Windows 3.1. Viene de TechRadar y hasta tiene “Pro” en el nombre, así que supongo que no se la habrán inventado. Aun así, no me lo creo del todo. ¿Alguien que trabaje en Southwest puede confirmar si su sistema principal de programación opera sobre Windows 3.1?

  • Eso es falso [1], y se volvió como una prueba de fuego para distinguir si un medio verifica de forma independiente una afirmación
    La frase “SkySolver y Crew Web Access, desarrollados internamente por Southwest, ‘parecen históricamente como si hubieran sido diseñados en Windows 95’” se distorsionó hasta convertirse en “corren en Windows 3.1”
    [1] https://www.osnews.com/story/140301/no-southwest-airlines-is-not-still-using-windows-3-1/
  • TechRadar citó a Tom's Hardware, y Tom's Hardware citó un solo tuit
    Ni siquiera era un tuit de Southwest, ni de alguien que dijera haber trabajado en Southwest. Solo era un tuit
  • La persona que lo empezó dijo que simplemente era un “tuit troll”
    https://x.com/ArtemR/status/1815408553131426179
  • La afirmación de que “Southwest usa Windows 3.1” es falsa, y es un buen ejemplo de cómo se propaga la basura en internet cuando organizaciones más o menos “confiables” repiten un rumor falso
    https://kotaku.com/southwest-airlines-windows-3-1-blue-screen-crowdstrike-1851603013
  • Trabajé en SITA(https://en.wikipedia.org/wiki/SITA_(business_services_company)) a finales de los 2000. Había una enorme red serial X.25 que conectaba aerolíneas de todo el mundo
    Algunos clientes todavía ejecutaban Windows 3.11 en viejos sistemas AT de sus centros de datos, y solían comprar computadoras antiguas en craigslist y eBay para asegurarse hardware de reemplazo cuando algo fallara. No me sorprendería que esos sistemas siguieran en uso hoy

• Berlin Brandenburg fue de los más golpeados. Como usuario muy inconforme con BER, no me sorprende en absoluto que haya sido uno de los lugares con las peores secuelas

  • El IT alemán suele salir muy golpeado en cosas como esta. Claro, excepto cuando todavía opera en papel
    Aun así, estuvo mejor que lo avisaran de inmediato con un banner en la parte superior del sitio web. El sistema de citas de inmigración estuvo caído más de un mes, y tardaron 3 semanas solo en reconocerlo
  • Todavía me sorprende que Brandenburg realmente haya abierto

• Parece que habrá demandas. Delta ya da la impresión de estarse preparando
  https://finance.yahoo.com/news/delta-air-lines-seek-compensation-211908080.html

  • Hay una parte que dice que “contrató a un bufete para reclamar compensación a Microsoft y CrowdStrike”, pero apuntar a Microsoft aquí me parece estar mal enfocado
    ¿Qué tiene que ver Microsoft con un driver de terceros instalado por su propio departamento de IT?

• ¿Alguien sabe por qué Minneapolis-St Paul empezó a sufrir oleadas de cancelaciones mucho antes que otros aeropuertos de EE. UU.?

• Cómo no quebrar: Southwest no se vio afectada porque no usa CrowdStrike

• Mi red social tiene mejores respaldos e infraestructura, así que de verdad no entiendo por qué no pasa lo mismo con un sistema operativo que se usa en todo el mundo

  • Porque el negocio principal de IT es la propia tecnología. Conocen IT a fondo y entienden qué puede salir mal y cómo mitigarlo
    En cambio, el negocio principal de una aerolínea es poner aviones en el aire, y eso lo hacen muy bien. Pero IT es más una herramienta que compran afuera, y no la entienden de la misma manera que una empresa de redes sociales
    Por eso dependen de contratistas externos para que hagan bien el trabajo, y esos contratistas muchas veces lo consiguen por ser los más baratos o por convencer al comprador de que su servicio sigue las “mejores prácticas de la industria”
  • No sobreestimaría a FAANG pensando que es inmune a una actualización de configuración capaz de detener al mundo. Facebook también tuvo una caída total de varias horas en 2021, incluyendo el acceso de los ingenieros al centro de datos
    https://news.ycombinator.com/item?id=28750894
    Y sobre la expresión “infraestructura en comparación con el sistema operativo”, no creo que la calidad de la infraestructura de Microsoft sea relevante aquí
  • Basta con comparar el salario, las condiciones laborales y el estatus que reciben los puestos técnicos en una empresa de redes sociales frente a los de grandes empresas tradicionales como bancos y aerolíneas
    En las primeras, la paga es buena y hay cierto estatus y capital político. En las segundas, los salarios son bajos y el estatus o capital político a menudo está al nivel del personal de limpieza
  • Meta es una de las empresas más valiosas del mundo y tiene recursos para comprar lo mejor de todo. Con una capitalización de mercado de 1.28 billones de dólares, es 30 veces más grande que American, Delta y United juntas
    Sus ganancias del año pasado también fueron de 39 mil millones de dólares, frente a los 7.8 mil millones de toda la industria aérea de EE. UU. Obviamente tienen mejores sistemas
  • Una está dentro de un centro de datos que se puede controlar, y la otra se distribuye en hardware propiedad del usuario que no se puede controlar