Interrupción del servicio celular en EE. UU. afecta a usuarios de AT&T, T-Mobile y Verizon
(cnbc.com)- Una falla inalámbrica de AT&T ocurrida el jueves en Estados Unidos provocó interrupciones en llamadas, mensajes de texto y algunas llamadas de emergencia al 911, y AT&T informó que poco después de las 3 p. m. hora del Este se restableció el servicio para todos los clientes afectados
- En una revisión inicial, se determinó que la causa no fue un ciberataque, sino la aplicación y ejecución incorrectas de un proceso durante una expansión de la red, y AT&T seguirá realizando evaluaciones adicionales
- Los reportes en Downdetector comenzaron a aumentar alrededor de las 4 a. m. hora del Este y alcanzaron un pico de aproximadamente 74,000 casos a las 8:30 a. m.; cerca del mediodía todavía se reportaban unos 58,000
- En los dispositivos afectados desaparecieron las barras de señal o apareció la indicación SOS, y los clientes podían hacer llamadas si activaban Wi-Fi calling
- Verizon y T-Mobile también registraron miles de reportes cada una, pero ambas compañías consideran que lo más probable es que reflejen problemas al intentar conectarse con usuarios de otras redes
Situación de la falla y recuperación en AT&T
- El jueves, miles de usuarios de AT&T en Estados Unidos sufrieron una interrupción celular que afectó el uso de llamadas y mensajes de texto
- AT&T informó que poco después de las 3 p. m. hora del Este se restableció el servicio para todos los clientes afectados
- La empresa señaló que mantener conectados a sus clientes es su máxima prioridad y que está tomando medidas para evitar que vuelvan a pasar por lo mismo
- AT&T habilitó un sitio web de system updates, pero no reveló cuántos clientes fueron afectados por la interrupción del jueves
Causa de la interrupción y respuesta de los reguladores
- En una revisión inicial realizada tarde el jueves, AT&T concluyó que la causa de la interrupción fue la aplicación y ejecución incorrectas de un proceso usado durante una expansión de la red
- En la misma explicación, confirmó que esta interrupción no fue un ciberataque
- La FCC dijo en X que está investigando el incidente y que está en contacto con AT&T y con las autoridades de seguridad
- AT&T continuará evaluando la interrupción
Evolución de los reportes en Downdetector y la acción
- Según Downdetector.com, los reportes de interrupciones comenzaron a aumentar alrededor de las 4 a. m. hora del Este
- La cantidad de reportes alcanzó un pico de aproximadamente 74,000 casos hacia las 8:30 a. m.
- Cerca del mediodía se reportaban unas 58,000 interrupciones
- La acción de AT&T cerró el jueves con una caída de 2.41%
Indicadores en los dispositivos y efecto sobre el 911
- Los teléfonos afectados por la interrupción mostraban la ausencia de barras de señal en la parte superior derecha de la pantalla o el texto SOS
- Los clientes podían hacer llamadas al activar Wi-Fi calling
- El San Francisco Fire Department informó en una publicación en X que los clientes inalámbricos de AT&T no podían hacer ni recibir llamadas, incluidas las llamadas al 911
- El alcalde de Atlanta, Andre Dickens, dijo que la ciudad podía recibir y realizar llamadas al 911, pero que clientes locales de AT&T reportaron que sus teléfonos estaban en modo SOS
- La Massachusetts State Police pidió no llamar a los centros 911 solo para comprobar si el servicio 911 móvil estaba funcionando, ya que estaban recibiendo una gran cantidad de esas llamadas
- Indicó que si se puede realizar con éxito una llamada no urgente a un número normal, entonces el servicio 911 también está funcionando
Reportes en Verizon y T-Mobile
- Según Downdetector, hasta las 10 a. m. hora del Este, usuarios de Verizon y T-Mobile también habían reportado miles de interrupciones cada uno
- Ambas compañías consideran que esos reportes probablemente reflejan dificultades surgidas al intentar conectarse con usuarios de otras redes
- T-Mobile explicó en un comunicado enviado por correo electrónico que es probable que Downdetector haya reflejado problemas que los clientes experimentaron al intentar conectarse con usuarios de otras redes
1 comentarios
Opiniones en Hacker News
Esto es una falla arquitectónica grave.
En toda la historia de conmutación electromecánica del Bell System, salvo por desastres naturales o un gran incendio en NYC, ninguna central llegó a estar fuera de servicio por más de 30 minutos.
El sistema AT&T Long Lines de los años 60 y 70 tenía 10 centros regionales, todos independientes y densamente interconectados, y el centro de control de Bedminster, NJ, solo se encargaba de la supervisión y de actualizaciones de ruteo cada 15 minutos.
Si hacía falta, todos los conmutadores podían volver al ruteo predeterminado, y si la carga era alta, algunas llamadas podían fallar, pero la mayoría seguía funcionando.
La causa fue que en el código C que manejaba el ruteo se cambió una instrucción
breakpor unacontinue, y eso tuvo un efecto en cadena.Pero solo afectó al servicio de llamadas de larga distancia.
Me pregunto si es solo mi imaginación o si es real, y si lo es, qué significa.
El 502 venía de Azure, y parece un problema de arquitectura en la nube.
Hay algo de lo que casi no se habla aquí: ¿cómo fueron los efectos en cadena de esta falla, especialmente para los conductores?
Mucha gente dentro de edificios probablemente pudo esquivarlo usando Wi-Fi, pero para los conductores me imagino que el impacto fue bastante amplio.
Por ejemplo, se me ocurren retrasos en entregas de UPS, FedEx, Amazon y camioneros que dependían de apps de mapas en el celular; conductores de Uber/Lyft/taxis sin indicaciones para recoger o dejar pasajeros; y tráfico empeorado por no recibir optimización de rutas o indicaciones al destino.
Las grandes empresas tal vez tengan redundancia, como infraestructura propia o dispositivos GPS dedicados, pero me pregunto si estos efectos ocurrieron en la práctica o si existen formas de sortearlos.
Aparte de los conductores, también parece que aumentó el riesgo de no recibir atención en emergencias por no poder llamar, y tampoco está claro cómo se vieron afectadas las llamadas de emergencia.
En Toronto, una cuarta parte de todos los semáforos dependía de la red celular de Rogers para cambios en la temporización de las señales, y la red GSM de Rogers también se usaba para el monitoreo remoto de alarmas contra incendio y rociadores en edificios municipales.
Tampoco se podían usar los pagos de estacionamientos públicos ni el servicio público de bicicletas.
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
Recuerdo que, como era verano, también se cancelaron algunos programas de parques para niños. Era porque el personal tenía que tener un celular capaz de llamar al 9-1-1, aunque al menos esa llamada en sí parece que sí funcionaba allí.
He reducido deliberadamente mi dependencia del celular, así que ni sabía que había una falla. Antes abría Google Maps automáticamente incluso para trayectos muy cortos, pero me di cuenta de que, si dependía por completo de que una empresa rastreara mi ubicación y me diera instrucciones, perdería mi capacidad de orientarme por mi cuenta; y en mi proceso de desGooglearme cambié a Organic Maps.
Aun así, cuando puedo, trato de encontrar el camino por mi cuenta sin ayuda de GPS, porque orientarse se siente como una habilidad que realmente se puede perder si no se practica.
Esta mañana, después de hacer un trámite cruzando el centro, intenté volver a la avenida principal más grande que conozco y me topé de inmediato con un embotellamiento total hacia el oeste que se extendía al menos 1 milla. Miré si había algún accidente, pero no vi nada; todos simplemente estaban detenidos.
Di la vuelta enseguida y fui a otra calle hacia el oeste, 0.75 millas al norte, y no había nada de tráfico; pude volver a casa al límite de velocidad.
Las apps de navegación más usadas sugieren rutas alternativas cuando hay tráfico, así que ¿por qué todos estaban metidos en ese embotellamiento si había una calle paralela vacía a menos de 1 milla? Quizá fue un efecto en cadena causado por demasiada gente acostumbrada a seguir instrucciones del celular, que ya no podía decirles que tomaran otro camino.
También parece tener alguna función automática de mapas locales.
La mayoría de los conductores toman rutas conocidas y no reciben indicaciones por medios electrónicos.
Una mejor pregunta es qué pasó con los autos autónomos. ¿Se habrán quedado estacionados a la orilla de la calle, incapaces de encontrar el camino sin cobertura celular?
Para quienes intentan adivinar la causa raíz: con la información que hay en los comentarios hasta ahora no alcanza para sacar una conclusión.
Cuando trabajaba en una empresa de telecomunicaciones, atendí varias veces problemas celulares a escala nacional en Canadá, y los impactos nacionales pueden venir de causas muy variadas.
Una vez se inyectó una nueva ruta en la red y eso hizo que el motor de ruteo de cierto equipo celular crasheara a nivel nacional; como resultado, solo se cortó el acceso a internet de los dispositivos celulares en todo el país. Por suerte fue durante una ventana de mantenimiento a las 2 a. m.; lo detectamos y lo revertimos antes del horario laboral, así que la mayoría ni se enteró.
También hubo un caso en que un técnico conectó un router nuevo y los routers core existentes crashearon y se reiniciaron. El impacto digno de salir en las noticias fue una interrupción regional de unos 20 minutos, pero durante las 12 horas siguientes encontramos bugs y efectos secundarios desde el Pacífico hasta la costa atlántica.
Por eso, datos como “me afectó en la ubicación x” no permiten distinguir si toda esa zona está caída, si mucha gente tiene problemas o si solo una o dos personas tienen un problema que se propagó desde otra región; la información de si funciona o no en una ubicación específica tiene valor limitado.
También hubo una vez en que un relay de mensajería alcanzó el límite de velocidad configurado, y los reintentos del protocolo elevaron aún más la tasa de mensajes, causando en la práctica un colapso por congestión en cierto protocolo. Como era un problema de congestión en la propagación de estado, tuvo impacto nacional, pero aun así el flujo de mensajes se completaba con una probabilidad de x%, así que el servicio a veces funcionaba.
Del famoso apagón de Rogers, no recuerdo si alguna vez reconocieron toda la causa raíz. Se especuló que al hacer un cambio o una actualización en la red de ruteo, un efecto secundario del problema terminó expulsando de la red incluso a los técnicos. Con la red nacional caída y los empleados usando la misma red, la coordinación se volvió difícil y la recuperación también.
Los documentos presentados ante la CRTC que revisé tenían toda la información útil censurada, así que había muy poco que aprender. Es divertido especular, pero espero que esta vez AT&T sea más transparente que las telcos canadienses y que la industria pueda aprender algo.
Fue interesante ver a otra organización gigante sin un plan de reversión ni de falla para un cambio capaz de arruinar la empresa. Ni siquiera tenían —o tenían de forma limitada— lo básico de IT 101.
Algo positivo que se aprendió es que las 3 grandes, en la práctica 2 operadoras, consideraron buena idea proveerse mutuamente SIM de respaldo de emergencia de otras redes para personal clave cuando su propia red cayera. Recién lo hicieron en 2015, pero tarde es mejor que nunca.
Rogers usaba el mismo core para conexiones inalámbricas y cableadas, así que incluso quienes usaban proveedores de internet de terceros que corrían sobre Rogers sufrieron un blackout total. Sitios web, enlaces corporativos, casi todo se cayó, y la comunicación de Rogers fue prácticamente nula.
Por suerte, nuestra organización tenía una configuración multienlace, así que a las 6 a. m. cambiamos de enlace y la operación en campo siguió mayormente sin problemas.
Otra cosa interesante fue que las estaciones base seguían encendidas lo suficiente como para que los teléfonos se conectaran, pero no podían hacer nada; por eso, las llamadas al 9-1-1 no pasaban a otra red y simplemente fallaban. Parece una falla de la especificación GSM o de la programación de las SIM de Rogers; no sé si lo corrigieron.
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
Generalizando de forma muy burda: la gente de ciencia sospecha de una llamarada solar; mi amigo de derecha sospechó de hackers internacionales; yo sospeché de un despliegue de software fallido; y alguien en este hilo escribió que su amigo militar le dijo que cargara combustible.
Pero, igual que todos, yo también siento sinceramente que mi hipótesis probablemente sea la correcta.
Hay muchos reportes de seis personas en la misma casa, todas con AT&T, pero solo una con problemas.
Suena a una actualización aplicada a medias o, considerando la hora en que ocurrió, a un rollback aplicado a medias.
Verizon y T-Mobile anunciaron que ninguna de las dos tenía una interrupción propia, sino que sus clientes no podían llamar a clientes de AT&T.
Sin embargo, parece que la mayor parte de la red de AT&T en EE. UU. estaba caída.
El pico de dispositivos intentando registrarse al mismo tiempo podría haber sobrecargado partes de esas redes.
Probablemente no tenga relación, pero el momento es inoportuno, ya que AT&T solicitó terminar el servicio de telefonía fija en algunas zonas de California.
https://www.wired.com/story/att-landline-california-complain...
Fin de la interrupción
Estado: recuperado
AT&T FINAL, Service Degradation, Global Smart Messaging Suite
AT&T Global Smart Messaging Suite
Descripción del evento: FINAL, Service Degradation
Servicio afectado: MMS MT
Inicio: 2024-02-21 Este 22:00, Centro 21:00, Pacífico 19:00
Fin: 2024-02-22 Este 11:00, Centro 10:00, Pacífico 08:00
Tiempo de interrupción: 780 minutos
Estimado cliente: le informamos que Global Smart Messaging Suite ya está disponible. El servicio MMS MT fue restaurado y nuestro equipo lo está monitoreando.
AT&T Business Solutions
Kind Regards,
The AT&T SMS Service Administrator
Tal vez estoy leyendo demasiado entre líneas, pero me incomoda que eso falte.
Me acordé de una discusión reciente sobre las páginas de estado: https://news.ycombinator.com/item?id=39099980
Las páginas de estado deberían ser precisas, pero el estado de AT&T afirma que todo está normal.
Mi servicio móvil está caído y en DownDetector hay decenas de miles de reportes, así que claramente no está todo normal.
O se actualizan con pruebas automáticas, o se actualizan manualmente.
Si son automáticas, casi siempre son para uso interno y no público; si son manuales, casi siempre llegan tarde y, de todos modos, se actualizan recién después de que la caída aparece en HN.
Es realmente frustrante cuando el departamento de marketing toma control de la página de estado y aparecen el infame check verde y una pequeña “i”.
“Service Alert: Some of our customers are experiencing wireless service interruptions this morning. We are working urgently to restore service to them. We will provide updates as they are available.”
https://www.att.com/outages/
Todavía no hay información en NANOG, pero parece probable que aparezca algo en este hilo en las próximas horas: https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
Aunque uso la app myATT, directamente no aparece mi cuenta móvil.
Toda la cuenta familiar ni siquiera figura como servicio. Parece un hackeo o un problema interno que borró la cuenta.
¿Otros pueden confirmar si ven sus cuentas?
Las SIM perdieron la autenticación de red y por eso todas quedaron fuera de la red. Si es así, parece bastante probable que haya sido un despliegue de software fallido.
Las cuentas en línea también deben obtener esta información de alguna forma, así que eso también podría explicar por qué se rompió el portal.
Un hotspot prepago funciona bien, pero ninguno de los teléfonos con contrato mensual del “plan familiar” funciona.
También me pregunto si la diferencia entre SIM física y eSIM podría explicar por qué funcionan los modelos “nuevos”.
Lo primero que hice al ver que el teléfono no funcionaba fue iniciar sesión y pagar la factura, por si acaso no la había pagado.
No descartaría que se hayan caído con apenas un poco de tráfico adicional. Correlación no implica causalidad.
Existe algo llamado mapa de interrupciones[1]. Pero no sirve.
Es simplemente un mapa que muestra dónde vive mucha gente en Estados Unidos.
[1] https://www.cbsnews.com/news/outage-map-att-where-cell-phone...