Se suspendieron los trenes por una imagen falsa de un puente derrumbado

• Una imagen sospechosa de haberse generado con IA se propagó por redes sociales, y al parecer que el puente se había derrumbado se suspendió temporalmente el servicio ferroviario
• Network Rail detuvo de inmediato todos los trenes que atravesaban Carlisle Bridge para realizar una revisión de seguridad en cuanto se distribuyó la fotografía
• Tras la inspección, al no detectarse incidencias, la vía se reabrió aproximadamente hora y media después y se retrasaron 32 trenes de pasajeros y de carga
• La autoridad ferroviaria advirtió que la producción y el uso compartido de imágenes falsas generan confusión innecesaria y derroche de impuestos
• Los expertos consideran que, aunque el daño real fue mínimo en este caso, es un ejemplo de los riesgos que la desinformación basada en IA puede tener en la operación de infraestructura pública

---

Suspensión de trenes por una imagen falsa

• Poco después de un terremoto, se publicó en redes sociales una imagen que mostraba el puente como gravemente dañado
  • La imagen fue sospechosa de haber sido creada con IA y mostraba al Carlisle Bridge de Lancaster como si se hubiera derrumbado
• Network Rail detectó la imagen a las 00:30 GMT y detuvo toda la circulación de trenes que cruzaban el puente para llevar a cabo una inspección de seguridad
• Un periodista de la BBC analizó la imagen mediante un chatbot de IA y confirmó la presencia de rastros de manipulación

Respuesta de la autoridad ferroviaria e impacto

• Alrededor de las 02:00 GMT la vía se volvió a abrir por completo, y Network Rail advirtió del impacto grave que la creación y distribución de imágenes falsas puede tener
• Las autoridades indicaron que este tipo de confusión por imágenes falsas provoca retrasos a los pasajeros y despilfarro de impuestos, además de aumentar la carga de trabajo del personal en terreno
• La British Transport Police se percató del incidente, pero no se está llevando a cabo una investigación oficial

Magnitud de los retrasos

• De acuerdo con Network Rail, se retrasaron un total de 32 trenes de pasajeros y de carga
  • Algunos se detuvieron directamente o redujeron la velocidad, y otros se vieron afectados por los retrasos de trenes anteriores
  • A causa de la longitud de la West Coast Main Line, el retraso se extendió hasta el norte de Escocia

Análisis de expertos

• El experto ferroviario Tony Miles dijo que como el incidente ocurrió de madrugada, la mayoría eran trenes de carga y trenes cama
  • Esos trenes suelen circular a menor velocidad, así que en caso de retraso suelen tener tiempo para recuperarlo aumentando la velocidad
• Indicó que podría haber efecto en el trabajo de los próximos días porque Network Rail tuvo que movilizar de inmediato a equipos de inspección en campo

Impacto social de la desinformación

• Miles subrayó que este tipo de imágenes falsas puede influir en las agendas reales de las personas
  • Advirtió que podrían causar contratiempos en citas médicas, vuelos, funerales y otros compromisos importantes
• Dijo: “Estas acciones no son una simple broma, sino actos que afectan la vida real de las personas”, y pidió que se abstuvieran

[roxie]

¿Por qué no buscan a la persona que lo difundió primero?

[shakespeares]

¿Con la IA, los manipuladores del mercado podrían pasar de operar en organizaciones a actuar por cuenta propia?

[crawler]

En casos como este, de verdad me da mucha curiosidad cuál sería el castigo.

[GN⁺]

Comentarios en Hacker News

• Apenas estamos entrando en la era de las imágenes y videos falsos
  Antes también, incluso sin IA, la gente fabricaba escenas falsas usando cadáveres, como en el caso de los supuestos atentados manipulados en Donbás
  De aquí en adelante saldrán videos de minorías o políticos haciendo cosas que nunca hicieron, y materiales completamente ficticios presentados como evidencia en tribunales. Parece que será un mundo realmente terrible

  • Ni siquiera hace falta un video falso. Basta con ponerle subtítulos mentirosos a una foto de una minoría para que muchísima gente llegue furiosa
  • La reacción cambia según la generación. Quienes vivieron la masificación inicial de la edición digital lo toman con calma, pero la generación intermedia (20 a 40 años) es la que más se irrita. Se siente como estar en el centro de un caos ciberpunk donde se desmorona el sentido de realidad
  • Hace 10 o 20 años ya se podían hacer manipulaciones sofisticadas con herramientas básicas. La narrativa actual de que “la IA está arruinando todo” más bien parece un movimiento político dirigido a regular la IA de código abierto
  • En una investigación de India escuché por primera vez el término Cheap Fakes. La IA generativa ha vuelto más eficientes los ataques de phishing, hasta el punto de apuntar también a grupos vulnerables que antes ni siquiera eran objetivo. Se está contaminando el ecosistema informativo, y se está formando un bosque oscuro donde chocan las ansias de control del gobierno y la libertad de expresión
  • Sí hay muchas fotos manipuladas, pero también hay muchos casos en que se distorsionan o se ignoran hechos reales. El problema está en ese punto donde se mezclan la realidad y la ficción

• Este caso muestra la brecha entre el costo de crear una alerta y el costo de verificarla
  Las herramientas generativas hacen que manipular sea casi gratis y multiplican ese volumen de forma explosiva
  La operadora ferroviaria no tuvo la culpa. Si, justo después de un sismo, empieza a circular una imagen creíble, lo natural es tener que confirmar en persona
  En adelante, una sola persona podrá provocar una respuesta muy costosa con muy poco gasto. En lugar de ignorar las redes sociales, los sistemas tendrán que mejorar su velocidad y resiliencia para distinguir la señal del ruido

  • Incluso si solo hubieran llamado por teléfono diciendo “el puente se cayó”, igual habría habido retrasos. Mentir por teléfono también es un problema viejo
  • En un lugar con tantas cámaras CCTV como el Reino Unido, uno pensaría que habrían podido revisar directamente el estado del puente. Sorprende que no fuera así. La tecnología de detección automática debería avanzar más
  • Como dice la ley de Brandolini, refutar una mentira requiere mucha más energía
  • Para 2030 probablemente se podrán generar imágenes falsificadas mucho más sofisticadas en un instante. Se parece al dilema atacante-defensor en ciberseguridad
  • Incidentes como este podrían impulsar la inversión en monitoreo de infraestructura en tiempo real

• Entre 1950 y 2005 había pocas fuentes de información porque entrar a la radiodifusión tenía barreras altas. Entre 2005 y 2021 la confianza en el video era alta, pero ahora el costo del video falso se está acercando a cero
  Parece que volveremos a depender de unas pocas fuentes confiables

  • Pero incluso esas pocas fuentes también distorsionaban. Si la IA reduce aún más la confianza, el valor del periodismo real podría caer
  • Últimamente ya cansan tantos anuncios con animales hechos por IA hablando
  • Algunos pagan por noticias precisas, pero la mayoría solo busca confirmar sus propios prejuicios. Los algoritmos de redes sociales priorizan la participación y los ingresos publicitarios por encima de la verdad

• Network Rail dijo que “antes de crear o compartir imágenes falsas hay que pensar en sus graves consecuencias”,
  pero en realidad hace falta un sistema de verificación que no dependa de las redes sociales. ¿No habría sido mejor confirmar directamente por teléfono?

  • Aun así, si existía la posibilidad de que el puente hubiera colapsado, detener los trenes era la decisión correcta
  • Como era de madrugada, seguramente tomó tiempo encontrar personal para verificarlo. No se puede garantizar la ausencia total de riesgo, pero reducirlo debe ser la prioridad
  • Es imposible tener personal permanente las 24 horas en todos los tramos. Network Rail hizo bien en dar prioridad a la respuesta centrada en la seguridad

• En realidad, para algo así no hace falta IA
  El mismo resultado se habría dado si alguien solo llamaba diciendo “el puente se rompió”. Las llamadas de broma y las falsas amenazas existen desde hace mucho

  • Pero la viralidad de las redes sociales es distinta. Cuando una imagen se difunde, varias autoridades reaccionan al mismo tiempo. Una llamada no se propaga, pero una imagen sí se expande sola. Por eso este incidente fue posible
  • La lógica de “antes también pasaban cosas malas, así que no hay por qué preocuparse” es peligrosa. No deberíamos dejar que el problema pase de nivel X a nivel X²
  • Las bromas telefónicas pueden traer castigo legal, pero una foto falsa no necesariamente supera ese umbral
  • Antes de la invención de la pólvora también se podía matar a alguien con proyectiles, pero la pólvora cambió el mundo. Con la IA pasa lo mismo
  • Para frenar este tipo de actos falsos hacen falta castigos severos. El problema es que la sociedad termina absorbiendo el costo más que los delincuentes

• Curiosamente, no hay pruebas de que esta foto realmente haya circulado en redes sociales
  Fuera del artículo de la BBC, no pude encontrar ningún rastro. Quizá se la enviaron directamente por correo a Network Rail

  • Si fue una broma tan elaborada, hasta sería digno de admiración

• Este caso me recordó la trama de Moab de Fall; or, Dodge in Hell

  • La primera parte del libro fue realmente interesante. Me impresionó especialmente cómo trata la anonimidad y la presencia en línea

• Dicen que un periodista de la BBC analizó la imagen con un chatbot de IA y encontró indicios de manipulación
  Pero este método parece inadecuado como forma de verificación

  • En realidad el periodista fue al lugar y confirmó que el puente estaba intacto. El análisis con IA probablemente fue solo una ayuda complementaria
  • Un profesor revisó tareas de estudiantes con ChatGPT, pero este tipo de detección con IA tiene poca confiabilidad. Si el estudiante le da la vuelta al modelo, es fácil engañarlo
  • Respuestas de ChatGPT del tipo “si miras los píxeles te das cuenta” suenan casi como un chiste
  • Puede ser un método rápido, pero no tiene la confiabilidad suficiente como para citarlo en una nota periodística

• La advertencia de Network Rail en realidad terminó mostrando su propia vulnerabilidad
  Con este método se podría lanzar en cualquier momento un ataque capaz de paralizar infraestructura pública

  • En realidad, esa vulnerabilidad ya se conocía desde hace mucho

• Me preocupa más la frase “la inspección del puente afectó el trabajo durante varios días”
  Sorprende que incluso una simple verificación visual pueda generar un costo social tan grande

  • Pero el personal que responde a emergencias recibe descanso compensatorio (TOIL), así que eso termina afectando la programación. Tener personal disponible las 24 horas saldría todavía más caro. Al final, es un tema de equilibrio entre costo y seguridad