Cómo un fallo de software en el servicio postal británico arruinó la vida de cientos de personas
(cnn.com)- Los operadores de sucursales del Post Office del Reino Unido cargaron con faltantes inexistentes por errores en el sistema contable Horizon creado por Fujitsu, y entre 1999 y 2015 cientos de personas sufrieron condenas, bancarrota, prisión y daños a su reputación
- Horizon se introdujo en 1999 para reemplazar la contabilidad en papel, pero en múltiples sucursales mostró faltantes falsos de miles o decenas de miles de libras, y hubo casos en los que la cantidad aumentaba al volver a enviar el mismo cálculo
- La estructura contractual hacía que los operadores de sucursal asumieran la responsabilidad por las pérdidas, y el Post Office agravó el daño al responder a quienes planteaban el problema que “eran los únicos” o al bloquearles el acceso necesario para demostrar su inocencia
- En una demanda civil presentada en 2019 por más de 500 personas, se reconocieron los bugs, errors and defects de Horizon, y aunque el Post Office ha pagado más de 138 millones de libras en compensación, solo 93 de las 700 condenas han sido anuladas
- Tras el drama de ITV “Mr Bates vs The Post Office”, la opinión pública estalló y el gobierno comenzó a impulsar una ley para anular sentencias, mientras que la responsabilidad de Fujitsu en la compensación y su posible responsabilidad penal siguen bajo investigación
Un error de Horizon provocó una enorme injusticia judicial
- Los sub-postmasters que operaban sucursales del Post Office en el Reino Unido sufrieron procesos penales, bancarrota y daños a su reputación entre 1999 y 2015 por los faltantes que mostraba Horizon
- El gobierno británico es propietario del Post Office y ha definido este caso como una de las mayores injusticias judiciales de la historia del Reino Unido
- El daño se extendió a miles de personas; de ellas, 700 fueron condenadas por delitos penales y algunas terminaron en prisión
- Horizon fue desarrollado por la japonesa Fujitsu y se introdujo en 1999 para reemplazar la contabilidad en papel
- Desde poco después de su implementación, gerentes de sucursal denunciaron que el software mostraba como desaparecidas miles de libras o más de las cuentas del Post Office
Faltantes inexistentes convertidos en delitos personales
- Jo Hamilton dijo que, mientras operaba una oficina postal en un pequeño pueblo del sur de Inglaterra en 2003, la computadora de Horizon mostró un faltante de 2,000 libras, y que al rehacer el mismo cálculo la cantidad se duplicó ante sus ojos
- Hamilton refinanció su casa para cubrir un faltante inexistente, y cuando el Post Office la acusó en 2007 de robo y falseamiento contable, el faltante ya había crecido hasta 36,000 libras
- Aceptó declararse culpable de falseamiento contable con la condición de que retiraran el cargo de robo, pero el proceso fue una experiencia devastadora para ella
- Wendy Buffrey también vivió en 2008 una situación en la que los faltantes no explicados de Horizon se duplicaban cada vez que reenviaba el mismo cálculo
- Los investigadores del Post Office le dijeron a Buffrey que era la única persona que estaba pasando por ese mismo problema
- Buffrey pensó que debía responder por 36,000 libras y cargó 10,000 libras a sus tarjetas de crédito, llevándolas al límite, para depositarlas en la cuenta
- Su abogado de entonces le dijo que, si se declaraba inocente, era muy probable que recibiera una condena de tres años, así que aceptó declararse culpable de falseamiento contable a cambio de que retiraran el cargo de robo
- Buffrey dijo que desde entonces sufre dolor persistente por fibromialgia relacionada con el estrés
Contratos e investigaciones que perjudicaban a los operadores de sucursal
- El contrato del Post Office se parecía más a una franquicia, y los operadores de sucursal debían asumir las pérdidas financieras ocurridas en sus locales
- A algunos operadores cuyo contrato fue terminado se les impidió el acceso a sus establecimientos por parte de investigadores del Post Office, lo que dificultó encontrar pruebas para demostrar su inocencia
- Cada vez que Hamilton llamaba a la línea de ayuda de Horizon, los agentes le respondían que ella era la única persona con problemas en el sistema
- El abogado Neil Hudgell dijo que escuchó de primera mano sobre sub-postmasters falsamente acusados, o que se quitaron la vida después de perder su negocio y su reputación
- La esposa de Martin Griffith declaró en su testimonio como víctima que su marido cayó en una profunda depresión después de que el Post Office decidiera terminar su contrato, y que caminó hacia un autobús
- Griffith pidió dinero prestado a sus padres para cubrir el faltante de su cuenta, y después también sufrió un asalto en su sucursal
Compensación y anulación de condenas, lentas incluso tras ganar en los tribunales
- En la demanda civil presentada en 2019 por más de 500 sub-postmasters, se concluyó que Horizon tenía “bugs, errors and defects”
- El Post Office ha pagado hasta ahora más de 138 millones de libras en compensación y sostiene que busca corregir los errores del pasado, incluido el apoyo para revertir condenas injustas
- Tras la victoria legal de 2019, más sub-postmasters comenzaron a denunciar que Horizon había mostrado faltantes erróneos
- De las 700 personas condenadas, solo 93 han sido exoneradas hasta ahora, incluidas Hamilton y Buffrey
- Más de 2,700 personas han solicitado compensación hasta ahora, pero muchos sub-postmasters consideran que lo recibido no es suficiente y exigen responsabilidades para los involucrados
La investigación policial y el alcance de la responsabilidad de Fujitsu
- La Metropolitan Police de Londres abrió en 2020 una investigación penal sobre posibles delitos de fraude cometidos por el Post Office
- La policía también investiga a Fujitsu por posibles delitos relacionados con el procesamiento de sub-postmasters
- Dos ministros del gobierno británico dijeron que, dependiendo del resultado de la investigación pública independiente, podría exigirse a Fujitsu que pague compensación a las víctimas
- Fujitsu afirma que está comprometida con apoyar la investigación para entender lo ocurrido y aprender de ello
- Fujitsu dijo que la investigación ha confirmado el impacto devastador que tuvo el caso en la vida de los postmasters y sus familias, y pidió disculpas por el papel que desempeñó la empresa en su sufrimiento
La respuesta política detonada por una serie
- Aunque este caso fue tratado durante años en los tribunales y en la prensa británica, la conciencia pública y la indignación crecieron bruscamente tras la emisión del drama de ITV “Mr Bates vs The Post Office”
- La serie retrata la larga campaña de los sub-postmasters para demostrar su inocencia y obtener compensación
- Alan Bates es el ex sub-postmaster que encabezó ese esfuerzo
- Tras el estreno de la serie, el gobierno británico reaccionó en cuestión de días con la rapidez que los sub-postmasters venían exigiendo desde hacía años
- El primer ministro Rishi Sunak anunció que el Parlamento aprobaría con rapidez una ley histórica para revertir las condenas de cientos de sub-postmasters
- En el sistema político y judicial británico aún quedan preguntas sobre quién sabía qué y cuándo, si hay individuos que deban asumir responsabilidad penal, y hasta qué punto Fujitsu debe responder por la compensación a las víctimas
Un trauma que se extendió por casi 20 años
- Siema Kamran y su esposo Kamran Ashraf compraron en 2001 una sucursal postal en el norte de Londres, y tres años después una auditoría del Post Office detectó un faltante no explicado de 25,000 libras
- Ashraf sintió presión por parte de su abogado y se declaró culpable de robo; fue sentenciado en 2004 a nueve meses de prisión, y su condena fue anulada en 2020
- Durante las primeras semanas de su condena, Ashraf pasó 23 horas al día encerrado en una prisión de alta seguridad, y luego fue trasladado a una de menor seguridad
- Fue liberado cuatro meses después, pero durante los cinco meses siguientes llevó una tobillera electrónica para seguimiento de ubicación
- Kamran dijo que su esposo sufre trastorno de estrés postraumático por esa experiencia, y que él, ella y sus tres hijos necesitan tratamiento
- Kamran, que ahora trabaja por cuenta propia como maquillista, dijo que si el Post Office pudo hacer algo así, no se sabe qué podría hacer cualquier otra marca, y que ya no puede volver a trabajar para una gran empresa
1 comentarios
Opiniones en Hacker News
Es un nuevo recuento de un caso real, y este incidente me llevó a hacer un doctorado en sistemas de información.
Quería entender por qué, pese a décadas de buenas prácticas acumuladas en TI y software, una incompetencia informática de este nivel sigue siendo posible hoy, pero pronto descubrí que la investigación en sistemas de información ya lo había explicado casi todo.
Al final, las personas son personas y las organizaciones pésimas son organizaciones pésimas; mientras exista una distribución en forma de campana para casi todo, quizá esto nunca desaparezca por completo.
Si todo el mundo fuera altruista, humilde, inteligente, competente y honesto, no solo desaparecerían muchos problemas de TI, sino también muchos problemas del mundo; pero las personas, las organizaciones y las sociedades están rotas cada una a su manera.
Aun así, los estudios organizacionales intentan señalar mejores caminos, aunque parece que algunas personas simplemente nunca van a prestar atención.
Ya no me concentro más en este tema porque parece estar suficientemente investigado, pero es interesante que este caso todavía aparezca una y otra vez en las noticias.
En los sistemas críticos debe haber responsabilidad, y esa responsabilidad debe imponer a los fabricantes y propietarios la obligación de crear salvaguardas, inspecciones y medidas de protección.
Por qué este principio no se aplica bien a la ingeniería de software es otra discusión, pero creo que debería aplicarse.
Francamente, no quiero oír eso de “muévete rápido y rompe cosas”.
Este caso se hizo público y hubo intentos de reparación porque fue de gran escala e involucró a cientos o miles de personas.
Hay que preguntarse cuántos casos dispersos habrá en los que vidas quedan destruidas y personas inocentes se pudren en la cárcel.
Hay algo en esa organización que atrae a personas excepcionalmente crueles, o quizá se transformó así en las últimas décadas.
En el anuncio de TV de comienzos de los 2000 “The People’s Post Office”, John Henshaw interpretaba el papel de subdirector de oficina postal; era una elección extraña, pero de alguna manera adecuada, porque es un actor conocido por papeles de villanos fuertes y policías corruptos.
Depender de “si todos fueran inteligentes y actuaran de buena fe” ya es un diseño roto.
Si te interesa el mundo académico, te recomiendo firmemente volver a analizar el diseño de sistemas que funcionen incluso con incompetencia e incluso con adversarios.
Más bien, a los estafadores fanfarrones con una relación flexible con la verdad les resulta fácil ascender en cualquier lado.
Hay más información sobre lo que realmente ocurrió técnicamente detrás de escena: https://www.theguardian.com/uk-news/2024/jan/09/how-the-post...
David McDonnell, del equipo de desarrollo, dijo en la investigación que “de los 8 miembros del equipo de desarrollo, 2 eran muy buenos, con 2 se podía trabajar más o menos, pero 3 o 4 carecían de la capacidad para producir código profesional”.
No intento echarles la culpa a los desarrolladores; la responsabilidad claramente recae en la gerencia.
Las personas que introdujeron bugs en el código no deberían ser responsables de que otras personas terminaran en la cárcel por eso.
Los gerentes no saben bien qué hacen realmente los ingenieros.
Solo los ingenieros entienden de verdad los compromisos de ingeniería, y si hay vidas en juego por el resultado de nuestro trabajo, no deberíamos estar completamente blindados frente a las consecuencias de nuestras decisiones.
No es bueno para la sociedad ni, en última instancia, para nosotros.
Según los principios del derecho de daños, hay responsabilidad por los daños previsibles, y cuanto mayor es la pericia profesional, mayor es la responsabilidad.
Los ingenieros senior del equipo debieron haberlo hecho mejor, y creo que tienen culpa.
Ese punto siempre me inquieta.
Se puede crear una API que audite completamente el acceso, pero es fácil escribir código que evite esa API.
El código no es un edificio con paredes y puertas; se puede modificar el interior sin tocar la puerta.
Poner una puerta trasera no auditada para operadores está mal, pero si se puede editar el código fuente, las puertas traseras son, en la práctica, infinitas.
Horizon es un producto de los años 90, y en aquel entonces la industria del software era muy distinta de la actual.
En esa época, casi el único lugar que rutinariamente pedía programar a los candidatos en entrevistas era Microsoft, y la contratación era casi aleatoria.
Eran comunes los equipos en los que una minoría capaz de escribir código funcional sostenía a una mayoría que no podía escribir nada.
The Daily WTF también es producto de esa época, y hay muchas historias como Brillant Paula Bean: https://thedailywtf.com/articles/The_Brillant_Paula_Bean
Hoy se oyen muchas menos historias de ese tipo, porque la industria se asentó en la práctica de evaluar habilidades técnicas concretas antes de contratar, filtrando a mucha gente que antes entraba a proyectos aunque no pudiera programar bien.
Si yo fuera el único desarrollador y vendedor de esta app, ¿no tendría responsabilidad?
¿Cambiaría si hubiera una persona de QA, o si hubiera dos desarrolladores y dos personas de QA?
¿Debería ser responsable en su lugar una persona no técnica que vendió o promocionó la app?
No entiendo por qué desaparece por completo la responsabilidad del desarrollador por no revisar suficientemente su propio código.
Parece que el núcleo de este caso fue el sistema “judicial” privado dentro de Post Office.
Era opaco y sesgado, y se negaba a revisar las pruebas.
En una época que busca derechos universales, es absurdo que un lugar de trabajo pueda quitarte el derecho a defenderte dentro del sistema judicial público.
Los bugs de TI también fueron un problema, pero el error político de una institución atrapada en el pasado arruinó a muchas personas y quedó enterrado hasta que salió el drama televisivo.
De hecho, la persona que dirigía Post Office incluso recibió una condecoración del gobierno.
TI y la generación de código tienen muchas trampas, pero el núcleo de este caso está en otro lado.
En la investigación pública se reveló que Post Office usó tácticas legales agresivas, como acusar de robo a subadministradores de oficinas postales para presionarlos a declararse culpables de cargos menores.
El CPS identificó 11 casos de subadministradores de oficinas postales que incluían “pruebas destacables” del sistema Horizon.
Expertos legales sostienen que desde hace años el gobierno había recibido advertencias de que las acusaciones privadas son riesgosas porque quien las impulsa puede tener motivaciones distintas a hacer justicia.
El exdirector del Ministerio Público, Lord Ken Macdonald KC, dijo que cuando una institución con intereses propios, como Post Office, actúa como fiscal, surge un riesgo evidente.
La CEO fue recompensada porque “gestionó” la crisis, y el gobierno debió haber exigido respuestas tras las señales de alerta de los primeros años.
Pero tuvieron que pasar 20 años y un drama televisivo para que se viera obligado a mostrar liderazgo.
No sé si Netflix la emite bajo licencia a nivel internacional.
Aunque es un poco distinto de la situación en el Reino Unido, las cláusulas de arbitraje obligatorio están quitándoles a los empleados el derecho a buscar justicia, y son cada vez más comunes.
La BBC cubrió este caso en 2015 con un documental de Panorama, y Post Office amenazó a la BBC por su contenido.
“Post Office amenazó y mintió a la BBC al intentar suprimir pruebas clave que exoneraban a los administradores de oficinas postales en el escándalo Horizon”.
“Las afirmaciones falsas no impidieron el programa, pero sí retrasaron varias semanas la transmisión de la BBC”.
https://www.bbc.com/news/uk-67884743
No fue solo un “defecto”, sino también una guerra de relaciones públicas que logró silenciar bastante bien las voces de las víctimas hasta ahora.
Cuando vi las noticias pensé: “¿Esto no lo escuché hace 5 años? Seguro ya lo resolvieron, ¿no?”.
No debería haber sido necesario llegar a este nivel de exposición pública antes de que se movieran las ruedas de la justicia.
Hace unos años pensé: “la tecnología está arruinando vidas”, pero al ver que esto sigue en 2024, ya no me parece que la culpa sea de la tecnología.
Al final es un problema de personas, y las personas son horribles.
Esta historia por fin está recibiendo la atención que merece.
Si quieren un resumen de la enorme escala de la injusticia, vale la pena leer este texto de Private Eye: https://www.private-eye.co.uk/pictures/special_reports/justi...
El programa de radio de la BBC que empezó en 2020 también aporta mucha información buena, como la forma en que Post Office investigaba a los subadministradores de oficinas postales bajo sospecha: https://www.bbc.co.uk/sounds/brand/m000jf7j
Es difícil verlo como un simple defecto de software.
En todos los niveles de la burocracia de una entidad operada por el gobierno, intentaron encubrirlo para evitar mala prensa.
¿Dispositivos médicos? Ni de broma.
Claro que nunca puedo saber del todo dónde se ejecutará mi código.
Aunque para llegar a esta escala no bastó con un problema de software, me pregunto cómo los desarrolladores que trabajaron en esto durante años pudieron dejarlo pasar.
Es difícil creer que ni un solo desarrollador haya oído hablar del problema.
¿Acaso pensaron de inmediato: “Imposible, soy el mejor del mundo, así que no puede ser un problema del sistema; seguro todos ellos robaron dinero”?
Yo creo que no habría podido dormir, y habría repasado todo el sistema en mi cabeza tratando de encontrar dónde estaba el error.
Me pregunto si será algo como el efecto Dunning-Kruger.
No creo ser un mago de la programación, pero sí sé que voy a crear bugs hasta el día en que me muera.
Rust tampoco evita los bugs lógicos.
No fue un solo bug, sino varios bugs distintos.
Post Office es una empresa completamente privada.
En esta historia hay muchos villanos obvios, pero uno se pregunta dónde estuvo el sistema legal todo este tiempo.
¿De verdad procesaron 900 casos sin pruebas reales, o solo porque “la computadora lo decía”?
Si el sistema legal y el poder judicial son uno de los pilares de la separación de poderes, ¿no deberían ser el último mecanismo para impedir este tipo de persecución masiva y caprichosa contra personas completamente inocentes?
“No hay pruebas directas de que ella se haya llevado el dinero… ella niega tajantemente el robo. No hay evidencia de CCTV. Tampoco hay huellas dactilares ni billetes marcados. No hay pruebas de que haya acumulado efectivo en otro lugar, gastado grandes sumas o pagado deudas, y no hay absolutamente ninguna prueba sobre sus cuentas bancarias. Cuando se registró su casa, no se encontró nada que apuntara a culpabilidad”
La única prueba era la diferencia entre el efectivo que el sistema informático Horizon de Post Office decía que debía haber en la sucursal y el efectivo real.
“¿Aceptan el argumento de la fiscalía de que hay pruebas suficientes de que Horizon es un sistema probado, usado durante años en miles de oficinas de correos, y que es fundamentalmente sólido y confiable?”
Mi palabra contra la tuya no alcanza el estándar de “más allá de toda duda razonable”, pero la palabra de Post Office respaldada por un sistema informático parece haber sido lo bastante convincente para el jurado.
En el caso anterior, el jurado emitió un veredicto de culpabilidad.
Se asume que funcionan correctamente, y quien afirme lo contrario carga con la obligación de probarlo.
Muchos dicen que hay que cambiar esta presunción sobre la evidencia informática.
https://www.theguardian.com/uk-news/2024/jan/12/update-law-o...
https://www.forbes.com/sites/emmawoollacott/2024/01/15/law-o...
El software no es ni inteligente ni tonto: es una máquina.
En este caso estaba averiada, y las personas que sí tenían la capacidad de analizar críticamente la situación y juzgarla aceptaron como evangelio la salida de una máquina cuyo interior no podían ver bien.
Por lo general, si un magistrado ve enfrentados al honorable equipo legal de His Majesty’s Postal Service y a “un tipo sucio que, a nuestro juicio, robó”, hablando con acento local, elegirá al gobierno todas las veces.
No había rastro de dinero moviéndose a sus cuentas, ni patrimonio inexplicable, ni gastos de lujo; todo era “la computadora lo dijo”.
También es un problema que el sistema judicial trate cada caso por separado.
Después de algunos casos, el sistema legal necesita algún mecanismo que pueda detenerse y decir: “esperen, aquí hay algo raro”.
En este caso, el primer cambio probablemente sea poner fin a la práctica anticuada de que Post Office lleve adelante sus propios procesos penales en Reino Unido.
En mi equipo anterior estaba prohibido usar la palabra glitch.
Los desarrolladores y responsables de producto la usaban al hablar con clientes como una forma vaga de referirse a “un bug del que no quiero hacerme responsable”, y no tiene lugar en un equipo tecnológico moderno.
Antes se veía gente copiando y pegando respuestas de Stack Overflow en el código de la empresa hasta que “funcionara”, y cuando surgía un problema podía quedarse semanas o meses con una persona antes de pasar a otra.
En la mayoría de los casos, con solo poner algunas sentencias de salida se podría obtener una pista para arreglarlo, pero incluso eso se consideraba demasiado complejo.
Cuando el software genera dinero, aumenta el incentivo para reducir costos de desarrollo, contratar ingenieros más baratos y con menos experiencia, y saltarse procesos diciendo que “TDD es una pérdida de tiempo”.
El gobierno británico es adicto a las grandes consultoras, que en el sector público han estado entregando proyectos carísimos a medias, o directamente sin entregarlos, mientras ponen personal barato y sin experiencia y se quedan con el resto.
No hay ninguna organización que investigue esos contratos.
Es muy parecido al esquema Robodebt que ocurrió en Australia, con resultados igualmente destructivos: https://en.wikipedia.org/wiki/Robodebt_scheme
Beneficiarios de asistencia social que recibieron avisos automáticos de cobro de deuda se suicidaron; se enviaron avisos de deuda a personas fallecidas, y también a beneficiarios de pensiones por discapacidad.
Wikipedia parece llamar a esto Algocracy, es decir, gobierno mediante algoritmos.
Lo hicieron porque sugería resultados favorables para el gobierno de entonces, trasladando a las personas la responsabilidad de refutar que la deuda era incorrecta, con exigencias absurdas y casi sin apoyo ni proceso de apelación.
El Liberal & National Party, que gobernaba en ese momento, quería proyectar una imagen de mano dura contra los defraudadores del sistema de bienestar, usarla electoralmente e incluir en el siguiente presupuesto una enorme fuente potencial de ingresos que en realidad no existía.
Muchos cálculos erróneos fueron resultado de promediar ingresos de una quincena o de varias quincenas y extrapolarlos como ingreso anual, un método completamente equivocado cuando muchos beneficiarios tienen trabajos temporales o de corto plazo y ese período no representa sus ingresos anuales.
En algunos casos, la persona señalada como deudora se enteró por primera vez al recibir una carta de una agencia de cobranza.
Cuando una persona demandaba, el gobierno reducía la deuda a 0,00 dólares y luego argumentaba que ya no había motivo para el juicio, logrando que el caso se desestimara.
Al final, los abogados que representaban a una persona reclamaron incluso los intereses sobre la deuda emitida erróneamente, de modo que el gobierno ya no pudo ganar con la misma táctica; solo entonces reconoció la ilegalidad de un esquema que llevaba años funcionando.
Para entender el contexto completo, recomiendo esta serie de YouTube en 3 partes: https://www.youtube.com/watch?v=OfsL9GAbl3M
Desde el inicio explica que terminó convirtiéndose en la demanda colectiva más grande de la historia de Australia.
Hoy en día, el software se toma como si fuera la verdad, pero no siempre fue así
Es una suerte que la IA esté recibiendo tanta atención, porque parece que la gente está tomando más conciencia de que sus decisiones pueden estar equivocadas
En los tribunales se debería exigir que las decisiones del software revelen los datos y la ruta de toma de decisiones, es decir, el “algoritmo”
Otra ley necesaria es sobre la prohibición de usar sistemas
Que te puedan bloquear de por vida sin explicación ni recurso es una locura y, en la práctica, se parece a recibir una cadena perpetua sin motivo