El ‘sumidero de responsabilidad’ en las organizaciones que absorben la rendición de cuentas

• The Unaccountability Machine de Dan Davies sostiene que las organizaciones crean sumideros de responsabilidad que absorben o difuminan las consecuencias de las decisiones para que nadie quede directamente responsable
• Esta estructura funciona cuando rompe el vínculo que permitiría que la retroalimentación de las personas afectadas por una decisión vuelva al funcionamiento del sistema
• La reducción del personal de limpieza en hoteles, la negativa de una aseguradora a autorizar un procedimiento, la cancelación de vuelos, la declaración de inelegibilidad para beneficios gubernamentales y la exigencia de inversionistas de meter IA en una app son casos donde se rompió la conexión entre quien decide y quien sufre el impacto
• Como en Dominion Systems vs Fox News, cuando sin una decisión explícita existe un entendimiento implícito de que lo prioritario son las métricas de audiencia y eso empuja decisiones posteriores, se vuelve difuso de dónde salió la decisión y es más difícil exigir responsabilidades
• Delegar decisiones a algoritmos facilita crear sumideros de responsabilidad, pero las grandes organizaciones como empresas y gobiernos ya están acostumbradas a operar así, por lo que la IA se parece más a una herramienta para ampliar el lavado de responsabilidad

---

Cómo funciona un sumidero de responsabilidad

• Un sumidero de responsabilidad es una estructura organizacional que absorbe o encubre las consecuencias de una decisión para que nadie pueda ser responsabilizado directamente
• Si un superior de una cadena hotelera reduce al personal de limpieza, los números pueden verse mejor en los libros, pero los clientes que no pueden hacer check-in porque la habitación no está lista no tienen forma de reclamarle a quien tomó esa decisión ni de hacer que ese impacto regrese hacia esa persona
  • El personal de recepción puede ofrecer vouchers, pero lo que el cliente necesita es la habitación
  • Desaparece la ruta de retroalimentación entre quien decide y la persona afectada
• Según el criterio de Davies, para que un sumidero de responsabilidad funcione debe cortar la conexión para que la retroalimentación de la persona afectada no pueda reflejarse en la operación del sistema
• La misma estructura se repite en varias situaciones
  • cuando el seguro de salud rechaza un procedimiento
  • cuando una aerolínea cancela un vuelo
  • cuando una agencia gubernamental declara a alguien inelegible para un beneficio
  • cuando un inversionista presiona a las empresas de su portafolio para que metan la llamada IA en sus apps

Autoridad y explicación para hacer posible la responsabilidad

• La responsabilidad está ligada al alcance de la capacidad de cambiar una decisión
  • Davies considera que el grado en que alguien puede cambiar una decisión equivale al grado en que puede ser responsable por ella
  • La definición de accountability de Sidney Dekker vincula la responsabilidad con una “explicación que se pueda contar”
• Para aprender a tomar mejores decisiones después, hace falta entender cómo ocurrió algo, qué condiciones existían, por qué en ese momento parecía una buena decisión y quiénes participaron
• Si se combinan ambos marcos, para que haya responsabilidad hacen falta tanto la autoridad para cambiar como la historia de cómo se ejerció esa autoridad
• Delegar decisiones a algoritmos hace conveniente crear sumideros de responsabilidad
  • Pero las empresas, los gobiernos y las organizaciones intermedias ya son expertas en crear sumideros de responsabilidad
  • El lavado de responsabilidad que ofrece la IA no es algo completamente nuevo, sino una forma ampliada y reforzada
• Las maneras que ya fracasaron al intentar responsabilizar a las empresas tienen todavía menos probabilidades de funcionar contra algoritmos, por lo que hace falta otro enfoque

[GN⁺]

Opiniones de Hacker News

• Me pasó algo parecido con un aeropuerto/aerolínea en Alemania y pensé lo mismo.
  Era un aeropuerto totalmente automatizado, así que el check-in era de autoservicio y solo interactué con computadoras; cuando metí mi pase de abordar, lo único que salió impreso fue un papel diciendo que mi asiento de pasillo había cambiado a un asiento de en medio. Intenté hasta el final encontrar a una persona para quejarme, pero la computadora solo respondía de la forma en que estaba diseñada la UI, y el programador tampoco parecía haber contemplado mi situación. El personal en tierra tampoco pudo hacer nada porque no estaba dentro de sus funciones, y la encuesta que llegó después era sobre otro tramo, así que hasta presentar una queja correctamente resultaba incómodo.

  • Siento que Alemania es bastante desastrosa en este aspecto. Después de un viaje de 6 horas en tren llegué de noche a la estación, y en la app de Deutsche Bahn aparecía que había un último tren de conexión 45 minutos después, así que esperé en el frío; pero 5 minutos antes de la salida, en la pantalla del andén no aparecía ningún tren, y al final había esperado en vano.
    La ubicación del autobús alternativo tampoco estaba indicada ni en la app ni en ninguna parte de la estación, y el chofer del autobús le respondió con fastidio a una persona mayor que preguntó si podría tomar el tren de conexión, diciendo que eso no era asunto suyo. El autobús estaba oscuro, las ventanas estaban opacas por la humedad, no había avisos ni señalización de las paradas, y durante una hora no hubo calefacción. Esa semana me borraron la tarjeta SIM y también desapareció un paquete, pero incluso llevar registro de la cantidad de “eso no es mi problema” que encontré en las líneas de atención al cliente ahora ya es algo que tampoco es mi problema.
  • Hace un año me pasó algo parecido en Alemania. La estación de tren se había vuelto casi de autoservicio, y la máquina expendedora de boletos se tragó €50 y se reinició de inmediato, sin dar recibo.
    La única persona que pude encontrar era un guardia de seguridad, y solo me dijo que llamara al número pegado en la máquina. La persona que contestó no hablaba inglés, y mis €50 están en alguna parte, pero recuperarlos probablemente costaría más que eso.
  • Muchas empresas levantan muros alrededor de sí mismas de esta forma. Esconden el número de atención al cliente, omiten de las FAQ preguntas frecuentes pero que toman mucho tiempo, y ponen chatbots en lugar de personas.
    Una vez Amazon marcó como entregado un paquete que no estaba por ningún lado, y no había forma de obtener ayuda; en las FAQ solo decía que revisara entre los arbustos. En el autocompletado de búsqueda aparecían varias frases tipo “dice entregado pero no hay paquete”, lo que me irritó aún más; ahora está un poco mejor, pero sigue siendo parecido.
  • Ahora todos deberíamos acostumbrarnos a usar demandas de menor cuantía. Hoy en día, en muchos casos se puede hacer en línea en pocos minutos.
    Primero intenta resolver el problema de buena fe y deja registro de eso, para usarlo como evidencia si llega a audiencia. Luego presentas la demanda, y por lo general retroceden de inmediato; así puedes inducir servicio al cliente real en el único lenguaje que las empresas entienden.
  • Esto es una forma de automatizar por completo una situación como la de la película Brazil. [https://en.m.wikipedia.org/wiki/Brazil_(1985_film)]
    En la burocracia de esa película al menos había humanos capaces de sentir culpa, pero aquí no hace falta que un humano intervenga directamente, así que puede volverse distópico a una escala mucho mayor.

• Desde hace tiempo pienso que una de las funciones principales de las empresas es diluir la responsabilidad. Hay una razón por la que se llama responsabilidad limitada, y como se pueden crear empresas a voluntad, es fácil empujar la responsabilidad hacia rincones oscuros.
  Por eso hay una razón fuerte para no considerar a las empresas como personas. Las personas son entidades duraderas y responsables; no pueden crearse o eliminarse a voluntad.

  • Más fundamentalmente, el dinero elimina las obligaciones sociales. No se espera reciprocidad ni respeto: pagas dinero, se entrega el producto, y listo.
    Las empresas operan así también en su economía interna y en sus relaciones con proveedores. Un centro de costos paga dinero y delega la responsabilidad.
  • Estoy de acuerdo con ese sentimiento, pero las organizaciones estatales, aunque en la práctica son perpetuas, son muy buenas para dispersar la responsabilidad entre varios chivos expiatorios.
  • Ambrose Bierce ya dio en el clavo en 1911: “Corporation, n. An ingenious device for obtaining individual profit without individual responsibility.”
    Desde hace mucho me parece raro que no se hable más de esto. Parece que todos se acostumbraron demasiado. En mi opinión, habría que eliminar el concepto mismo de imponer multas a las empresas y cambiarlo por castigar penalmente a las personas que cometieron el acto ilegal.
  • Para ser precisos, una LLC debería significar limitación de la responsabilidad financiera, no limitación de la responsabilidad penal. Pero parece que en el proceso se olvidaron de ese punto.
  • La responsabilidad tiene que detenerse en algún lugar, y al final deben responder los seres humanos.

• Weapons of Math Destruction (2016, Penguin Random House), de Cathy O'Neil, es un buen texto complementario visto desde el lado de quienes crean o supervisan sistemas.
  Cathy sostiene que, en ciertos contextos, el uso de algoritmos es dañino y permite sistemas irresponsables a una nueva escala, y que debe ser controlado.
  https://www.penguinrandomhouse.com/books/241363/weapons-of-m...

  • Me viene a la mente una vieja sabiduría: “Las computadoras nunca pueden rendir cuentas, por lo tanto una computadora nunca debe tomar decisiones de gestión”. Presentación de IBM, 1979.
  • En la UE esto es ilegal. Una empresa que toma decisiones mediante algoritmos, más precisamente mediante IA, debe ofrecer una forma de escalar el caso para revisión humana, y también debe poder explicarle al usuario por qué se tomó esa decisión.
  • Es mucho más fácil hacer que un algoritmo rinda cuentas que una organización humana. Un algoritmo puede reprogramarse, pero lograr que una organización cambie es mucho más difícil.
  • Los algoritmos los usan las personas. Un algoritmo solo permite “sistemas dañinos e irresponsables” cuando las personas que deberían imponer responsabilidad deciden no responsabilizar a quienes están detrás, con el argumento de que usaron un algoritmo.
    Funciona igual si en lugar del algoritmo pones un agujero ceremonial, o una situación en la que el cargo de policía otorga inmunidad efectiva frente a la responsabilidad civil y el procesamiento penal. Lo que permite sistemas dañinos e irresponsables es, al final, la decisión humana de no responsabilizar a otros humanos, sea cual sea el fundamento.

• Este ejemplo es malo porque no es cierto. En el caso de Fox News y Dominion, Rupert Murdoch admitió bajo juramento que “Fox a veces respaldó la falsa idea de que la elección fue robada”, y que, aun sabiendo que esa afirmación era falsa, decidió no ordenar a la cadena que dijera lo contrario.
  Las comunicaciones internas de los presentadores de Fox también muestran que sabían que lo que estaban diciendo era falso. Esto encaja claramente con la definición de mentira, y en los “External Links” de Wikipedia hay documentos judiciales reales que detallan quién sabía qué, cuándo y qué dijo.
  [1] https://www.npr.org/2023/02/28/1159819849/fox-news-dominion-...
  [2] https://www.nbcnews.com/politics/elections/dominion-releases...
  [3] https://www.dictionary.com/browse/lie
  [4] https://en.m.wikipedia.org/wiki/Dominion_Voting_Systems_v._F...

  • Parece que el punto central de la cita es que no hubo una decisión original de mentir desde el principio. Ocurrió sin coordinación, y después la dirección tampoco lo detuvo. Hasta arriba siguió siendo el “caso 2”.
  • Las máquinas de votación se hackean todos los años en la Voting Village de DEFCON. Son extremadamente inseguras y nadie debería confiar en ellas. Sinceramente, la afirmación de que se pueden manipular máquinas de votación es, incluso en el peor de los casos, una posibilidad plausible.

• Sospecho que una de las grandes razones por las que la automatización, en especial la appificación, resulta atractiva para la gerencia y los niveles C es que permite cortar la cadena de responsabilidad.
  Hoy muchas empresas tienen una estructura dividida entre una “capa de gestión”, donde gerentes de producto, desarrolladores y personal de operaciones mantienen y mejoran la infraestructura interna de TI, una “capa de software”, la enorme infraestructura de automatización que realmente hace funcionar el trabajo cotidiano, y una “capa trabajadora”, que realiza el trabajo físico con bajos salarios y alta rotación, como choferes de Uber, repartidores o trabajadores de almacenes de Amazon. Los trabajadores reciben casi todas las instrucciones mediante apps y dispositivos, no tienen contacto con la dirección, y la empresa a menudo incluso niega que sean empleados. Lo importante es que la capa de software funciona como un firewall de responsabilidad entre las dos capas: las quejas de los trabajadores no logran subir más allá del software, y las conductas explotadoras pueden descartarse como desafortunados errores de software.

  • Para complicarlo más, la “capa de gestión” también usa esta táctica consigo misma. Cosas como “tienes que usar iPhone”, “no puedes cargar este viaje a la tarjeta corporativa”, “la solicitud de permisos XYZ en la nube fue rechazada automáticamente” o “esta herramienta solo funciona en Google Chrome”.
    La razón es “así son las reglas” o “así es el sistema”. Nadie parece saber quién definió las reglas ni quién construyó el sistema, y tratar de investigarlo directamente se parece a una tarea hercúlea que casi siempre termina siendo una pérdida de tiempo.
  • Si recordamos la época con menos automatización, la propia gestión era programación: crear instrucciones y procedimientos para escalar la organización y mejorar el producto final.
    Lo que cambió es que ahora esas instrucciones y procedimientos muchas veces los ejecutan software y hardware, no humanos. El resultado final que recibe el cliente no cambió tanto como parece. Sigue recibiendo el mismo café o taxi, solo que más rápido, más barato o un poco mejor; y esas mejoras incrementales ya eran posibles antes de la TI mediante gestión interna de producto y mejoras de procesos organizacionales.
  • Como observó @vgr hace tiempo, las personas se dividen entre estar encima de la IA y debajo de la IA, y la IA va subiendo lentamente por el stack.

• Es un texto que da mucho para pensar. Este problema muestra por qué son importantes las agencias gubernamentales de protección al consumidor y las leyes.
  Si pasas por Europa o usas una aerolínea europea, hay una ley de la UE que te da unos 600 euros de compensación cuando un vuelo se retrasa más de 3 horas o se cancela. Es un buen seguro: sin importar las tonterías que diga la empresa en el aeropuerto, puedes recibir compensación, y el proceso para cobrar también es bastante simple. Ofrece una vía que evita el sistema de la aerolínea y lleva directamente a la compensación; además, si la aerolínea no opera bien, termina pagando demasiadas multas, así que también puede ser un incentivo real. Para evitar situaciones en las que las empresas bloquean a los clientes detrás de barreras de chatbots, leyes de protección como esta son realmente necesarias.

  • El proceso para cobrar no siempre es simple. Las aerolíneas suelen mentir.

• He vivido esto bastante seguido con el nuevo sistema automatizado de declaraciones electrónicas del gobierno. Como uso lector de pantalla y me cuesta usar lápiz y papel sin ayuda, al principio estos sistemas me gustaban bastante, pero cambié un poco de opinión.
  En papel puedes escribir cualquier cosa, y una persona verifica si tiene sentido. Con una computadora no es así: si dice que los números de una solicitud tienen que cuadrar entre sí, aunque en la realidad haya un caso especial en el que no cuadran por poco, tienes que mentirle al gobierno para hacer que los números coincidan. Llamé a la oficina municipal correspondiente y básicamente me dijeron, con rodeos, que le mintiera al gobierno. El sistema se administra de forma centralizada, así que la oficina local no tiene permisos para corregirlo; aunque quieran arreglarlo, ni siquiera ellos tienen autoridad.

• Cuando era estudiante de posgrado en STS, pensé en hacer un proyecto sobre cómo el software funciona como una especie de modulador de agencia.
  La estructura es que una persona asume cierto riesgo, por lo general el riesgo de una transacción económica, mientras que el dueño del software se queda con la mayor parte de las ganancias. Uber y servicios relacionados, en muchos sentidos, son mecanismos que hacen que individuos asuman riesgos a la baja de baja probabilidad pero alto impacto a cambio de una pequeña comisión.

  • Este análisis es válido y productivo en un sentido muy general. El software es una herramienta reciente dentro de una larga tradición de transferencia de responsabilidad, dispersión de responsabilidad y alteración de la agencia.
  • También podría ser interesante aplicarlo al FOSS. Parece más útil pensar en el flujo de responsabilidad, o en los puntos de origen y absorción de la responsabilidad, que en las ganancias o recompensas.

• La comparación con la IA es clara: delegar decisiones en algoritmos es una forma conveniente de crear puntos de absorción de responsabilidad. Mi cuenta de LinkedIn tiene una bandera que me impide poner enlaces “follow-me” en el perfil.
  Nadie del equipo de soporte sabe por qué, ni desde cuándo está, ni cuándo cambiará. Ya vivimos en ese mundo.

• Las organizaciones existen para eliminar la responsabilidad moral
  Jueces, jurados, verdugos, pelotones de fusilamiento y organizaciones de responsabilidad limitada, todos encajan en una caja prolija que permite que la gente duerma de noche. El juez dice que el jurado decidió; el jurado confía en que el juez impondrá una sentencia justa; el ejecutor cree que los dos grupos anteriores hicieron su parte. Estos sistemas, más que impedir que una persona actúe, crean una serie de traspasos, y para cuando el guardia cierra la puerta, la implicación con la moralidad del resultado desapareció. La estructura es la misma que en un pelotón de fusilamiento donde solo una de varias armas tiene munición real. Las grandes instituciones y organizaciones, las cosas a escala, son completamente inhumanas; y si quien dicta la sentencia también ejecutara directamente el castigo, el resultado sería distinto

  • El derecho a un juicio por jurado fue originalmente un mecanismo para impedir que los sesgos personales del juez influyeran en el resultado del juicio
    Si se hiciera que los jurados ejecutaran las condenas y que los jueces se responsabilizaran por el encarcelamiento, se crearían enormes incentivos perversos para las personas sádicas. Se asume erróneamente que, si jueces o jurados cargaran directamente con ese peso, serían más empáticos. En realidad, es probable que terminen haciéndolo personas a las que no querríamos encargarles esa tarea. Salvo por el método de usar balas de fogueo en las ejecuciones, el resto del sistema protege a la persona condenada más que a quienes están dentro de él
  • Estoy de acuerdo con la descripción, pero no voy a emitir un juicio sobre su moralidad ni a fingir que existe un sistema mejor. No hay ni un poco de humildad en eso
    Uno puede crear un partido que sostenga que la separación de poderes fue un rumbo equivocado; o, mejor aún, visitar alguno de las decenas de países que tienen un superdictador
  • “La sangre de los Primeros Hombres todavía corre por las venas de la Casa Stark, y creemos que quien dicta la sentencia debe blandir la espada. Si vas a quitarle la vida a alguien, tienes el deber de mirarlo a los ojos y escuchar sus últimas palabras. Si no puedes soportarlo, quizá esa persona no merezca morir.”
  • La carne se compra en la carnicería, se entrega al cocinero y llega a nosotros no como un animal, sino como parte de un plato delicioso. Si comes carne, deberías matarla tú mismo
  • El argumento de que “cada uno puede dormir de noche, haya merecido o no morir la persona muerta” parece tener sentido solo si existe un juicio omnisciente, es decir, una entidad como el Dios abrahámico. De lo contrario, habría que asumir que todos los tiradores tienen una responsabilidad real