Un error de reconocimiento facial con IA mantiene encarcelada durante meses a una mujer inocente

• Una mujer fue arrestada y pasó meses detenida por una falla en un sistema de reconocimiento facial con IA, pese a no tener relación con el delito
• El caso se originó durante la investigación de un fraude en Dakota del Norte, cuando la IA identificó erróneamente a la persona
• La víctima era una abuela inocente, y solo más tarde se confirmó que no tenía absolutamente nada que ver con el crimen
• Este caso expone los problemas de confiabilidad y responsabilidad de las tecnologías de investigación basadas en IA
• También impulsa el debate sobre la necesidad de reforzar la verificación del uso de IA por parte de las fuerzas del orden

---

Caso de detención injusta por identificación errónea de IA

• En Dakota del Norte, una mujer fue señalada como sospechosa y arrestada por un error en la tecnología de reconocimiento facial con IA
• La mujer no tenía relación con el caso de fraude y permaneció meses bajo detención hasta que finalmente se confirmó su inocencia
• El caso puso en evidencia los límites de precisión de la IA y los problemas de responsabilidad legal

Error técnico y repercusiones sociales

• Se lo señala como un caso representativo en el que un falso positivo de un algoritmo de reconocimiento facial derivó en una violación de derechos humanos
• También se cuestionó que las fuerzas del orden confiaran en los resultados del análisis de IA sin verificarlos adecuadamente
• El caso dio pie a debates que subrayan la necesidad de garantizar equidad y transparencia en las tecnologías de IA

Necesidad de una respuesta institucional

• Especialistas exigen criterios de uso más estrictos y procedimientos de verificación más sólidos para las herramientas de investigación con IA
• También advierten que es urgente establecer mecanismos para evitar errores de juicio causados por fallas de la inteligencia artificial
• En adelante, es probable que la responsabilidad legal y la compensación a las víctimas se conviertan en temas centrales

[GN⁺]

Comentarios de Hacker News

• Comparte el enlace al artículo original (archive.ph)

• Según documentos judiciales, la policía continuó con el arresto erróneo incluso después de que seres humanos revisaran directamente el resultado de reconocimiento facial sugerido por la IA
  La IA solo señaló una “posible coincidencia”, pero el problema fue que los investigadores humanos lo tomaron como si fuera prueba concluyente
  Al final, que la mantuvieran detenida durante 5 meses sin siquiera una entrevista fue por negligencia del sistema de justicia penal

  • En la práctica, esto no es más que cambiar “la computadora dijo que era correcto” por “la IA dijo que era correcto”
    La gente delega en exceso autoridad y criterio a las máquinas, y trata de evadir la responsabilidad por los errores
  • El problema no es simplemente la IA, sino el poder policial combinado con la IA
    Tecnologías de vigilancia como el reconocimiento facial o la lectura de placas se usan mal, y aunque la vida de la víctima quede destruida, nadie asume la responsabilidad
  • Al final, esto muestra a una sociedad colapsando porque los humanos confían ciegamente en una IA defectuosa
    La mayoría de la gente no distingue entre IA e inteligencia real, y toma decisiones absurdas solo porque “la computadora lo dijo”
  • Hubo un caso similar en el que arrestaron a alguien por confundir un simple frasco de medicamento con drogas
    Se puede ver en este artículo relacionado
  • Cuando se escanean millones de fotos, la tasa de falsos positivos inevitablemente sube, así que la probabilidad de arrestos erróneos es bastante alta

• Esto claramente amerita una demanda contra la policía de Fargo y las agencias gubernamentales
  La mujer del video es claramente más joven, y por varias circunstancias no es la misma persona
  Como mínimo debería recibir una indemnización de varios millones de dólares

  • Pero en la práctica hay muchas dificultades por la inmunidad calificada (qualified immunity) de los funcionarios
  • Los US Marshals podrían no tener responsabilidad, ya que solo ejecutaron la orden judicial
  • También es amargo pensar que al final estas compensaciones salen de los impuestos de los ciudadanos
  • Impacta especialmente que “mientras estuvo en la cárcel perdió su casa, su auto e incluso su perro”
    Me pregunto quién se llevó al perro
  • Aunque se parecieran como gemelas, 6 meses de detención no tienen sentido

• Según el artículo, el resultado del reconocimiento facial fue un error de la IA y un fracaso humano total
  La policía, los fiscales, el juez y el sheriff tienen responsabilidad
  Nunca debería emitirse una orden judicial basándose solo en reconocimiento facial

  • No hay que olvidar que varias partes fallaron al mismo tiempo
    a) mal uso de herramientas y negligencia por parte de la policía,
    b) falta de supervisión del sistema judicial,
    c) tolerancia al mal uso previsible por parte de la empresa que provee la IA
    A este tipo de fallas deberían seguirles pérdida del cargo y responsabilidad institucional
  • En una población de 300 millones de personas en EE. UU., hay muchísima gente parecida
    Esto es resultado de confiar ciegamente en las supuestas capacidades mágicas de la IA e ignorar los derechos del sospechoso
  • La IA no es un agente, la responsabilidad recae únicamente en los humanos
  • En realidad, el software solo funcionó como una herramienta de filtrado de patrones
    Solo presentó una “posible coincidencia”, pero los humanos lo malinterpretaron como evidencia concluyente

• Este caso hace pensar en el escándalo de la oficina postal británica

  • Vi las audiencias en YouTube en ese momento, y fue impactante ver tanta arrogancia e incompetencia
  • También recomiendo la miniserie ganadora del BAFTA Mr Bates vs The Post Office
  • Recordar ese caso otra vez me llena de rabia
  • Al menos el jefe de policía de Fargo todavía no ha recibido un cargo honorífico, así que algo es algo

• En el video de The Civil Rights Lawyer se trata un caso parecido
  La IA de un casino señaló a la persona equivocada, y la policía la arrestó sin verificar nada
  Incluso después de que se demostrara su inocencia, el fiscal mantuvo el cargo de allanamiento

  • También comparten el enlace al video de YouTube
    Como dice el dicho de que el mundo es pequeño, un conocido de un conocido mío era precisamente la persona afectada en ese caso

• Viendo las fotos del reconocimiento facial, parece el tipo de rostro parecido que uno podría ver varias veces por semana

• Me alegró ver “¡mi ciudad salió en Hacker News!”, pero al leer el contenido de inmediato tuve un mal presentimiento
  Dicen que el jefe de policía renunció hoy, y probablemente tenga relación con este caso

  • Incluso cuando mi ciudad sale en las noticias nacionales, siempre es por este tipo de incidentes
  • También hubo quien preguntó por la fuente de la noticia sobre la renuncia del jefe de policía

• La gente dice “no fue la IA, fueron los humanos”, pero eso en realidad es caer en la estrategia de marketing de las empresas de IA
  La policía, los políticos y quienes operan el sistema están todos dentro de una estructura de impunidad, así que no se les puede exigir responsabilidad
  Al final, lo único que queda son la herramienta y sus fabricantes
  Decir “el problema no es la IA, sino los humanos” termina ayudando precisamente a evadir la responsabilidad empresarial
  Si de verdad se quiere exigir responsabilidad, hay que exigírsela al capital y a los proveedores de tecnología

  • Estoy totalmente de acuerdo
    Este resultado era previsible, y se veía venir desde el momento en que se vendió IA de reconocimiento facial a la policía estadounidense