Mujer de Tennessee fue arrestada por error por cargos criminales en Dakota del Norte debido a un fallo en reconocimiento facial con IA

• Angela Lipps (50 años), de Tennessee, fue arrestada y permaneció detenida por más de 5 meses después de que la tecnología de reconocimiento facial con IA la señalara como sospechosa de un caso de fraude bancario en Dakota del Norte, un estado que nunca había visitado
• El sistema Clearview AI identificó por error a una persona parecida como si fuera Lipps, y la policía de Fargo emitió una orden de arresto con base en esa información
• Más tarde se confirmó, mediante registros bancarios que mostraban que Lipps estaba en Tennessee al momento del caso, que los cargos debían desestimarse por falta de mérito, y fue liberada
• La policía de Fargo reconoció errores en la transmisión de la información de IA y la falta de entrega de video de vigilancia, y dijo que reforzará sus procedimientos para el uso de datos de IA
• El caso es visto como un ejemplo que pone en evidencia la confiabilidad de las tecnologías de investigación con IA y la necesidad de procesos de verificación humana

---

Caso de arresto erróneo de una mujer de Tennessee por un fallo en reconocimiento facial con IA

• Angela Lipps (50 años), residente de Tennessee, fue arrestada y permaneció detenida por más de 5 meses después de que la tecnología de reconocimiento facial con IA la identificara como sospechosa de un caso de fraude bancario en Dakota del Norte, un estado al que nunca había ido
  • La policía de Fargo reconoció que hubo “algunos errores” en el manejo del caso, pero no ofreció una disculpa formal
  • El arresto ocurrió el 14 de julio en la casa de Lipps en Tennessee, y ya existía una orden de arresto emitida semanas antes en Fargo

• Desarrollo del caso

  • Durante la investigación de un caso de fraude bancario ocurrido en el área de Fargo, la policía usó “tecnología de reconocimiento facial de una agencia colaboradora” para identificar a la sospechosa
  • La policía de West Fargo utilizó el sistema Clearview AI, y ese sistema incluyó en el reporte a una persona identificada como similar a Lipps
  • Con base en esa información, la policía de Fargo consideró a Lipps como sospechosa y presentó el informe a la fiscalía del condado de Cass
  • Posteriormente, la policía de Fargo anunció que el uso del sistema de IA por parte de West Fargo no fue reportado a los niveles superiores y que actualmente su uso está prohibido

• Detención y liberación

  • El 1 de julio, un juez de Dakota del Norte emitió una orden de arresto con extradición válida a nivel nacional
  • Lipps fue arrestada el 14 de julio y pasó más de 3 meses en una prisión de Tennessee antes de ser trasladada a Dakota del Norte
  • Después del traslado, su abogado obtuvo registros bancarios que demostraban que Lipps estaba en Tennessee en el momento del delito
  • El 23 de diciembre, la policía de Fargo, la fiscalía estatal y un juez acordaron desestimar los cargos por falta de mérito, y Lipps fue liberada el 24 de diciembre
  • Su equipo legal criticó que “la detención prolongada continuó innecesariamente pese a que existían pruebas exculpatorias evidentes”

• Resultados de la investigación de la policía de Fargo y su respuesta

  • La policía señaló como errores principales fallas en la transmisión de información del sistema de IA y la falta de entrega de video de vigilancia
  • En adelante, la policía de Fargo no utilizará datos de IA de West Fargo y trabajará con centros de información estatales y federales
  • También reforzará el procedimiento para que todos los resultados de reconocimiento facial sean reportados cada mes al director de investigaciones
  • También se señaló como problema la falta de un sistema adecuado de notificación sobre personas arrestadas entre el condado de Cass y la fiscalía estatal, por lo que se están revisando medidas de mejora
  • La policía dijo que está evaluando posibles sanciones disciplinarias contra los investigadores involucrados y comentó que “nadie quiere arrestos innecesarios”

• La afectada y la respuesta legal

  • Lipps, abuela de tres hijos y cinco nietos, asegura que nunca ha estado en Dakota del Norte
  • En su página de GoFundMe escribió que durante su detención sufrió “miedo, agotamiento y vergüenza”
  • Su equipo legal criticó que “el reconocimiento facial con IA se usó como un atajo que reemplazó la investigación básica” y está evaluando la posibilidad de una demanda por derechos civiles

• Críticas a las tecnologías de investigación con IA

  • Aunque las policías de todo Estados Unidos están adoptando rápidamente tecnologías de IA, se señala que todavía falta evidencia sobre su efectividad
  • Ian Adams, profesor de la Universidad de Carolina del Sur, analizó que la mayoría de los errores relacionados con IA son problemas combinados entre la tecnología y los humanos
  • También subrayó que los detectives no deben confiar ciegamente en los resultados del algoritmo y que siempre debe existir un proceso de verificación humana
  • Ya antes se han repetido casos de identificación errónea con IA, incluyendo un caso en el que un sistema de seguridad con IA confundió una bolsa vacía de botanas con un arma y provocó el arresto de un estudiante

• Estado actual del caso

  • La policía de Fargo señaló que el caso “sigue en curso y que los cargos podrían reactivarse según resultados adicionales de la investigación”
  • Aunque el equipo legal dio la bienvenida a las promesas de mejora por parte de la policía, también consideró que “la falta de procedimientos básicos de investigación sigue siendo un problema”

[GN⁺]

Comentarios en Hacker News

• Más allá de si fue IA o no, solo hay una pregunta que quiero hacer: ¿quién investigó realmente?
  Nadie revisó su IP, ni testigos, ni si había una alerta de IA. Básicamente vieron datos y dijeron “la atrapamos”
  Lo más terrible es la parte donde ella dice que “nunca volverá a North Dakota”. La lección no debería ser ‘mejor no ir a ese estado’, sino que hay que cuestionar todo el sistema
  Ya hubo casos antes, como el arresto equivocado de Apple o el caso del hombre sacado frente a su familia. Si no peleamos esto, terminaremos en un mundo donde todos son ‘considerados culpables hasta demostrar su inocencia’

  • El problema del sistema legal es que no tiene incentivos para encontrar la verdad
    A mí una vez me pasó que llamé al 911 y terminaron acusándome a mí de hacer un reporte falso. El video de la bodycam lo desmentía claramente, pero a los involucrados solo les importaba ‘procesar’. Por suerte, el jurado tomó la decisión correcta
  • Claro que hacía falta una investigación. Pero el problema más grande es que la gente cree en la ilusión de que la IA no se equivoca
    Incluso cuando dices “hay que verificar los resultados”, hasta en HN hay personas que sostienen que “no hace falta”
  • Eso ya nos dejó lecciones con el ADN y las huellas dactilares. Es peligroso detener a alguien solo porque ‘la computadora dice que coincide’
    Estos sistemas deberían usarse solo para generar pistas. Pero ahora se usan como si, en una serie de TV, ‘la IA dijera la verdad’
    La gente quiere quedarse solo con la lección simplista de “mejor no volver a North Dakota”. Pero el problema real es la tasa de falsos positivos y las limitaciones estructurales del sistema legal
  • Hay una parte que se te pasó. Los abogados dijeron que “el trauma, la pérdida de libertad y el daño a la reputación no se recuperan fácilmente”
    Eso claramente suena a preparación para una demanda por daños y perjuicios. Probablemente ella solo quiere volver a una vida normal. Decirle “enfréntate al sistema” es demasiado difícil en la práctica
  • No soy experto legal, pero en EE. UU. los interrogatorios bajo custodia están cubiertos por los derechos Miranda
    Quizá sería mejor evitar el problema usando software de Musk o Altman

• El proveedor usado fue Clearview AI. Según su política oficial, salvo en algunos estados donde la ley lo exige, no es posible pedir la eliminación de los datos
  Así que de repente me interesó mucho la S1422 Biometric Privacy Act de New York

  • En el caso de los residentes de Illinois, la política exige la recolección y conservación de datos biométricos. Aunque es muy probable que las fuerzas del orden tengan una excepción mediante una orden administrativa o similar
  • También está el caso de la denuncia penal de noyb sobre reconocimiento facial
  • Para pedir la eliminación, tienes que enviar una foto tuya, y no me dan ganas de confiar en una empresa vinculada con Peter Thiel
  • Al final, por ahora no queda más que repetir las solicitudes de eliminación. Incluso si te borran, es muy probable que algún día vuelvas a entrar a la base de datos

• Solo este mes ya vi varios casos de arrestos equivocados por reconocimiento facial. Ya pasa con una frecuencia preocupante
  En una población de 350 millones en EE. UU., hay muchísima gente parecida, así que en el momento en que la IA pregunta ‘quién se parece a la persona de este video’, se crea un sistema donde te pueden arrestar simplemente por ‘parecerte’
  Parecerte a alguien puede alcanzar para sospecha razonable, pero no basta como causa probable (Probable Cause) para arrestarte. Tiene que combinarse con otras pruebas
  El problema no es la IA en sí, sino la forma de pensar que da por hecho que si se parecen, entonces son la misma persona

• Lo más impactante es que el juez aprobó la orden solo con el resultado de coincidencia de Clearview
  Los jueces y el proceso de órdenes existen precisamente para frenar los abusos policiales, pero ni eso está funcionando

• La discusión anterior está aquí

• Este caso es una cobertura exagerada sobre IA
  El sistema usado fue FaceSketchID, que existe desde 2014 y va por separado de la IA más reciente. El sistema solo propone candidatos; investigar y procesar sigue siendo tarea humana
  La verdadera pregunta es por qué ella estuvo 4 meses detenida. Normalmente la extradición debería resolverse en 30 días; ¿será que pasó eso porque estaba en libertad condicional?

  • En EE. UU., incluso cuando alguien con poder viola el procedimiento, casi nunca hay castigo real. Después solo pagan una compensación con dinero de los contribuyentes
  • Si impugnas el proceso de extradición, el tiempo de detención puede extenderse de 30 hasta 90 días. Además, el problema de identidad equivocada ni siquiera puede discutirse en la audiencia de extradición
  • Probablemente ella estuvo detenida aparte por violar la libertad condicional
  • La investigación la tienen que hacer personas, pero el problema es que los ‘errores seguros de sí mismos’ de la IA paralizan el juicio humano. A la gente la engaña fácilmente la certeza

• Me llamó la atención la cita del artículo: “Esto no es un problema de tecnología, sino de tecnología y personas”

  • Últimamente la expresión “It’s not just X, it’s X and Y” me suena como un patrón de frase escrito por IA. Si una IA escribió el artículo, esa frase también podría ser una cita alucinada

• No sabía que el estándar para emitir una orden de arresto fuera tan bajo. Sobre todo como para traer a alguien desde otro estado

  • Este es un caso clásico de falacia de tasa base (Base Rate Fallacy)
    Incluso un sistema con 99.999% de precisión, al revisar a 300 millones de personas, genera 3,000 falsos positivos. La mayoría serían personas inocentes
    Por eso la vigilancia automatizada a gran escala es peligrosa

• Lo verdaderamente aterrador no es el error de la IA, sino que nadie verificó el resultado
  Las denuncias anónimas sí se investigan, pero una coincidencia de IA se cree tal cual. Al final, terminamos creando una herramienta para saltarse la investigación