Policía armada rodea a estudiante después de que una IA confundiera una bolsa de Doritos con un arma

• En una preparatoria de Estados Unidos, un estudiante fue rodeado por policías armados debido a un fallo en un sistema de detección de armas con IA
• El sistema en cuestión usa una tecnología que analiza imágenes de cámaras de vigilancia para reconocer la forma de armas de fuego, pero en realidad confundió una bolsa de papas Doritos con un arma
• Al estudiante le pusieron esposas mientras le apuntaban con armas, y luego se confirmó el falso positivo en una captura mostrada por la policía
• Omnilert, la empresa que desarrolló el sistema, afirmó que “fue un falso positivo, pero el sistema funcionó como estaba previsto”, y la escuela también publicó una postura en apoyo de esa explicación
• El incidente desató un debate sobre la confiabilidad y los límites éticos de la tecnología de vigilancia con IA en las escuelas, y puso en evidencia los riesgos de una sociedad dependiente de la IA

---

Resumen del incidente

• En Kenwood High School, en Baltimore, Maryland, un estudiante de 16 años, Taki Allen, fue sometido por policías armados debido a un falso positivo de un sistema de vigilancia con IA
  • El incidente ocurrió el 20 de octubre, cuando Allen estaba con sus amigos después de una práctica de futbol americano
  • Varias patrullas llegaron frente a la escuela y apuntaron a los estudiantes con armas mientras les ordenaban: “tírense al suelo”
• Allen fue registrado de rodillas y esposado, y la policía no encontró ninguna arma
  • En la captura mostrada por la policía, la IA había identificado como arma una bolsa arrugada de Doritos dentro de su bolsillo
• Allen dijo que en ese momento pensó que “podía morir”, y afirmó que desde entonces tiene miedo de volver a la escuela

Cómo funciona el sistema de IA y cuáles son sus problemas

• El sistema en cuestión es Gun Detection Technology de Omnilert, una solución de vigilancia con IA introducida el año pasado en las escuelas públicas del condado de Baltimore
  • Analiza en tiempo real las imágenes de CCTV existentes y, si detecta un objeto que considera con forma de arma de fuego, envía de inmediato una alerta a la policía
• Omnilert reconoció que este caso fue un “false positive (falso positivo)”, pero sostuvo que el sistema “funcionó como estaba previsto”
  • La empresa afirma que su objetivo es “garantizar la seguridad mediante una rápida verificación humana”, y sostiene que no se trata de un problema fundamental de la tecnología
• Sin embargo, los materiales promocionales de la empresa destacan la “detección inmediata de armas” y una “tasa de falsos positivos cercana a cero”, por lo que este caso se convirtió en un golpe a su credibilidad

Respuesta de la escuela y de la comunidad local

• Baltimore County Public Schools repitió la postura de Omnilert en una carta enviada a los padres, y explicó que “se trató de una medida para la seguridad de los estudiantes y para reforzar la conciencia situacional”
  • La escuela anunció que ofrecería servicios de consejería a los estudiantes que presenciaron el incidente
• Sin embargo, Allen dijo que no recibió una disculpa directa ni contacto alguno por parte de la escuela
  • Señaló que “solo le dijeron que era parte del protocolo”, y expresó su decepción por la respuesta de la institución
• Después del incidente, Allen dijo que “ahora teme que si vuelve a comer botanas o tomar una bebida, la policía regrese otra vez”, y se muestra reacio a volver a la escuela

Se amplía el debate sobre la vigilancia con IA

• Este incidente desató un debate sobre la confiabilidad y los límites éticos de los sistemas de vigilancia con IA
  • En particular, dejó en evidencia que en espacios sensibles como las escuelas, los falsos positivos de la IA pueden poner en riesgo la seguridad de los estudiantes
• Expertos advierten que si los errores de juicio de la IA derivan en respuestas armadas reales, existe el riesgo de que la situación escale y cause daños humanos
• El caso también volvió a poner sobre la mesa la responsabilidad social de la tecnología de IA y la importancia de los procesos de verificación humana

Tendencias internacionales relacionadas con la expansión de la IA

• En el mismo periodo, el mayor general del Ejército de Estados Unidos William ‘Hank’ Taylor reveló que usa ChatGPT para tomar decisiones militares, lo que también generó controversia
  • Esto muestra que la dependencia de la IA se está expandiendo rápidamente incluso en organismos públicos y organizaciones militares
• En Reino Unido, la introducción de un sistema de verificación de edad basado en reconocimiento facial para acceder a contenido para adultos generó otra polémica relacionada con la IA
  • Un hombre con muchos tatuajes afirmó que el sistema le mostró el mensaje “remove your face”, lo que dejó ver otro efecto secundario de los errores de reconocimiento de la IA
• Estos casos son vistos como ejemplos representativos de las consecuencias impredecibles que surgen cuando la IA se infiltra profundamente en la vida cotidiana y en el ámbito de la seguridad pública

[onixboox]

Seguro que no lo arrestaron porque resulta que el estudiante era negro, ¿verdad?

[GN⁺]

Comentarios de Hacker News

• Aunque Omnilert reconoció que el incidente fue un "false positive", aun así afirmó que el sistema "funcionó como se esperaba"
  Pero en la práctica eso significa que personas armadas acudieron tras recibir la información equivocada de que "un adolescente tenía un arma", creando una situación extremadamente peligrosa
  El estudiante podría quedar traumatizado. Irónicamente, las citas del artículo hacen que los adultos que crearon esta tecnología parezcan más inmaduros que el propio estudiante

  • En otro caso, un artículo sobre la demanda contra el sistema de vigilancia con IA del distrito escolar de Lawrence cuenta que un estudiante hizo una broma en un chat grupal, la IA la reportó, y terminó arrestado y detenido durante 24 horas sin poder ver a sus padres ni a un abogado
    Ahora están demandando a Gaggle, y su competidor Lightspeed al parecer ofrece una opción de pago para que una persona revise las alertas
  • Se supone que era "garantizar la seguridad mediante una verificación humana rápida", pero al final da la impresión de ser solo evasión de responsabilidad
  • Esto es básicamente una situación de AI swarm donde "la IA desplegó recursos de forma autónoma". Hubo ejecución sin juicio humano
  • Todo sistema tiene false positives y false negatives, pero en este caso ambos son peligrosos
    Además de mejorar la calidad del modelo de detección, hace falta una estructura que reduzca el costo del fallo. La verificación humana o un segundo proceso de confirmación son formas de lograrlo
  • Los ingenieros lo construyeron como una "herramienta para ayudar a la seguridad pública", pero marketing y ventas lo empaquetaron como un "sistema de toma de decisiones totalmente automatizado", y el resultado fue esta realidad casi satírica de un fallo que terminó con armas apuntando

• Parece que este tipo de incidente viene de tomar el modelo open source de reconocimiento de objetos YOLO, modificarlo un poco y comercializarlo
  Nadie sabe qué tan preciso es en realidad, con qué datos fue entrenado ni cuál es su tasa de falsos positivos
  Creo que para desplegar sistemas así debería ser obligatorio publicar las estadísticas y los datos de entrenamiento

  • Al final pasaron por completo por alto el concepto de "human in the loop". Algún día esta empresa probablemente enfrente una demanda por homicidio culposo

• Parece probable que John Bryan, conocido como The Civil Rights Lawyer, hable de este caso
  Él ha criticado legalmente a la policía por apuntar con armas con información insuficiente, calificándolo como "uso excesivo de la fuerza"
  Si tanto la IA como la policía vieron la foto y la confundieron con un arma, podría haber alguna justificación, pero si la IA despachó la respuesta automáticamente, esa justificación se debilita mucho más

  • Tal vez algún día escuchemos en un tribunal el argumento de que "la evidencia de IA es confiable porque es una tecnología en la que se invirtieron decenas de miles de millones de dólares"
  • Me pregunto si el uso de la fuerza sin una razón válida ya cuenta directamente como represión excesiva, o si hay una zona gris

• Es peligroso dejar este tipo de sistemas en manos de personas que no entienden bien la IA a nivel técnico
  Es muy probable que confíen ciegamente en la salida de la IA
  En lo que de verdad deberían enfocarse los equipos de seguridad de IA es en hacer que la sociedad entienda que "las computadoras pueden equivocarse"

• La escuela dijo que "ofrecerá apoyo de consejería a los estudiantes", pero más que eso deberían obligarla a asumir responsabilidad económica por los falsos positivos
  Esta tecnología todavía debería quedarse en fase de laboratorio

  • Tiene que haber alguien responsable por las decisiones equivocadas. Solo un sistema de responsabilidad del tomador de decisiones puede frenar las malas decisiones
  • Ya se desperdiciaron personal y recursos en una respuesta equivocada. Ahora hacen falta renuncias o sanciones
  • Dan ganas de preguntarse con cinismo si en lugar de consejería les dieron хотя бы tarjetas de regalo para terapia
  • Claro, toda tecnología siempre implica riesgos, pero no creo que un solo falso positivo invalide por completo todos los beneficios
    Aun así, la proporción entre falsas alarmas y detecciones reales debe publicarse con transparencia

• Se viene una época en la que plataformas de vigilancia como Palantir se van a extender por toda la sociedad
  Los sistemas de ML no deterministas, cuando fallan, pueden terminar en pérdida de vidas humanas
  En las sociedades autoritarias esos errores se encubren, así que hay que exigir regulación legal desde ahora

  • Pero este caso no tiene que ver con Palantir, sino con Omnilert. No hay que confundir el punto

• Omnilert dijo que "el sistema funcionó como se esperaba", pero en realidad la IA prácticamente le hizo swatting a una persona
  Lo más seguro sería evitar por completo los lugares donde instalen sistemas así

  • Es la típica excusa corporativa de "no es un bug, es una feature"
  • Esta tecnología eventualmente va a provocar el sacrificio de un estudiante inocente. Todavía no ha alcanzado ese nivel de madurez
  • La afirmación de que priorizaron la seguridad humana es claramente falsa

• Decían "verificación humana rápida", pero al final fue una verificación frente al cañón de un arma

  • La idea de "no perder tiempo verificando y neutralizar de inmediato la amenaza" es todavía más peligrosa
  • Cuando la policía sea despachada, debería poder ver de inmediato el video original detectado por la IA. Eso ayudaría a reducir falsos positivos y a entender correctamente la situación
  • Tal vez el siguiente paso sea un CAPTCHA donde te confirman a punta de pistola que no eres un robot

• Cada vez que paso por los escáneres de la TSA en el aeropuerto me pongo tenso sin razón. A menudo me hacen revisión adicional por usar pantalones con cierre
  Ahora estamos entrando en una época donde las cámaras de seguridad con IA en la calle van a marcar personas de forma arbitraria
  Como estos sistemas generan dinero, hay un gran riesgo de que se expandan sin control

  • Usar Precheck o Global Entry puede reducir la frecuencia de las revisiones. Es molesto, pero es una solución realista
  • Tratar de evitar revisiones cambiando la ropa es un efecto secundario del teatro de seguridad. Algún día quizá hasta tengamos que ajustar la ropa de todos los días
  • La ciudadanía misma debería enviar sus opiniones por correo electrónico. Con que se muevan unos cientos de personas, los políticos reaccionan. El silencio es el problema más grande
  • Una vez mostré mi permiso de portación de armas en vez de mi identificación y me hicieron revisión adicional, pero por suerte no pasó a mayores
  • Un amigo se quedó esperándome después de pasar por el escáner y lo volvieron a revisar por estar "merodeando". Parece que ahí operó un sesgo racial

• La frase "el sistema funcionó como se esperaba" suena como una versión real del meme de "Not a hotdog"
  Solo que esta vez era distinguir entre "arma / no arma", y la precisión fue incluso peor