- Según una investigación de +972 Magazine y Local Call, en las primeras etapas de la guerra en Gaza el ejército israelí usó Lavender para marcar a decenas de miles de palestinos como objetivos de asesinato, y los oficiales de inteligencia trataron sus resultados prácticamente como si fueran juicios humanos.
- Lavender asignaba puntajes a personas sospechosas de pertenecer a las organizaciones militares de Hamas y Palestinian Islamic Jihad; testimonios indican que durante las primeras semanas de la guerra unas 37,000 personas fueron marcadas como presuntos combatientes.
- Varias fuentes de inteligencia afirmaron que los oficiales no verificaban los objetivos de forma independiente y normalmente dedicaban solo 20 segundos a confirmar si eran hombres; además, pese a saber internamente que había alrededor de un 10% de errores, no aplicaban una política de “cero errores”.
- Para rastrear objetivos se usaron sistemas automatizados como Where’s Daddy?; cuando el objetivo entraba en la vivienda familiar, esta se convertía en blanco de bombardeo, y testimonios señalan que para objetivos de bajo rango se preferían las bombas no guiadas (dumb bombs) antes que municiones de precisión.
- El ejército israelí negó que la IA “incriminara” objetivos y sostuvo que realiza análisis de inteligencia independientes y cumple el derecho internacional; sin embargo, las fuentes consideran que los umbrales permitidos de víctimas civiles, el cálculo automatizado de daños colaterales y la falta de verificación en tiempo real derivaron en muertes civiles masivas.
La generación de objetivos a cargo de Lavender
- The Human-Machine Team, publicado en inglés en 2021, imaginaba una “máquina” capaz de procesar rápidamente enormes volúmenes de datos durante una guerra para generar miles de posibles objetivos militares.
- El autor usó el seudónimo “Brigadier General Y.S.”, y +972 y Local Call afirman haber confirmado que se trata del actual comandante de la unidad de inteligencia israelí Unit 8200.
- El libro defiende una combinación de IA y humanos para resolver el cuello de botella humano en el proceso de encontrar nuevos objetivos y tomar decisiones de aprobación de objetivos.
- Según la investigación, el ejército israelí desarrolló efectivamente un programa basado en IA llamado Lavender, y seis oficiales de inteligencia israelíes que participaron directamente en la generación de objetivos de asesinato mediante IA durante la guerra en Gaza lo confirmaron.
- El sistema fue diseñado oficialmente para marcar como posibles objetivos de bombardeo a presuntos integrantes de las organizaciones militares de Hamas y Palestinian Islamic Jihad, en particular incluso a miembros de bajo rango.
- Las fuentes dijeron que durante las primeras semanas de la guerra el ejército dependió casi por completo de Lavender, y que alrededor de 37,000 palestinos y sus viviendas fueron marcados como candidatos para ataques aéreos.
- En su respuesta a +972 y Local Call, el portavoz del ejército israelí negó la existencia de esa kill list.
La ampliación del alcance de los “objetivos humanos”
- En el ejército israelí, en el pasado “human target” se refería, según las reglas del departamento de derecho internacional militar, a personal militar de alto rango que podía ser asesinado en una vivienda privada aun cuando hubiera civiles alrededor.
- Después de que el 7 de octubre militantes liderados por Hamas atacaran el sur de Israel, mataran a unas 1,200 personas y secuestraran a 240, las fuentes señalan que el ejército israelí designó en “Operation Iron Swords” a todos los integrantes de la organización militar de Hamas como human targets, sin importar su rango ni su importancia militar.
- Antes, para aprobar el asesinato de un solo human target, un oficial debía pasar por un procedimiento complejo y prolongado de incriminación (incrimination).
- Se verificaban de forma cruzada las pruebas de que la persona fuera un miembro de alto rango de la organización militar de Hamas.
- Se identificaban su residencia y datos de contacto.
- Era necesario saber en tiempo real cuándo la persona estaba en su casa.
- Cuando la lista de objetivos se amplió de decenas de altos mandos a decenas de miles de operativos de bajo rango, las fuentes explican que el trabajo de inteligencia pasó a depender en gran medida de software automatizado e IA.
- Un oficial de alto rango dijo que poder atacar automáticamente a operativos de bajo rango era el “Holy Grail”, y que al pasar a la automatización la generación de objetivos se dispara.
Cómo funciona Lavender y sus datos
- Lavender analiza información recopilada por un sistema de vigilancia masiva sobre la mayoría de los 2.3 millones de habitantes de la Franja de Gaza, y evalúa con un puntaje de 1 a 100 la probabilidad de que cada persona esté activa en la organización militar de Hamas o PIJ.
- El sistema recibe como datos de entrenamiento información de integrantes conocidos de Hamas y PIJ, aprende sus características, es decir, features, y busca rasgos similares en la población general.
- El libro The Human-Machine Team incluye una breve guía para construir una “target machine” basada en IA, con ejemplos de características que podrían elevar el puntaje de una persona.
- Estar en el mismo grupo de Whatsapp que un combatiente conocido.
- Cambiar de teléfono celular cada pocos meses.
- Cambiar de domicilio con frecuencia.
- “Col. Yoav”, comandante del centro de Data Science and AI de Unit 8200, describió en una charla a puerta cerrada durante la AI week de Tel Aviv University en 2023 una máquina de objetivos que detecta “personas peligrosas” con base en su similitud con listas existentes de combatientes.
- Dijo que, en la operación militar de mayo de 2021 en Gaza, este sistema identificó a un comandante de la unidad de misiles de Hamas.
- Las diapositivas de la charla mostraban una estructura en la que se ingresan datos de operativos conocidos de Hamas, se aprenden sus características y luego se asignan puntajes a otros palestinos según su similitud.
- “Col. Yoav” enfatizó que la decisión final la toma una persona, pero fuentes que usaron Lavender recientemente afirman que, en la práctica, el juicio humano minucioso fue reemplazado por la generación masiva de objetivos y la letalidad.
Proceso de aprobación y tolerancia al error
- Según las fuentes, la adopción automática de la lista de objetivos de Lavender fue aprobada unas dos semanas después del inicio de la guerra.
- Personal de inteligencia revisó manualmente cientos de muestras seleccionadas por la IA.
- Se evaluó que, en esas muestras, Lavender alcanzaba una precisión del 90% al identificar vínculos con Hamas.
- Después, cuando Lavender determinaba que una persona era combatiente de Hamas, los oficiales lo trataban prácticamente como una orden, sin necesidad de verificar de forma independiente los datos originales ni las razones del juicio.
- Un oficial de alto rango dijo que, según las revisiones internas, se consideraba que los cálculos de Lavender tenían solo un 90% de precisión, lo que significaba que el 10% de los objetivos de asesinato podía no pertenecer a la organización militar de Hamas.
- Las fuentes explican que Lavender podía marcar por error a personas cuyos patrones de comunicación se parecían a los de integrantes conocidos de Hamas o PIJ.
- Policías y personal de defensa civil.
- Familiares de combatientes.
- Residentes con el mismo nombre o apodo que operativos reales.
- Habitantes de Gaza que usaban dispositivos que antes habían pertenecido a operativos de Hamas.
- Una fuente dijo que no había una política de “cero errores” y que los errores se trataban estadísticamente.
- Otra fuente de inteligencia explicó que, en objetivos de combatientes de bajo rango, se consideraba que no valía la pena dedicar tiempo de un oficial de inteligencia a verificarlos, y que se asumían el margen de error del uso de IA y el riesgo de muertes civiles.
La verificación humana se limitaba a confirmar que fueran hombres
- El ejército israelí negó la afirmación de que utilizara IA para incriminar objetivos y respondió que estas herramientas son solo herramientas auxiliares que ayudan en el proceso de incriminación.
- La respuesta militar afirma que, en todos los casos, se requiere una revisión independiente por parte de un analista de inteligencia, y que se verifica que el objetivo identificado sea un objetivo legítimo conforme a las directrices militares y al derecho internacional.
- Sin embargo, las fuentes señalan que, antes de bombardear la casa de un presunto combatiente de bajo rango marcado por Lavender, el proceso real de supervisión humana se parecía a una sola comprobación.
- Confirmar si el objetivo seleccionado por la IA era mujer u hombre.
- Dentro del ejército existía la suposición de que, como no hay mujeres en las organizaciones militares de Hamas y PIJ, si el objetivo era mujer era muy probable que se tratara de un error de la máquina.
- Un oficial de alto rango dijo que normalmente dedicaba 20 segundos por objetivo, y que su único valor agregado humano era comprobar si la voz era masculina.
- Las fuentes señalan que, con este método, no había un mecanismo de supervisión capaz de detectar el error cuando Lavender marcaba equivocadamente a un hombre civil.
Where’s Daddy? y el rastreo de viviendas familiares
- El siguiente paso era decidir dónde atacar los objetivos generados por Lavender.
- El ejército israelí sostiene que Hamas despliega operativos y activos militares en el corazón de la población civil, y que combate desde estructuras civiles como hospitales, mezquitas, escuelas e instalaciones de la ONU.
- Las seis fuentes también reconocieron en cierta medida que el sistema de túneles de Hamas pasa por debajo de hospitales y escuelas, que combatientes usan ambulancias y que activos militares se ubican cerca de edificios civiles.
- Al mismo tiempo, las fuentes señalan que una de las principales razones del aumento sin precedentes de muertes en los bombardeos actuales es que el ejército atacó sistemáticamente a los objetivos cuando estaban con sus familias en viviendas privadas.
- Según las fuentes, el software de rastreo automático monitoreaba a miles de personas simultáneamente y enviaba una alerta automática al oficial encargado del objetivo cuando este entraba a su casa.
- Uno de estos sistemas, revelado por primera vez, es Where’s Daddy?.
- Una fuente lo describió como “broad hunting”: copiar y pegar en el sistema de objetivos la lista creada, y esperar a ver quién podía ser asesinado.
- Según cifras de la ONU, 6,120 personas, más de la mitad de los muertos del primer mes de la guerra, pertenecían a 1,340 familias, y muchas familias fueron exterminadas por completo dentro de sus casas.
- Hay testimonios de que, al ingresar un nombre de la lista de Lavender en Where’s Daddy?, esa persona quedaba bajo vigilancia continua y, en el momento en que entraba a su casa, toda la vivienda podía convertirse en blanco de un ataque que la derrumbara.
Selección de armas y bombas no guiadas
- Cuando Lavender marcaba un objetivo de asesinato, personal militar confirmaba que fuera hombre y el software de rastreo ubicaba su posición dentro de una vivienda, el siguiente paso era elegir la bomba.
- En diciembre de 2023, CNN informó, citando estimaciones de inteligencia de EE. UU., que alrededor del 45% de las municiones usadas por la fuerza aérea israelí en Gaza eran bombas no guiadas (dumb bombs).
- Tres fuentes de inteligencia dijeron que, para los asesinatos de operativos de bajo rango marcados por Lavender, se usaban únicamente bombas no guiadas con el fin de ahorrar armamento de precisión más costoso.
- Una fuente explicó que, si un objetivo de bajo rango vivía en un edificio alto, no se lo atacaba porque no querían usar una “floor bomb” más precisa y cara; pero si vivía en un edificio de pocos pisos, se aprobaba un ataque con una bomba no guiada que mataba también a las personas dentro del edificio.
- Otra fuente dijo que, por el sistema, los objetivos nunca se acababan: si se cancelaba un ataque, se pasaba de inmediato al siguiente objetivo.
Umbrales permitidos de muertes civiles
- Según las fuentes, durante las primeras semanas de la guerra el número aceptable de civiles muertos por cada combatiente de bajo rango marcado por el sistema de IA se fijó en 15 o 20.
- Este “collateral damage degree” se aplicó ampliamente a todos los presuntos combatientes de bajo rango, sin importar su rango, importancia militar o edad, y no se comparaba caso por caso el beneficio militar con el daño civil previsto.
- Un oficial de una sala de operaciones de objetivos dijo que el departamento de derecho internacional militar nunca antes había dado una aprobación general para ese nivel de daño colateral.
- Dijo que cualquier persona que hubiera usado uniforme de Hamas en el último año o dos podía ser bombardeada junto con 20 civiles como daño colateral, sin autorización especial, y que en la práctica no existía el principio de proporcionalidad.
- Otra fuente de alto rango explicó que durante la primera semana de la guerra casi no se tomó en cuenta el daño colateral, luego el límite bajó y después volvió a subir.
Objetivos de altos mandos y daños civiles mayores
- Las fuentes afirman que el método actual del ejército de generar masivamente y bombardear human targets de bajo rango en viviendas civiles ya no se usa.
- Algunas señalan que la presión de Estados Unidos influyó.
- También dicen que, como muchas viviendas de la Franja de Gaza ya fueron destruidas o dañadas y casi toda la población se desplazó, se volvió difícil depender de bases de datos de inteligencia y programas automáticos de rastreo de viviendas.
- Otra fuente sostiene que los bombardeos masivos de operativos de bajo rango ocurrieron sobre todo durante la primera o segunda semana de la guerra y luego se detuvieron para ahorrar bombas.
- Sin embargo, los ataques aéreos contra altos comandantes de Hamas continuaron, y en esos casos las fuentes dicen que el ejército está aprobando cientos de muertes civiles por cada objetivo.
- Sobre el bombardeo del 2 de diciembre dirigido contra Wisam Farhat, comandante del Shuja’iya Battalion, una fuente recordó que se sabía que morirían más de 100 civiles.
- También hay testimonios de que el 17 de octubre, para asesinar a Ayman Nofal, comandante de Hamas Central Gaza Brigade, en el campo de refugiados de Al-Bureij, se aprobaron alrededor de 300 muertes civiles y se destruyeron varios edificios.
- General Peter Gersten dijo en 2021 a un medio de defensa estadounidense que, en las operaciones contra ISIS, un ataque con 15 civiles como daño colateral quedaba fuera del procedimiento y requería autorización especial de Lloyd Austin, entonces comandante del Comando Central de EE. UU.
El clima interno del ejército después del 7 de octubre
- Todas las fuentes dijeron que la masacre y el secuestro de rehenes por parte de Hamas el 7 de octubre tuvieron un gran impacto en la política de fuego del ejército israelí y en los umbrales permitidos de daño colateral.
- Una fuente describió el clima inicial como doloroso y vengativo, con reglas muy laxas.
- Otra fuente dijo que dentro de una organización profesional había “histeria”, y que el ejército, sin saber cómo responder, empezó a bombardear ferozmente para desmantelar las capacidades de Hamas.
- Una fuente de inteligencia dijo que no hubo una instrucción explícita de que el objetivo fuera la “venganza”, pero que, si todos los objetivos vinculados con Hamas se legitimaban y casi todo daño colateral se aprobaba, era evidente que miles de personas morirían.
- El ejército israelí respondió que cada objetivo se revisa individualmente, que se evalúan el beneficio militar del ataque y el daño colateral previsto, y que no se ataca si el daño colateral previsto es excesivo en comparación con el beneficio militar.
Automatización del cálculo de daños colaterales
- Según las fuentes, el cálculo del número de civiles que se esperaba que murieran junto con el objetivo en cada casa también se realizaba mediante herramientas automatizadas e imprecisas.
- En guerras anteriores, el personal de inteligencia dedicaba mucho tiempo a verificar cuántas personas había dentro de la vivienda que se planeaba bombardear, y ese número quedaba registrado en el “target file”.
- Después del 7 de octubre, esa verificación exhaustiva fue en gran medida abandonada y reemplazada por automatización.
- El método descrito por las fuentes consistía en estimar, antes de la guerra, el número de residentes de cada vivienda a partir del tamaño del edificio y la lista de residentes, y luego reducir esa cifra según el porcentaje de habitantes evacuados del barrio.
- Por ejemplo, si se estimaba que la mitad de los residentes del barrio se había ido, una casa donde normalmente vivían 10 personas se calculaba como si tuviera 5.
- Según las fuentes, para ahorrar tiempo, el ejército no verificaba con vigilancia real de la vivienda cuántas personas estaban allí en ese momento, como en operaciones anteriores.
- Una fuente dijo que el modelo no estaba conectado con la realidad, y que los residentes registrados antes de la guerra no coincidían con las personas que realmente estaban dentro de la casa durante la guerra.
- La misma fuente explicó que el ejército conocía esa posibilidad de error, pero adoptó el modelo impreciso porque era más rápido.
Falta de verificación en tiempo real y reducción de la revisión posterior al bombardeo
- Las fuentes dicen que podía haber una diferencia considerable de tiempo entre la alerta de sistemas de rastreo como Where’s Daddy? que indicaba que el objetivo había vuelto a casa y el bombardeo real, por lo que había casos en los que moría toda la familia sin que el objetivo estuviera presente.
- Tres fuentes de inteligencia dijeron haber visto casos en los que el ejército israelí bombardeó viviendas familiares y luego se comprobó que la persona que debía ser asesinada no estaba dentro de la casa.
- Una fuente explicó que a veces se bombardeaba de todos modos porque el objetivo había estado en la casa unas horas antes, y que en ocasiones se volvía a verificar su ubicación, pero en otras no.
- Otra fuente dijo que a las 8 p. m. se identificó que el objetivo estaba en su casa, pero la fuerza aérea bombardeó a las 3 a. m.; entretanto, el objetivo se había trasladado con su familia a otra casa, y en el edificio bombardeado había otras dos familias con niños.
- En guerras anteriores en Gaza, después de asesinar a un human target se realizaba el procedimiento BDA, una evaluación de daños del bombardeo, pero las fuentes afirman que en la guerra actual este procedimiento se eliminó para ahorrar tiempo en los ataques relacionados con combatientes de bajo rango marcados por IA.
- Las fuentes dijeron que, en los ataques contra presuntos objetivos de bajo rango de Hamas y PIJ, no sabían cuántos civiles habían muerto realmente ni si el propio objetivo había muerto.
1 comentarios
Comentarios de Hacker News
Desde hace mucho tiempo, académicos como Didier Bigo han advertido sobre señalar a personas como objetivos solo por una vinculación indirecta con “terroristas” o “criminales”.
Originalmente, esto se usó en el contexto de vigilancia revelado por las filtraciones de Snowden, y permitía convertir en objetivo incluso a personas que estuvieran, por ejemplo, a tres grados de distancia de un individuo identificado, socavando así el debido proceso y el sentido mismo de la vigilancia dirigida.
Ahora, esos sistemas de IA ya no se usan solo para vigilar, sino para matar personas de verdad.
El derecho internacional humanitario prohíbe matar a personas que no sean combatientes o “combatientes” de grupos armados. Solo quienes tengan una “función continua” de “participación directa” en las hostilidades pueden ser atacados en cualquier momento.
Es decir, solo los miembros de la organización armada de Hamas pueden ser blancos de ataque; reclutadores, fabricantes de armas, propagandistas, encargados de finanzas, etc., deben ser arrestados o juzgados. De lo contrario, incluso en una guerra convencional, casi cualquier civil podría convertirse en objetivo, como un empleado bancario que otorgó un préstamo al ejército.
Lo aterrador de Lavender es que permite a Israel seleccionar masivamente como objetivos a personas protegidas contra ataques según el derecho internacional, ofreciendo apenas una justificación política superficial basada en su supuesta relación con terroristas.
https://www.icrc.org/en/doc/assets/files/other/icrc-002-0990...
Uno de los primeros usos de computadoras por parte de Alemania durante la Segunda Guerra Mundial también fue crear y procesar listas de personas para enviarlas a campos de concentración. La diferencia hoy es solo que se pueden recopilar y procesar muchos más datos, mucho más rápido y a gran escala.
Por supuesto, para que nadie pueda indagar ni hacer preguntas, todo se clasifica como secreto y se restringe el acceso.
En el artículo de The Guardian, el vocero de las FDI dijo que este sistema existe, pero que se usa solo con fines auxiliares, y quizá esa haya sido la intención original o la percepción en los niveles altos. Pero en la práctica, parece muy probable que haya terminado convirtiéndose en lo segundo.
Al final, la mayor parte de la población tiene servicio obligatorio en las FDI.
El derecho internacional permite atacar esa infraestructura si la ventaja militar obtenida es proporcional a las muertes de civiles.
Así que la conclusión es que no se puede apuntar a personas individuales, pero que, en términos de derecho internacional, sí sería aceptable atacar ese edificio mientras esas personas estén dentro, si el objetivo tiene valor militar.
Nunca pensé que llegaría a considerar algo así, pero esto me hace preguntarme si quienes construyeron y desarrollaron este software deberían ser juzgados por asesinato o crímenes de lesa humanidad.
Entiendo que la IA, en su forma actual, es una tecnología que no debería estar ni cerca de este tipo de usos.
Los modelos de inferencia son intrínsecamente bastante no deterministas en el sentido de que es difícil evaluarlos con precisión respecto de un resultado específico deseado, y para obtener aunque sea una precisión baja se necesita una enorme cantidad de datos de entrenamiento. Pero es muy probable que esos datos de entrenamiento ni siquiera existan, así que da la impresión de que todo está construido sobre una alucinación gigantesca.
Me sorprendería si este modelo de IA tuviera aunque sea 10% de precisión, y no me sorprendería que estuviera por debajo del 1%. Por lo que he leído, ni siquiera parece que la precisión sea el punto central.
Al ver el artículo de The Guardian https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai... hasta me hizo pensar si se debería permitir el desarrollo de IA en absoluto.
Esta aplicación concreta y su justificación se sienten como uno de los casos más descarados de uso malicioso deliberado de una tecnología ya públicamente expuesta. ¿Será una conclusión ingenua?
En medio también hay cosas como árboles de decisión, que ofrecen resultados explicables.
La “IA” es un mecanismo para justificar después ciertos actos genocidas concretos y, en la práctica, esto se parece más a una matanza indiscriminada de estilo antiguo, impulsada por la ira y el racismo.
Y luego dirán que nadie tiene la culpa y echarán la responsabilidad al fantasma dentro de la máquina.
Por más que esta historia haga quedar muy mal a Israel, igual se lee como un intento de evadir responsabilidades diciendo que al menos trataban de matar a combatientes armados
Desde el principio quedó claro que el objetivo era hacer imposible la vida en Gaza apuntando contra periodistas, personal médico y personas involucradas en la distribución de ayuda
Si hubiera existido una política de matar intencionalmente a periodistas, trabajadores humanitarios y personal médico, el número de muertos habría sido muchísimo mayor
Si no te das cuenta de que Hamas usa esos roles como cobertura para sus operaciones, eres extremadamente ingenuo o muy parcial
No estoy tratando de justificar las acciones de Israel, que han sido un desastre, pero por la evidencia que hay hasta ahora, la afirmación original me parece claramente incorrecta
El simple hecho de que estemos hablando de esto probablemente no sea casualidad, y parece una estrategia para convencer a los israelíes de que no duden porque el ejército va tecnológicamente por delante y sabe lo que hace
Con o sin IA, habrían cometido genocidio y violado todo el derecho internacional humanitario, pero para quienes todavía creen que ese genocidio está justificado, esto podría ayudar a mejorar la imagen
Me incomoda la idea de que la IA pueda usarse para tomar la decisión de matar preventivamente a alguien
Por ejemplo, como con la navegación de los autos autónomos, puede que las computadoras ya estén tomando decisiones que matan personas de forma pasiva. En este caso dicen que hubo un proceso de aprobación humana, pero eso queda a un paso de que un robot mate personas sin intervención humana, y a otro paso de la trama de Terminator
Me pregunto cuál sería la alternativa en casos así. No sé casi nada de estrategia militar, pero no sé si sin IA Israel habría elegido menos objetivos, o si los habría elegido de forma todavía más aleatoria
También parece haber una mala lectura de este artículo, como si sin IA Israel no hubiera lanzado bombas en absoluto, pero dado que están en guerra eso claramente parece poco probable. En la guerra la gente muere, incluida gente inocente, y por eso todo el mundo odia la guerra y quiere que esta termine lo antes posible
Esa falta de supervisión se permitió aunque en controles internos se consideraba que la precisión de los cálculos de Lavender era de apenas 90%, lo que dicho de otro modo significa que ya sabían de antemano que el 10% de los objetivos humanos marcados para asesinato no eran integrantes de la rama militar de Hamas
Así que no había un verdadero proceso de aprobación humana. Puede que alguien haya ordenado la política, pero los objetivos de asesinato que se seguían generando quedaron aprobados únicamente por las predicciones del sistema de IA
La frase “para ahorrar tiempo y hacer posible una producción masiva de objetivos humanos sin obstáculos” es horriblemente distópica
Entonces ni siquiera habría hecho falta una IA pequeña
También puede que sea cierto eso de que la alternativa sería peor. Tal vez quienes crearon Lavender incluso puedan demostrarlo con datos
Aun así, en cualquier caso tiene que existir una presión moral para mantener a los humanos dentro del proceso. Esos intentos de justificación no van a captar tanto la atención pública como una escena apocalíptica estilo SkyNet desarrollándose sobre las cabezas de los civiles de Gaza
Si partes desde la idea de no construir el Torment Nexus, se vuelve mucho más fácil no construir el Torment Nexus
Mucha gente va a pasar de largo viendo solo el título, pero ojalá lean el texto
El segundo párrafo dice esto: “Además de hablar sobre el uso de un sistema de IA llamado Lavender, las fuentes afirmaron que oficiales militares israelíes permitieron que muriera un gran número de civiles palestinos, especialmente durante las primeras semanas y meses del conflicto”
Recomiendo escuchar toda esta temporada del pódcast Serial
“Procesó grandes volúmenes de datos para identificar rápidamente a posibles operativos ‘de bajo rango’ a fin de convertirlos en objetivos. Cuatro fuentes de inteligencia dijeron que en algún momento al inicio de la guerra, Lavender llegó a listar hasta 37,000 hombres palestinos conectados por el sistema de IA con Hamas o la PIJ”
Esto no es tan distinto de cómo en 2001 se elegía a quién mandar a Guantánamo o a prisiones más secretas, y se bombardeaban esos lugares
Sobre todo, da la impresión de que, igual que en el mundo corporativo, los ingenieros del ejército están inflando la moda de la IA para seguir haciendo lo mismo que ya hacían antes de que existiera la IA
Si desde tu cuenta de PayPal envías dinero a una cuenta identificada como ISIS, una agencia estadounidense de tres letras va a tocarte la puerta bastante rápido. Por los testimonios de usuarios, esto también suena exactamente a eso. La decisión de bombardear o no un lugar la tomó un ser humano, no la IA
“NSA targets SIM cards for drone strikes, ‘Death by unreliable metadata’”
https://www.computerworld.com/article/2475921/whistleblower-...
"No nos interesaba matar a [Hamas] solo cuando un agente estaba dentro de un edificio militar o participando en una actividad militar", dijo a +972 y Local Call un oficial de inteligencia A.
"Más bien, las FDI los bombardeaban en sus casas sin dudarlo, y esa era la primera opción. Es mucho más fácil bombardear la casa de una familia. El sistema está hecho para encontrarlos en esas situaciones"
En Gaza viven unos 2 millones de civiles, y muchos de ellos no tienen acceso a comida, agua, medicinas ni refugio seguro. Algunas de esas personas desafortunadas viven arriba o abajo de agentes de Hamas y sus familias
Es como: "ah, perdón jaja", "no era la intención jaja, de verdad", "no te preocupes, nuestra doctrina dice que se puede matar a X civiles por cada agente enemigo"
La guerra en Gaza es distinta de Ucrania. En Ucrania, los habitantes de pueblos y ciudades pueden desplazarse desde el frente hacia el lado ruso o hacia Galitzia occidental, y tampoco se arrasan por completo los principales centros de población
En Gaza, parece que cualquiera puede morir en cualquier momento, por cualquier motivo o sin motivo. La "estrategia" de Israel hace que incluso Ucrania y Rusia parezcan ejemplos de moderación y civilización
Dicho eso, esta guerra también muestra que Hamas no sigue las reglas y opera demasiado cerca de civiles
Me pregunto qué tan precisa es realmente esta tecnología, o si casi no les importan los resultados y les importa más la imagen de verse avanzados
Por un lado da miedo pensar que esta tecnología exista, pero por otro lado la salida podría estar tan sesgada que no sea más que un montón de basura
Lo más aterrador es la evidencia de que a la gente en el poder no le importa la "precisión", sino la justificación que confirme sus propios prejuicios. Siempre ha sido así, pero que esto se escale con IA lo vuelve más letal
Antes había un límite en cuántos humanos podían mentir; ahora el límite es qué tan rápido puede correr la caja negra mágica
Esta persona no iba armada y, por su trabajo, informaba a las autoridades israelíes por dónde iría el equipo benéfico para despejarles el paso; su familia en Reino Unido confirmó su muerte. Así que naturalmente uno se pregunta quién autorizó un asesinato selectivo en una situación así
Las fotos posteriores muestran que el misil atravesó el techo del vehículo y, de forma irónica, fue justo al lado del logo de la organización benéfica de alimentos claramente visible sobre el vehículo
El ministro de Defensa israelí ahora afirma que fue un error, pero según la investigación, si hubiera sido un caso de acertar al blanco real, las reglas de enfrentamiento podrían haber permitido entre 15 y 100 muertes colaterales no relacionadas
Más aún si es difícil auditar cómo la "IA" llegó a su conclusión. Ahora cualquiera puede convertirse en objetivo
Es parecido a cuando la policía de EE. UU. dice que "olía a marihuana" o que un perro detector "dio una señal". Sirve para justificar cualquier registro o, en este caso, cualquier asesinato. La máquina sigue triturando
En 2018, el CEO de Google Sundar Pichai, la SVP Diane Greene, el SVP Urs Hölzle y el principal ingeniero Jeff Dean construyeron para el ejército de EE. UU. un sistema como Lavender. Era Project Maven
El ejército estadounidense quería usar este sistema para analizar imágenes de drones de vigilancia masiva y elegir en Pakistán a sospechosos para asesinar. Ya había lanzado bombas sobre cientos de casas y vehículos, matando a miles de sospechosos y a sus familiares y amigos [0]
En ese momento yo trabajaba en el departamento de Infraestructura Técnica de Google de Urs. Leí sobre ese proyecto en las noticias, y Urs nos mintió en reuniones relacionadas diciendo que el contrato era de solo 9 millones de dólares. Ya se había ampliado a 18 millones y iba camino a 270 millones
Urs y Jeff Dean intentaron minimizar el impacto de lo que hicieron. Jeff Dean parpadeaba continuamente mientras minimizaba el impacto, y cuando empezó a hablar de los aspectos técnicos de repente dejó de parpadear. En ese momento perdí todo respeto por él y por el liderazgo de la empresa
Que alguien tenga una gran capacidad de ingeniería y negocios no significa que venga acompañada de madurez moral. Por desgracia, nuestra sociedad no está estructurada para garantizar que los líderes reciban la formación moral que necesitan ni para removerlos cuando fallan por completo en el juicio moral
[0] https://en.wikipedia.org/wiki/Drone_strikes_in_Pakistan
The Guardian también llevó esta historia a su portada y recibió los detalles antes de la publicación
https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
Personalmente, creo que este tipo de historias son de interés público. No lo pediría directamente, pero espero que le quiten la marca y que se pueda discutir
Ojalá le quiten las banderas y lo fusionen. Parece una historia importante sobre una nueva forma de usar la tecnología
[0] https://news.ycombinator.com/item?id=39917727