'Lavender': la máquina de IA de Israel que dirige el bombardeo de Gaza

'Lavender': el sistema de IA de Israel que dirige el bombardeo de Gaza

• El ejército israelí desarrolló un programa basado en inteligencia artificial llamado 'Lavender', que desempeña un papel clave en los bombardeos indisiscriminados contra palestinos en la Franja de Gaza.
• Este sistema marca a decenas de miles de residentes de Gaza como objetivos de asesinato sin supervisión humana, y la política de aceptación de víctimas es permisiva.
• Lavender fue diseñado para marcar como posibles objetivos de bombardeo a miembros de las organizaciones militares de Hamás y de la Yihad Islámica Palestina (PIJ).

PASO 1: generación de objetivos

• Lavender analiza la información recopilada mediante un sistema de vigilancia masiva sobre la mayoría de los habitantes de la Franja de Gaza, y evalúa y clasifica la probabilidad de que cada persona sea miembro de las organizaciones militares de Hamás o de PIJ.
• Este sistema de IA aprende las características de miembros conocidos de organizaciones militares y evalúa a la población general buscando esos rasgos.
• Lavender marcó a unos 37,000 palestinos como sospechosos de ser 'miembros de organizaciones militares' de Hamás, convirtiéndolos en objetivos de asesinato.

PASO 2: vincular a los objetivos con la casa familiar

• El ejército israelí usa un sistema automatizado para vincular a los objetivos con sus casas familiares, junto con otro sistema automatizado adicional como '¿Dónde está papá?' que señala el bombardeo cuando el objetivo entra en la casa familiar.
• Estos sistemas vigilan continuamente al objetivo y permiten atacarlo en cuanto pisa la casa familiar.

PASO 3: selección de armas

• Después de que Lavender marca a una persona como objetivo de asesinato, los soldados verifican si el objetivo es hombre y, cuando el software de rastreo lo localiza en su hogar, eligen la munición que se usará en el bombardeo.
• Las bombas baratas y 'tontas' pueden causar más daños colaterales que las bombas guiadas de precisión, y se usan principalmente para asesinar a miembros de menor rango.

PASO 4: aprobación de bajas civiles

• Durante las primeras semanas de la guerra, el ejército israelí permitió matar hasta 15 o 20 civiles al asesinar a cada miembro de menor rango marcado por Lavender.
• Este 'grado de daño colateral' se aplicó ampliamente a todos los supuestos miembros de menor rango, sin importar su rango, importancia militar o edad.

La opinión de GN⁺

• El sistema Lavender es un caso de aplicación de tecnología de IA en operaciones militares, lo que sugiere que el papel de la IA aumentará en las guerras del futuro.
• Al depender de una lista de objetivos de asesinato decidida por inteligencia artificial, aumentan los problemas éticos y la posibilidad de víctimas civiles por errores de selección de objetivos.
• Se necesita una discusión profunda sobre cómo esta tecnología cambiará la naturaleza de la guerra, y se requiere una nueva interpretación del derecho internacional y de las leyes de la guerra.
• La introducción de sistemas como Lavender puede aumentar la eficiencia militar, pero al mismo tiempo tiene una cara dual al poner en riesgo la vida de civiles inocentes.
• Hace falta preparar regulaciones o medidas de respuesta ante el impacto que esta tecnología podría tener en la comunidad internacional en el futuro.

[GN⁺]

Opiniones de Hacker News

• Los investigadores ya habían planteado hace mucho preocupaciones sobre seleccionar objetivos individuales basándose en asociaciones indirectas. Estos sistemas se usaban originalmente con fines de vigilancia, pero ahora se están usando más allá de la simple vigilancia, para matar personas de verdad.

  El derecho internacional humanitario prohíbe matar a personas que no sean "combatientes" de grupos armados. Solo pueden ser objetivo quienes "participan de manera continua y directa en las hostilidades". El resto de los civiles solo pueden ser objetivo cuando participan directamente en actos hostiles.

• Expresa preocupación por la idea de que la inteligencia artificial (IA) tome decisiones anticipadas sobre matar personas. En este caso hubo aprobación humana, pero señala que estamos a un paso de situaciones en las que las personas sean asesinadas por robots sin intervención humana.

  Se pregunta cuál sería la alternativa sin IA: si Israel habría seleccionado objetivos de forma más aleatoria o si no habría lanzado bombas en absoluto. En una situación de guerra, es inevitable que mueran personas inocentes.

• Señala que muchas personas verán solo el título y no leerán el contenido, y recomienda prestar atención al segundo párrafo del artículo.

  Afirma que, junto con el uso del sistema de IA Lavender, funcionarios militares israelíes permitieron muertes masivas de civiles palestinos.

• Sugiere escuchar la temporada actual del pódcast Serial.

  La forma en que la IA procesa datos para identificar rápidamente a operadores "junior" y convertirlos en objetivos no es distinta de la forma en que se hacía en 2001. Las decisiones las toman humanos, no la IA.

• Aunque es una historia que retrata negativamente las acciones de Israel, se lee como si al menos hubiera un intento de atacar objetivos militares.

  Israel busca hacer imposible la vida en Gaza al apuntar contra periodistas, personal médico, trabajadores humanitarios y otros.

• Cuestiona la precisión de esta tecnología y señala que parece haber más interés en que se vea como tecnología avanzada que en los resultados.

  Demuestra que a quienes tienen el poder les interesa menos ser "precisos" que tener una justificación que confirme sus propios prejuicios.

• Menciona que las Fuerzas de Defensa de Israel (IDF) no parecían interesadas únicamente en matar a operadores de Hamás dentro de edificios militares o mientras realizaban actividades militares.

  Las IDF no dudaron en bombardear casas familiares, y el sistema fue construido para encontrarlos en esas situaciones.

• Plantea dudas sobre qué beneficio aportó el uso de la IA para que las IDF alcanzaran sus objetivos.

  El uso continuo de la IA podría estar siendo apoyado porque brinda refugio a individuos implicados en crímenes de guerra.

• The Guardian también está tratando esta historia como nota de portada y recibió detalles por adelantado.

  Este tipo de historias son de interés público y espera que se genere debate.

• Una fuente mencionó que el personal humano solo actuaba como un "sello de goma" para las decisiones de la máquina.

  Hace pensar en el ensayo sobre la ironía de la automatización: cuando la mayor parte del trabajo se automatiza, la supervisión humana se vuelve casi inútil.