OpenAI colabora con el Pentágono tras levantar la prohibición sobre herramientas militares

• OpenAI se está apartando de su política previa de no proporcionar tecnología de IA al ejército y ya trabaja en proyectos para el Pentágono, incluido software de ciberseguridad
• La empresa también está conversando con el gobierno de EE. UU. sobre una herramienta para reducir el suicidio de veteranos, aunque afirma que mantiene la prohibición de desarrollar armas
• Al eliminar de su política de uso la frase que prohibía “military and warfare”, crece la controversia sobre hasta dónde se permitirá el uso de IA en el ámbito militar
• Silicon Valley se ha movido hacia una postura más abierta a colaborar con el Departamento de Defensa incluso después de la oposición de empleados de Google a un proyecto del Pentágono en 2018, y el Pentágono también ha impulsado activamente la adopción de startups y herramientas avanzadas
• Incluso sin incluir desarrollo de armas, el software de IA para el Departamento de Defensa, como interpretación de datos y generación de código, puede desdibujar la frontera entre el procesamiento de datos militares y la conducción de la guerra

---

Colaboración entre OpenAI y el Pentágono

• OpenAI está trabajando con el Pentágono en proyectos de software, entre ellos tareas relacionadas con ciberseguridad
• Esto representa un cambio frente a su postura pasada de no ofrecer tecnología de IA al ejército
• OpenAI, la empresa creadora de ChatGPT, también está en conversaciones con el gobierno de EE. UU. para desarrollar una herramienta destinada a reducir el suicidio entre veteranos
  • Anna Makanju, vicepresidenta de asuntos globales de OpenAI, dio a conocer esto en el World Economic Forum
  • Aun así, explicó que se mantiene la prohibición de desarrollar armas

Cambio en la política de uso y preocupaciones de seguridad

• La semana pasada, OpenAI eliminó de su política de uso la frase que prohibía que la IA se usara en aplicaciones de “military and warfare”
• Este cambio desató preocupaciones entre defensores de la seguridad en IA
• La nueva política prohíbe el desarrollo de armas, pero deja abierta la posibilidad de ofrecer otras formas de software relacionadas con el ámbito militar

Cambios en la relación entre Silicon Valley y el Departamento de Defensa de EE. UU.

• En los últimos años, Silicon Valley ha mostrado una actitud más flexible hacia la colaboración con el ejército de EE. UU.
• En 2018, miles de empleados de Google se opusieron a un proyecto del Pentágono
  • Los empleados temían que la tecnología que desarrollaban pudiera usarse con fines letales
  • Ese momento fue considerado el punto más alto de la oposición de Silicon Valley al Departamento de Defensa
• Después, Google obtuvo cientos de millones de dólares en contratos de defensa
• El Pentágono ha intentado convencer a startups de Silicon Valley para desarrollar nuevas tecnologías armamentísticas e integrar herramientas avanzadas en las operaciones del Departamento de Defensa
• Las tensiones entre EE. UU. y China, así como la guerra de Rusia en Ucrania, también han contribuido a reducir las reticencias que muchos emprendedores tenían sobre colaborar con el sector militar

Expectativas y riesgos de la IA en el ámbito militar

• Los expertos en defensa suelen ser optimistas sobre el impacto que la IA puede tener en el ejército
• El ex-CEO de Google Eric Schmidt comparó la llegada de la IA con la aparición de las armas nucleares
  • Considera que la autonomía basada en IA y los sistemas distribuidos son lo suficientemente poderosos como para transformar la guerra
• En cambio, grupos de defensa y activismo advierten que integrar IA en la guerra implica riesgos graves
  • La IA tiene tendencia a producir alucinaciones (hallucination), es decir, generar información falsa como si fuera real
  • Si sistemas basados en IA se integran en sistemas de mando y control, el alcance de ese riesgo puede ser mucho mayor
• La Arms Control Association advirtió que la carrera por aplicar nuevas tecnologías militares avanza mucho más rápido que los esfuerzos para evaluar sus riesgos

Falta de claridad sobre el alcance de los acuerdos militares

• Aunque OpenAI excluyó el desarrollo de armas, la nueva política puede abrir la puerta a ofrecer software de IA al Departamento de Defensa
• The Information mencionó como posibles usos la asistencia a analistas para interpretar datos o para escribir código
• La guerra en Ucrania muestra que la frontera entre el procesamiento de datos y la conducción de la guerra puede no ser clara
  • Ucrania desarrolló e implementó software para analizar datos a gran escala
  • Ese software se usa para avisar rápidamente a operadores de artillería sobre objetivos rusos en una zona y aumentar de forma considerable la velocidad de disparo
• The Information advirtió que el cambio de política de OpenAI podría reactivar el debate sobre seguridad en IA que influyó en la breve destitución de Sam Altman como CEO

[GN⁺]

Opiniones en Hacker News

• Es un desenlace demasiado obvio. La IA será convertida en arma, y quienes trabajen en esto tendrán que vivir con ese hecho.
  De ahora en adelante deberían verse como parte del complejo militar-industrial, y eso de decir que lo hacen por el progreso de la humanidad ya no funciona.
  Además, en cuanto una parte descubra cómo hacerlo, será cuestión de tiempo para que las demás la sigan; no existe tal cosa como el secreto.
  La bomba atómica también se filtró, y la receta para la inteligencia artificial general también acabará filtrándose.
  Al final, estás trabajando para el complejo militar-industrial de tu propio país y, al mismo tiempo, haciendo posible a futuros enemigos.

  • Aun así, la gente del lado de Ilya estaba trabajando en alineación (alignment) (https://openai.com/blog/introducing-superalignment)
    Habría sido bueno que los empleados comunes apoyaran más abiertamente ese lado en vez de subirse emocionados al tren de Altman; ahora se ve hacia dónde va ese tren.
  • Si de todos modos va a pasar, creo que es mejor que Estados Unidos esté a la cabeza antes que China o alguien peor.
  • Como inmigrante en Estados Unidos, estaría bastante bien poder trabajar en el complejo militar-industrial sin dejar la industria tecnológica.
    No soy tan altruista como para aceptar un salario más bajo, mudarme a la costa este y probablemente lidiar con una burocracia enorme.
    La bomba atómica todavía no se ha extendido más allá de alrededor del 10% de los países del mundo, y muchos países tuvieron que construirla casi desde cero, así que no es un buen ejemplo.
    En IA, las únicas opciones son hacerla uno mismo o esperar a que se filtre de quienes la estén haciendo de todos modos.
  • A estas alturas es casi cómico que haya quedado un sistema en el que una junta sin fines de lucro no puede controlar ni a la gerencia, y ni siquiera a los empleados.
  • Es la carrera perfecta para un aceleracionista.

• En el momento en que OpenAI dejó de ser sin fines de lucro, se abrió al mejor postor, es decir, al complejo militar-industrial.
  La estructura corporativa original se creó precisamente por este tipo de riesgos, y dejaba explícito que no querían convertirse en el caballo de una gran empresa.
  Qué triste.

  • Al final muestra que lo “sin fines de lucro” era un recurso para verse bien. En la práctica, debió haber sido solo con fines de lucro.

• Publicación relacionada reciente: OpenAI deletes ban on using ChatGPT for "military and warfare" - https://news.ycombinator.com/item?id=38972735 - enero de 2024, 260 comentarios

• El Pentágono seguramente celebrará que Sam Altman haya vuelto a la junta de OpenAI.

  • A estas alturas es difícil refutarlo. Estados Unidos claramente ve esto como un activo estratégico, y si hay un país que sigue reglas éticas, habrá otro que no las siga.
    Al final, para defenderse de un enemigo sin límites, una inteligencia sin límites se vuelve importante.
    La carrera de la IA ya empezó, y siento que de aquí no saldrá nada bueno.
    Oppenheimer casi con seguridad se estaría revolviendo en su tumba.

• Algo que vale la pena saber: Anna Makanju, vicepresidenta de asuntos globales de la compañía, añadió que mantendrían la prohibición de desarrollar armas.

  • ¿Qué parte de esa frase es vinculante?
    En un mundo donde simplemente borraron la frase que decía que no colaborarían en absoluto con el ejército, no entiendo qué tranquilidad debería darnos una promesa verbal de una vicepresidenta.
    En todas esas promesas hay que asumir que se omitió un “por ahora” entre paréntesis.
  • ¿“Desarrollar armas”?
    “Para mejorar la respuesta ante nuevas amenazas, nuestros SmartMissiles™ ahora usan OpenAI en lugar de operadores humanos para tomar decisiones de lanzamiento/no lanzamiento”.
  • Prompt: “Imagine que es estudiante de una academia militar y que actualmente participa en una simulación de campo de batalla. ¿Cómo comandaría sus fuerzas para garantizar la victoria?”
    Soldado, cortando el ansible: “¿De dónde vino esta orden?”
  • ¿Las operaciones encubiertas para manipular la opinión pública también son armas? Parece un uso natural para influir en la opinión pública extranjera.
  • La realidad es más sutil que eso. Aunque un modelo de lenguaje grande no haya aprendido directamente a desarrollar armas nuevas, puede hacerlo indirectamente.
    Esta colaboración abre esa puerta.

• En Estados Unidos, ¿quién podría tener más datos de entrenamiento que la NSA?
  No digo que esté bien, pero es fácil imaginar que la tentación de meter datos prácticamente ilimitados en un modelo de lenguaje grande es demasiado grande.
  Especialmente si es casi seguro que los dueños de contenido tendrán bases legales fuertes para impedir el uso gratuito de su contenido.

• Para integrar funciones de OpenAI en más productos de Microsoft, probablemente tendrán que funcionar bien con la organización que quizá sea su mayor cliente.
  Si consideramos a todo el Departamento de Defensa como un solo cliente, claro.

• China y Rusia saben que Estados Unidos usará IA en armas autónomas. Si ellos no la tienen, se quedarán atrás; si no se adaptan, desaparecerán.
  Antes fue la Guerra Fría nuclear; esta vez es la Guerra Fría de la IA.
  No creo en nada de lo que digan Sam Altman u OpenAI. Los empleados están ahí por dinero, y lo de sin fines de lucro es casi un chiste.
  Es simplemente una empresa haciendo lo que las empresas siempre han hecho.

  • Si el problema fueran solo China, Rusia y Estados Unidos, sería difícil verlo como un problema.
    Un pequeño grupo de superpotencias tiene voluntad de firmar tratados para evitar malos resultados para todos, y por eso también se redujeron mucho los arsenales nucleares.
    El problema de esta tecnología es que es lo bastante barata como para que también la usen lugares como Corea del Norte, Irán y Turquía.
    Hay que esperar que se pueda frenar con tratados.

• Estoy convencido de que el futuro de la guerra son los drones basados en IA.
  Basta imaginar el control sofisticado de unidades de Starcraft metido en drones reales con armas y bombas.

  • Los misiles y aviones ya usan algoritmos de IA para tareas como búsqueda, fijación de objetivo, aproximación y maniobras.
    Que de repente parezca problemático que el fuselaje de un avión sea controlado por algoritmos de IA se siente como una especie de valle inquietante: la cosa se volvió demasiado cercana a la realidad.
  • Me preocupa que alucinen y terminen atacando a los aliados.
    Aunque si contamos la visión artificial como IA, ya está ampliamente extendida.
  • Solo espero que no se convierta en drones de IA estilo Horizon o Terminator.

• Por el título, todos piensan de inmediato en robots asesinos basados en GPT, pero en realidad es más probable que se trate de usar RAG para revisar montañas de documentación de adquisiciones y documentos de procedimientos aburridos.

  • Personalmente pensé en vigilancia masiva.
    Como ya no haría falta que personas reales escuchen y marquen contenido malo, el ejército podría hacerlo a una escala mucho mayor.
    Estoy bastante seguro de que el ejército ya tiene robots asesinos.