- Firmó un contrato con el Departamento de Defensa de EE. UU. (DoD) sobre el despliegue de sistemas avanzados de IA en entornos clasificados, y pidió que estas mismas condiciones se apliquen por igual a todas las empresas de IA
- El acuerdo establece tres líneas rojas: no usar la tecnología de OpenAI para vigilancia doméstica masiva, control directo de sistemas de armas autónomas ni toma de decisiones automatizada de alto riesgo
- Adopta un esquema de despliegue solo en la nube, donde OpenAI conserva plena discreción sobre el stack de seguridad y personal de OpenAI con autorización de seguridad participa en el circuito
- Afirma que tiene barandillas de seguridad más fuertes que contratos existentes, como los de Anthropic, y excluye despliegues en dispositivos edge para bloquear su posible uso exclusivo en armas autónomas
- Destaca la necesidad de construir un marco de cooperación democrática entre empresas de IA y el gobierno, y también pidió al gobierno resolver el conflicto con Anthropic
Antecedentes y objetivo del contrato
- Firmó un contrato con el Departamento de Defensa de EE. UU. sobre el despliegue de sistemas avanzados de IA en entornos clasificados, y pidió que las mismas condiciones se ofrezcan también a todas las empresas de IA
- Sostiene que, dada la importancia de la tecnología de IA, se necesita una cooperación profunda entre los procesos democráticos y la investigación en IA
- Parte de la idea de que quienes defienden a Estados Unidos deben contar con las mejores herramientas, al mismo tiempo que reconoce que esta tecnología también puede crear nuevos riesgos para el mundo
Tres líneas rojas
- Prohibición del uso de la tecnología de OpenAI para vigilancia doméstica masiva (mass domestic surveillance)
- Prohibición del uso de la tecnología de OpenAI para el control directo de sistemas de armas autónomas (autonomous weapons systems)
- Prohibición del uso de la tecnología de OpenAI para la toma de decisiones automatizada de alto riesgo (por ejemplo, sistemas de crédito social)
- A diferencia de otros laboratorios de IA que reducen o eliminan barandillas de seguridad y dependen solo de políticas de uso, OpenAI sostiene que un enfoque de protección multicapa es más efectivo
Componentes clave del contrato
-
Arquitectura de despliegue
- Despliegue solo en la nube, incluyendo un stack de seguridad operado directamente por OpenAI
- No ofrece modelos con las barandillas de seguridad removidas ni modelos sin entrenamiento de seguridad
- Excluye despliegues en dispositivos edge para bloquear la posibilidad de uso en armas letales autónomas
- Es posible verificar de forma independiente si se violan las líneas rojas, así como ejecutar y actualizar clasificadores (
classifiers)
-
Cláusulas del contrato
- El Departamento de Defensa puede usar el sistema de IA para cualquier fin legal que cumpla con las leyes aplicables, los requisitos operativos y los protocolos establecidos de seguridad y supervisión
- Cuando la ley, la regulación o la política del departamento exijan control humano, no puede usarse para comandar armas autónomas de manera independiente
- Según la DoD Directive 3000.09 (del 25 de enero de 2023), el uso de IA en sistemas autónomos y semiautónomos debe pasar por verificación, validación y pruebas rigurosas en entornos realistas antes del despliegue
- En actividades de inteligencia, el tratamiento de datos personales debe cumplir con la Cuarta Enmienda, la National Security Act (1947), la Foreign Intelligence Surveillance Act (1978), la Executive Order 12333 y las directivas relacionadas del Departamento de Defensa
- Se prohíbe el monitoreo irrestricto de la información personal de ciudadanos estadounidenses
- En actividades domésticas de aplicación de la ley, solo puede usarse cuando lo permitan la Posse Comitatus Act y demás leyes aplicables
-
Participación de expertos en IA
- Ingenieros de OpenAI con autorización de seguridad son desplegados junto al gobierno para brindar apoyo
- Investigadores de seguridad y alignment con autorización de seguridad participan en el circuito
Puntos principales del FAQ
-
Motivo para firmar el contrato
- Las fuerzas armadas de EE. UU. necesitan modelos de IA potentes para responder a la amenaza de adversarios potenciales que integran tecnologías de IA
- Al inicio consideraron que las salvaguardas y sistemas para despliegues clasificados no estaban listos, por lo que no firmaron de inmediato y trabajaron en preparativos para asegurar que se respetaran las líneas rojas
- Eliminar salvaguardas técnicas clave para mejorar el rendimiento en tareas de seguridad nacional no es, según OpenAI, el enfoque correcto
- También busca reducir la tensión entre el Departamento de Defensa y los laboratorios de IA en EE. UU., y pidió al gobierno ofrecer las mismas condiciones a todos los laboratorios, en especial resolver el problema con Anthropic
-
Comparación con Anthropic
- Considera que el contrato de OpenAI ofrece mejores garantías y salvaguardas más responsables que el contrato existente de Anthropic
- El despliegue solo en la nube (no en edge), el mantenimiento de su propio stack de seguridad y la participación de personal de OpenAI con autorización de seguridad hacen que las líneas rojas sean más ejecutables
- Dice no saber por qué Anthropic no pudo firmar este contrato y espera que Anthropic y más laboratorios lo consideren
-
Sobre designar a Anthropic como “riesgo para la cadena de suministro”
- Se opone a designar a Anthropic como “riesgo para la cadena de suministro” y comunicó claramente esa postura al gobierno
-
Posibilidad de armas autónomas
- Sobre la base del stack de seguridad, el despliegue solo en la nube, el lenguaje contractual y las leyes, regulaciones y políticas existentes, no puede usarse en armas autónomas
- El personal de OpenAI participa en el circuito para ofrecer una garantía adicional
-
Posibilidad de vigilancia masiva
- Con base en el stack de seguridad, el lenguaje contractual y las leyes existentes que restringen fuertemente la vigilancia doméstica por parte del Departamento de Defensa, no puede usarse para vigilancia masiva
-
Sobre despliegues sin stack de seguridad
- Mantiene control total sobre el stack de seguridad y no hace despliegues sin barandillas de seguridad
- A diferencia de otros laboratorios de IA que reducen las barandillas del modelo y dependen de las políticas de uso como principal salvaguarda, OpenAI considera que su enfoque multicapa es más efectivo
-
Si el gobierno incumple el contrato
- Como en cualquier contrato general, si la contraparte incumple las condiciones, el contrato puede rescindirse
-
Si cambian las leyes o políticas
- El contrato hace referencia explícita a las leyes y políticas vigentes sobre vigilancia y armas autónomas
- Aunque en el futuro cambien leyes o políticas, el uso del sistema deberá seguir cumpliendo con el estándar actual reflejado en el contrato
- OpenAI coincide con las dos líneas rojas planteadas por Anthropic (vigilancia doméstica masiva y armas totalmente autónomas), y añade una tercera línea roja: toma de decisiones automatizada de alto riesgo
- Vigilancia doméstica masiva: durante los intercambios quedó claro que el Departamento de Defensa la considera ilegal y no planea usarla con ese fin, y el contrato lo especifica como un uso no permitido legalmente
- Armas totalmente autónomas: en el entorno de despliegue en la nube incluido en el contrato no es posible operar armas totalmente autónomas, porque ello requiere despliegue en edge
- Además de estas protecciones, cuenta con salvaguardas multicapa adicionales, como el stack de seguridad y la participación en el circuito de expertos técnicos de OpenAI
1 comentarios
Comentarios en Hacker News
Según mi interpretación, el contrato entre OpenAI y el Departamento de Defensa parece prohibir la vigilancia masiva de ciudadanos estadounidenses, pero en realidad solo significa que se limita a lo que ya está prohibido por ley
Es decir, se puede leer como que el Departamento de Defensa aún podría comprar a gran escala datos como ubicación o transacciones financieras de empresas privadas y analizarlos con las herramientas de OpenAI
Tengo entendido que el contrato de Anthropic no tenía una cláusula así
Si esto es cierto, es algo terrible. Pero últimamente he sacado conclusiones apresuradas demasiadas veces, así que esta vez prefiero reservarme el juicio
(Como referencia, soy ex empleado de OpenAI y accionista actual)
A diferencia de su etapa anterior como organización sin fines de lucro, ahora ya cambió dos veces su política de privacidad para recolectar más datos míos
El proceso para desactivar la configuración también es complicado y está lleno de dark patterns. La función para descargar datos tampoco funciona en la práctica
Es un ejemplo típico de ‘weasel language’ (lenguaje evasivo) del que hablaba Dario
Si esa doctrina desapareciera, la mayoría de estos escenarios de pesadilla también desaparecerían
La expresión “Shall not be used as consistent with these authorities” es extraña incluso gramaticalmente
Parece que los abogados la redactaron deliberadamente de forma ambigua para dejar margen a una interpretación útil para PR
La frase “The Department of War may use the AI System for all lawful purposes…” al final significa que puede usarse para cualquier fin mientras la ley lo permita
Anthropic intentó aplicar sus propios criterios morales, pero OpenAI aceptó sin más lo que pedía el gobierno
En lo personal puedo entender ambas posturas, pero la actitud del gobierno hacia Anthropic fue maliciosa y perjudicial incluso para los intereses de Estados Unidos
El gobierno ya hace abiertamente cosas ilegales, y nadie sabe qué ocurrirá en secreto
Al final, la postura central de Anthropic era la posición moral de que no se puede confiar en el gobierno
También depende de ellos cambiar las reglas
Sam Altman o es ingenuo, o quiere hacernos pensar que lo es
Eso sería claramente un crimen de guerra, pero ¿quién decidiría la “legalidad”? ¿OpenAI, el secretario de Defensa o un juez?
La expresión “para todos los fines legalmente permitidos” significa que quien hace las leyes no se está limitando a sí mismo
Pero si ayudas al gobierno sabiendo que es ilegal, eso puede constituir conspiración criminal. El gobierno puede tener inmunidad, pero OpenAI tal vez no
No creo que Anthropic sea un santo moral en todo esto
ChatGPT tampoco
Pero en este momento cancelar ChatGPT y usar Claude es una forma de mostrar el mensaje que quiero transmitir
Si las empresas saben que los usuarios se van en cuanto aparece una polémica, también actuarán con más cuidado
Es impresionante que Anthropic no se haya doblado esta vez
Aunque faltan GPU, yo también pienso dejar ChatGPT y pasarme a Claude o Kimi
Al final, aunque un empleado adopte una postura moral, si no tiene poder de decisión no sirve de mucho
El único poder real es “renunciar”
Si los ingenieros clave se detienen en bloque, Sam Altman no puede mantener la empresa él solo
OpenAI está eludiendo la responsabilidad moral con una lógica de “deleguemos la responsabilidad moral de la IA a la ley”
Si algún empleado de OpenAI con un patrimonio neto superior a 2 millones de dólares sigue ahí, es que tiene rota la brújula moral
Ya no es diferente de trabajar en Palantir o xAI
La frase “puede usarse para todos los fines legales” al final significa que el Departamento de Defensa consiguió lo que quería, amparándose en una regulación insuficiente
Esta entrada de blog hace que la situación se vea aún peor
No traza una línea clara frente a los usos controvertidos que Anthropic había rechazado
Solo dice que son posibles “si son legales y están probados”
Se siente como IBM en los años 30 vendiendo máquinas a Alemania y luego diciendo “no sabíamos”
Al final, lo que quería el ejército era armas autónomas y vigilancia masiva, además de otros usos que quizá sean legales, pero siguen estando en una zona gris moral