OpenAI: “Anthropic no debe ser designada como riesgo para la cadena de suministro”

• OpenAI firmó un contrato para desplegar sistemas avanzados de IA dentro de entornos clasificados con el Department of War, y pidió que esto se aplique por igual a todas las empresas de IA
• Indicó que este contrato incluye más barandillas de seguridad que despliegues previos de IA clasificada
• Estableció como línea roja no usar tecnología de OpenAI para vigilancia doméstica masiva, mando de armas autónomas ni toma de decisiones automatizada de alto riesgo
• Mantiene plena discrecionalidad sobre la pila de seguridad, despliegue basado en la nube, intervención de personal con autorización de seguridad y fuertes protecciones contractuales
• Dejó claro ante el Department of War que Anthropic no debe ser designada como riesgo para la cadena de suministro

---

Firma de contrato con el Department of War

• OpenAI firmó un contrato con el Department of War para desplegar sistemas avanzados de IA en entornos clasificados
  • Solicitó que ese despliegue esté disponible en las mismas condiciones para todas las empresas de IA
• Señaló que este contrato incluye más medidas de seguridad que contratos previos de despliegue de IA clasificada

Mantener las líneas rojas

• La tecnología de OpenAI no se usará para vigilancia doméstica masiva
• La tecnología de OpenAI no se usará para mando de sistemas de armas autónomas
• La tecnología de OpenAI no se usará para sistemas automatizados de toma de decisiones de alto riesgo (p. ej., social credit)

Estructura de protección de seguridad en múltiples capas

• En contraste con algunos laboratorios de IA que han reducido o eliminado protecciones centradas en políticas de uso en despliegues de seguridad nacional
• OpenAI aplica un enfoque ampliado de múltiples capas
  • Mantiene plena discrecionalidad sobre la pila de seguridad
  • Mantiene un modelo de despliegue basado en la nube
  • Incluye una estructura con intervención de personal de OpenAI con autorización de seguridad
  • Incluye fuertes protecciones contractuales
  • En paralelo con las protecciones ya contempladas por la legislación estadounidense

Postura sobre Anthropic

• Expresó su oposición a que Anthropic sea designada como riesgo para la cadena de suministro
• Comunicó claramente esa postura al Department of War

[kayws426]

Parece que hace falta ordenar una línea de tiempo sobre esto. También se dice que OpenAI estaba en medio de negociaciones contractuales, ¿no?

[kentakang]

Es la primera vez que veo un error de resumen que dice que no hay contenido..

[xguru]

Parece que hay casos así porque se volvió un poco complicado para x hacer crawling. Vamos a intentar mejorarlo.

[kentakang]

Siempre lo sigo con mucho interés, gracias.

[GN⁺]

Comentarios de Hacker News

• El punto clave es la diferencia entre la redacción real del contrato de OpenAI y lo que dice Altman
  En el contrato dice: “no se usará para operar armas autónomas cuando la ley o la política exijan control humano”
  O sea, si el Departamento de Defensa determina que “no hace falta control humano”, entonces sí sería posible
  Anthropic puso una línea roja absoluta de “vigilancia masiva nunca”, mientras que OpenAI la suavizó al enfoque de “si la ley lo permite, entonces se puede”
  Haber firmado un contrato así y luego fingir que defienden a Anthropic parece un show de PR poco común en la industria

  • Creo que este tipo de conducta de Altman también se vio en el anterior episodio de su destitución
  • Lo expresaron como “la vigilancia masiva sobre estadounidenses está prohibida”, pero al final deja demasiado margen de interpretación

• En el hilo de X, OpenAI afirmó que “el contrato con el Departamento de Defensa respeta nuestras redlines”
  Pero según el artículo de NPR, Anthropic quedó fuera del contrato por mantener ese mismo estándar, y OpenAI fue quien cobró

  • Anthropic tomó una decisión ética de “no cruzaremos esta línea”, mientras que OpenAI actuó con la lógica de “que el Departamento de Defensa vea eso por su cuenta”
    Por eso consiguió el contrato
  • Anthropic intentó incluir cláusulas de restricción en el contrato, pero OpenAI sostuvo que “nuestros guardrails internos son suficientes”
    Aun así, es dudoso que esos guardrails puedan impedir la vigilancia de civiles
  • Si se revisa la publicación oficial de OpenAI, sus redlines no coinciden con las de Anthropic
  • También es posible que el gobierno simplemente haya excluido a Anthropic por motivos de represalia
  • Altman es una persona sin escrúpulos, y no veo razón para creerle

• El problema de la cláusula “Any Lawful Use” es que el Departamento de Defensa puede definir “legal” como se le dé la gana
  Basta con que un abogado interno redacte un memo y eso pasa a ser legal

  • Si alguien pensó que los problemas legales posteriores al 9/11 desaparecieron con la llegada de los LLM, eso sería ingenuo
    El abuso del poder estatal debe corregirse con voto y reforma institucional
  • De hecho, esto ha pasado muchas veces (por ejemplo, el memo de John Yoo que legalizó la tortura)
    El sistema no fue diseñado así, pero la realidad es otra
  • Estas cosas casi siempre avanzan en secreto, y cuando salen a la luz después, los responsables quedan eximidos por ser “patriotas”
  • Al final, unos años después sale un informe de investigación y todos lo olvidan, en un guion repetido
  • Incluso si hay cuestionamientos legales, pueden esconderse detrás de leyes como la Patriot Act

• Al final, el recién rebautizado “Department of War” solo va a desperdiciar impuestos comprando tecnología inútil a precios inflados
  Me dan lástima los ciudadanos

• La diferencia entre Anthropic y OpenAI es que Anthropic intentó imponer límites técnicos, mientras que OpenAI solo prometió de palabra que “espera que el gobierno no los viole”
  Es natural que el gobierno eligiera lo segundo

  • Si se lee el texto completo del contrato, la clave está en la frase “para todos los fines legales”
    Es decir, deja abierta la posibilidad de que, “si es legal”, también se permita vigilancia masiva o armamento letal autónomo
  • Mientras OpenAI solo intenta limitarse dentro del marco legal definido por el gobierno, Anthropic buscó trazar la línea con sus propios criterios
  • En la práctica, OpenAI no exigió ninguna garantía real, y Altman parece una persona movida únicamente por la codicia

• La idea de una IA que tome decisiones letales de forma autónoma es extremadamente peligrosa
  No solo por la superinteligencia, sino porque hasta con modelos pequeños cualquiera podría fabricar armas imposibles de rastrear
  Los modelos actuales fueron entrenados con una actitud positiva hacia la vida humana, pero si se elimina eso, se convierten en sistemas monstruosos

  • Pero los LLM no pueden ‘entender’ ni ‘valorar’ la vida humana
    Son simplemente predictores probabilísticos de tokens
  • En realidad, desde hace ya 20 años la IA ha participado en decisiones de matar
    Por ejemplo, un programa generaba la lista de objetivos y un humano operaba el dron
  • También es fácil engañar a un modelo para que emita una orden de matar
  • La idea de que un LLM respeta la vida es solo una ilusión

• Parece que la gente olvidó que Anthropic colaboró con Palantir
  Cuando eso se supo, simplemente lo taparon con PR

  • Este tipo de afirmaciones parecen texto propagandístico, así que cuesta confiar en ellas
  • Entiendo que el modelo de Anthropic en Palantir se usó en sistemas cerrados para operaciones militares
  • Parece que no entienden bien lo que realmente hace Palantir

• Parece que OpenAI está perdiendo clientes por esta polémica y por eso publicó un texto para gestionar su imagen

• Anthropic quería un endurecimiento de la regulación de IA del gobierno, y al final terminó recibiendo las consecuencias de eso

• Todo esto parece una respuesta de PR de OpenAI por las críticas a la debilidad de sus estándares éticos

  • El problema con ambas empresas es que sus estándares éticos solo se aplican dentro de sus fronteras
    En el extranjero sigue siendo posible un uso no ético