Declaración de Dario Amodei sobre las conversaciones con el Departamento de Defensa de EE. UU.

• Se excluyen del contrato dos áreas: la vigilancia doméstica masiva y las armas totalmente autónomas
• Anthropic considera como misión central el uso de la IA para la defensa de Estados Unidos y los países democráticos, y por ello colabora con el Departamento de Defensa y agencias de inteligencia
• Los modelos Claude se están usando en redes clasificadas, laboratorios nacionales y organismos de seguridad nacional para tareas como análisis de inteligencia, planificación operativa y operaciones cibernéticas
• La empresa protege la ventaja de EE. UU. en IA mediante acciones como la suspensión de negocios con empresas vinculadas al Partido Comunista Chino, el bloqueo de ciberataques que abusan de la IA y el respaldo al endurecimiento de los controles de exportación de semiconductores
• Sin embargo, deja explícitamente fuera dos áreas de uso: la vigilancia doméstica masiva y las armas totalmente autónomas, por cuestiones de valores democráticos y confiabilidad tecnológica
• Anthropic afirma que, aun bajo presión del Departamento de Defensa, mantendrá estas dos salvaguardas y espera continuar la cooperación

---

Cooperación de Anthropic con defensa y despliegue de IA

• Anthropic es una empresa pionera que desplegó por primera vez modelos de IA en redes clasificadas del gobierno de Estados Unidos
  • También fue la primera en ofrecer modelos personalizados para laboratorios nacionales y clientes de seguridad nacional
  • Los modelos Claude se utilizan en el Departamento de Defensa y en varias agencias de seguridad para análisis de inteligencia, modelado y simulación, planificación operativa y operaciones cibernéticas
• La empresa presenta ejemplos de haber renunciado a ganancias de corto plazo para mantener la ventaja tecnológica de EE. UU. en IA
  • Suspendió negocios con empresas vinculadas al Partido Comunista Chino, renunciando a cientos de millones de dólares en ingresos
  • Bloqueó ciberataques provenientes de China que abusaban de Claude
  • Respaldó el endurecimiento de los controles de exportación de semiconductores para asegurar la ventaja tecnológica del bloque democrático

Dos excepciones por valores democráticos y confiabilidad tecnológica

• Anthropic excluye explícitamente dos casos de uso en los que la IA podría socavar valores democráticos
  • Vigilancia doméstica masiva: apoya las actividades legítimas de inteligencia en el extranjero, pero la vigilancia masiva de la población dentro del país va en contra de los principios democráticos
    • La vigilancia basada en IA permite combinar automáticamente datos de desplazamiento personal, uso web y relaciones sociales para hacer posible el perfilado masivo de personas
    • Las leyes actuales no siguen el ritmo del avance tecnológico, por lo que algunas prácticas de vigilancia siguen siendo legales
  • Armas totalmente autónomas: las armas que identifican y atacan objetivos sin intervención humana carecen de confiabilidad suficiente con la tecnología actual
    • Anthropic no proporciona productos para este tipo de armas
    • Propuso al Departamento de Defensa una colaboración de investigación para mejorar la confiabilidad, pero no fue aceptada
    • Declara explícitamente que hoy no pueden desplegarse debido a la falta de supervisión y salvaguardas adecuadas

Exigencias del Departamento de Defensa y respuesta de Anthropic

• El Departamento de Defensa exigió a las empresas de IA que acepten todos los usos legales y eliminen estas dos salvaguardas
  • Advirtió que, si se negaban, podría designar a Anthropic como riesgo para la cadena de suministro (supply chain risk) o forzarla mediante la Ley de Producción para la Defensa (Defense Production Act)
  • Ambas medidas tienen naturalezas contradictorias: una la trataría como amenaza de seguridad, mientras que la otra la considera una tecnología esencial para la seguridad nacional
• Anthropic declara claramente que, aun bajo esta presión, no puede aceptar esa exigencia por motivos de conciencia
  • Reconoce el derecho del Departamento de Defensa a elegir a otros contratistas, pero espera seguir cooperando manteniendo estas dos salvaguardas
  • Incluso si el contrato terminara, promete apoyar una transición fluida para evitar interrupciones en las operaciones o la planificación militar

Postura a futuro

• Anthropic reafirma su voluntad de apoyar la seguridad nacional de Estados Unidos
• La empresa quiere seguir colaborando con el Departamento de Defensa, pero mantiene su postura de no ceder en sus principios de valores democráticos y seguridad tecnológica

[GN⁺]

Comentarios en Hacker News

• La parte más fuerte del texto es cuando el gobierno exige que Anthropic elimine sus medidas de seguridad y, al mismo tiempo, amenaza con clasificarla como un “riesgo para la cadena de suministro”
  Por un lado dicen que es esencial para la seguridad nacional y, por otro, la llaman un riesgo: una postura contradictoria
  Impresiona que Anthropic respondiera: “entonces el gobierno no tiene por qué usar nuestro servicio”. Es una estrategia de mensaje, pero también les devolvió la pelota a las autoridades

• Trabajé antes en Anthropic, y tengo un comentario que escribí sobre esta actualización del RSP
  Es inspirador ver a líderes de Anthropic dispuestos a perder cargos u oportunidades para mantenerse fieles a sus valores
  Personas como Dario, Jared y Sam realmente parecen sinceras hasta el punto de aceptar consecuencias si algo va contra sus convicciones
  Claro, no es una empresa perfecta, pero la mayoría de quienes toman decisiones importantes actúan motivados por la buena fe y por sus valores

• Al leer el texto me detuve en la frase: “la IA actual no es lo suficientemente confiable como para operar armas totalmente autónomas”
  O sea, suena como si dejaran abierta la posibilidad de que las armas autónomas sí sean aceptables cuando lleguen a ser suficientemente confiables
  También me decepciona que solo critique la “vigilancia masiva doméstica”, sin negar la “vigilancia parcialmente autónoma” ni la “vigilancia en el extranjero”
  Pensaba que el nombre “Anthropic” implicaba trabajar por toda la humanidad, pero al final da la impresión de un marco de “nuestra gente vs. su gente”

  • Eso hace preguntarse si cuando dicen que “Anthropic está a favor de los humanos” realmente lo dicen en serio
    Es como cuando OpenAI se llama “abierta” o Corea del Norte se llama “república popular”: el nombre y la realidad pueden no coincidir
    Me hizo pensar en la página satírica People’s Republic of Tyranny
  • Me pareció una formulación adecuada. Dario no está en posición de hablar de forma tajante sobre el futuro
  • Creo que, algún día, si los sistemas llegan a ser suficientemente confiables, veremos armas totalmente autónomas en el campo de batalla
    Lo que Anthropic está diciendo es solo que “por ahora no se puede”. Más adelante es muy probable que relajen esas restricciones
  • Más que “será posible cuando haya suficientes datos de entrenamiento”, lo leo como será posible cuando se cumplan los estándares de confiabilidad
    El hardware y el software general también tienen límites de confiabilidad, así que esa postura no es irracional por sí sola
  • Pero lo curioso es que dicen que las armas autónomas todavía no son confiables, mientras que para reemplazar empleos de oficina sí lo serían, y eso se siente contradictorio

• La verdadera naturaleza de una organización se revela cuando chocan los valores y las ganancias
  Es admirable ver a Anthropic intentando mantener sus principios. La mayoría de las empresas no habría tomado esa decisión

  • Pero al final este tipo de decisiones cuestan dinero
    Depender de sistemas malos por razones morales está condenado a fracasar a largo plazo
    Hace falta un mecanismo fuerte de disuasión contra las malas conductas, aunque da la impresión de que ya vamos tarde

• Este texto realmente me deprimió. No sé hacia dónde va Estados Unidos
  Ojalá en la próxima elección aparezca un liderazgo racional

  • Pero esto no se arregla con una sola elección. Hace falta un esfuerzo de generaciones
  • La esperanza por sí sola no basta. Sin un plan concreto, tampoco hay futuro
  • En realidad esta tendencia no es nueva. Desde el 11-S hemos visto la militarización de la policía, ataques a la democracia y una política exterior unilateral
  • Me preocupa que la expansión descontrolada de la IA empeore aún más la estructura social. Podría venir una época más caótica que la era de las redes sociales
  • Mientras el Partido Demócrata siga enfocándose en temas periféricos en vez de los problemas centrales, será difícil que gane la próxima elección
    Vivo en San Francisco: los maestros tienen que usar GoFundMe para comprar útiles escolares, mientras la ciudad gasta 36 millones de dólares en retirar casas rodantes
    Este artículo relacionado muestra qué tan distorsionada está la realidad

• La raíz de todos estos problemas es que el Congreso le cedió su autoridad al poder ejecutivo
  El ejército debería estar controlado por la ley, y solo la acción ciudadana puede cambiar esto
  Es absurdo que las empresas determinen el comportamiento militar. La tecnología siempre puede ser requisada, y las empresas no pueden impedirlo
  Que se convierta a los CEO en héroes por algo así demuestra lo distorsionada que está la percepción de la realidad

  • Tal vez en un esquema de movilización en tiempos de guerra, pero en una democracia en tiempos de paz este tipo de medidas coercitivas no deberían tolerarse

• Al principio me decepcionó enterarme de que Anthropic, mientras se presenta como defensora de una “IA para la humanidad”, también vendió acceso prioritario al Pentágono
  Aun así, si alguien inevitablemente va a colaborar con el complejo militar-industrial, entiendo la lógica de que sea mejor que lo haga quien tenga los estándares morales más altos

  • La IA es, en esencia, una tecnología optimizada para usos militares y de vigilancia. Analiza grandes volúmenes de datos y extrae información útil
    Al final, las empresas existen para generar ganancias
  • Las empresas necesitan ingresos para sobrevivir. Si los usuarios no pagan lo suficiente, tienen que buscar otras fuentes de dinero
    Mientras existan inversionistas y accionistas, la supervivencia terminará estando por encima de la moral
    La verdadera independencia solo es posible en una estructura que no dependa de las ganancias

• Soy suscriptor de Claude Max, y por esto me enorgullece ver que Anthropic no se doblegó ante el poder
  Ojalá otras empresas también saquen valor de esto

  • Pero en cierta medida ya se dobló ante el poder. Al menos todavía conserva un mínimo de dignidad

• El uso literal de la expresión “Department of War” se debe simplemente a que el Congreso nunca le cambió el nombre. Fuera de eso, me parece una expresión aceptable

  • No hace falta discutir por el nombre. De hecho, quienes tienen el poder también lo llaman así
  • Incluso creo que el nombre original, “Department of War”, deja más claro cuál es su función
    Estamos tan acostumbrados a suavizar todo con eufemismos que terminamos sin ver la realidad como es
  • Yo también creo que ese nombre es más honesto. Describe mejor lo que realmente hace y obliga a pensar en su significado
  • Parece que dejó esa expresión tal cual porque es el término que insiste en usar Hegseth. Si hubiera escrito “DoD”, probablemente habría sonado más provocador
  • Aun así, este tipo de elección de palabras sí influye en el tono general del texto

• Valoro mucho que Dario y Anthropic hayan asumido una postura moral. Hoy en día es algo poco común en la industria tecnológica

  • Incluso sin ser optimista ni pesimista respecto a los LLM, los riesgos de la vigilancia y de las armas autónomas son evidentes
    Que Dario no actuara como Sam Altman o Sundar Pichai ya es bastante notable
  • Pero hay quienes ven todo esto como un simple show. Solo sería un gesto tardío de los creadores de un monstruo que ya soltaron
  • Desde otra perspectiva, a alguien le resultó repugnante que desde la primera línea del comunicado dijera: “vamos a defender a Estados Unidos y a la democracia con IA”
    En la práctica, Anthropic ya está desplegando modelos para defensa y agencias de inteligencia
  • Otra persona criticó lo débil del fundamento moral, preguntando: “¿entonces vigilar a Canadá o a Alemania sí estaría bien?”
  • También hay una mirada cínica que dice: “aunque hoy se vea moral, después del IPO terminará subordinada a la lógica de ganancias de Wall Street y los fondos”
    En el fondo, sostienen que ninguna empresa puede seguir siendo pura frente a contratos gubernamentales de miles de millones de dólares