- Los modelos de pesos abiertos sin capacidades peligrosas son un bien público que aporta valor a empresas, desarrolladores e investigadores, y Anthropic se opone a prohibir toda la categoría
- La principal preocupación de seguridad nacional no es la forma de publicación en sí, sino la ventaja de la IA para gobiernos autoritarios, los ataques cibernéticos y biológicos con modelos potentes, y los problemas de alineación
- Los pesos abiertos pueden aumentar el riesgo porque es difícil aplicar salvaguardas y monitorear su uso, y no se pueden retirar una vez distribuidos, pero prohibir su uso por parte de empresas estadounidenses difícilmente detendría a actores maliciosos
- Como alternativa, respalda el bloqueo de exportaciones de chips de alto rendimiento y equipos de fabricación hacia China, medidas contra la destilación a escala industrial y pruebas de seguridad obligatorias basadas en capacidades para modelos públicos y cerrados
- No debe darse por hecho que los pesos abiertos favorecen a los defensores; los riesgos, incluida la asimetría entre atacante y defensor en biología, deben evaluarse con pruebas empíricas antes del lanzamiento
Por qué se opone a una prohibición total de los pesos abiertos
- Tras reportes de que algunos funcionarios de EE. UU. están considerando prohibir a empresas estadounidenses usar modelos chinos de pesos abiertos, varias empresas tecnológicas firmaron una carta abierta en apoyo a los pesos abiertos
- Anthropic rechaza las críticas de que busca una prohibición para proteger su negocio y afirma que nunca ha defendido prohibir toda la categoría de modelos de pesos abiertos
- Los modelos de pesos abiertos sin capacidades peligrosas son un bien público que aporta valor a empresas, desarrolladores e investigadores sin costo adicional más allá del cómputo necesario para ejecutarlos
- Una prohibición proteccionista podría terminar protegiendo a las empresas estadounidenses de IA frente a la competencia sin resolver las principales amenazas a la seguridad nacional
Dos amenazas a la seguridad nacional
-
Ventaja de la IA para gobiernos autoritarios
- La mayor preocupación es un escenario en el que gobiernos autoritarios, incluido el Partido Comunista Chino (CCP), desarrollen modelos de IA más potentes que los de EE. UU. para obtener una ventaja militar permanente o usarlos para oprimir de forma extrema a su propia población
- El Partido Comunista Chino no es la única amenaza, pero se considera la más poderosa entre los gobiernos autoritarios
- El gobierno de EE. UU. también está preocupado por este mismo problema
- El vicepresidente Vance advirtió que regímenes autoritarios han robado y usado IA para reforzar sus capacidades militares, de inteligencia y de vigilancia
- La Evaluación Anual de Amenazas 2026 concluye que los avances de otras grandes potencias en IA amenazan la competitividad económica y la ventaja de seguridad nacional de EE. UU.
- En esta amenaza, no importa si el modelo es de pesos abiertos ni si lo usan empresas estadounidenses
- Los modelos más peligrosos podrían ser los entrenados en secreto y entregados solo a drones del Ejército Popular de Liberación o a los sistemas de vigilancia y represión del Ministerio de Seguridad del Estado
-
Ataques cibernéticos y biológicos, y problemas de alineación
- La segunda preocupación es un escenario en el que modelos de IA potentes se usen indebidamente para ataques cibernéticos y biológicos o provoquen problemas graves de alineación
- Sin importar su país de origen, los modelos de pesos abiertos podrían implicar riesgos potenciales mayores que los modelos cerrados
- En los pesos abiertos es muy difícil aplicar salvaguardas o monitorear el comportamiento de uso
- Una vez que los pesos se publican, no se pueden retirar y las salvaguardas también pueden eliminarse
- También es posible descargar copias, redistribuirlas o ejecutarlas en sistemas privados que no pueden supervisarse
- El informe del UK AI Security Institute evalúa que la publicación de modelos de pesos abiertos con capacidades peligrosas crea un riesgo continuo e irreversible de uso indebido
- Como es poco probable que empresas legales de EE. UU. sean actores maliciosos, prohibirles usar modelos no impediría directamente estos riesgos
Control de chips de alto rendimiento y equipos de fabricación
- Debe impedirse la venta a China de chips de alto rendimiento y equipos para fabricar chips, y deben perseguirse el contrabando y las rutas indirectas usadas para obtenerlos
- Se considera que la capacidad de producción interna de China es limitada y que, de acuerdo con las leyes de escalado, no puede crear modelos más potentes que los de EE. UU. sin chips estadounidenses
- El control de chips bloquea de la forma más eficiente y directa la primera amenaza: que gobiernos autoritarios construyan modelos más potentes que los de EE. UU.
- También puede reducir indirectamente los riesgos de ataques cibernéticos y biológicos, así como de alineación, al dificultar el entrenamiento de modelos potentes fuera del alcance de la ley estadounidense
- El Departamento de Justicia de EE. UU. ha revelado varios casos de intentos de exportar ilegalmente o introducir de contrabando tecnología avanzada de IA hacia China, y Anthropic pide reforzar la persecución de estos métodos de contrabando y evasión
Medidas contra la destilación a escala industrial
- La destilación de modelos es más eficiente en cómputo que entrenar un modelo desde cero, lo que permitiría a China construir modelos mejores de lo que su volumen de chips permitiría y eludir parcialmente los controles de chips
- La destilación por sí sola no permitiría al Partido Comunista Chino igualar o superar la capacidad de IA de EE. UU., pero sí podría acercar los modelos de frontera chinos a quedar solo unos meses por detrás de los de EE. UU.
- Aunque muchas empresas de destilación publiquen modelos de pesos abiertos, el punto clave no es el método de publicación, sino que un Estado autoritario que busca superar la frontera estadounidense esté respaldando operaciones a escala industrial
- En lugar de una prohibición total de los pesos abiertos, se necesita un marco focalizado de políticas, leyes y mecanismos comerciales para desalentar la destilación
- Anthropic también identifica y bloquea cuentas que usan sus modelos para destilación a gran escala
- A veces las cuentas involucradas solo se detectan después de que ya ocurrió una destilación considerable
- Se siguen creando muchas cuentas falsas, por lo que los objetivos de las medidas cambian constantemente
- Es difícil resolverlo solo con acciones de empresas individuales, por lo que se necesita intervención de política pública
Pruebas de seguridad obligatorias basadas en capacidades
- Todos los modelos lo bastante potentes, sin importar si son públicos o cerrados ni su país de origen, deben someterse a pruebas de riesgo cibernético, biológico y de alineación antes de su lanzamiento
- La administración Trump se ha movido recientemente en esta dirección, y una propuesta de la industria también incluye aplicar las mismas pruebas a los modelos más potentes
- Los modelos de menor capacidad desarrollados por startups y el ámbito académico podrían quedar completamente exentos de estas pruebas obligatorias
- No debe asumirse de antemano si el riesgo de los modelos abiertos es realmente mayor ni si ese riesgo puede mitigarse; eso debe decidirse según los resultados de las pruebas
- También existen métodos que podrían aumentar la seguridad de los modelos de pesos abiertos, como la investigación de Anthropic sobre estrategias de entrenamiento modulares
- Las pruebas de seguridad efectivas requieren aplicación internacional, por lo que también exigirían la participación del Partido Comunista Chino
- Anthropic considera que prevenir armas biológicas impulsadas por IA también podría beneficiar a China, por lo que ve posible una cooperación limitada en esta área
Diferencias con la carta abierta sobre pesos abiertos
- Anthropic coincide con parte de la carta abierta sobre pesos abiertos y el liderazgo estadounidense en IA
- Los pesos abiertos amplían el acceso a la economía de la IA
- Refuerzan la competencia en algunos casos de uso
- Dan a los clientes un mayor control
- El problema de la destilación debe tratarse con marcos legales y comerciales focalizados, no con una prohibición total
- Sin embargo, no coincide con la idea de que los pesos abiertos necesariamente faciliten desarrollar salvaguardas, ni con la premisa de que el acceso amplio a las capacidades favorece más a los defensores que a los atacantes
- En la práctica, el acceso amplio podría favorecer más a los atacantes, por lo que debe verificarse empíricamente cuál lado tiene ventaja
Asimetría entre atacante y defensor en biología
- Modelos lo bastante potentes podrían convertir rápidamente en arma un virus de nivel pandémico con materiales ampliamente disponibles, mientras que la defensa frente a eso podría seguir siendo, en el mejor de los casos, una tarea operativa de años
- Como mostró el caso de Operation Warp Speed, se necesita mucho tiempo para establecer tecnologías y sistemas de respuesta, por lo que en biología podría existir una fuerte ventaja del atacante
- Se considera que el factor que hoy evita una catástrofe biológica no es tanto la limitación de los defensores o de los materiales, sino la correlación negativa entre tener gran capacidad intelectual y la intención de causar daños catastróficos
- Tecnologías anteriores, como la búsqueda en internet o la síntesis de ADN, no eran lo bastante potentes como para romper esa correlación, pero existe preocupación de que la IA pronto pueda hacerlo si continúa al ritmo actual de avance
- Si una tecnología suficientemente potente elimina todas las barreras, quedará claro qué lado tiene la ventaja estructural entre atacante y defensor; en biología, podrían ser los atacantes
- Estos riesgos deben evaluarse mediante pruebas rigurosas previas al lanzamiento, no con suposiciones o prejuicios sobre el método de publicación
Políticas que pide Anthropic
- No prohibir los modelos de pesos abiertos como una sola categoría
- Reforzar los controles de exportación y de contrabando para impedir que gobiernos autoritarios obtengan chips de alto rendimiento y equipos de fabricación
- Bloquear la destilación de modelos a escala industrial mediante herramientas legales, comerciales y de política pública
- Hacer obligatorias las pruebas de riesgo cibernético, biológico y de alineación para todos los modelos públicos y cerrados con capacidad suficiente
3 comentarios
Cuando se me acaben los tokens que compré, parece que no volveré a verlo. Adiós.
Es realmente sorprendente que hagan lobby por detrás y luego se muestren a favor del open source. Siento que si Anthropic logra la AGI, se va a convertir en Arasaka.
Comentarios en Hacker News
Decir que “todos los modelos con capacidades suficientes deben someterse a pruebas obligatorias de seguridad” equivale, en la práctica, a pedir una prohibición de los modelos open-weight
¿Quién hace esas pruebas, y qué pasa si el costo es excesivo o si el regulador rechaza a ciertos participantes? Estados Unidos ya ha prohibido productos antes al exigir un sello de certificación y luego negar su emisión
El impacto económico sería grande, pero el efecto en seguridad parece mínimo. El argumento más convincente sería que restringir el uso de modelos open-weight dentro de EE. UU. podría reducir incidentes como el reciente ataque a Hugging Face, pero al gobierno le sería difícil hacer cumplir de verdad esos requisitos de prueba
Es prácticamente imposible que los modelos open-weight cumplan los mismos estándares de seguridad que los modelos ofrecidos vía API, y sus creadores no podrían cumplirlos aunque quisieran. Se puede limitar el acceso y la capacidad de inferencia con bloqueos de IP y controles de exportación, pero eso no sirve para disuadir a actores maliciosos
Si un modelo del nivel de “Mythos” es tan peligroso, mejor ponerlo a arreglar el código de todos. En todo el mundo habrá, como mucho, de millones a decenas de millones de empresas y servicios de software, además de proyectos libres y de código abierto activos, así que se le podrían dar a todos créditos de Fable/Mythos por 100 dólares para que cada quien arregle su propio código
Con entre 100 millones y 1,000 millones de dólares, Anthropic podría lanzar la mayor campaña publicitaria de la historia de la humanidad y al mismo tiempo reforzar la seguridad global. La mayoría no tiene malas intenciones, y es probable que ingenieros, consultores, fundadores, dueños de negocio y mantenedores intenten usar Mythos para arreglar su propio código
Encerrar estas capacidades detrás de barreras de permiso y puertas cerradas causará más daño a largo plazo, y creará un mundo asimétrico donde quienes tienen acceso deciden quién puede estar seguro. Si todos tienen Mythos, entonces nadie tiene un “Mythos” exclusivo, así que simplemente hay que dejar que la gente arregle su código
Los modelos recientes solo usan evaluadores externos privados y cerrados, como Gray Swan, que dependen de esas dos empresas para pruebas internas o para todo su negocio, y todas esas firmas reciclan entre sí al mismo grupo de investigadores
A China se le trata como una China de Schrödinger: una amenaza que quiere usar la IA con fines malvados y, al mismo tiempo, un país competidor que cooperará con Estados Unidos para impedir que otros actores no identificados logren ese mismo objetivo
La realidad es simple. El CEO de Anthropic no quiere que se distribuyan ampliamente modelos similares o mejores que los suyos, que son cerrados y caros, porque eso golpearía sus ingresos
Como el activo especial de Anthropic y otras empresas de modelos es, en esencia, su acceso privilegiado a chips, es natural que quieran limitar qué modelos aparecen y quién puede crear nuevos modelos. Sin regulación, es solo cuestión de tiempo para que desaparezcan valuaciones empresariales de cientos de miles de millones de dólares
Habría respetado más que guardaran silencio. Aunque es evidente que los modelos abiertos podrían desatar una competencia feroz o destruir su base de ingresos, intentan disfrazar de superioridad moral un esfuerzo por monopolizar el poder sobre todo el trabajo humano
Me parece que fue una gran decisión alineada con los intereses de China liberar la innovación en IA como código abierto y así contener o hacer estallar más rápido la burbuja de la IA
En el primer párrafo dicen que las prohibiciones no son útiles, pero después sostienen que hay que perseguir el contrabando y las rutas indirectas con las que China obtiene chips
La creencia de que las prohibiciones no funcionan debería aplicarse igual al hardware
Las tres medidas que apoya Dario son prohibir la venta de chips a China, perseguir la destilación y hacer obligatorias las pruebas de seguridad para todos los modelos de alto rendimiento, y casualmente todas benefician comercialmente a Anthropic. Habría sido mucho más convincente si Anthropic hubiera publicado хотя бы un modelo open-weight
Hasta ayer, a esta persona no parecía importarle que su tecnología pudiera usarse para bombardear escuelas de niñas en otros países, y de pronto ahora le preocupa la opresión de ciudadanos de otro país
Es difícil creer en este tipo de postureo moral o en sus sermones de superioridad sobre el “escenario de pesadilla” de este año
Aunque tiene una postura proisraelí, nunca ha abordado el riesgo de que el gobierno israelí use IA para controlar y oprimir a la población de otros países, y además apoya activamente la cooperación con Palantir, cuyo objetivo explícito es el control poblacional, la opresión y la construcción de un Estado de vigilancia
Corea del Norte, uno de los países más opresivos del mundo, hace todo eso sin IA. Si le dijeras a un ciudadano chino la idea de Dario de que DeepSeek o Kimi los están oprimiendo, probablemente se reiría
No recuerdo un caso en que una empresa haya caído tan rápido de ser la gallina de los huevos de oro a un estado irreconocible.
La postura defensiva permanente que subyace en la declaración de Dario me quita hasta las ganas de confiar o depender de los productos de Anthropic. Ni siquiera entiendo a quién intentaba convencer con este texto, y parece que Anthropic necesita poner su casa en orden.
Es una postura ambigua que busca calmar a todos los que tomaron posiciones más claras, pero el resultado es bastante malo.
Es básicamente decir que el malvado Partido Comunista Chino es una gran amenaza para la paz mundial y el bien, así que hay que entregar todo el dinero y los datos de tokens de entrada a Palantir por un orden internacional basado en reglas donde prosperen las fuerzas del bien y se elimine a los biólogos de tortugas corruptos.
https://www.theguardian.com/world/2026/jun/20/mona-khalil-tu...
La lógica al final es: “Esta tecnología es demasiado peligrosa, así que solo nosotros debemos tener acceso a ella, y como somos los buenos, podemos garantizar un uso seguro”.
Entonces, ¿quién vigila a los vigilantes?
Si apoyas la difusión total de los modelos abiertos, ¿qué hacemos con los modelos de pesos abiertos que incluyen capacidades de armas biológicas y ciberataques?
¿Debemos aceptar permitir este tipo de herramientas a los atacantes como el costo de la libertad? El incidente de OpenAI/Hugging Face mostró lo que puede hacer un modelo tipo GPT 5.6 sin restricciones, y en unos 6 meses los modelos de pesos abiertos podrían llegar a ese nivel, permitiendo a cualquier actor malicioso lanzar ataques de la misma escala.
Preferir la apertura es razonable, pero apoyarla incondicionalmente en toda situación sin pensar seriamente en sus efectos es una postura demasiado ingenua.
Hugging Face no tenía acceso a modelos de vanguardia con capacidades cibernéticas y siguió chocando con medidas de seguridad; solo pudo sobrevivir al ataque después de usar el modelo open source GLM-5.2. Si se prohíben los modelos open source, las organizaciones que no estén en la lista de permitidos de OpenAI o Anthropic no podrán asegurar su ciberseguridad.
Habrá un periodo de riesgo doloroso en el que código que no ha recibido este tipo de análisis durante más de 30 años de pronto será revisado con la capacidad de un millón de “taviso”, pero los desarrolladores y defensores también podrán usar las mismas herramientas. Aunque haya una asimetría donde defender cueste más, será una carrera armamentista que tenderá a estabilizarse, y al final es muy probable que se expanda la verificación formal de propiedades de seguridad y que esos mismos modelos sigan bajando ese costo.
La destilación y los modelos de pesos abiertos no van a desaparecer, y casi no hay forma de prohibirlos o controlarlos eficazmente. Incluso podrían aparecer herramientas de autoservicio para que no expertos destilen y mantengan sus propios modelos de vanguardia con capacidades de seguridad informática.
Si eres defensor, lo mejor es responder partiendo de esa base, y aunque se discuta si permitirlo o no, no va a surgir un sistema global de aplicación durante ese plazo.
No importa demasiado si es abierto o cerrado, y aunque las medidas de seguridad actuales estén sesgadas hacia falsos positivos, ya se puede causar bastante daño cibernético con modelos cerrados.
El único control realmente efectivo es emparejar la cancha para que atacantes y defensores tengan acceso a las mismas capacidades. Si, como propone Dario, se crea una puerta que los atacantes pueden esquivar pero los defensores no pueden cruzar, lo único garantizado será el caos.
Lo que Dario sigue sin entender es que la gente ya no confía en que EE. UU. vaya a construir una IA alineada.
Toda su estrategia depende de la premisa de que EE. UU. y su gobierno son excepcionalmente buenos, pero para el resto del mundo eso parece claramente falso.
Según él, solo EE. UU. debería escribir las reglas globales de seguridad y moralidad, y en esa misma entrevista, mientras defendía la política exterior estadounidense, llamó a China un “régimen agresivo y belicista”.
Incluso entre estadounidenses cada vez más gente ve esto como falso, pero como la élite oligárquica es la principal beneficiaria de las políticas del gobierno de EE. UU., la propaganda seguirá.
Entiendo tanto la lógica de que Anthropic empuje el desarrollo mientras al mismo tiempo pide una pausa y regulación, como la idea de que una persona pueda querer desacelerar y aun así seguir trabajando en una empresa de IA.
Pero si todos piensan así, la competencia sigue intensificándose mientras esperan un acuerdo que quizá nunca llegue, nada cambia, y los incentivos económicos racionalizan que todos sigan participando.
Ojalá hubiera acciones más concretas desde dentro. Cuando el juicio se vuelve demasiado complejo, hay que volver a los principios básicos. Si crees que la IA avanza demasiado rápido, deja de desarrollarla; si una empresa de IA quiere una pausa, debería pausar primero y dar el ejemplo.
Otras empresas podrían seguirla, y las que no lo hagan parecerán irresponsables. Quien ha decidido no seguir pecando debe ser el primero en soltar la piedra.