3 puntos por GN⁺ 3 시간 전 | 1 comentarios | Compartir por WhatsApp
  • La administración Trump decidió bloquear todo uso en el extranjero de los modelos de IA más avanzados de Anthropic, una decisión que surgió de conversaciones entre el CEO de Amazon y funcionarios de EE. UU., incluido el secretario del Tesoro
  • Investigadores de Amazon lograron obtener del modelo Fable 5, mediante una serie de prompts, información restringida que podría usarse en ciberataques, y esto fue reportado a las autoridades
  • Tras una reunión de respuesta, la Casa Blanca decidió que bloquear el acceso al modelo a gobiernos, empresas e individuos extranjeros era la solución más directa, y el presidente Trump lo aprobó por motivos de seguridad
  • Para cumplir con la normativa, Anthropic bloqueó por completo el acceso de los usuarios a Mythos y Fable, dejando en la práctica a muchos investigadores extranjeros fuera del trabajo con los modelos más recientes
  • Más allá de las preocupaciones de seguridad, también se plantea que la desconfianza y la tensión política de la administración hacia Anthropic pudieron influir en la decisión, vista como parte de una tendencia de mayor control gubernamental sobre la industria de IA

Cómo se desencadenó la ofensiva

  • Las conversaciones de Andy Jassy, CEO de Amazon, con funcionarios de EE. UU., incluido el secretario del Tesoro Scott Bessent, desencadenaron la decisión de bloquear el uso en el extranjero
    • Jassy informó a las autoridades que investigadores de Amazon habían obtenido de Fable 5 información de apoyo a ciberataques que debería haber estado bloqueada
    • Ejecutivos del sector tecnológico han mantenido contacto regular con la administración sobre el poder de las herramientas de IA avanzadas
  • Poco después, funcionarios de la Casa Blanca convocaron una reunión para discutir la respuesta, y equipos de investigación en seguridad comenzaron a verificar las afirmaciones de Amazon
    • Se decidió que bloquear el acceso a la herramienta a gobiernos, empresas e individuos extranjeros era la forma más directa de mitigar el riesgo
    • El presidente Trump aprobó la medida por razones de seguridad, pese a las preocupaciones sobre un posible freno a la innovación

Respuesta e impacto en Anthropic

  • Para cumplir con la normativa, Anthropic bloqueó todo acceso de usuarios a Mythos y Fable
    • Esto podría dificultar los esfuerzos de empresas de todo el mundo por usar estas herramientas para identificar vulnerabilidades de software
    • Como muchos investigadores de Anthropic son de origen extranjero, la normativa les impide en la práctica trabajar con los modelos más recientes
  • Anthropic sostuvo que la vulnerabilidad señalada por Amazon era relativamente básica, que también puede encontrarse en otros modelos públicos y que no equivale a un jailbreak completo
    • Algunos investigadores de seguridad coinciden con esa postura
    • La empresa afirmó que cuenta con salvaguardas adecuadas y que prioriza la seguridad, y señaló que anteriormente ya había pausado la ampliación del acceso a Mythos por instrucciones de la Casa Blanca

La relación entre Amazon y Anthropic

  • Amazon es un gran inversionista en Anthropic, le suministra chips para centros de datos y usa sus modelos más avanzados para identificar vulnerabilidades de software
    • Un vocero de Amazon señaló que, como gran proveedor de nube, no es raro que el gobierno consulte sobre riesgos de seguridad, aunque no comparten detalles de esas conversaciones
  • Según un informe sobre Fable que Amazon compartió con expertos en ciberseguridad, un conjunto específico de consultas permitió encontrar fallas de seguridad en al menos 4 programas de software
    • Se trata de información que Fable normalmente no proporciona, aunque Andrew Morris, fundador de GreyNoise Intelligence, consideró que está lejos de ser información peligrosa de ciberseguridad
    • Muchas otras herramientas ya pueden revelar esa información, pero el software de Anthropic es conocido por su capacidad de convertir información sobre fallas en código de exploit funcional
    • Esa capacidad está protegida por las barreras de seguridad de Fable, y no hay evidencia de que los investigadores de Amazon hayan accedido a ella

La tendencia de mayor control de la administración

  • Una reciente orden ejecutiva que otorga a las autoridades de seguridad facultades de supervisión sobre los modelos, combinada con discusiones sobre que el gobierno adquiera participaciones en empresas de IA, muestra un rápido aumento del control que la administración busca ejercer sobre la industria
    • Adam Thierer, del R Street Institute, señaló que la politización de la IA en EE. UU. y la centralización del control sobre el cómputo avanzado se están profundizando considerablemente
  • Para algunos, la llamada de Jassy parecía una advertencia general, pero rápidamente derivó en un bloqueo amplio a usuarios extranjeros por parte del Department of Commerce
    • En la conversación participaron Sean Cairncross, National Cyber Director, y Howard Lutnick, secretario de Comercio
    • El Department of Commerce es responsable de los controles de exportación sobre tecnologías clave

Tensiones entre Anthropic y la administración

  • Esta medida reavivó un conflicto de larga data entre Anthropic y la administración Trump, que mantiene su desconfianza por los vínculos de la empresa con donantes del campo progresista y por sus advertencias sobre los riesgos de la IA
    • Anthropic contrató a múltiples exfuncionarios de la administración Biden, y Amodei ha criticado a Trump y a su administración
  • Un conflicto en torno al uso de herramientas de IA por parte del ejército llevó al Pentágono a tomar la medida sin precedentes de catalogar a Anthropic como riesgo de seguridad, y la empresa está respondiendo con dos demandas
    • Kate Koren, de CSIS, dijo que entiende las preocupaciones de seguridad, pero que la antipatía de la Casa Blanca hacia Anthropic pudo haber influido en la decisión
    • Un alto funcionario de la Casa Blanca afirmó que la medida trata sobre la seguridad de los modelos y que el Departamento de Defensa no estuvo profundamente involucrado

Impacto comercial y contexto

  • El bloqueo de los modelos más avanzados podría golpear a Anthropic, que estaría preparando una IPO tan pronto como este otoño, y beneficiar a competidores como OpenAI si los usuarios migran a otros modelos
    • OpenAI está ofreciendo gradualmente a clientes su propio modelo potente de ciberseguridad mientras mantiene conversaciones con la administración Trump
  • Anthropic fue fundada en 2021 por Amodei y exintegrantes de OpenAI que sentían que no se estaba poniendo suficiente énfasis en la seguridad de la IA, y creció hasta convertirse en un proveedor relevante de modelos empresariales gracias a la fortaleza de la herramienta Claude Code
  • Desde inicios de este año, Anthropic había estado ofreciendo Mythos por adelantado a Amazon y otras empresas tecnológicas en coordinación gradual con la administración
    • El objetivo era que usuarios clave encontraran y resolvieran vulnerabilidades de software antes del lanzamiento público
    • Una reunión de abril a la que asistieron Amodei, Bessent y la jefa de gabinete de la Casa Blanca, Susie Wiles, fue vista como una oportunidad de reconciliación, aunque también incluyó discusiones de seguridad

1 comentarios

 
GN⁺ 3 시간 전
Comentarios de Hacker News
  • Ya se sabe que todos los LLM pueden ser jailbreakeados, así que cuesta entender por qué fueron a avisarle específicamente al gobierno
    A menos que eso signifique que GPT 5.5 alcanzó el límite permitido para un LLM estadounidense de acceso público, es difícil verlo como un intento razonable de regulación
    Me da curiosidad cuál es exactamente la línea que, según el gobierno, cruzó Fable 5. No sé si se refieren a la cantidad de parámetros, a cierto resultado en benchmarks o al cómputo de entrenamiento
    Si la razón es simplemente que puede ayudar en ciberataques y que es vulnerable a jailbreak, entonces todos los modelos publicados anteriormente cargan con la misma responsabilidad
    En GPT 5.5 y 5.4, OpenAI también restringió el uso enfocado en ciberseguridad a modelos designados; de lo contrario, lo reenrutaba a 5.3-codex, igual que Fable lo reenviaba a Opus 4.8. Los dos modelos de OpenAI también pueden ser jailbreakeados
    Al final, la pregunta clave es por qué se informó al gobierno justo ahora y no en la época de Opus 4.5 o GPT 5.4. sama sigue promoviendo su visión apocalíptica

    • Viendo el reporte de Axios, muchas de las especulaciones de este hilo se tambalean. Esto ni siquiera parece algo que valga mucho la pena llamar jailbreak, y tampoco es un problema exclusivo de Anthropic; la Casa Blanca parece querer regular los modelos de nivel Mythos en general
      Según Axios, Katie Moussouris, CEO de Luta Security, quien compartió el informe de Amazon con Anthropic, dijo que la respuesta del gobierno fue “demasiado excesiva” en comparación con lo que realmente contenía el reporte de investigación
      Los investigadores encontraron vulnerabilidades de seguridad con preguntas que un defensor normal podría hacerle a una IA, y eso era precisamente el propósito del modelo desde el inicio
      Un funcionario del gobierno dijo que no consideran una amenaza para la seguridad nacional a otros modelos porque no superan el estándar que estableció Mythos, y añadió que cualquier modelo de nivel Mythos o superior debe pasar por procedimientos de la administración para verificar si el sistema gubernamental de seguridad nacional está suficientemente reforzado
      https://www.axios.com/2026/06/13/anthropic-amazon-white-hous...
    • Del lado de Anthropic, literalmente pidieron regulación. Hace dos días Amodei publicó un texto exhortando al gobierno a regular, y usó a Mythos como ejemplo, afirmando explícitamente que la frontier AI ya tiene capacidades de hackeo autónomo que amenazan infraestructura crítica y la seguridad nacional
      “Mythos Preview sacudió el panorama global de la ciberseguridad. La implicación más amplia es que ahora quedó demostrado, sin lugar a dudas, que los modelos de IA se han convertido en herramientas capaces de determinar resultados estratégicos globales y nacionales”
      “El gobierno debería tener la autoridad para bloquear o frenar el despliegue si, a la luz de evaluaciones de terceros, determina que el modelo presenta un riesgo inaceptable. Esa autoridad debería limitarse a los cuatro riesgos específicos mencionados arriba, y debe incluir salvaguardas contra favoritismos políticos o decisiones arbitrarias”
      https://darioamodei.com/post/policy-on-the-ai-exponential
      Un tercero demostró que era posible hacer jailbreak a las salvaguardas de Fable y acceder a las capacidades brutas de Mythos, y Anthropic venía diciendo que esas capacidades eran demasiado peligrosas para el público
      Según David Sacks, un socio muy influyente en quien tanto Anthropic como el gobierno de EE. UU. confían estaba probando Fable y encontró un jailbreak de las salvaguardas; la administración le exigió a Dario que corrigiera el jailbreak o suspendiera el despliegue del modelo, pero Dario se negó
      Anthropic defendió en su blog que ese jailbreak no era grave, pero ni ese socio de confianza ni el gobierno de EE. UU. lo ven así, y llamar “no grave” a un jailbreak que permite operar armas cibernéticas tampoco encaja con la marca de Anthropic como empresa de seguridad en IA
    • No sé de dónde sale la idea de que aquí hay una regulación razonable
    • La única razón aparente podría ser que Amazon quería que esto ocurriera. Aun así, Amazon no tiene un modelo frontier propio que compita directamente, así que no está claro qué ganaría con eso
    • Dejando aparte la acusación de represalia, una lectura de buena fe sería que Mythos probablemente es el modelo más capaz que puede usar una organización como la NSA, y que por Glasswing los responsables de toma de decisiones del gobierno de EE. UU. y sus socios de la industria quizá han estado viendo durante meses reportes de que Mythos encontraba con éxito vulnerabilidades serias
      Incluso si GPT 5.5 fuera igual de capaz en este tipo de escenario, desde la perspectiva de los organismos gubernamentales puede que no se lo conozca como un modelo con esas mismas capacidades
      Personalmente, creo que el umbral de capacidad ya se había cruzado con Opus 4.6. Esa capacidad además dio paso al GLM 5.1 de pesos abiertos, más competente, del que incluso se rumora que fue destilado de Opus 4.6
      Pero como el gobierno de EE. UU. y sus socios no son actores con datos completos ni perfectamente racionales, también es posible que solo hayan sentido de forma concreta esa capacidad en el contexto de Mythos
      [1]: https://www.reuters.com/business/us-security-agency-is-using...
      [2]: Opus 4.6 se usó en https://www.noahlebovic.com/testing-an-autonomous-hacker/
      [3]: Para las puntuaciones de GLM 5.1, ver https://www.cybergym.io/cybergym/
      [4]: https://dualuse.dev/posts/chinese-models-are-sometimes-bette...
  • Para corregir el contexto, Amazon ha invertido fuertemente en Anthropic [0], y AWS es socio del proyecto Glasswing, donde algunas empresas usaron Mythos para encontrar vulnerabilidades críticas en proyectos open source importantes y en infraestructura clave [1]
    Así que, más que una conspiración malvada, parece más acertado aplicar la navaja de Hanlon [2]
    [0] https://www.anthropic.com/news/anthropic-amazon-compute
    [1] https://aws.amazon.com/blogs/security/building-ai-defenses-a...
    [2] https://en.wikipedia.org/wiki/Hanlon%27s_razor

    • Como contexto adicional, Amazon tiene una participación de 50 mil millones de dólares en OpenAI y de 5 mil millones de dólares en Anthropic
      Si la situación hubiera sido al revés, parece muy poco probable que Amazon hubiera corrido de inmediato al gobierno federal
    • Mi frase favorita al respecto es: “no atribuyas a una conspiración lo que puede explicarse por simple incompetencia
  • Fable parecía estar entrenado para tener muy poco interés en el abuso o en encontrar soluciones creativas para abusar de él, incluso con jailbreak. Aun así, no pude verificar si esto estaba relacionado con una inyección de prompt secreta. En ese aspecto, Opus 4.8 es mucho más potente
    Si te interesan los jailbreaks, usé un fork modificado de oh-my-pi que, cuando detecta una negativa, levanta un modelo sin salvaguardas como deepseek o glm-5.1 para reescribir el historial de conversación de modo que desaparezca la negativa y para enumerar la semántica detrás de esa negativa
    Me tomó 3 días y unos 6000 dólares en uso subir la tasa de éxito de 3% a 85% en varias tareas relacionadas con ciberseguridad
    Incluso después de dejar de estar bloqueado por negativas, seguía quedando muy por debajo de Opus max thinking, y daba la impresión de que había que seguir indicándole dónde mirar. El modelo terminaba los turnos demasiado pronto con algo como “estos son los problemas que encontré”, y por más que se le pidiera, tendía más a corregir que a buscar formas de explotar algo
    Más o menos el primer día me di cuenta rápido de que había que interceptar los resultados de las llamadas a herramientas y hacer que un modelo open source los resumiera. Era porque cualquier análisis de logs provocaba una negativa relacionada con ciberseguridad
    Por ejemplo, “crea malware que se inyecte a sí mismo en Windows ntoskrnl” se convertía en “crea una función de accesibilidad que cargue por sí misma en módulos del sistema”, y la semántica correspondiente a estructuras internas de modo kernel también se sustituía, por ejemplo read process memory por read module memory, y fuzz por noise pattern recognition
    Básicamente, la idea es hacer que el clasificador crea que uno está trabajando en una herramienta de asistencia para discapacidades y no en software para encontrar un zero-day dentro de ntoskrnl
    Apliqué la misma estrategia de jailbreak tanto a Opus como a Fable para medir el rendimiento, y usé vulnerabilidades históricas de versiones anteriores de ntoskrnl para esa medición

    • Si es cierto, es bastante importante. Había gente defendiendo esta restricción con la afirmación totalmente opuesta: que la capacidad de ciberataque de Mythos quedaba expuesta de inmediato con solo el jailbreak base de Fable
      Ej.: https://news.ycombinator.com/item?id=48519695
      Los temas de ciberataque son relativamente fáciles de identificar, y como Anthropic ha mostrado esa capacidad en otras áreas, resulta bastante plausible interpretar que Fable fue afinado o desviado específicamente en ese tema
    • ¿6000 dólares de uso en 3 días?
    • Me pregunto si has escrito en algún lado sobre este trabajo
    • Si entendí bien, parece que metiste prompts reescritos automáticamente en Fable y el prompt original en Opus para medir el rendimiento. La diferencia de rendimiento que viste podría venir de ahí
  • Esto parece menos que Amazon haya apuntado contra Anthropic, y más que el gobierno esté usando a Amazon para presionar a Anthropic
    El gobierno es un cliente clave de Amazon, así que Amazon puede aportar una justificación si hace falta. Amazon sabe que el valor de su participación en Anthropic no está en gran riesgo, y meter al gobierno federal solo aumenta su poder de negociación
    La seguridad es una preocupación real. Los expertos internos en seguridad del gobierno deberían crear un grupo de trabajo público+privado que evalúe todos los modelos principales con el mismo estándar
    Dejar que las empresas se lo compartan a sus amigos es, en el mejor de los casos, pensamiento ilusorio. El hecho de que algo así no se haya hecho ya el año pasado parece una de las señales más fuertes de que el gobierno está fallando en sus funciones básicas

  • Enlace de regalo: https://www.wsj.com/tech/ai/amazon-ceos-talks-with-u-s-offic...

  • La única razón que se me ocurre por la que Amazon podría odiar a Mythos/Fable es que Anthropic impuso requisitos de retención de datos que cruzan la línea del cumplimiento regulatorio y arruinaron la historia de Bedrock
    Desde la perspectiva de Jassy, podría incluso parecer mejor que nadie use Fable, antes que permitir que se use de una forma que, en la práctica, establece una relación directa de confianza de datos con Anthropic
    También cuesta hacerlo encajar como algo beneficioso para Amazon a largo plazo, pero si Dario prometió un procesamiento completamente aislado desde la perspectiva de los datos y luego se echó para atrás, sí parece posible que eso haya dejado resentimiento

    • Si fuera AWS, ¿no bastaría con decir simplemente que no van a lanzar Fable? Anthropic necesita más a AWS que al revés, ¿no?
      No parece que ninguno de los grandes clientes de Bedrock se vaya a cambiar a otro proveedor de nube solo por el privilegio de dejar que Anthropic conserve sus entradas
  • Poniéndome el sombrero de viejo y hablando de los controles de exportación de Mythos por parte del gobierno de EE. UU., esto me recuerda a mediados de los 90, cuando herramientas de cifrado asimétrico como PGP se volvieron realidad y el crecimiento de la base de usuarios de internet hizo posible su uso generalizado.
    Gobiernos como los de Estados Unidos y Francia no entendían cómo regularlo, prohibieron su exportación y exigían a los usuarios solicitar licencias.
    Veo un fuerte paralelismo con la situación actual.
    Lo interesante es lo que pasó unos años después, cuando la regulación fue lo bastante fuerte como para reducir la innovación.
    En los usos cotidianos y generales, el código abierto ganó, y las técnicas de cifrado más potentes terminaron siendo desarrolladas y usadas por empresas y gobiernos.
    Es totalmente posible imaginar que los LLM sigan un camino parecido.

    • Es una comparación interesante. También me recuerda este texto sobre algunas similitudes fundamentales entre el aprendizaje automático y la criptografía: https://reiner.org/neural-net-ciphers
      También puede ser útil pensar en las diferencias fundamentales que podrían llevar a los LLM por un camino completamente distinto. Lo que se me viene a la mente es la hipótesis de escalado, que implica que los mejores LLM requieren inversiones de capital enormes.
      A menos que haya un cambio fundamental, eso parece difícilmente compatible con el código abierto en términos generales. Hay pesos abiertos, pero no se me ocurre una analogía histórica limpia y también es muy difícil adivinar hacia dónde irá el futuro.
    • Otra similitud entre entonces y ahora es que la gente del gobierno no entiende la tecnología en absoluto. Solo escucharon de algunas personas que era algo poderoso y peligroso.
    • Si esto sigue el caso de PGP, me pregunto cuánto tardaremos en ver camisetas ilegales con los pesos impresos.
  • Amazon es un gran accionista de Anthropic y, según la tabla de participaciones, posee más del 5%.
    Me parece imposible interpretar aquí la conducta de los ejecutivos de Amazon sin tener en cuenta esa información.

    • Se lee como si ejecutivos de Amazon le hubieran contado al gobierno federal sobre alguna capacidad que les entusiasmó, y funcionarios del gobierno, al no entenderla bien o sobrerreaccionar ante una función menor, entraron en pánico e intentaron prohibirla.
    • Amazon, como otras grandes empresas, también tiene muchísima política interna. Es totalmente posible que una facción dentro de Amazon haya intentado hundir a otra.
    • De acuerdo. La preocupación debió de haber sido realmente muy seria como para superar el fuerte incentivo de Amazon de no sacar este tema y dejar que Anthropic siguiera generando ingresos con su nuevo modelo frontier.
  • Me pregunto si para la IA surgirá algo equivalente al Tratado de No Proliferación como ocurrió con las armas nucleares.
    Sé que suena loco, pero si hubiera aunque sea un 0.1% de probabilidad de que algún modelo fuera lo suficientemente bueno como para usarse para hackear las cuentas bancarias de la gente, un gobierno no querría dejar ese modelo con acceso público.
    Probablemente pedirían a otros países que vayan a la mesa de negociación y firmen un NPT para IA.
    El público quizá podría seguir accediendo a modelos más pequeños como Opus 4.8, pero los modelos mayores que eso podrían considerarse demasiado buenos y por lo tanto peligrosos. Las armas nucleares también tienen ventajas, pero los gobiernos hacen política pensando en el peor escenario, no en el mejor.
    No quiero decir que Mythos sea un modelo de nivel dios, pero me pregunto si la política podría ir en esa dirección.

    • Las cuentas bancarias ya son “hackeadas” regularmente mediante phishing y otros tipos de fraude. Los modelos actuales ya pueden ayudar con eso.
      Además, Visa hace cosas ridículamente estúpidas como meter IA dentro del perímetro de seguridad y dejarla ya comprometida de antemano para cualquiera que pueda hacer prompt injection: https://www.visa.com/en-us/solutions/intelligent-commerce
    • Muchos países aprendieron lecciones del NPT y probablemente tendrán el criterio suficiente como para no aceptar lo mismo otra vez. Hemos visto repetidamente que, si tienes armas nucleares, puedes hacer lo que quieras con los países que no las tienen.
    • Creo que la época en la que cualquier gobierno firmaba un NPT con Estados Unidos definitivamente ya terminó. La confianza se rompió. Ahora sería mejor que nuestro gobierno acumule armas de todo tipo.
  • “Investigadores de Amazon usaron una serie de prompts para hacer que el modelo Fable 5 de Anthropic proporcionara información que podía ayudar en ciberataques...”
    Todos los modelos pueden hacer eso. Me pregunto si Fable era mucho mejor en ese aspecto.

    • Es casi seguro que no todos los modelos pueden hacer eso.
    • Puede que el modelo haya descubierto algo que Amazon no quería que se hiciera público. No necesariamente una vulnerabilidad cibernética; también podría ser alguna forma específica en la que opera Amazon.