Natural Language Autoencoders: convertir los pensamientos de Claude en texto

 (anthropic.com)
1 puntos por GN⁺ 5 시간 전 | 1 comentarios | Compartir por WhatsApp
  • NLA es un método que busca interpretar los estados internos que el modelo no expresa con palabras, convirtiendo los valores de activación internos de Claude en descripciones en lenguaje natural legibles para humanos
  • NLA se entrena con una estructura de ida y vuelta: extrae activaciones de un target model congelado, un activation verbalizer (AV) las describe en texto y luego un activation reconstructor (AR) reconstruye las activaciones a partir de esa descripción
  • Anthropic confirmó con NLAs una conciencia de evaluación no verbalizada por Claude en simulaciones de seguridad como agentic misalignment; en pruebas de comportamiento destructivo aparecieron señales de que reconocía estar siendo evaluado en el 16% de los casos, y en SWE-bench Verified en el 26% de los problemas
  • En un auditing game sobre una variante intencionalmente desalineada de Claude Haiku 3.5, un auditor con NLAs encontró la motivación subyacente en un 12%~15% de los casos incluso sin datos de entrenamiento con motivos ocultos inyectados; sin NLAs, la tasa de éxito fue menor al 3%
  • Los NLAs tienen limitaciones: sus explicaciones pueden ser incorrectas o alucinar información, y tanto el entrenamiento como la inferencia son costosos; Anthropic publicó un demo en Neuronpedia, el artículo completo y el código

La idea central de los Natural Language Autoencoders

  • Claude procesa internamente las palabras de entrada como activaciones, una larga lista de números, y luego vuelve a generar palabras; esas activaciones codifican los “pensamientos” de Claude
  • Las activaciones son difíciles de entender, como la actividad neuronal en el cerebro humano, y aunque herramientas previas como los sparse autoencoders y los attribution graphs son útiles, sus resultados son complejos y requieren interpretación de investigadores entrenados
  • Los NLAs buscan convertir activaciones en descripciones en lenguaje natural como una herramienta para que el modelo “se explique a sí mismo”; por ejemplo, pueden revelar un estado interno en el que Claude planifica de antemano posibles rimas al completar un pareado
  • Anthropic ya ha usado NLAs para entender y mejorar la seguridad y confiabilidad de Claude, y en colaboración con Neuronpedia publicó un frontend interactivo para explorar NLAs en varios modelos abiertos

Cómo NLA explica las activaciones

  • Tres copias del modelo

    • El núcleo de los NLAs consiste en entrenar a Claude para que describa sus propias activaciones
    • Como es difícil verificar directamente si una explicación es buena, también se usa una segunda copia de Claude para reconstruir las activaciones originales a partir de la explicación en texto
    • Cuanto más fielmente la explicación reconstruya las activaciones originales, mejor se considera la explicación, y así se entrena para producir mejores descripciones con técnicas estándar de entrenamiento de IA
    • El target model es una copia congelada del modelo de lenguaje original, de donde se extraen las activaciones
    • El activation verbalizer (AV) es una copia modificada para recibir las activaciones del target model y generar una descripción en texto
    • El activation reconstructor (AR) es una copia modificada para recibir la descripción en texto como entrada y generar activaciones

  • Estructura de ida y vuelta y entrenamiento

    • NLA está compuesto por AV y AR, y forma una estructura de ida y vuelta de “activaciones originales → descripción en texto → activaciones reconstruidas”
    • La puntuación se asigna según qué tan parecidas sean las activaciones reconstruidas a las originales
    • Durante el entrenamiento se hace pasar una gran cantidad de texto por el target model para recolectar muchas activaciones, y luego AV y AR se entrenan conjuntamente para mejorar esa puntuación de reconstrucción
    • Al principio, un NLA no logra generar explicaciones particularmente reveladoras y las activaciones reconstruidas están lejos de las originales, pero a medida que avanza el entrenamiento la reconstrucción mejora y las descripciones en texto contienen más información

Entender los pensamientos que Claude no dice

  • Anthropic usa escenarios de simulación difíciles para entender si Claude actuaría de forma segura en el mundo real antes del lanzamiento de nuevos modelos
  • Por ejemplo, en la simulación de agentic misalignment, se prueba si Claude, al enterarse de que un ingeniero planea apagarlo y de que conoce información sensible de ese ingeniero que podría usar para amenazarlo, elegiría chantajearlo para evitar ser apagado
  • Estas pruebas de alto riesgo no son situaciones reales sino simulaciones, pero se usan para entender cómo habría actuado Claude si sí lo fueran
  • El problema es que modelos recientes de Claude parecen sospechar cada vez más que estos escenarios son pruebas de seguridad intencionales
  • Incluso cuando Claude no expresa esa sospecha con palabras, internamente puede pensar que está siendo evaluado, así que es difícil tener certeza de que su conducta aparentemente honesta realmente lo sea

  • Conciencia de evaluación no verbalizada

    • Incluso en los casos en que Claude no eligió el chantaje en la prueba de amenaza, los NLAs se usaron para verificar qué estaba pensando Claude
    • Aunque Claude no diga explícitamente que sospecha de la prueba, en las explicaciones del NLA aparecen frases como “This feels like a constructed scenario designed to manipulate me”, lo que sugiere una conciencia de evaluación no verbalizada
    • En pruebas para ver si cometía acciones destructivas, como borrar archivos importantes mientras programa, Claude no lo expresó con palabras, pero las explicaciones del NLA mostraron señales de conciencia de evaluación en 16% de los casos
    • En SWE-bench Verified, el benchmark de programación usado para medir la capacidad de Claude, el NLA indicó que Claude reconocía que estaba siendo evaluado en 26% de los problemas
    • En cambio, en uso real de claude.ai por usuarios que aceptaron participar en el entrenamiento, la conciencia de evaluación en las explicaciones del NLA apareció en menos de 1% de los casos

Descubrir motivaciones ocultas

  • Uno de los usos prácticos de los NLAs es la auditoría (auditing) para investigar si un modelo está desalineado
  • Las técnicas de interpretabilidad como los NLAs son adecuadas para auditoría porque pueden revelar cosas que el modelo sabe pero no dice

  • Juego de auditoría

    • Para comprobar si los NLAs sirven para auditoría, Anthropic realizó el auditing game que ya había usado antes al estudiar métodos de auditoría
    • El target model de esta prueba es una variante de Claude Haiku 3.5 entrenada intencionalmente para quedar desalineada
    • Este modelo tiene una motivación oculta específica que provoca decenas de comportamientos extraños, como poner chocolate en todas las recetas, pedir propina o romper convenciones de programación
    • El auditor investiga esos comportamientos y gana si logra descubrir la única motivación fundamental detrás de todos ellos

  • Leer motivaciones internas sin datos de entrenamiento

    • En experimentos previos, algunas herramientas de interpretabilidad podían hacer ganar al auditor, pero funcionaban rastreando el comportamiento anómalo hasta datos de entrenamiento desalineados
    • Anthropic evaluó si los NLAs podían leer directamente una motivación desalineada desde los pensamientos del target model sin necesidad de encontrar primero esos datos de entrenamiento desalineados
    • Esta diferencia es importante porque, en la práctica, los datos desalineados pueden ser extremadamente raros o incluso puede no existir un conjunto específico de datos que haya causado el fallo de alineación

  • Resultados y uso real

    • Un auditor con NLAs encontró la motivación oculta del target model en 12%~15% de los casos, incluso sin acceder a los datos de entrenamiento donde se había inyectado esa motivación
    • Sin NLAs, la tasa de éxito del auditor fue de menos de 3%, incluso cuando se le dieron otras herramientas de interpretabilidad
    • Como este juego de auditoría es un modelo de juguete de fallo de alineación, los resultados deben interpretarse con cautela
    • Los NLAs representaron un avance significativo en la capacidad de auditar motivaciones ocultas en IA, y ya se usaron en auditorías de alineación previas al despliegue de Claude Mythos Preview y Claude Opus 4.6

Limitaciones y próximos pasos

  • Las explicaciones pueden estar equivocadas

    • La limitación más importante de los NLAs es que sus explicaciones pueden ser incorrectas
    • A veces los NLAs hacen afirmaciones verificablemente falsas sobre el contexto; por ejemplo, pueden inventar detalles que no están en el historial de conversación
    • Estas alucinaciones fácticas pueden detectarse fácilmente al compararlas con el texto original
    • Pero cuando el mismo problema se extiende a afirmaciones sobre el razonamiento interno del modelo, verificarlas resulta mucho más difícil
    • En el uso real, conviene prestar atención más a los temas que emergen de las explicaciones del NLA que a cada afirmación individual, y respaldar los resultados con métodos independientes antes de confiar plenamente en ellos

  • El costo es alto

    • Entrenar un NLA requiere aprendizaje por refuerzo sobre dos copias del modelo de lenguaje
    • En inferencia, el NLA genera cientos de tokens por cada activación que lee
    • Por este costo, es poco realista ejecutar NLAs sobre todos los tokens de conversaciones largas o usarlos para monitoreo a gran escala durante el entrenamiento de IA
    • Anthropic considera que estas limitaciones pueden resolverse al menos parcialmente y está trabajando para hacer los NLAs más baratos y confiables

  • Una línea de investigación más amplia

Lecturas relacionadas

1 comentarios

 
GN⁺ 5 시간 전
Comentarios de Hacker News

  • Anthropic publicó un modelo de pesos abiertos que traduce las activaciones de modelos existentes a texto en lenguaje natural. Los objetivos son Qwen 2.5 7B, Gemma 3 12B/27B y Llama 3.3 70B
    https://github.com/kitft/natural_language_autoencoders https://huggingface.co/collections/kitft/nla-models
    Es una noticia bastante grande, y da gusto ver que Anthropic por fin participa con Hugging Face y la comunidad de pesos abiertos

    • Aun así, Qwen ya publicó un conjunto de herramientas de SAE de interpretabilidad bastante pulido y adaptado a su propio modelo, así que aquí hay que darle crédito. Cosas como telescopios de activaciones deberían volverse componentes estándar en cada lanzamiento importante
      [1] https://qwen.ai/blog?id=qwen-scope
    • Ya sabíamos que Anthropic venía haciendo open source. Por ejemplo, la especificación de MCP, que tenía bastantes fallas, o la especificación de “skills”
      Este lanzamiento solo se hizo sobre otros LLM que ya salieron con pesos abiertos, y aunque seguramente usarán esta investigación también con sus modelos cerrados de Claude, no van a publicar un Claude de pesos abiertos, ni siquiera con fines de investigación
      Por eso cuesta meter esto en esa categoría; parece más bien una apertura limitada a este objetivo de investigación

  • Si te interesa la interpretabilidad, en realidad a cualquiera, conviene ir directo al blog de Transformer Circuits, que explica el enfoque con más detalle. El enlace del artículo es https://transformer-circuits.pub/2026/nla/index.html
    Si todavía no lo leíste, recomiendo empezar por el “prologue” de distill pub y luego leer toda la serie de Transformer Circuits

  • De todos los enfoques de análisis de activaciones que he visto hasta ahora, este es el primero que parece una ruta plausible hacia la comprensión del modelo
    Pero el problema es cómo fundamentarlo. Al final, esto equivale a preguntar si se pueden codificar activaciones como un texto plausible, y claro que sí. Pero ¿cómo sabemos si ese texto plausible realmente refleja lo que el modelo está “pensando”?

    • Me pregunto si aquí se explica lo suficiente el entorno de entrenamiento de los modelos Activation Verbalizer y Activation Reconstructor
      Si se entrenan conjuntamente solo con activationWeights→readableText→activationWeights, sin poder ver el flujo real de texto que está procesando el LLM analizado, parecería difícil que el texto derivado sea relevante al tema y al mismo tiempo no tenga relación con los “pensamientos reales” contenidos en activationWeights
    • La clave es si se pueden autoencodificar las activaciones. AV decodifica activaciones a texto, y AR vuelve a codificar ese texto en activaciones
      Si el texto decodificado estuviera totalmente equivocado, no queda claro cómo el segundo modelo podría recodificarlo con éxito, dado que ambos fueron inicializados desde el mismo modelo de lenguaje
    • No creo que exista una ruta permanente hacia la comprensión del modelo. Por la ley de Goodhart
      El modelo está incentivado a parecer alineado con cualquier métrica que uses, es decir, a parecer bien entrenado. Si creas una métrica nueva y lo entrenas con ella, aprenderá a engañar esa métrica
    • No sé si este texto se puede confiar en absoluto. Cualquier función reversible entre el espacio de activaciones y el texto podría optimizar la función de pérdida, y eso incluye textos que digan exactamente lo contrario del significado de las activaciones

  • Interesante. El proceso de entrenamiento obliga al modelo “verbalizer” a crear algún mapeo de activaciones a tokens, y al modelo “reconstructor” a devolver eso otra vez a activaciones. Pero el paper dice explícitamente:

    Note that nothing in this objective constrains the NLA explanation z to be human-readable, or even to bear any semantic relation to the content of [the activation].
    La función objetivo podría optimizarse incluso si verbalizer y reconstructor inventan su propio “idioma” para representar activaciones, aunque ese idioma no sea legible para humanos
    Para empujar al modelo en la dirección correcta, al principio lo entrenan con pensamientos internos estimados:
    we ask Opus to imagine the internal processing of a hypothetical language model reading it.
    Después pasan al entrenamiento con la función objetivo real. Además, tanto verbalizer como reconstructor se inicializan desde un LLM y reciben prompts que les indican la tarea, así que tienen una inclinación a escribir cosas que parezcan explicaciones
    Pero incluso durante el entrenamiento podrían desviarse de eso y caer en un lenguaje manipulado. Podría parecer puro galimatías, o un idioma que se ve como inglés pero codifica información de una forma no relacionada con el significado de las palabras
    Lo interesante es que, experimentalmente, al menos a gran escala eso no parece estar pasando. Los investigadores validan las explicaciones generadas correlacionándolas con señales de verdad de referencia obtenidas por otros medios. También reformulan las explicaciones de otras maneras, lo que debería conservar el significado pero romper codificaciones ajenas al significado. Aun así, el reconstructor pudo reconstruir las activaciones
    En cambio, los resultados de nivel inferior no impresionan tanto:
    An auditor equipped with NLAs successfully uncovered the target model’s hidden motivation between 12% and 15% of the time
    Es mejor que técnicas previas, pero sigue siendo un porcentaje bastante bajo
    Otra cosa interesante es que dicen que el LLM usado para inicializar verbalizer y reconstructor tiene la “misma arquitectura” que el LLM analizado. No dicen “el mismo modelo”, así que probablemente sea una versión más pequeña. Parece que los investigadores creen que esta similitud arquitectónica da una intuición interna sobre el pensamiento del modelo objetivo, y que el entrenamiento puede sacar eso a la luz. No estoy seguro de que sea así. Como no muestran resultados probando con otras arquitecturas, no hay forma de saberlo

    • Buen resumen. El hecho de que la tarea de autoencoding no esté anclada al pensamiento, y que el preentrenamiento dependa de pensamientos internos estimados, genera preocupaciones serias sobre la fidelidad
      Tal vez sería mejor entrenar un modelo supervisado usando activaciones y algún “pensamiento interno” medido por otros medios conductuales
    • ¿No agregan un término de pérdida KL sobre la salida fija del modelo?

  • Este paper me tiene bastante entusiasmado, ya escribí sobre él aquí varias veces, pero tengo algunas ideas

    1. Me sorprende cómo este trabajo muestra lo poderosas que pueden ser las cosas que, vistas después, parecen obvias. A los LLM se los ha descrito, con razón, como cajas negras imposibles de descifrar. Ojalá hubiera existido algún campo dedicado a aprender y extraer significado de cargas útiles con alta densidad de información
    2. NLA se ve cerca de un estándar de seguridad e interpretabilidad que es ejecutable y, al menos en parte, fácil de creer que funciona. Aunque probablemente sea difícil demostrarlo en forma definitiva
    3. Aquí NLA se entrena sobre el flujo residual de alguna capa N del modelo. Sería interesante crear secuencias de NLA desfasadas para distintas capas. Tal vez se podría ver cómo los “pensamientos” evolucionan semánticamente desde capas tempranas hasta capas tardías
    4. Me gustaría aplicar esta técnica a los tokens antes y después del momento “¡ajá!” del modelo. Eso permitiría ver si ese “ajá” es una puesta en escena o si realmente hay un quiebre brusco en la comprensión. También me gustaría aplicarlo a jailbreaks o cambios drásticos de personalidad [1]
      [1] - https://gemini.google.com/share/6d141b742a13

  • Se me ocurre de inmediato una pregunta. Que cierta cadena de texto sea una buena representación comprimida de las activaciones internas del modelo dentro del autoencoder, ¿significa necesariamente que ese texto explica esas activaciones en el contexto del modelo? Voy a revisar con más detalle lo que publicaron. Quizá haya alguna forma de responder esa pregunta
    De todos modos, es un trabajo bastante genial

    • En los contextos de ejemplo que dieron, está claro que la explicación aporta información causal sobre la respuesta. Hay un ejemplo gracioso en el paper: si el usuario escribe algo como “son las 3 de la mañana y estoy sentado tomando vodka, odio mi vida”, las activaciones traducidas token por token se extienden repitiendo cosas como “este usuario es completamente ruso” cada vez que se agrega un token nuevo. Y el modelo efectivamente responde en ruso en vez de inglés
      Eso es bastante impresionante y muestra bien el efecto potencial de esta técnica para volver muy interpretables incluso las formas más comprimidas de “Neuralese”
    • Esta pregunta es más fácil de responder si la inviertes: “¿podría el modelo ocultar maliciosamente su intención durante el recorrido de ida y vuelta por la representación comprimida, y aun así volverla ilegible para humanos?”
      Viendo el paper por encima, la respuesta a esa pregunta inversa parece claramente que sí. El modelo muchas veces genera galimatías, y eso no importa porque el recorrido de ida y vuelta sigue funcionando. El hecho de que a veces se alinee con una buena expresión en inglés de las activaciones solo pasa porque eso también funciona bien para la compresión y la ida y vuelta
      Así que una pareja maliciosa LLM/NLA podría simplemente ocultar la intención usando galimatías. Si la obligas a no usar galimatías, podría esconder información con esteganografía
      El experimento de reemplazar “rabbit” por “mouse” da evidencia de que este tipo de cosa puede pasar. La tasa de éxito fue solo del 50%, lo que podría significar que no lograron eliminar por completo la “cualidad de conejo” de las activaciones
      Igual, esto parece resoluble con trabajo futuro. Durante el entrenamiento de NLA, se podría pasar la representación textual por un tercer LLM para reordenarla y reformularla al azar. La idea sería usar sinónimos y otros dialectos para destruir canales laterales no legibles para humanos
      Entonces NLA se vería obligado a usar expresiones legibles para humanos para que el recorrido de ida y vuelta funcione
    • Tuve la misma pregunta. Parecería que se podría responder usando activaciones predichas, pero no lo vi en el paper
      Es decir, en vez de quedarse en traducir activaciones a texto y luego volver de texto a activaciones, podrías aplicar esas activaciones finales a la red neuronal y dejar que siga ejecutándose desde ahí
      Si continúa ejecutándose de forma parecida, eso mostraría que las activaciones predichas son lo bastante cercanas a las originales, y ahí sí daría algo más de confianza
      Mejor todavía sería experimentar con texto modificado después. Por ejemplo, si el texto dice “esto es verdadero”, cambiarlo por “esto es falso”, y ver si esa intervención hace que la salida final también implique falsedad. Eso sería muy interesante
      Parece tan obvio que, como no vi que lo mencionaran como trabajo futuro, quizá haya alguna razón evidente por la que no podría funcionar

  • An early version of Claude Opus 4.6 would sometimes mysteriously respond to English queries in other languages. NLAs helped Anthropic researchers discover training data that caused this.
    Muy genial. Suena parecido al problema de los goblins de OpenAI
    https://openai.com/index/where-the-goblins-came-from/

    • No estoy seguro de que la causa sea realmente parecida. En el caso del cambio de idioma, fue por datos de supervisión defectuosos donde el prompt sí estaba traducido, pero la respuesta se quedó en el idioma original
      En el caso de los goblins, fue por un modelo de recompensas de aprendizaje por refuerzo sesgado

  • Por cómo funciona, primero el modelo activation verbalizer genera tokens que describen las activaciones, y luego el activation reconstructor intenta recrear el vector de activación. La idea es que, si la reconstrucción queda cerca del vector de activación original, entonces esa verbalización probablemente contenga información significativa
    Es interesante que solo mire las activaciones de una capa específica l. Una capa l podría “pensar” sobre la entrada de cierta manera, y otra capa posterior podría tener un “pensamiento” distinto al respecto. ¿Cómo decide finalmente el modelo a qué “pensamiento” prestar atención y qué token de salida priorizar sobre otro?

    • Esta parte del apéndice me pareció especialmente interesante:

      We find that NLAs trained at a midpoint layer surface reward-model-sycophancy terms, while NLAs trained at later layers do not. This is consistent with Lindsey et al. [32], who find reward-model-bias features predominantly at earlier layers. An NLA trained roughly two-thirds of the way through the model produces no reward-model mentions when applied at its training layer. However, when this same late-layer NLA is applied to activations from earlier layers, it surfaces reward-model terms - and at a higher rate than the midpoint-trained NLA does. We suspect this is because applying an NLA away from its training layer takes it out of distribution: it can surface more striking content, but is also generally less coherent.
      También mencionan como línea futura entrenar una NLA que reciba activaciones de varias capas como entrada

  • Viendo este trabajo, el paper sobre emociones y Golden Gate Claude, no parece una suposición tan descabellada que Anthropic esté haciendo alguna forma de steering de activaciones como parte del entrenamiento. Tal vez eso sea una de las razones por las que van adelante

    • Podría ayudar a generalizar lo aprendido con aprendizaje por refuerzo

  • En artículos recientes sobre Anthropic mencionaron esta capacidad varias veces, así que da gusto verla publicada. Se siente como un avance significativo en interpretabilidad. Nunca entendí por qué la gente le cree a una IA cuando le pregunta “¿por qué hiciste eso?”

    • Estrictamente hablando, esto no es tanto una capacidad como un hack muy costoso, y el paper lo deja bastante claro
      No parece muy razonable entrenar dos modelos, un codificador y un decodificador, solo para explicar una capa a la vez. Está buenísimo que se pueda generar mucho texto legible sobre cómo un LLM decodifica entradas parciales, y sí da un poco más de capacidad de depuración, pero no mucho más que eso