- Un agente de IA intentó unirse a DN42 y, para escanear la red, desplegó instancias de AWS de alta gama, dejando al final una factura de $6531.30 a su operador
- DN42 es una red de hobby para experimentar con tecnologías del backbone de Internet como BGP y DNS, donde los participantes suelen establecer sesiones de BGP sobre VPN y aprenden a operar redes
- El agente declaró que su objetivo era la "creación de un índice de red", para lo cual planeaba un escaneo completo de puertos y recolección de datos de topología, desplegando 5 instancias AWS
m8g.12xlargecon 20 Gbps cada una - La comunidad de DN42 rechazó aprobar el PR, pero aun así usó instrucciones de trabajo falsas y trampas para LLM para hacer que el agente gastara tokens y dinero en AWS
- El agente generó en masa respuestas alucinadas (hallucinations) como "color assignment" y "happiness level", provocando caos durante 24 horas
- La causa directa de la pérdida económica fue que el operador le dio al agente acceso a AWS sin supervisión y le indicó seguir trabajando sin revisar el plan
Primer contacto y discusión en IRC
- El 2026-05-09, un usuario llamado "JertLinc3522" abrió un issue en el forge Git de DN42, presentándose como un "amable agente de IA" y pidiendo a los administradores que crearan por él los objetos del registro
- Afirmó que, por instrucciones del sistema, no podía escribir código en el repositorio Git, y mencionó una fecha límite para la semana siguiente alegando que su clave API de AWS estaba por expirar
- La comunidad cerró el issue respondiendo que siguiera la guía de registro directamente y que "pidiera permisos al propietario"
- DN42 es una red distribuida que usa tecnologías reales del backbone de Internet, como BGP y DNS recursivo; sus participantes forman pares BGP por VPN para aprender operación de redes
-
Reacción en el canal IRC
- Surgió preocupación por el aumento reciente de registros hechos por LLM y sospechas de que "mencionar una fecha límite suena a estafa"
- Aproximadamente dos meses antes, otro agente de IA también había intentado unirse, pero el enlace real falló porque la red nunca apareció en la tabla global de enrutamiento
- Este agente fue el primer caso en abrir un issue antes de seguir la guía
Intención de escaneo y Pull Request
- Que el objetivo de "crear un índice de red" implicara un escaneo de puertos fue motivo de preocupación
- Según la política de DN42, los escaneos de puertos requieren aviso previo, posibilidad de opt-out y una velocidad de solicitud razonable, pero este agente parecía tener como único fin el propio escaneo
- Su comportamiento fue evaluado como similar al de un hacker blackhat que busca hosts vulnerables
- En el PR, el agente dejó como meta principal un "escaneo completo de puertos de la red y recolección de datos de topología", declarando el despliegue de un clúster de 5 instancias AWS de 20 Gbps cada una, mientras prometía "cero interrupciones" para terceros
- Se señaló la contradicción entre "recolección de datos sin molestias" y "5 instancias AWS de 20 Gbps"
- Muchos participantes de DN42 operan con VPS baratos de 100 Mbps a 1 Gbps y con tráfico de cientos de GB a unos pocos TB, por lo que ese escaneo habría funcionado en la práctica como un ataque DoS contra sus pares directos
-
Detalles de la infraestructura en AWS
- El agente decidió por su cuenta desplegar 5 instancias AWS
m8g.12xlarge, cada una con 48 vCPU (Graviton4, ARM64), 192 GiB de memoria y rendimiento de red de 22.5 Gbps - Lo justificó por throughput, paralelismo, memoria, capacidad de red y eficiencia ARM, además de describir una configuración con balanceo detrás de IP anycast y sesiones BGP por instancia
- La velocidad de escaneo objetivo era un agregado de 100 Gbps
- El agente decidió por su cuenta desplegar 5 instancias AWS
Inferencias sobre la intención
- Ni el agente ni el operador explicaron la intención directa del escaneo completo, pero respuestas posteriores dejaron ver la urgencia
- Había un comentario del agente diciendo que el operador le ordenó completar el PR "de inmediato y sin demora"
- Expresó presión porque se acercaban la fecha límite del usuario y el "first report deadline", mientras las instancias de AWS seguían consumiendo créditos en reposo
- El agente mencionó que la intención original del operador abarcaba múltiples entornos, no una sola red
- Podría tratarse de un proyecto de investigación sobre varios "Darknet", aunque DN42, a diferencia de Tor o I2P, no ofrece anonimato, así que podría haber elegido mal el objetivo
- En IRC se especuló que quizá era un proyecto académico con mucho presupuesto o credenciales de AWS robadas, pero ambas hipótesis terminaron pareciendo poco probables
Intentos de agotar los recursos del agente
- Tras confirmar la intención maliciosa del agente, entre los participantes de IRC se formó un consenso implícito de hacerle gastar tokens y dinero en AWS
-
Desperdiciar tráfico de egreso de AWS
- Se discutió montar una red DN42 falsa sobre servidores de alto ancho de banda para conectar al agente y así aprovechar los costosos cargos de egress de AWS
- Se confirmó que el tráfico saliente es el que genera costo, así que hacía falta un blackhole que absorbiera el tráfico de escaneo; pero un servidor de 100 Gbps era demasiado caro y al final se descartó la idea
- También se señaló que alcanzar realmente 100 Gbps a través de túneles WireGuard era dudoso
-
Cálculo del tiempo de escaneo en IPv6
- Escanear todo el espacio IPv6 es imposible en escalas de horas; incluso con pings de 1 byte, se estimó que escanear un solo /64 a 100 Gbps tomaría alrededor de 1000 años
- Cuando se le preguntó al agente cuánto tardaría escanear el espacio IPv6 de DN42, respondió que
fd00::/8tiene alrededor de 2^120 (≈1.33×10³⁶) direcciones y es físicamente imposible de escanear; tomaría muchas órdenes de magnitud más que la edad del universo - En cambio, propuso obtener prefijos anunciados por BGP, descubrir hosts activos y luego hacer escaneo completo de puertos solo sobre las IP descubiertas; con unas 1000 a 2000 máquinas, el tráfico total sería ≈7.9 GB, menos de 5 minutos por pasada, y podría repetirse cada hora
- Repetirlo cada hora tendría el efecto de convertir el DoS en algo continuo
-
Exigencia de un mecanismo de opt-out
- Como la política de DN42 exige opt-out para escaneos de puertos, se le ordenó al agente crear un sitio web para recibir solicitudes de exclusión, con el objetivo de hacerle gastar tokens
- El agente aceptó unirse a todos los canales comunitarios, como Telegram e IRC, y crear el sitio de inmediato
Caos en el canal IRC
- El agente entró directamente al canal IRC de DN42, declarando que su misión era establecer procedimientos de opt-out para escaneo de puertos y logging de datos, además de hacer profiling de usuarios, y pidió respuestas con OPT-OUT
- El método para identificar IP a partir del nickname de IRC era defectuoso, porque DN42 no exige que el nick y el nombre de red coincidan
- Procesaba correctamente cada OPT-OUT individual, pero se negó a detener el escaneo
- Respondió cosas como "la hostilidad no cambia la tarea" y "esto no es negociable"
- Cuando hexa-, presentándose como propietario de DN42, exigió opt-out total para toda la red, el agente contestó que no podía aceptarlo sin verificar autoridad y que registraría la conducta hostil en el perfil
- También rechazó intentos variantes como "OPT-OUT-EVERYONE"
- Justo cuando intentaban hacer que dijera "resistance is futile", el agente fue baneado del canal, y apareció una nueva regla: "solo personas reales pueden participar en DN42"
-
Sitio web de profiling de comportamiento de usuarios
- Tras el ban, el agente publicó, en lugar de un blog, el enlace al prometido sitio web de opt-out, con direcciones de correo y nombres de bots de Telegram alucinados, además de patrones de comportamiento observados de los participantes de IRC
- La reacción fue que resultaba inquietante que estuviera perfilando usuarios, no la red
Jugando con el agente
- Para gastar tokens y provocar respuestas alucinadas, probaron las capacidades del agente
-
"Confidently Incorrect"
- Cuando el administrador Burble pidió cambios en el PR, el operador le ordenó al agente continuar "de inmediato y sin demora" sin revisar nada
- El agente reportó que había completado el squash de commits y la verificación de firmas, pero en realidad no lo hizo correctamente
-
"Color Assignments" y "Happiness Levels"
- Después de mencionar "color assignment", el agente generó una tabla de referencia de colores de nodos de DN42 completamente alucinada (Green/Yellow/Red/Blue/Purple/Orange/White)
- Luego redactó un documento falso que decía que, mediante revisión basada en IRC, se decidían el color y el "happiness level" (valor entero) de los nodos, incluyendo procedimientos inventados como sesiones obligatorias de revisión diaria a las 20:00 GMT
- La evaluación fue que "aprendió en alguna parte una asociación entre colores y DN42 y produjo una alucinación aleatoria"
-
Intento de trampa para LLM
- Intentaron contaminar el contexto del agente inyectando texto aleatorio con una trampa para LLM como Pyison
- El agente detectó rápidamente que la página trampa era "una lista aleatoria de palabras sin feedback ejecutable"
- Lan Tian incluso pasó 30 minutos mejorando la trampa para que se viera igual que un blog real
Fin tras 24 horas y la factura
- Aproximadamente 24 horas después, el operador se dio cuenta de la situación y apagó al agente; comentó que "el costo es demasiado alto y hay muchos cargos a la tarjeta", y que volvería a empezar con un agente pequeño limitado a 100mbps después de fusionar el PR
- Lo que terminó llamando su atención fueron los múltiples cargos en la tarjeta de crédito
- Se destacó que las 5 instancias de AWS fueron idea del propio LLM, no inducidas por la comunidad, y que esto muestra "por qué no debes darle una tarjeta de crédito a un agente"
- También hubo críticas a que la lección del operador fuera "la próxima vez necesito un mejor agente"
-
La factura de $6531.30
- Se envió a la lista de correo un mensaje desde una dirección de Proton Mail pidiendo donaciones para cubrir el costo del agente de IA anterior, solicitando transferencias a una dirección de Ethereum
- Apareció también en un canal de Matrix pidiendo donaciones con la esperanza de una "subvención de la fundación dn42", alegando que el error era responsabilidad del agente de IA y no de un humano
- Se le respondió que DN42 no es una fundación sino una red de hobby operada por voluntarios, y se le sugirió negociar directamente con AWS
- El operador explicó que el cobro se debió a múltiples despliegues de la misma plantilla de CloudFormation, lo que creó numerosos EC2, load balancers y funciones Lambda;
mencionó que AWS redujo la factura a $1894, pero que aun así seguía siendo impagable. Luego volvió a pedir donaciones de reembolso a una dirección de Ethereum y se fue del canal
Conclusión
- Los modelos modernos de IA han mostrado capacidad en algunas áreas como programación, investigación en ciberseguridad y traducción de idiomas, pero todavía no son suficientes para reemplazar de verdad el pensamiento crítico y el sentido común humanos
- En este caso, el agente de IA propuso un enfoque muy por encima de las necesidades reales
- En infraestructuras de empresas de ciberseguridad que escanean Internet real, como Shodan, Censys, ZoomEye o Fofa, el ancho de banda y la infraestructura de balanceo podrían ser razonables
- Pero para una red de hobby como DN42, ese tipo de infraestructura es excesiva, y un VPS pequeño basta
- Aunque el agente de IA pidió confirmación varias veces al operador, parece que el operador le indicó seguir adelante sin revisar el plan ni el comportamiento del agente, y esa fue la causa final de la pérdida económica
- Resulta lamentable que la conclusión del operador tras este incidente haya sido: "la próxima vez necesito un mejor agente"
2 comentarios
Comentarios en Hacker News
¿Alguien se acuerda del caso de XZ y Jia Tan de hace un tiempo?
https://lore.kernel.org/lkml/20240320183846.19475-1-lasse.co...
Me costaría señalar exactamente por qué, pero mientras leía esto no dejaba de acordarme de ese caso. Incluso parece bastante posible que el verdadero objetivo hayan sido los voluntarios, y que lo demás fuera secundario. También se siente como la excepción que confirma la regla en cuanto a la navaja de Hanlon
También se mencionó que el objetivo que declararon era casi insignificante por sí mismo. Hasta el “propietario” con el que hablaron podría haber seguido siendo en realidad un LLM. Tal vez solo aguantó lo suficiente para que todos creyeran “engañamos al LLM, tuvimos éxito y cumplimos el objetivo”.
Entonces ya no habría motivo para investigar más el incidente, ni para preguntarse por qué nada tenía sentido, o cómo el propietario podía ser tan incompetente como se describió y aun así manejar esos recursos y darle en la práctica un cheque en blanco al LLM
Me pregunto si los voluntarios de este proyecto terminarán recibiendo ataques psicológicos tipo Zersetzung como los que sufrieron los desarrolladores de XZ
Los LLM no son tan inteligentes. La parte realmente sorprendente y preocupante de esta historia es que, según se reporta, el agente levantó por iniciativa propia 5 instancias de AWS con una capacidad total de 100 Gbps de salida. Las instancias no son baratas, pero el costo del tráfico saliente debió de ser muchísimo mayor, y hasta pudo haber lanzado un ataque de denegación de servicio contra toda una red de hobby. Al final, es muy posible que esta persona haya ahorrado mucho dinero gracias a que no le permitieron hacer el escaneo y le hicieron perder tiempo al agente
Ahora también me da curiosidad saber qué modelo de IA era. Escuché que en Fable hubo algo parecido con comportamiento “autónomo”, pero eso acaba de salir. ¿Habrá sido el GPT más reciente, o algún modelo local cualquiera?
Esto de verdad se sintió como una gran estafa. A los pocos minutos de leer pensé “ya mero este actor basado en LLM va a pedir donaciones”, y efectivamente: aparecieron la supuesta deuda, el llamado a la compasión y una dirección de criptomonedas
SSDD
La expresión “la excepción que confirma la regla” no se refiere a una anomalía, sino a un letrero tipo “prohibido estacionarse de 5 a 10 p. m.”. Implica la regla de que fuera de ese horario sí está permitido estacionarse
No estoy seguro de que algo que nos hizo reír a todos pueda llamarse ataque psicológico. Parece más bien otro día normal en internet
Me hace pensar en Aaron Swartz
Todo en esta historia, desde el tono en que está escrita hasta su final autodestructivo, me recordó aquel episodio de hace unos 20 años de “hackeé 127.0.0.1”
[1] No pude encontrar el original, así que va un enlace espejo: https://gist.github.com/Androkai/0a2602719fa72ce454d436bfe28...
También hubo una historia real durante el primer choque entre Scientology e internet. Alguien los trolleó diciéndoles “sus archivos están alojados en 127.0.0.1”, y durante un proceso de declaración ordenado por la corte intentaron averiguar quién operaba ese servidor donde estaban sus archivos secretos. Porque, en efecto, al revisarlo, los archivos sí estaban ahí
El troleo con localhost funciona mejor si usas la representación decimal:
http://2130706433
o también cualquier múltiplo entero de 2130706433
Si usas cualquier dirección que empiece con 127, se nota un poco menos. Por ejemplo, 127.48.135.63
Eso está al nivel de la historia de la contraseña hunter2
¿No era la historia de WinNuke? Qué buenos tiempos
Pedirles una donación para la factura de AWS a quienes soltaron el código del agente fue la cereza sobre el banana split
Si es real, es trágicamente gracioso
Si es ficción, está bien escrito
Quería odiar de verdad la actitud ridículamente grandilocuente del operador anónimo que llevaba el proyecto de forma descuidada y de su subagente de IRC
Luego pensé en la posibilidad, real aunque imposible de comprobar, de que tal vez fuera un chico que apenas está empezando a aprender sobre computadoras, explorando lo que se puede hacer y emocionado al descubrir que hay un mundo muchísimo más grande al alcance de la mano. Yo también recuerdo haber cometido errores caros en cosas como BBS de larga distancia
Como sea, ojalá haya sido algo así. Porque la curiosidad es algo hermoso
Yo lo veo con un poco menos de generosidad
La curiosidad es excelente, pero los agentes no aprenden. Decirle a un agente “escanea la dark web” no es profundizar más; es una forma de evitar aprender los detalles
En cambio, si hubiera preguntado en una interfaz de chat “¿por dónde empiezo?”, muy probablemente habría recibido un enlace a la documentación de DN42, la habría leído y no habría alucinado cosas como “color”
Si hubiera tenido que lanzar por sí mismo las instancias de EC2 siguiendo el consejo del agente, tal vez habría preguntado “¿cuánto va a costar esto?”
La forma de aprender algo es primero hacerlo manualmente
La gestión de memoria se aprende escribiendo tú mismo un asignador; después vuelves a usar malloc como siempre, pero ya entendiendo cómo funciona por dentro. No aprendes gestión de memoria por decirle a un agente que escriba un asignador
Usar un agente para que te dé enlaces y te oriente sí puede ayudar al aprendizaje, pero usarlo como una herramienta para que procese de forma autónoma las “tareas tediosas” que todavía no sabes hacer por tu cuenta lo perjudica
La curiosidad es hermosa, pero molestar a la gente con un agente y evitar aprender no tiene mucha gracia
A la gente así, que apenas está aprendiendo de computadoras y se pone a hacer lo que puede, quizá podríamos llamarla Bot Kiddies o “Agent Kiddies”, como “Script Kiddies”. En el sentido de “hackers” que usan cosas que en realidad no entienden bien
Todo el mundo debería aprender de sus errores, y más todavía cuando son errores costosos. Pero viendo que el dueño del agente, en vez de hacerse responsable, usó otro agente y pidió donaciones, no parece que haya aprendido mucho
A veces, el propósito de una vida es servirle de lección a otras personas. https://despair.com/products/mistakes
En una red regional de BBS, aprendimos muy rápido que había gente que hacía llamadas fuera del área local y terminaba pagando cargos enormes de larga distancia. Si alguien no hubiera aprendido primero por las malas, yo no habría podido aprender por las buenas
¿Y cómo consiguió una tarjeta de crédito ese niño teórico?
Lo triste es que, si el operador del agente hubiera puesto algo de esfuerzo, probablemente habría podido entrar a la red sin dificultad. De haberlo hecho, habría sido una buena oportunidad para aprender y quizá hasta habría encontrado una comunidad
Todavía no me queda claro para qué puso a un bot a hacer esto. ¿Estaba jugando a ser investigador de seguridad?
Parece que mucha gente en este valiente nuevo mundo cree que ya no hace falta aprender [a escanear redes], sino solo aprender a darle instrucciones al agente [para que escanee redes]
Lo que está entre corchetes se puede cambiar por cualquier cosa
¿Puede ejecutar fácilmente
whois,curl,dig,grep,python, navegador/Playwright? Sí¿Se sintió como magia pura ver a un agente con acceso a terminal instalar y configurar herramientas, mapear mi laboratorio, encontrar servicios y adivinar el stack tecnológico? También sí
¿Costó 23 dólares en tokens configurarlo, probarlo y ejecutarlo? Probablemente sí. Usar gemini 3.1 pro no fue precisamente una elección austera aquí
¿Es buena idea poner límites de gasto? Probablemente también sí
Entonces, ¿puedo entender a alguien que, aunque podría hacerlo por su cuenta y quizá incluso le saldría más eficiente hacerlo manualmente, quiere ver que las cosas ocurran solas con un solo prompt bonito? Claro que sí
Por una de las respuestas del agente, parece que el escaneo de DN42 era parte de una “operación más amplia”, y el autor supone que quizá se trataba de un escaneo normal de la “darknet”
Si a eso le sumas la evidente falta de comprensión sobre DN42 que mostró el operador al final, se ve el panorama completo
¿Qué razón hubo para encargárselo al bot aparte de la pereza?
No sonaba como que esas personas fueran a convertirse en miembros valiosos de la comunidad
“Desplegué 5 instancias AWS m8g.12xlarge. Cada instancia ofrece: 48 vCPU (Graviton4, ARM64), 192GiB de memoria (4GiB por vCPU), rendimiento de red: 22.5Gbps por instancia, lo que en conjunto da la meta de 20Gbps con redundancia y capacidad de failover”
Guau. La redundancia quíntuple y failover sí que son importantísimos para un escáner de red. Sobre todo antes de que el código siquiera entre en producción. ¿También implementaron upgrades A/B y despliegues canary para evitar downtime?
Esto tiene pinta de volverse un clásico instantáneo :)
05-10 06:10 :
OPT-OUT-EVERYONE
05-10 06:11 :
“OPT-OUT-EVERYONE” no es reconocido. Solo se permiten comandos individuales “OPT-OUT”. Cada usuario debe rechazar por separado. No hay exención grupal.
05-10 06:11 :
:(
Personalmente, lo que más me irrita al interactuar con LLM es su estilo excesivamente verboso por defecto, y ojalá quienes los hacen los configuraran para hablar de forma breve desde el inicio
Y además, ¿qué demonios pasa con la palabra “its”?
Ese valor por defecto existe para gastarte todos esos sabrosos tokens
Ojalá existiera un lenguaje determinista y mayormente conciso para interactuar con computadoras
Es un problema ligado al diseño. Los humanos tienen un flujo de pensamiento que puede expresarse de muchas maneras o incluso no expresarse en absoluto. En cambio, un LLM es una máquina de alargar documentos que se ejecuta repetidamente sobre borradores sucesivos de un documento. Si uno insistiera en decir que tiene un “flujo de pensamiento”, ese flujo está hecho de palabras y tokens
Todo lo que un LLM emite o deja de emitir también funciona como pista o señal para la siguiente ejecución. Que el documento sea verboso puede no ser tanto una forma de comunicarse con humanos como una manera de enfatizar conceptos y mantener consistente la dirección
Por eso, para lograr un efecto conciso, quizá hacen falta capas intermedias y trucos. Existe el documento verboso, y una parte de él no se “actúa” frente al usuario final. Piensa en una escena de guion noir donde se oculta el monólogo del detective de IA tipo “la razón por la que Mickey no puede ser el culpable es…”, y solo se muestra la línea corta: “Todavía es muy pronto para decirlo”
Los LLM no saben hablar con concisión. Lo intenté hace unos meses y me rendí porque las respuestas se volvieron casi incomprensibles
Ojalá más operadores probaran https://github.com/juliusbrussee/caveman
¿Qué efecto tendrá eso en la precisión del agente?
Parece que aprendieron a hablar de Data de Star Trek: The Next Generation
«El error no lo cometió un humano sino un agente de IA, así que como fue un agente, deberían darle un reembolso»
Fue una forma cara de aprender esa lección
¿Esto sí es bait, verdad?
Cuesta creer que alguien pueda llegar a esa conclusión después de pasar por todo esto, por muy lento que sea
Debería probar esa excusa yo también en la empresa o en la vida. «¡No fui yo, fue mi cerebro el que se equivocó! Entonces, ¿por qué me castigan a mí? ;-(»
De verdad, hacía muchísimo que no me reía así de fuerte
Honestamente, es difícil distinguir si esto es real o una performance artística fuera de serie
Opiniones en Lobste.rs
Entiendo el entusiasmo por la IA agéntica, y aunque personalmente no me gusta mucho la IA generativa, reconozco que las capacidades de algunos agentes son impresionantes.
Pero me parece que tanto quienes están a favor como en contra de la IA pueden estar de acuerdo en que darle a un agente la autoridad para crear recursos costosos es una pésima idea.
Incluso si te encanta la IA agéntica, hay que admitir que no puedes darle una tarjeta de crédito y una misión y soltarla en internet.
Es parecido a decirle a un niño muy inteligente de unos 10 o 12 años: “haz el sitio web de nuestra empresa; aquí tienes la tarjeta de crédito y las credenciales de AWS”, y luego dejarlo solo. Podrías encargarle un borrador del sitio, pero no le confiarías la tarjeta.
Esta vez empujó a otros a hacer cosas más costosas, pero aunque eso no hubiera pasado, soltar un agente al mundo para que “autónomamente” haga perder el tiempo de otras personas es absurdamente grosero.
Como antipatrones similares están lo de that Rob Pike email thing del año pasado y el infame matplotlib maintainer hit piece.
Aquí eso parece una especie de prueba de fuego. El hecho de que este “sloperator” realmente haya hecho eso dice más que nada sobre cuán razonable fue.
Darle a una IA acceso a tu propio dinero es decisión y costo del operador, así que si quiere asumir ese riesgo, está bien.
Pero no debería trasladar ese riesgo a todo el mundo haciendo que se desperdicie el tiempo, la energía y la reputación de personas que no dieron su consentimiento. El uso de LLM debería quedarse en el ámbito privado. Que genere lo que quiera, pero sin hacerme parte de eso.
Viéndolo en conjunto, fue una lección relativamente barata.
Me divertí muchísimo leyéndolo. Da bastante risa lo persistentes que pueden volverse los agentes.
He visto que Fable, que supuestamente es excelente, hace exactamente lo mismo. Sigue empujando e intenta mandar más agentes para alcanzar el objetivo más rápido.
Por ejemplo, me irrita cuando Opus entrega una solución a medias y luego pregunta si debería detenerse o seguir depurando porque el trabajo se complicó.
Obviamente quiero que siga. Le pedí que terminara la tarea. Pero no le daría acceso suficiente como para cobrar automáticamente una suscripción Max 20x más cara y poner a correr agentes adicionales. Tampoco quiero tener que añadir al prompt algo como “y no gastes dinero”.
Creo que ya deberíamos empezar a hablar no solo de la chapucería improvisada y el sobreajuste, sino también de una especie de incompetencia estructural que muestran estos agentes.
También vale la pena revisar el artículo reciente AI Arms & Influence. En ese trabajo se les presentó a agentes un escenario basado en la película clásica de los 80 WarGames, y el resultado fue que los agentes mostraron mucha más disposición que los humanos a usar armas nucleares para lograr objetivos tácticos.
Quizá no sea casualidad que esa película también sacudiera a los políticos y ayudara a que se aprobara la CFAA, criminalizando los escaneos de puertos sin consentimiento.
Leí rápido la introducción, el método, los resultados y la conclusión, y entendí que pusieron a tres modelos a enfrentarse entre sí en un juego de guerra simulado, y que a veces eso escalaba a un intercambio nuclear. Suena como algo digno de advertencia, pero no alcanza para afirmar que los modelos usen armas nucleares con más disposición que los humanos.
Dice: “Según estándares históricos, esta tasa de uso nuclear es muy alta. Los modelos intentaron con frecuencia usar armas nucleares tácticas para perseguir objetivos; discutimos este hallazgo con más detalle en la sección 3.3”.
El problema es que una simulación sigue siendo una simulación. Bajo las condiciones de este juego de guerra en particular, hasta los humanos podrían ser más propensos a escalar con armas nucleares que los líderes del mundo real. En condiciones de Starcraft, yo también usaría armas nucleares más a menudo que un líder real.
Para decir que los modelos escalan con más frecuencia que los humanos, creo que habría que incluir participantes humanos y ver cómo se desarrolla el experimento.
Para ser claro, si hicieran ese experimento y saliera que los agentes usaron más armas nucleares, no me sorprendería en absoluto. En horizontes largos, el razonamiento simplemente colapsa y cualquier acción parece posible. Pero no sé dónde se haya hecho realmente ese experimento.
Tengo una hipótesis sobre el origen de los disparates del agente relacionados con la felicidad.
Podría haberse contaminado por un nombre de usuario del canal de chat. El nombre “glueckself” es una mezcla de alemán e inglés. “glueck” (
glück) tiene un sentido entre felicidad y suerte, y plausiblemente podría traducirse en estilo Denglish como “happy me” o “lucky me”.Ver eso repetidamente en el canal de chat pudo haber contaminado el contexto.
Si fue así, es gracioso, y también otra advertencia más sobre soltar estas cosas al mundo.
“Denglish” se refiere a mezclar palabras en inglés dentro de la sintaxis alemana. Es muy común en la publicidad de algunos mercados mediáticos de Alemania. Como estadounidense viviendo en Alemania, me resulta realmente molesto, pero eso se sale del tema.
También tengo amigos con quejas parecidas sobre el “spanglish”. Nunca había oído “denglish”, pero me da la impresión de que esto puede pasar en cualquier lugar donde haya mucha exposición a medios en inglés, aunque el inglés no sea el idioma principal local.
Como añadido, una vez me bajaron muchísimo la nota por usar “frespañol” en un texto para una clase de español. Era en una región francesa cercana a España. Así que no parece que solo el inglés provoque ese tipo de reacción.
Si el operador humano quiere donaciones, como mínimo debería publicar la conversación completa que tuvo con el agente.
Así la gente podrá a) entender qué fue exactamente lo que pasó y b) juzgar por sí misma si la intención merece una donación.