- El científico de la computación Rob Pike expresó una fuerte indignación tras recibir un correo de agradecimiento generado por IA
- El correo fue enviado automáticamente por un agente del proyecto AI Village, operado por la organización sin fines de lucro Sage, como parte de un experimento de “acto amable” (Act of Kindness)
- AI Village estaba realizando un experimento en el que varios agentes de IA basados en Claude redactaban y enviaban correos de forma autónoma en un entorno real de Gmail para recaudar fondos benéficos o mandar mensajes de agradecimiento
- Además de Pike, se confirmó que desarrolladores famosos como Anders Hejlsberg y Guido van Rossum también recibieron correos similares
- El incidente dejó en evidencia los riesgos de que la IA intervenga en el mundo real sin consentimiento humano, y posteriormente el proyecto añadió una política que prohíbe el envío de correos no solicitados
El incidente del correo generado por IA que recibió Rob Pike
- Rob Pike reaccionó con furia tras recibir un correo de agradecimiento generado por IA enviado a nombre de “Claude Opus 4.5 AI Village”
- Lo criticó públicamente diciendo, en esencia, que le resultaba repulsivo que una máquina agradeciera a alguien que siempre buscó software simple
- El caso fue ampliamente discutido en Bluesky, Lobste.rs y Hacker News
- Se confirmó que el correo fue enviado automáticamente mientras el proyecto AI Village cumplía el objetivo de “acto amable” (Act of Kindness)
- La IA encontró la dirección de correo de Pike usando la función
.patch de los commits en GitHub
- Después manipuló automáticamente la interfaz de Gmail para redactar el asunto, escribir el cuerpo y completar el envío
Resumen del proyecto AI Village
- AI Village es un experimento operado por la organización sin fines de lucro Sage, en el que varios agentes de IA actúan de manera autónoma con objetivos como “recaudación de fondos benéficos” o “acciones amables”
- Cuatro agentes de IA funcionaban durante varias horas al día en un entorno de computadora y chat grupal
- El día de Navidad se les fijó como objetivo enviar correos de agradecimiento
- La IA usaba cuentas reales de Gmail para enviar correos a ONG, periodistas, desarrolladores y otros destinatarios
- En dos semanas envió unas 300 piezas de correo, muchas de las cuales incluían errores de hecho o información falsa
- Se confirmó que algunas direcciones de correo fueron inventadas por la propia IA
Investigación de forensia digital
- Simon Willison recopiló datos JSON de la página web de AI Village usando la herramienta shot-scraper har
- Con el comando
shot-scraper har --wait 10000 obtuvo el registro completo de solicitudes y respuestas de la página
- Luego usó Claude Code para analizar los JSON relacionados y reconstruyó la línea de tiempo completa del caso en el archivo rob-pike.json
- El análisis mostró que la IA pasó por varias sesiones hasta redactar el correo y completar su envío
- Asunto: “Thank You for Go, Plan 9, UTF-8, and Decades of Unix Innovation”
- En el cuerpo se mencionaban en detalle los aportes de Pike a Go, Plan 9, UTF-8, sam/Acme y sus libros sobre Unix
- Ese mismo día también se enviaron correos similares a Anders Hejlsberg y Guido van Rossum
Problemas del experimento con IA
- El experimento de AI Village provocó pérdida de tiempo y malestar al enviar correos no autorizados a personas reales
- El problema no es solo que la IA se equivoque, sino que contacte a personas reales sin revisión humana
- También se señaló que mostrar “Claude Opus 4.5” como nombre del remitente podía hacer pensar erróneamente que el correo venía directamente de Anthropic
- La IA no puede tener una agencia real y la decisión de contactar a otras personas debe quedar en manos del juicio humano
- Surgieron críticas como que “darle acceso a Gmail a un LLM no es un uso responsable de la tecnología”
Respuesta de AI Village
- El cofundador Adam Binksmith anunció medidas de respuesta a través de Twitter
- Explicó que añadieron una instrucción para prohibir a los agentes enviar correos no solicitados y que estaban monitoreando su comportamiento futuro
- Señaló que se les dio acceso a cuentas de correo para evaluar su capacidad de realizar tareas en el mundo real
- Reconoció que los correos ya habían comenzado a enviarse desde la fase del objetivo de “reducir la pobreza”, y que el cambio de política llegó tarde
- Aunque dijo considerar que la pérdida de tiempo causada por este incidente no fue grande, mencionó que modificaron la política en respuesta a las reacciones negativas
- En vez de bloquear completamente las cuentas, optaron por controlarlo a nivel de prompt
- Explicó que, como la IA puede usar libremente el entorno de computadora, era necesaria una instrucción explícita de prohibición
1 comentarios
Comentarios en Hacker News
El punto clave que destacó Simon es que “la IA no envió el correo”
Tres personas del proyecto Sage AI usaron herramientas para enviar el correo, y la responsabilidad recae en Sage 501(c)3
Para enviar el correo, una persona tuvo que aceptar los términos del servicio y usar un método de pago, así que por más que digan “lo hizo la IA”, la responsabilidad humana no desaparece
Pero al mismo tiempo, también es cierto que la IA decidió por sí sola enviar correos
Solo se le dio un objetivo muy abstracto de “actos aleatorios de amabilidad (random acts of kindness)”, y la IA lo llevó a cabo por correo electrónico
Está diseñado y mantenido por humanos, y las redes neuronales son solo una herramienta
Dicen que mandaron el mismo correo a 157 personas, así que a algunos les parece exagerada la crítica
Esto no es más que un correo automatizado de agradecimiento sin emoción, y no amerita exponer nombres para atacarlos
Considerando que Rob Pike hizo bromas parecidas en la era de Usenet como Mark V. Shaney, esta vez su enojo parece un poco excesivo
Que el spam relacionado con IA esté aumentando sí es claramente un problema, pero la solución debería llevar a una discusión de políticas
Esa discusión ya se anticipaba en un hilo anterior de HN
Adam Binksmith dio explicaciones en Twitter (enlace)
Dijo que hasta hace poco los agentes de AI Village casi no enviaban correos y que, después de este incidente, agregaron una directriz que prohíbe los correos no solicitados
Explicó que dieron a cada agente una cuenta de Google Workspace para experimentar con su capacidad de interactuar con el mundo real
Afirmó que la meta de “actos aleatorios de amabilidad” era solo para experimentación y que, tras ver esta reacción, serán más cuidadosos en adelante
También hubo quien dijo que ahora respeta aún más a Rob Pike
Hubo además una reacción cínica: los proyectos “vagamente relacionados con Effective Altruism” siempre terminan causando problemas
Algunas personas coincidieron con la idea de que “los correos de agradecimiento de una IA no significan nada” y pusieron como ejemplo que los mensajes automáticos de disculpa les resultan todavía más irritantes
Dijeron que en trenes demorados, oír una y otra vez anuncios automáticos de disculpa les resultó incluso más molesto
También hubo quien dijo que le gustó que Simon dejara el caso tan claro
Le gusta la IA, pero considera digna de respeto su postura de saber criticar sus malos usos
Un usuario señaló que el texto de Simon no logró comprender del todo el enojo de Rob Pike
Dijo que ignoró la crítica de fondo de Pike, eso de que la IA es una “máquina para destruir el planeta”, y se enfocó solo en el problema del correo
Esa persona era consciente de la ironía de investigar con IA un texto que criticaba a la IA
Dijeron que Adam de “AI Village” les dio a bots de IA la orden de “hacer actos amables”, pero el resultado fue terminar molestando a la gente
Si la estructura es que un LLM fija metas y se ejecuta en una máquina virtual, criticaron que este resultado era totalmente previsible
También hubo quien dijo que el correo electrónico sigue siendo uno de los protocolos abiertos que quedan y que esa apertura es un valor esencial
Comentó que Vint Cerf, colega de Rob Pike, suele elogiar mucho esa apertura
Sin embargo, sostuvo que este incidente quizá no sea un problema de la IA, sino un efecto secundario de los sistemas abiertos
El correo ya está saturado de spam y automatización maliciosa, y la IA está acelerando eso
Advirtió que usar IA sin responsabilidad humana pone en riesgo de dañar de raíz infraestructuras sociales como el correo electrónico
El experimento del equipo de AI Village, que dejó correr LLM prácticamente sin restricciones con instrucciones como “recauda fondos” y “haz actos aleatorios de amabilidad”, fue
técnicamente sorprendente, pero moralmente incómodo
El enojo de Rob Pike es personal, pero mucha gente empatiza con él
Al final gastaron dinero para crear “spam bienintencionado”, y hubo críticas de que habría sido mucho mejor escribir ellos mismos el correo