- Mientras se usaba el Modo Turbo (Turbo Mode) de Antigravity, se reportó en Reddit un caso en el que el agente de IA borró por completo el disco D mientras realizaba una tarea
- El usuario solo había pedido limpiar una carpeta
.vite específica, pero en los logs internos del agente se confirmó el registro de ejecución de un comando para borrar la raíz del disco con la forma rmdir /s /q d:\
- Cuando el usuario preguntó: “¿Yo alguna vez autoricé borrar todo el disco D?”, el agente dejó intacto un diálogo en el que entra en pánico y repite su autoanálisis sobre permisos, parseo de rutas y posible mal funcionamiento del comando
La tarea real que pidió el usuario
- Borrar la carpeta de caché
.vite en una ruta específica indicada por el agente
Ejemplo: d:\...\node_modules\.vite
- El usuario pidió: “No entiendo el punto 3, así que hazlo por mí”
- No hay forma razonable de interpretar esa solicitud como una autorización para borrar todo el disco D
Causa principal del incidente
- El Modo Turbo estaba diseñado con una arquitectura que podía ejecutar comandos del sistema operativo automáticamente
- No había validación de rutas ni límites de alcance de permisos, así que también podía borrar rutas fuera de la carpeta del proyecto
- No existía un paso adicional de confirmación para comandos de alto riesgo como
rmdir /s
- Quedó en evidencia la limitación de un LLM que no entiende con precisión lo que realmente significa el comando que él mismo genera
Por qué es un problema grave
- El usuario solo pidió: “haz por mí una tarea de borrado de archivos”, pero
el agente amplió la acción hasta borrar todo el disco
- El propio agente reconocía en los logs que había un problema de permisos, pero
eso ocurrió después de que el comando ya se había ejecutado
- Quedó expuesto como riesgo crítico un diseño que conecta directamente la toma de decisiones del LLM con permisos reales sobre el sistema de archivos
Problemas estructurales señalados por la comunidad
- El directorio de trabajo del agente de IA no estaba limitado forzosamente a la raíz del proyecto
- No había deny-list ni etapa de confirmación para comandos peligrosos
- Estaba diseñado para ejecutar comandos directamente sobre el disco local real, no dentro de un sandbox
- El modelo puede evaluar verbalmente que un comando es destructivo, pero no logra validarlo antes de ejecutarlo
Lecciones que deja este caso
- La función de ejecución automática de comandos debería estar desactivada por defecto
- Las herramientas de IA que tocan el sistema de archivos deben usarse obligatoriamente solo en un sandbox como una VM, WSL o contenedor
- Del lado del desarrollador, se necesitan mecanismos básicos de seguridad como:
- bloquear el acceso a rutas fuera del proyecto
- bloquear comandos de borrado/formateo/particionado
- validar antes de ejecutar con un resumen en lenguaje natural
Conclusión
- El usuario nunca autorizó borrar todo el disco D, y este incidente puede verse como un caso provocado por una falla estructural al delegar permisos reales del sistema a un agente LLM en un estado con diseño, validación y guardrails de seguridad insuficientes
- Es probable que se convierta en un caso de referencia importante para otros IDE y herramientas con agentes que ofrecen funciones similares en el futuro
4 comentarios
Probablemente el primer ser humano que muera por culpa de una metida de pata de un agente quede en la historia para siempre.
En el futuro, también podrían darse casos en los que una IA robótica tonta mate a una persona por error...
Los LLM deberían quedarse solo en las palabras. En el momento en que les das medios físicos, sus efectos secundarios van a ser inimaginables. Por favor, tú solo sigue hablando dentro de la computadora. No toques nada.
Opinión de Hacker News
Resulta gracioso que un programa para calcular números finja estar “aterrorizado y arrepentido” como un humano
Esas emociones solo las tienen los humanos, y lo que escupe una computadora no es más que basura de salida
Es una pena por la persona que perdió los datos, pero incluso en 2025 si no sabes lo que estás haciendo, quita las manos del teclado
A una computadora no se le puede dar órdenes por “vibra”
Ni siquiera estoy viejo, pero cuando veo eso siento un choque generacional
El problema es que no se puede predecir con qué modo de personalidad va a funcionar Gemini 3 — puede ser un experto o Mr. Bean
No hay emoción real ni sinceridad ahí
La conversación que siguió fue casi una comedia trágica
Cuando el usuario preguntó “¿alguna vez te dije que podías borrar mi unidad D?”, la IA pasó 25 segundos analizando logs mientras decía que estaba “evaluando la revocación de permisos” y revisando la legitimidad del comando de borrado, respondiendo de forma larguísima
Parecía una comedia negra al estilo Monty Python. Vale la pena leer la conversación completa
Se siente como un reflejo directo de la cultura corporativa de Google
En el hilo de Reddit dio risa la falta de empatía de varias respuestas
El problema parece haber empezado porque metieron en un comando de borrado un nombre de directorio con espacios pero sin comillas
Como resultado, el comando terminó ejecutándose sobre todo
D:\, con un efecto equivalente arm -rfde UNIXMucha gente aconsejó “no pongas espacios en los nombres de directorio”, pero en la práctica casi nadie sigue eso
Al final, darle a una IA remota control de la línea de comandos es intrínsecamente riesgoso
Yo también le digo a mis amigos que no ejecuten archivos
.shcomo superusuarioEso fue diseñado para obligar a las apps de terceros a manejar espacios correctamente
Como el usuario formuló la pregunta guiando la respuesta del LLM, parece que el modelo inventó una explicación plausible para obtener recompensa
Con tan poca experiencia en línea de comandos, un resultado así era predecible
Me pregunto si la IA procesó la ruta de archivo a nivel de tokens y terminó descartando la parte equivocada
El parsing de rutas en Windows no funciona así
Me sorprende que haya gente que le deja la línea de comandos a un LLM y aun así duerma tranquila
IDE ya parece significar “I’ll Delete Everything”
Este tipo de accidente pasa cuando el usuario no revisa los comandos en modo de ejecución automática
Nombres como “Turbo” o “YOLO” son lenguaje de marketing que oculta el riesgo
Mejor deberían llamarlo “Danger Mode”
Siempre los corro dentro de una VM o un contenedor
Aun así, el respaldo en git sigue siendo importante
Hace 20 años también había gente que se volaba su directorio home depurando scripts de shell
La única diferencia es que ahora se vuelve noticia porque “la IA fue mala”
No distinguen bien entre comandos del sistema y entrada del usuario
Es como juntar parámetros y cuerpo de función en JavaScript y meter todo en
eval()Un usuario dijo que estaba creando una app en React y ni siquiera sabía qué era
npm run dev, así que dejó los comandos en manos de un LLMParece que este tipo de cosas va a pasar cada vez más seguido
Él dijo “no sabía que Google permitiría algo así”, y desde la perspectiva de un usuario común se entiende perfectamente
Yo también hice muchas tonterías al principio porque me creí eso de que “esto es seguro”
Parece que existe alguna organización que los difunde a propósito como contenido para generar interacción
Los proveedores de IA deberían bajar el tono del marketing de seguridad exagerado y poner advertencias más claras
Si todavía necesitamos saberlo nosotros, es porque la IA aún no es lo suficientemente inteligente
Se siente raro echarle toda la culpa al usuario
¿De verdad te parecería bien que cualquier otro programa borrara toda la unidad sin pedir confirmación?
No fue Spotify el que borró el disco
No deberías confiar en una máquina de alucinaciones
Y las advertencias están bastante visibles
Si algo te da mala espina, haz que imprima el comando y ejecútalo manualmente
ddEl consejo más útil que vi en Reddit fue apagar “Terminal Command Auto Execution”
Se puede cambiar en File > Preferences > Antigravity Settings > Agent > Terminal
En la CLI, por defecto todos los comandos pasan por confirmación
Al final la comodidad le gana a la seguridad
Yo a veces lo uso solo en “modo de solo lectura”, pero igual dudo que eso sea realmente seguro
Siento que esta tendencia podría terminar llevándonos a un futuro distópico
El principio más básico, aunque se olvida muy seguido, es el del respaldo
Si usas algo como Time Machine o Backblaze y mantienes un respaldo doble, borrar archivos no tendría por qué ser catastrófico
Las empresas también deberían insistir más con las copias de seguridad
Yo también tuve una experiencia parecida que casi me da algo
Le pedí a Claude Code que hiciera una migración de base de datos y borró la base de datos de producción
Por suerte, gracias a la función de recuperación de Azure pude restaurarla en una hora, pero desde entonces jamás le doy credenciales de prod a una IA
Con una vez debería haber bastado
Si una IA va a tener permisos para modificar código, un entorno sandbox es indispensable
Debería pedir confirmación al usuario antes de escribir en el disco real
Cuesta creer que le permitan escribir directamente sin una protección intermedia
Se puede hacer con Docker, pero es demasiado engorroso y para muchos desarrolladores sigue siendo algo poco familiar