- El principal riesgo señalado es que la IA agéntica integrada a nivel del sistema operativo puede registrar toda la actividad digital personal y quedar expuesta al malware
- Meredith Whittaker y Udbhav Tiwari de Signal afirmaron en el 39º Chaos Communication Congress que este tipo de IA es vulnerable en seguridad, confiabilidad y vigilancia
- La función Recall de Microsoft captura periódicamente toda la pantalla del usuario y la convierte en una base de datos, y esta información puede quedar expuesta a malware o ataques de inyección de prompts
- Whittaker presentó cifras para mostrar que, al ser los agentes de IA sistemas probabilísticos, mientras más pasos haya, la precisión cae con rapidez, y su confiabilidad para realizar tareas complejas es baja
- Ambos pidieron detener los despliegues indiscriminados, establecer la exclusión por defecto y reforzar la transparencia, y advirtieron que, de lo contrario, la pérdida de confianza del consumidor podría poner en crisis a toda la industria de la IA
Riesgos de seguridad y vigilancia de la IA agéntica
- Si la IA agéntica se integra a nivel del sistema operativo, toda la vida digital personal puede almacenarse en una base de datos, lo que eleva la posibilidad de acceso por malware
- Estas bases de datos incluyen el comportamiento del usuario, textos, tiempo de uso de apps y actividades en foco
- En algunos casos puede activarse automáticamente sin consentimiento, lo que genera una gran preocupación por la invasión de la privacidad
- Ejecutivos de Signal señalaron que esta estructura provoca al mismo tiempo inestabilidad de seguridad y riesgos de vigilancia
El caso de Microsoft Recall
- Microsoft está introduciendo IA agéntica en Windows 11 mediante la función Recall
- Recall captura la pantalla cada pocos segundos y realiza OCR y análisis semántico para acumular en una base de datos toda la actividad del usuario
- Los datos incluyen la cronología de comportamiento, texto original, tiempo de concentración por app y clasificación por temas
- Tiwari señaló que este enfoque no logra impedir ataques de malware ni ataques ocultos de inyección de prompts
- Estas vulnerabilidades pueden eludir el cifrado de extremo a extremo (E2EE)
- Signal añadió una función para bloquear la grabación de pantalla dentro de su propia app, pero la evaluó como una solución no fundamental
Problemas de confiabilidad de la IA agéntica
- Whittaker explicó que la IA agéntica es un sistema probabilístico, por lo que mientras más pasos haya, más cae la precisión
- Si cada paso tiene una precisión del 95%, la tasa de éxito de una tarea de 10 pasos es de aproximadamente 59.9%, y la de 30 pasos es de aproximadamente 21.4%
- Con un criterio más realista de 90% de precisión, la tasa de éxito de una tarea de 30 pasos se desploma a 4.2%
- También mencionó que incluso los mejores modelos de agentes actuales muestran una tasa de fallo del 70%
- Por ello, subrayó que se trata de una tecnología con muy baja confiabilidad para encargarse de tareas complejas de automatización
Medidas de mejora para privacidad y seguridad
- Whittaker señaló que, por ahora, no existe una forma de garantizar por completo la privacidad, la seguridad y el control, y que solo es posible una respuesta temporal (triage)
- Sin embargo, planteó que el riesgo puede mitigarse con medidas como las siguientes
- Detener los despliegues indiscriminados de IA agéntica y restringir el acceso del malware a bases de datos en texto plano
- Configurar la exclusión por defecto, de modo que solo los desarrolladores hagan opt-in de forma explícita
- Garantizar transparencia sobre cómo funcionan los sistemas de IA y cómo procesan los datos, con un diseño que permita auditoría a nivel de detalle
- Advirtió que, si estas medidas no se implementan, la pérdida de confianza del consumidor podría poner en peligro la propia era de la IA agéntica
Advertencia para toda la industria
- Ejecutivos de Signal advirtieron que la IA agéntica avanza en medio de inversión excesiva y sobrevaloración, pero que,
si no se resuelven los problemas de seguridad, confiabilidad y vigilancia, toda la industria enfrentará una crisis
- Subrayaron que las empresas deben priorizar la protección del usuario y la transparencia por encima de la innovación tecnológica
1 comentarios
Comentarios en Hacker News
Esto no es un problema de IA, sino del sistema operativo
La IA es mucho menos confiable que el software escrito y revisado por humanos, así que está dejando en evidencia las fallas de los sistemas existentes
Ni UNIX ni Microsoft lograron implementar bien el aislamiento de procesos, y aunque los modelos de seguridad estuvieran bien diseñados, eso no ayudaba a vender computadoras ni sistemas operativos
Hay buenos ejemplos como Plan 9, SEL4, Fuschia y Helios, pero el problema es la falta de criterio de quienes toman decisiones
Debería dar vergüenza no entender el sandboxing y los modelos modernos de seguridad
Al desplegar software en un entorno con seguridad fuerte, por defecto puede que no se pueda comunicar con nada y que el sistema de archivos sea inmutable, al punto de que ni siquiera arranque
Si además se incluyen certificados TLS y configuración de CA, el despliegue se vuelve una pesadilla
Para implementar algo como Recall de forma segura se necesita un control de permisos muy granular, pero en la práctica probablemente sería tan molesto como UAC
Hacer que la IA funcione como un asistente personal y al mismo tiempo sea segura y confiable es un reto muy difícil
Como la mayoría se diseñaron antes de internet, rehacerlos por completo hoy es casi imposible por problemas de compatibilidad y costos
Los contenedores o las VM al final no son más que soluciones parcheadas montadas sobre sistemas heredados
Da igual si se mete en el navegador, el cliente de correo o el procesador de texto: se comporta de formas impredecibles
Al final, el problema de fondo es la decisión de integrar LLM que no se pueden asegurar
El aislamiento completo es demasiado caro en términos de recursos y complejidad, y esa es también la razón por la que sistemas como Qubes no se masificaron
Habría que rediseñar interfaces nuevas con una superficie de ataque inherentemente baja, pero eso implica cambiar todo el ecosistema
Está bien que Signal ponga seguridad y privacidad por encima de todo
En cambio, el rol del IT corporativo es gestionar riesgos
Son funciones completamente distintas, y el estándar absoluto de seguridad de Signal encaja con su misión
Me pregunto cuál sería un enfoque sensato para que los administradores de IT controlen el riesgo dentro de la organización
Recuerdo haber visto en 2009 en Microsoft Research un proyecto que parece ser el antecedente de Recall
Se llamaba PersonalVibe, y tenía una estructura en la que registraba el comportamiento del usuario en una base de datos local, pero sin enviarlo al exterior
Enlace del proyecto
En entornos corporativos, el atractivo de ‘Agentic AI’ es grande, pero la previsibilidad es un valor todavía más importante
Si funciona bien solo el 90% del tiempo y en el 10% restante hay filtraciones de datos o alucinaciones, entonces no es un agente sino un factor de riesgo
Por ahora seguimos en una etapa donde human-in-the-loop es indispensable
Las empresas gestionan el riesgo interno, pero el riesgo externo lo descargan en los términos o en el EULA
La mayoría de la gente hace clic pensando “confío en el proveedor” o “la empresa lo va a bloquear”
La dirección siente la tentación de patear el riesgo de la IA hacia el futuro para privilegiar resultados de corto plazo
Funciones como Recall son una idea absurda
Anthropic y ChatGPT también están tratando de absorber al modelo todos los datos laborales del usuario
Lo que hace falta ahora es privacidad verificable en la etapa de inferencia
Si mis datos se van a transmitir, deben protegerse de una forma necesariamente verificable
La gente está entregando todos sus datos a empresas que ni conoce
Si funcionara solo cuando uno quiere y en forma de app portátil no integrada al sistema operativo, tal vez estaría bien
Podría servir para dejar registro del trabajo mientras uno resuelve problemas
Un entorno que no salga a la red externa es la única respuesta
Es difícil que una persona espere el mismo nivel de privacidad con apenas unos cientos de dólares
Las empresas de IA ya llevan años haciendo una recolección de datos cercana a lo ilegal, y al gobierno no le importa
El avance tecnológico se siente como una ‘carrera hacia el fondo’
Parece que 30 años de investigación en seguridad no hubieran servido de nada
Los navegadores con IA manejan cookies y tokens de autenticación, y eso hizo que la superficie de ataque creciera sin límite
La idea de “démosle acceso total a un sistema cuyo funcionamiento ni entendemos” es una locura
La IA puede sugerir acciones, pero las decisiones siempre deberían ejecutarse solo después de la confirmación del usuario
Por ejemplo, si detecta una solicitud para cancelar una suscripción, debería preguntar: “La IA lo interpretó así, ¿es correcto?”
Aun así, los humanos tienen el problema psicológico de confundir un sistema 90% preciso con uno 100% correcto
Por ejemplo, ante una petición en lenguaje natural como “artículos sobre Foo excluyendo Bar”, podría convertirla en una consulta de búsqueda estructurada y proponerla
Claro, si hay un dataset malicioso sigue habiendo riesgo, pero aun así es mucho mejor que integrar LLM sin criterio
Me pregunto si ejecutar la IA en una cuenta de usuario aislada,
con un firewall basado en listas blancas y un sistema de archivos overlay,
podría impedir comportamientos no deseados
Lo que hace falta es un modelo de zero trust a nivel de interacción
Hay que hacer que la IA pueda realizar tareas sin ver directamente los datos sensibles
Si se combina con enclaves de seguridad de hardware, el problema de privacidad podría resolverse de raíz
Este artículo coincide exactamente con lo que pedí ayer
Enlace relacionado