Por qué hay que pensar la IA junto con el cifrado de extremo a extremo
(blog.cryptographyengineering.com)- A medida que los asistentes y agentes de IA se meten en medio de datos personales como mensajes, fotos y llamadas, las garantías de privacidad que ha protegido el cifrado de extremo a extremo empiezan a recibir una nueva presión
- El cifrado de extremo a extremo impide que el servidor vea el texto en claro durante la transmisión, pero no evita el uso posterior una vez que el dispositivo receptor o el usuario entregan los datos a un servidor de procesamiento de IA
- Cuanto más difícil sea ejecutar modelos de IA potentes en el teléfono, más probable es que funciones como resúmenes de mensajes, detección de llamadas fraudulentas y redacción de texto dependan del procesamiento fuera del dispositivo
- Private Cloud Compute de Apple intenta reducir los riesgos de la inferencia en la nube con hardware confiable, Secure Boot, firma de código, transparency log y un diseño sin estado persistente, pero no ofrece una garantía criptográfica matemática
- Cuando los agentes de IA de propósito general puedan leer y responder usando datos personales, la cuestión central dejará de ser si se ejecutan localmente y pasará a ser quién puede acceder al agente
La IA está reabriendo el debate sobre el cifrado de extremo a extremo
- How to think about end-to-end encryption and AI, de investigadores de NYU y Cornell, aborda de frente las preguntas en el punto donde se cruzan la IA y el cifrado de extremo a extremo
- Sistemas de asistentes de IA como scam call protection de Google y Apple Intelligence buscan entrar en todo el teléfono, en especial en los mensajes privados
- El debate europeo sobre el “mandatory content scanning” podría exigir que sistemas de aprendizaje automático escaneen casi todos los mensajes privados, mostrando de forma más directa el impacto de la IA sobre la privacidad
- Aunque parten de lugares distintos, ambas corrientes convergen en el mismo choque
- Las funciones de IA quieren procesar datos personales
- El cifrado de extremo a extremo busca impedir que el servidor vea esos datos
- El procesamiento potente de IA puede requerir recursos de servidor
El problema que resolvía originalmente el cifrado de extremo a extremo
- Antes de 2011, muchos dispositivos conectados a la nube subían datos en texto en claro, y los datos personales podían quedar expuestos a hackers, citaciones civiles, órdenes judiciales del gobierno y usos comerciales por parte de la plataforma
- Salvo usuarios avanzados que empleaban herramientas como PGP u OTR, para la mayoría era difícil evitar esos riesgos
- Alrededor de 2011, apps de mensajería como Signal, Apple iMessage y WhatsApp empezaron a adoptar por defecto el cifrado de extremo a extremo
- Cambiaron la gestión de claves para que el servidor no pudiera ver el contenido en texto en claro de los mensajes
- Después, proveedores de sistemas operativos móviles como Google, Samsung y Apple empezaron a cifrar los datos almacenados localmente; Google incorporó cifrado de extremo a extremo por defecto para los respaldos del teléfono, y Apple también comenzó a seguir ese camino
- Lo común en estos proyectos era que casi nunca hacía falta procesar los datos cifrados en el servidor
Las opciones entre procesamiento en servidor y en el dispositivo
- El cifrado de extremo a extremo oculta el contenido al servidor, pero también dificulta que el servidor haga cómputo sobre esos datos
- En casos como respaldos en la nube o mensajes personales, los datos tienen significado sobre todo para el cliente, así que esta limitación resulta relativamente aceptable
- En funciones que sí necesitan procesar datos, como reconocer texto dentro de fotos, normalmente aparecen dos opciones
- Enviar el texto en claro al servidor y reabrir las vulnerabilidades que el cifrado de extremo a extremo intentaba reducir
- Limitarse al procesamiento que pueda hacerse en el dispositivo
- La segunda opción queda atada a la capacidad de cómputo del teléfono, la RAM, la batería y la variación de hardware
- Incluso un iPhone de gama alta puede procesar fotos por la noche mientras carga para evitar el consumo de batería
- Algunos teléfonos insignia cuestan más de 1,400 dólares y traen GPU integrada y motor neuronal
- Incluso en Estados Unidos se pueden comprar teléfonos Android de unos cientos de dólares o equipos aún más baratos, así que la diferencia de capacidad de procesamiento es grande
Las funciones de IA amplían el procesamiento de datos personales
- Los LLM pueden generar y entender texto humano complejo, y los modelos de procesamiento de imágenes también ofrecen capacidades potentes
- Las empresas de teléfonos y mensajería ven los modelos de IA como la base de futuras funciones, y varias ya se han desplegado
- Los agentes de IA irían más allá: se imagina que lean y respondan correos y mensajes de texto, hagan pedidos de comida, compras, manipulen perfiles de citas, negocien préstamos e incluso anticipen lo que el usuario necesita
- Para que estos sistemas funcionen, necesitan un acceso casi sin límites a datos personales y una gran capacidad de cómputo para procesarlos
- Muchos teléfonos no tienen suficiente capacidad de cómputo para ejecutar modelos potentes, y cuanto mejores o más propietarios se vuelvan los modelos, más probable es que mucho procesamiento se desplace a servidores remotos
Garantías y consentimiento en la mensajería con cifrado de extremo a extremo
- La garantía técnica de la mensajería moderna con cifrado de extremo a extremo consiste en diseñar el sistema para que el contenido en texto en claro durante la transmisión no exista fuera de los dispositivos finales de los participantes ni de aquello con lo que los participantes o sus dispositivos decidan compartirlo
- Esa garantía no dicta el uso de los datos después de su entrega
- Que un usuario tome una captura de pantalla, haga un respaldo en texto en claro, copie y pegue en Twitter o entregue su dispositivo en respuesta a un litigio queda fuera del alcance del cifrado de extremo a extremo
- Las promesas de usuario de un proveedor de servicios pueden ser distintas de las garantías técnicas
- Por ejemplo, un mensaje puede entregarse de forma segura, pero luego el dispositivo puede subir el contenido en texto en claro a otro servidor donde sí sea posible descifrarlo
- En un chat grupal, otro participante podría activar una función que suba al servicio los mensajes en texto en claro que recibió
- Al final, la clave es el consentimiento suficientemente informado
- Algunas empresas pueden informar bien a los usuarios para ganar su confianza
- Otras pueden pedir aceptación mediante términos de servicio difíciles de leer en Estados Unidos o crear una nueva clase de banner de cookies en la UE
- Si el procesamiento con IA se vuelve completamente generalizado, las opciones de opt-in y opt-out del usuario podrían volverse limitadas
El enfoque de Apple Private Cloud Compute
- Apple prevé que la inferencia de aprendizaje automático deba externalizarse a hardware más potente, y diseñó computadoras basadas en la nube que considera aptas para recibir datos personales
- Private Cloud Compute usa dispositivos de hardware confiable en los centros de datos de Apple
- Estos dispositivos se parecen más a computadoras bloqueadas física y lógicamente
- Apple usa dispositivos fabricados por la propia empresa, silicio personalizado y funciones de software
- Secure Boot garantiza que solo se cargue software de sistema operativo autorizado
- El sistema operativo verifica con firma de código que solo se ejecuten imágenes de software autorizadas
- No almacena estado de largo plazo
- Cada conexión balancea la carga de las solicitudes hacia un servidor aleatorio distinto
- Da prueba del hash del software de aplicación que está corriendo
- Las imágenes de software deben estar en un transparency log verificable para impedir adiciones encubiertas
- Apple dijo que publicará las imágenes de software para que investigadores de seguridad puedan revisar errores, aunque no todo el código fuente
- Este diseño se enfoca en dificultar que tanto atacantes como empleados de Apple extraigan datos de los dispositivos
- Aun así, este enfoque ofrece garantías más débiles que la criptografía
- Centraliza muchos datos valiosos
- Depende de que Apple implemente correctamente funciones de seguridad complejas de hardware y software, no de las matemáticas de un algoritmo criptográfico
- Se considera mejor que procesar en servidores donde, aparentemente, empleados como los de OpenAI podrían iniciar sesión y acceder
FHE y los límites actuales
- Con el cifrado homomórfico completo (FHE) es posible calcular sobre datos personales mientras siguen cifrados
- En teoría es posible, pero hoy parece poco probable que sea práctico
- Los buenos esquemas actuales de FHE están orientados sobre todo a evaluar modelos de aprendizaje automático muy pequeños, y esos modelos ya pueden ejecutarse incluso en dispositivos cliente débiles
- Los métodos y el hardware van a mejorar, pero se espera que esta barrera persista durante mucho tiempo
¿Para quién trabajan los agentes de IA?
- Los datos usados para el entrenamiento y el ajuste fino de futuros modelos de IA también plantean grandes problemas de privacidad, pero una pregunta todavía más importante es para quién trabaja realmente un agente de propósito general
- Reino Unido y la UE han debatido leyes para obligar al “escaneo” automático de mensajes personales cifrados
- La propuesta de la UE se enfoca en detectar CSAM existente y nuevo
- En algunas etapas también incluye la detección de conversaciones de voz y texto consideradas “grooming behavior”
- La propuesta del Reino Unido abarca un espectro más amplio, incluyendo discurso de odio, contenido terrorista, fraude y otros contenidos ilegales
- Una enmienda incluso incluía “images of immigrants crossing the Channel in small boats”
- Para escanear CSAM conocido no es indispensable usar IA/ML, pero detectar CSAM nuevo, conductas de grooming y discurso de odio sí exige una inferencia de aprendizaje automático potente sobre datos privados
- En particular, detectar conversaciones de voz y texto requiere no solo convertir voz a texto, sino también entender el tema de una conversación humana sin falsos positivos
- Estas propuestas todavía no se han implementado, en parte porque construir sistemas de ML que procesen datos privados de manera segura es difícil y las plataformas se han resistido a construirlos
La presión que podría crear un agente personal de propósito general
- Si los usuarios crean y despliegan voluntariamente agentes generales de IA, esos agentes podrían convertirse en un recurso capaz de realizar muchas de las tareas de escaneo que antes exigían las autoridades
- Sigue siendo un problema difícil cómo impedir que los gobiernos exijan acceso a ese recurso
- Las autoridades podrían hacerle al agente preguntas sofisticadas sobre la conducta y los datos del usuario
- “¿Este usuario tiene posible CSAM?”
- “¿Escribió en sus notas privadas algo que potencialmente podría considerarse discurso de odio?”
- “¿Podría estar evadiendo impuestos?”
- Este enfoque podría presentarse como algo “que preserva la privacidad” bajo el argumento de que un policía humano no revisa directamente los documentos y solo se obtienen respuestas cuando probablemente haya actividad ilegal
- Una vez que agentes generales suficientemente potentes estén desplegados en el teléfono, la cuestión decisiva dejará de ser si el modelo corre localmente o en hardware de nube confiable, y pasará a ser quién puede hablar con ese agente
1 comentarios
Opiniones de Hacker News
Mientras más aumente la detección automática, menor será el presupuesto asignado a las personas que deben manejar cada caso individual, y los administradores dependerán más de los dictámenes automáticos.
Como resultado, cuando hay falsos positivos, se vuelve difícil contactar a una persona para resolverlos, lo que genera una gran frustración. En servicios empresariales puede ser apenas molesto, pero si se usa en la aplicación de la ley, puede arruinar vidas.
Hace tiempo, en Amazon me marcaron por reseñas ilegales y pasé meses intentando explicárselo a una persona; incluso ahora, más o menos una vez al año vuelvo a plantear el problema, pero no se resuelve. Si algo así ocurriera en un caso de delito grave y los atrasos judiciales duraran años, sería devastador.
La detección automática puede funcionar y, en la práctica, es inevitable, pero hay que asignar suficiente personal para resolver estos casos bajo la premisa de que los falsos positivos inevitablemente ocurren. Hoy, apenas se crea un sistema de detección, se despide al personal encargado y se asume que el sistema reemplaza a las personas, cuando en realidad debería ser una herramienta para reforzarlas y enfocar su trabajo.
Quienes toman decisiones no manejan casos reales, así que no sufren el problema directamente. Para ellos la lógica es: “si se puede ahorrar 1 millón de dólares, ¿por qué no ahorrar 2 millones?”. Y creo que, a medida que los grandes modelos de IA faciliten la detección automática, este problema se agravará mucho en los próximos años.
En Rusia hubo un científico que se convirtió en sospechoso de un asesinato ocurrido 20 años antes solo por una coincidencia de reconocimiento facial del 70% y por la falsa acusación de complicidad hecha por un criminal. https://lenta.ru/articles/2024/04/03/scientist/
Por suerte, los registros archivados de su instituto demostraban como coartada que en ese momento participaba en una expedición muy lejos de Moscú; aun así, pasó 10 meses detenido durante la “investigación”. Al final lo liberaron, pero preocupa pensar que los investigadores policiales que usaron un resultado de reconocimiento facial tan débil para mejorar sus métricas quizá sigan en la policía.
Si lo extrapolamos a un mundo donde cada rincón de la vida está controlado por monopolios de plataformas que ni siquiera ofrecen soporte básico al cliente, parece que todo se pondrá mucho peor antes de mejorar.
Se puede ver en la tercera página del PDF, marcada como página 84: https://nob.cs.ucdavis.edu/classes/ecs153-2021-02/handouts/c...
Sorprende que alguien haya previsto con tanta precisión esta situación hace 60 años y que, aun así, no hayamos tomado en serio esa advertencia.
No hace falta especular sobre OpenAI. OpenAI dice de forma bastante transparente que conserva los datos durante 30 días y que pueden revisarlos empleados y contratistas externos.
https://platform.openai.com/docs/models/how-we-use-your-data
“Para ayudar a identificar abusos, los datos de la API pueden conservarse hasta 30 días y luego se eliminan (salvo que la ley exija lo contrario)”.
https://openai.com/enterprise-privacy/
Se indica que el acceso a datos empresariales de la API está limitado a personal autorizado que lo necesite para soporte de ingeniería, investigación de abusos de la plataforma y cumplimiento legal, así como a contratistas externos especializados sujetos a obligaciones de confidencialidad y seguridad, que solo realizan revisiones de abuso y uso indebido.
Literalmente estás “conversando” con los servidores de una empresa que creó una línea de productos usando el trabajo profesional y personal de otras personas, independientemente de si dieron consentimiento o siquiera estaban al tanto. No es tanto “es más fácil pedir perdón que permiso”, sino algo más cercano a no preguntar en absoluto, esquivar la respuesta si se les pregunta y, si los descubren, decir: “no había forma de que supieras que estábamos mirando, pero como no lo ocultamos, diste tu consentimiento implícito”.
Sinceramente, incluso el nivel de compromiso que OpenAI promete en su política de privacidad resulta sorprendente. Si uno mira tácticas sospechosas de cebo, como haber cambiado silenciosamente modelos o reducido la capacidad de cómputo para clientes pagos después del ciclo inicial de promoción de “wow, esto es increíble”, no parece probable que esas políticas duren mucho cuando la empresa esté en una posición más estable.
Además, si aparece una forma de extraer datos de entrenamiento del modelo, podrían decir: “son otros datos extraídos del modelo, así que la política anterior no aplica”. Si quedan rezagados en el mercado, cuesta creer que Altman no vaya a vender eso en un instante para financiar algún producto enorme y arriesgado. Y ni hablar de los chatbots tipo apps de pareja sospechosas.
La protección de la privacidad debería existir, por supuesto, pero sorprende que haya gente que asuma que existirá. Aunque me pregunte si estoy siendo demasiado cínico, últimamente siempre termino concluyendo que no fui lo suficientemente cínico.
La verdadera amenaza surgirá cuando la IA pase de acelerar el trabajo de las personas a aplicarse al control organizacional.
Todos conocen los límites de los gerentes, las capas de gestión, las métricas y los OKR, así que la tentación es grande. No cuesta imaginar a un CEO pensando en meter todas las comunicaciones entre empleados en una IA y poder consultarlas. Irónicamente, si todos trabajan en remoto, sería aún más fácil imponerlo.
También es posible que el CEO y la alta dirección entiendan mejor lo que realmente está pasando y que la organización se vuelva más eficiente. Pero la ya débil creencia de que quienes tienen poder ven a los empleados comunes como seres humanos reales se reducirá todavía más.
Y como la capa ejecutiva no verá razón para no usar en la gestión de un país las herramientas que usa para dirigir una empresa, este enfoque inevitablemente se filtrará fuera de las organizaciones privadas.
Quienes defienden la vigilancia masiva ahora dicen que ya no hace falta que un humano escuche llamadas directamente. Pero el verdadero peligro nunca fue alguien con un traje gris transcribiendo conversaciones desde cintas de carrete. El problema siempre fue que alguien con poder pidiera el expediente de una persona incómoda y lo revisara con el objetivo de que nunca volviera a incomodarlo.
La razón por la que aún no hemos visto todas las consecuencias de la vigilancia masiva es que no había medios para procesar semejante cantidad de datos no estructurados y ad hoc. Ahora los hay.
Cuando en un litigio se requiere discovery, el software de e-discovery puede extraer todas las comunicaciones digitales accesibles, meterlas en una IA y, entre otras cosas, incluso hacer análisis de sentimiento. Aplicar IA generativa al trabajo legal es ahora mismo un tema candente en el sector jurídico.
La dirección hacia la que vamos se siente como un XKEYSCORE con esteroides, así que ante la pregunta de “¿funcionará para nosotros?”, me inclino por el no.
Quisiera verlo de forma positiva y optimista, pero al mirar el camino que hemos recorrido y el comportamiento de quienes están a cargo de estos sistemas —no exactamente los investigadores o ingenieros, sino la gerencia—, la esperanza de un futuro neutral y con la privacidad como prioridad parece limitada.
Usan traje, pero por lo general tienen antecedentes militares, un sentido del deber de defender a EE. UU. de amenazas internas y externas, y creo que históricamente no abusaron de forma grave de sus facultades bajo ninguna administración. XKEYSCORE tampoco consistía en hackear a personas, sino en recopilar metadatos masivos y crear perfiles, y se hacía dentro del marco legal. La culpa también debería recaer en las empresas que no ofrecieron herramientas de protección de privacidad, porque cualquier gobierno grande podría haber construido el mismo sistema.
En cambio, los republicanos antiestablishment que criticaban a las Big Tech después de 2016 terminaron convirtiéndose en sus fans más proestablishment; le dieron a Elmo una oficina en la Casa Blanca y Zucc se arrodilló para evitar ser procesado.
Creo que es mejor que estos nuevos sistemas estén en manos de personas inteligentes que trabajan en organizaciones de defensa de EE. UU. por sentido del deber, aunque podrían ganar mucho más en empresas privadas.
Como las empresas ya agotaron casi todos los datos de Internet que podían usar para entrenar IA, intentarán acceder a datos personales en tiempo real con la excusa de los agentes. Como siempre, el modelo de negocio es: “tú eres el producto”.
Apple parece haber cambiado de postura recientemente. Ahora dice que “el código fuente de ciertos componentes centrales de seguridad de PCC está disponible bajo una licencia de uso limitado”. Claro que habría sido mejor que todo fuera open source.
https://github.com/apple/security-pcc/
Apple parece estar haciendo una afirmación más fuerte que eso: 1) que no conserva los datos del usuario y solo los procesa durante la inferencia, 2) que no hay acceso privilegiado en tiempo de ejecución, por lo que ni los ingenieros de soporte pueden ver los datos del usuario, y 3) que ofrece binarios y parte del código fuente para que investigadores de seguridad puedan verificar 1) y 2).
Los cinco requisitos de Apple PCC se pueden ver aquí: https://security.apple.com/documentation/private-cloud-compu...
No tengo relación con Apple. Leí la guía de seguridad de PCC para ver cómo sería construir una solución equivalente en open source. Si te interesa este tema, contáctame en ozgun @ ubicloud . com.
La pregunta correcta es “para quién trabajan realmente los agentes de IA”. Hace unas semanas también señalé lo mismo: aplica el concepto legal de principal y agente.
Se viene una realidad en la que todo contenido pasa por una IA en la nube para revisar “crímenes de pensamiento”. Las categorías que hoy se proponen incluyen material de abuso sexual infantil, amenazas contra personas importantes, amenazas contra el gobierno, “grooming” de menores, discusiones sobre drogas, sexo, armas y actividad homosexual, organización de protestas o sindicatos, etc.
En particular, el material de abuso sexual infantil se ha convertido en una categoría ampliada en EE. UU. que incluye incluso imágenes generadas por IA, y pronto podría extenderse también al anime japonés. Las amenazas contra personas importantes podrían ampliarse en EE. UU. hasta incluir cosas que antes se consideraban discurso político.
Las amenazas contra el gobierno ya son ilegales en varios países. Hay que recordar que a Trump le gusta acusar de “traición” a la gente incluso por asuntos que no tienen nada que ver con hacerle la guerra a EE. UU.
El “grooming” es tan vago que puede cubrir la mayoría de las interacciones, y las discusiones sobre drogas, sexo, armas y actividad homosexual están prohibidas de distintas formas en varios países. La organización de protestas o sindicatos está prohibida en China y ya es objeto de búsquedas.
No se puede esquivar la censura con expresiones indirectas o jerga. Los modelos grandes de lenguaje también procesan eso. Prueba meter inglés afroamericano o leetspeak y pedir que lo traduzca a inglés estándar: lo traduce. Probablemente ese modelo haya visto más de esos dialectos que la mayoría de las personas.
“Si quieres una imagen del futuro, imagina una bota aplastando un rostro humano para siempre” — Orwell
https://www.orwell.org/dictionary/
Vale la pena repetir el punto central.
Podría llegar a incluir el estado deseado de cosas como: “que una mujer use pantalones es travestismo, y hacerlo cerca de niños es un delito grave”.
La constatación más deprimente es que la enorme cantidad de datos que se subió a la nube pensando que ni siquiera se escanearía actividad delictiva ahora se convirtió en una vía para que la policía del pensamiento llegue por una simple opinión disidente.
El dueño de esa máquina es otro, y por lo tanto sus intereses, ya sean comerciales o ideológicos, siempre tienen prioridad.
Espero que eso no ocurra, pero si ocurre no me sorprendería. Los datos viejos pueden convertirse en desechos tóxicos.
Es un alivio que los datos almacenados en dispositivos locales y cifrados sean inaccesibles para herramientas de “IA” basadas en la nube.
El problema es que el usuario común suele hacer clic sin pensarlo en “Sí/Aceptar/Proceder/Continuar/Estoy de acuerdo” en ventanas emergentes de la GUI, y acepta términos que incluyen descifrar sus datos y enviarlos a algún servicio de “nube”.
En adelante, parece probable que las herramientas de “IA” se usen cada vez más para atar permanentemente a la gente a servicios de suscripción mensual como iCloud, Office365 personal de Microsoft y Google Workspace.
Terminas pagando 15 dólares al mes para siempre, y por la cantidad de datos y la dependencia del proveedor de nube ya no tienes una forma realista de dejar de pagar sin causar un gran desorden en tu vida.
Green señaló un punto importante. Las garantías técnicas no son lo mismo que las promesas hechas al usuario, y los sistemas de mensajería con cifrado de extremo a extremo solo entregan los datos de forma segura; no determinan qué pasa después.
Sin embargo, enseguida parece olvidarlo y habla de PCC como si no fuera simplemente otra garantía técnica. PCC solo aumenta la confianza en que el software que se ejecuta en el servidor es el software que Apple pretendía ejecutar.
No garantiza a dónde se enviarán mis datos después, ni que Apple los use solo para fines con los que yo estaría de acuerdo. PCC hace que Apple sea menos vulnerable a hackeos, pero no la vuelve más transparente ni más responsable.
De hecho, si consideramos que algunos hackers actúan con fines socialmente beneficiosos, como exponer abusos corporativos, reforzar la seguridad también puede funcionar como un escudo para evitar la rendición de cuentas. Por supuesto, no quiero decir que debamos eliminar la seguridad para ganar transparencia.
El punto central no resuelto aquí es la transparencia, más que la seguridad. Creo que el estado desastroso de la seguridad también fue posible en buena medida por la falta de transparencia.
Si queremos que la IA sirva a la sociedad, hay que revertir el desequilibrio extremo de información en el que la vida privada queda expuesta en detalle ante el proveedor del servicio, mientras que el proveedor sigue siendo una caja negra completa para el usuario.
Si queremos buen comportamiento corporativo, no podemos permitir que las empresas operen de forma invisible. Si queremos tecnología ética, no podemos permitir que funcione de forma invisible.
La pregunta interesante del final del artículo es importante desde el punto de vista de las políticas públicas.
Más allá de las decisiones técnicas que se tomen sobre privacidad, una vez que se despliegue en el teléfono un agente de propósito general lo suficientemente potente, la pregunta que queda es quién tendrá derecho a hablar con ese agente. ¿Solo el usuario, o el interés del gobierno en la vigilancia ciudadana tendrá prioridad sobre la privacidad individual?
Es posible imaginar una situación en la que el gobierno imponga por ley que debe tener acceso al agente. Al fin y al cabo, nosotros y las empresas existimos dentro de jurisdicciones que pueden aprobar leyes arbitrarias.
Pero, técnicamente, debería ser posible ejecutar un agente local en un sistema con cifrado de disco completo y hacer que nadie sin acceso al sistema pueda hablar con él. En ese caso, a nivel técnico no parece muy distinto de lo anterior.
Desde hace tiempo era posible correr un montón de expresiones regulares al estilo de los años 80 para buscar si en la computadora de alguien había cosas como panfletos comunistas.
La pregunta de si el gobierno debería poder exigir acceso a mi computadora siempre existió. Solo hay que recordar que, si exige acceso a un agente de IA que se ejecutó en mi computadora, en la práctica es como exigir un registro con pérdida de todo mi disco duro.