- Microsoft anunció que detectó que hackers de China, Rusia e Irán usaron sus herramientas de IA para mejorar sus capacidades de hackeo
- Microsoft y OpenAI rastrearon el uso de LLM por parte de actores vinculados a Estados como Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon y Salmon Typhoon
- Schneier considera que la razón por la que Microsoft u OpenAI pudieron saberlo fue la vigilancia de sesiones de chatbot
- Es posible que los términos de servicio incluyan esta facultad de observación, y que otros servicios de IA también puedan rastrear patrones de uso similares
- Los usuarios de herramientas de IA deben evaluar la sensibilidad de seguridad asumiendo que sus entradas y sesiones pueden ser observadas por el proveedor del servicio
Anuncio de Microsoft y uso de herramientas de IA
- Microsoft anunció que hackers de China, Rusia e Irán intentaron mejorar sus capacidades de hackeo usando sus herramientas de IA
- Por el contexto, se estima que la herramienta de IA en cuestión sería una herramienta de programación
Grupos atacantes rastreados junto con OpenAI
- Microsoft compartió la inteligencia de amenazas detectada en colaboración con OpenAI
- Según el informe, grupos rastreados como actores vinculados a Estados reforzaron sus operaciones cibernéticas con LLM
- Forest Blizzard
- Emerald Sleet
- Crimson Sandstorm
- Charcoal Typhoon
- Salmon Typhoon
Interpretación sobre la vigilancia de sesiones de chatbot
- Schneier considera que la única forma en que Microsoft u OpenAI podían saber del uso de IA por parte de estos atacantes era revisando las sesiones del chatbot
- Es posible que los términos de servicio incluyan esa facultad
- Además de Microsoft y OpenAI, otras empresas de IA también podrían monitorear patrones de uso, y este anuncio se considera un caso que confirma esa posibilidad
Explicación adicional sobre la expresión “spying”
- En la edición del 22 de febrero se añadió una explicación sobre el uso de la palabra “spying”
1 comentarios
Opiniones en Hacker News
Para llamar a esto espionaje, habría que releer los términos de la API de OpenAI. Si te haces llamar “hacker” y aun así sigues usando esa API, la responsabilidad es más bien tuya.
OpenAI dice que puede conservar de forma segura las entradas y salidas de la API hasta por 30 días para prestar el servicio y detectar abusos, y que después de 30 días las elimina de sus sistemas salvo que exista una obligación legal de conservación. Para casos de uso elegibles, también se puede solicitar retención cero de datos (ZDR).
Fuente: https://openai.com/enterprise-privacy
Por ejemplo, la política de Google Docs dice en https://support.google.com/docs/answer/10381817?hl=en que “Google respeta tu privacidad y solo accede a tu contenido privado cuando tiene tu permiso o la ley lo exige”.
Es razonable esperar el mismo nivel de los proveedores de API de LLM, y no está bien que actualmente vigilen a los usuarios a gran escala.
Esto es especialmente cierto en el área de servicios de machine learning/IA, y es difícil decir que estos términos estén fuera de lo razonable.
Es gracioso que lo hayan reformulado como “Microsoft vigila a los usuarios de herramientas de IA”. En realidad, la historia es que Microsoft descubrió que gobiernos hostiles de Estados autoritarios estaban usando herramientas de IA para actividades ilegales; ese seguimiento está especificado en los términos, y el usuario tiene que hacer clic en “Acepto”.
El próximo titular será algo como “una importante cadena de TV vigila a futbolistas durante un partido de Champions League”.
Un titular provocador también puede ser legítimo, y que algo sea común no lo vuelve aceptable. Es positivo que se extienda más la conciencia de que estos términos unilaterales habilitan conductas hostiles hacia los usuarios.
Pero que una frase como “Microsoft vigila X” ya se acepte como una proposición evidente es, más bien, lo que parece noticia. Es decir, “el espía vigila X” pasa a significar “Microsoft = espía”, y se leerá así no solo en este contexto, sino en todos.
A partir de ahí, factores como los términos, la legalidad, la ilegalidad, la hostilidad o la afinidad se vuelven secundarios.
Google Bard, o mejor dicho Gemini, deja esto muy claro en su página principal.
“Para mejorar las tecnologías que impulsan Gemini Apps, tus conversaciones serán procesadas por revisores humanos. No ingreses nada que no quieras que sea revisado o usado”.
Explica que solo con conversar contribuyes a mejorar los servicios de Google, incluidos los modelos de machine learning que impulsan Gemini, y que en ese proceso revisores capacitados deben procesar las conversaciones. También señala que el contenido de Google Workspace, como Gmail o Drive, no se revisa ni se usa para mejorar Gemini, y que, si quieres que las conversaciones futuras no sean revisadas ni utilizadas para mejorar modelos de machine learning, puedes desactivar Gemini Apps Activity.
Aquí solo parece estar medio claro.
También se puede resumir simplemente como “Microsoft vigila a los usuarios”.
Si usas productos modernos de Microsoft, estás enviando muchos datos, y ahí se acaba la discusión.
Correcto. Dicen con bastante claridad que monitorean abusos, y el plazo es de 30 días.
No entiendo por qué esto sorprende.
En comparación, Nvidia envía al servidor todos los valores de las barras de título y todos los clics; incluso si te niegas, se clasifican como “necesarios” y se envían. Probablemente sea el spyware más invasivo que tengo instalado ahora mismo.
Si conversas con herramientas de IA por varios canales sociales, como Facebook, Twitter, Instagram, mensajes de texto, etc., deberías asumir que esos chats los leen activamente no solo empleados de esas compañías, sino también sus responsables de marketing y socios externos.
Claro, estarán sujetos a contratos, pero lo que la gente le pregunta a los chatbots incluye información de salud, información sexual y cosas muy privadas que solo le dirían a un terapeuta. Y aun así, eso también puede ser leído por un pasante de marketing de 22 años, está en texto plano sin cifrar, se puede copiar y pegar, y puede asociarse con nombres de usuario/ID.
No confío en Microsoft en absoluto, pero no me sorprende, igual que no me sorprendería oír que OpenAI, Google y otros hacen esto.
Eso no lo justifica. Creo que ya es hora de que todos cambien su postura de privacidad para que la lectura de conversaciones de chat solo sea posible cuando el usuario dé un permiso explícito y revocable.
Quien usa estas herramientas prácticamente se ofrece a que le absorban todos sus datos. Si eso te preocupa, la única forma razonable de usarlas es con IA ejecutada localmente.
La IA se construye sobre datos. Cuanto más se vigila, más datos se obtienen para entrenar IA; cuanto más se entrena, mejor y más valiosa se vuelve; cuanta más gente la usa, más datos vuelve a aportar. Es una estructura circular.
Material fácil para provocar indignación.
Todas estas plataformas están recolectando entradas para entrenar el próximo modelo. Entonces, ¿por qué no sería obvio que también harán detección de abusos?