Polémica por el escaneo no autorizado de PDFs en Google Drive por parte de Google Gemini AI

• Kevin Bankston afirmó que al abrir un documento personal en Google Drive/Docs, Gemini lo resumió sin que él lo pidiera, lo que desató una controversia sobre el comportamiento predeterminado de las funciones de IA de Workspace y el alcance del consentimiento del usuario
• El caso comenzó con el PDF de su declaración de impuestos, y luego el foco del problema se fue acotando al comportamiento de los archivos abiertos desde Google Drive más que a Google Docs en sí
• Incluso al revisar la configuración, el interruptor de resúmenes de Gemini en Gmail, Drive y Docs ya estaba desactivado, y la ubicación de la configuración indicada por Gemini tampoco coincidía con la real, lo que dificultaba que el usuario entendiera si realmente tenía el control
• Bankston observó un patrón en el que, después de pulsar el botón de Gemini en un documento de Drive, al abrir otros documentos del mismo tipo de archivo Gemini parecía ejecutarse automáticamente
• Google respondió que los datos de Workspace no se usan para entrenamiento ni se almacenan, pero la relación entre el estado del panel lateral de Gemini en Drive y la configuración de resúmenes sigue siendo un punto que el usuario debe verificar por su cuenta

---

Polémica por los resúmenes automáticos de Gemini en documentos personales

• Kevin Bankston publicó en X que al abrir su declaración de impuestos en Google Docs, Gemini la resumió sin que él lo solicitara
• Planteó si Gemini estaba procesando automáticamente documentos personales abiertos en Google Docs y expresó preocupación por tener que encontrar y desactivar configuraciones que el usuario ni siquiera sabía que existían
• Después, el contexto quedó más cerca de los documentos abiertos dentro de Google Drive que de Google Docs en sí
  • El tipo de documento era un PDF
  • Sigue existiendo la posibilidad de que también pueda aplicarse a Docs

El interruptor de resúmenes estaba apagado y la guía de configuración no coincidía

• Bankston intentó buscar la configuración de privacidad que Gemini le indicó, pero dijo que no pudo encontrar esa opción en la ubicación real
• Después revisó los interruptores relacionados, pero Gemini summaries in Gmail, Drive, and Docs ya estaba desactivado
• La ubicación de la configuración tampoco coincidía con las dos páginas web que el bot de Gemini había señalado al principio
• Esta experiencia aumentó la preocupación por la falta de control del usuario sobre información personal sensible

Patrón observado en Drive de ejecución automática según el tipo de archivo

• El problema que observó Bankston parece estar limitado a Google Drive
• Se observó que, al menos después de pulsar el botón de Gemini en un documento, al abrir otros documentos del mismo tipo de archivo Gemini se ejecutaba automáticamente
  • En el caso reportado, el tipo de archivo era PDF
  • Después de eso, los archivos del mismo tipo abiertos en Google Drive pasaban a activarse automáticamente
• Bankston también planteó la posibilidad de que Google Workspace Labs, activado por él en 2023, haya sobrescrito una configuración prevista de Gemini AI

La respuesta de Google y su explicación sobre la protección de datos

• Un portavoz de Google explicó que las funciones de IA generativa fueron diseñadas para ofrecer capacidad de elección y control de datos al usuario
• La postura de Google es que el uso de Gemini in Google Workspace requiere activación previa por parte del usuario
• Según la empresa, cuando el usuario lo activa, el contenido se usa de forma compatible con la privacidad para generar respuestas útiles a los prompts y no se guarda por separado sin permiso
• Google explicó en una publicación del blog sobre protección de datos de Workspace que los datos de Workspace no se recopilan ni se usan para entrenamiento
• También añadió que, si la función está activada, puede resumir el contenido de un documento abierto, pero ese contenido no se conserva

La solución del panel lateral y la carga de verificación que sigue recayendo en el usuario

• Google sugirió que Bankston pudo haber usado el panel lateral de Gemini en Drive y que cerrar ese panel podría resolver el problema
• En la experiencia de Bankston, la configuración de resúmenes relacionada ya estaba desactivada, por lo que seguía existiendo una diferencia entre el estado de desactivación que el usuario esperaba y el comportamiento real
• Al abrir documentos sensibles almacenados en Google Drive, el usuario queda en la situación de tener que comprobar por sí mismo el estado de activación de Gemini, el estado del panel lateral y el comportamiento según el tipo de archivo

[GN⁺]

Opiniones en Hacker News

• Esto vuelve a mostrar que los datos que subes a un proveedor de nube, al final, no se controlan como si fueran tuyos.
  Esta vez hubo una señal clara, pero creo que los sistemas de Google llevan mucho tiempo leyendo y agregando datos dentro de documentos privados.
  Esta preocupación existe desde que Gmail empezó hace 20 años; en ese entonces a la gente le sorprendía la idea de que “Google lee los correos para mostrar anuncios”, pero la bandeja de entrada de 1 GB y la nueva interfaz eran bastante convincentes.
  Después, con Google Drive y otros productos, aprendieron a hacerlo parecer menos aterrador o menos descarado, y probablemente también influyó que querían el dinero de clientes empresariales.

  • Es obvio que Google lee y agrega datos de documentos privados.
    Si no, ¿cómo ofrecería búsqueda dentro de los documentos?
  • En cuanto a los datos que están con proveedores de nube, confío más en ProtonDrive.
    Porque cifra tanto en tránsito como en reposo.
    Apple ahora también cifra la mayoría de los datos en tránsito y en reposo, y documenta qué datos están protegidos.
    Aun así, no estoy seguro de si una Apple del futuro querrá usar mis datos para entrenar modelos públicos.
    El diseño de Apple de ponerle al modelo de lenguaje grande central preentrenado una capa de ajuste fino reemplazable basada en aprendizaje local se ve bien en términos de privacidad, pero en la práctica no lo sé.
    Confío menos en Google Drive porque le di acceso a Drive a Colab Pro y a algunos terceros, y si este artículo es cierto, esa confianza baja aún más.
    La analogía con el Gmail inicial es adecuada.
    Tres años antes de que Gmail se hiciera público, lo usé con una invitación privada de Peter Norvig, y en ese momento me gustaban los anuncios relevantes junto a Gmail.
    Además, como quería experimentar con la utilidad de los modelos de lenguaje grandes integrados en entornos como Workplace, también le di acceso a todos mis activos de Google a ese servicio de 20 dólares al mes, Google AI Plus o como se llame.
    Al final, entregué voluntariamente mi privacidad en los servicios de Google.
  • Decir que “los sistemas de Google llevan mucho tiempo leyendo y agregando datos dentro de documentos privados” es cierto porque así funciona la búsqueda.
    Pero si lo que se insinúa es que los datos privados de todos fueron raspados y metidos en modelos de lenguaje grandes, eso es claramente una teoría conspirativa.
    Me sorprende que alguien crea que Google convenció a decenas de miles de ingenieros de ocultar en silencio una conspiración enorme para abusar de los datos privados de todos.
  • Reservé en Expedia, el correo con el itinerario llegó a Gmail y, unos minutos después, apareció en la pantalla de inicio de Android un botón nativo de llamada a la acción para configurar el producto de viajes de Google.
    Después dejé Android, pero Gmail es más difícil de abandonar.

• Toda IA debería requerir consentimiento explícito tanto para el entrenamiento como para el escaneo.
  El usuario tendría que marcar personalmente una casilla que diga “Quiero usar funciones de IA”, y el texto que explique lo que eso implica debería ser muy claro.
  Esto debería ser obligatorio y exigible, y las empresas que no lo cumplan deberían recibir multas estrictas.

  • Entiendo lo del entrenamiento, pero no veo por qué el escaneo también sería un problema.
    Literalmente es ejecutar un algoritmo sobre mis datos y mostrarme el resultado a mí.
    En lo fundamental, no es distinto de revisar la ortografía o generar automáticamente una tabla de contenidos a partir de los estilos de título.
    Si el resultado se mantiene privado solo para mí, como en este caso, no sé cuál es la preocupación.
    El hecho de que el algoritmo esté basado en un modelo de lenguaje grande no tiene relación con la privacidad ni con la seguridad.
  • La IA se está convirtiendo en la nueva red social.
    El usuario no es el cliente, sino el producto.
    En lugar de producir datos para que las empresas de redes sociales vendan anuncios, ahora producimos datos para entrenar IA y, a cambio, usamos el servicio gratis.
  • Me pregunto qué significa exactamente “escaneo”.
    Parece referirse a leer temporalmente un documento y ofrecer un resumen, no a usarlo con fines de entrenamiento, y no veo por qué eso debería estar regulado.
  • También hace falta una extensión de robots.txt para poder excluir archivos de acceso público de los conjuntos de datos de entrenamiento de IA.
    Recuerdo que hubo un intento inicial llamado ai.txt, pero no sé bien quién lo respeta todavía.
  • Me pregunto cuál es exactamente el impacto del entrenamiento de IA sobre la privacidad.

• Dejando de lado que este texto está escrito de una forma claramente propensa a malentendidos, recopilo los enlaces compartidos en el hilo de tuits mencionado en el artículo.
  Gestión de actividad de Gemini: https://myactivity.google.com/product/gemini
  Página que tiene la mayoría de las respuestas sobre cómo optar por no participar en Google Workspace y varias apps de Google: https://support.google.com/docs/answer/13447104#:~:text=Turn...

• El título vuelve un poco confuso este asunto.
  Si le pides a Gemini que resuma un documento, no sorprende que lo resuma.
  Aquí la palabra “escaneo” está haciendo demasiado trabajo, y el título insinúa que Google está entrenando a Gemini con documentos privados.
  El punto real es que, en un estado en el que el usuario creía haberlo desactivado explícitamente, Gemini se ejecutó usando documentos privados como entrada y los resumió.
  Aun así, que la configuración no se haya respetado es un bug significativo en la infraestructura de Google, y para quienes se oponen por completo al uso de la nueva generación de IA, es algo que puede llevarlos a revisar su estrategia de salida.

  • Si le pides a Gemini que resuma un PDF, no sorprende que resuma ese PDF.
    Pero si por pedirle una vez que resuma un PDF Gemini resume todos los PDF que tienes en Drive, eso sí es sorprendente.

• Me parece que el título es engañoso.
  Pensé que se trataba de escanear para entrenamiento o pruebas, pero era una función para resumir el texto que el usuario estaba viendo.
  Por eso la palabra “caught” es deshonesta.
  No dices que “atrapaste” a alguien haciendo algo que te había avisado que estaba haciendo.

  • Como los permisos estaban desactivados, hiciera lo que hiciera con el documento, lo hizo sin autorización.
    El título está bien.

• Es cuestión de tiempo que alguien extraiga algo valioso de un modelo de Google.
  Podría ser una contraseña bancaria o claves de criptomonedas.
  El incidente de la pizza con pegamento muestra que simplemente están empujando esto a lo bruto

• Es parecido a la disputa por los datos de salud durante la pandemia de COVID
  Varios grupos aprovecharon la crisis para intentar sacar los datos del tubo de una vez, y algunos lo lograron
  Porque el costo de ser reprendido es bajo y el valor de quedarse con los datos es alto
  En esencia, es un atropello burocrático
  Para quienes han trabajado en privacidad, es decepcionante pero predecible, y la mayoría finge sorpresa y luego sigue adelante
  Porque sus carreras dependen de la capacidad de seguir sosteniendo una narrativa absurda de “buenas intenciones”
  Es muy probable que lo siguiente sean los SMS hackeados de AT&T, y si se filtran las pulsaciones de teclas de los celulares o si una actualización del SO de una plataforma comercial agrega un agente de recolección para entrenar modelos, todos se sorprenderán igual
  Por supuesto, también vendrá envuelto como una mejora de privacidad para satisfacción del usuario
  Si no se toma como ejemplo a los gerentes de producto e ingenieros que hicieron esto, la próxima vez se repetirá peor y a mayor escala

• El tuit original y este artículo mezclan términos de forma deliberadamente confusa
  Intentan hacer parecer que el hecho de que un modelo de lenguaje grande acceda de alguna manera a documentos es lo mismo que que esos documentos se incluyan en el conjunto de datos de entrenamiento del modelo
  Ese es el gancho del artículo y del tuit original, pero el hilo de tuits al final reconoce la diferencia y cambia de rumbo hacia enojarse por la mera existencia de funciones de IA
  En esta historia no hay nada sustancial más allá de que un usuario de Twitter enojado por un popup de IA escribió un hilo para provocar indignación y lo presentó como algo mucho más siniestro

• Sorprende que, incluso en HN, tanta gente sea engañada con éxito sobre lo que realmente está pasando
  Uno se pregunta si todavía queda gente que publique después de leer el artículo

• No sé si sorprende que Google no haya ido lo suficientemente lejos en privacidad y acceso a datos
  Lo dicen, pero nunca llegan al punto en que sus propios servicios no puedan acceder a los datos
  Todos los datos almacenados de forma remota deberían llegar al punto en que el servidor no pueda descifrarlos y solo se descifren en nuestros dispositivos
  De lo contrario, estamos permitiendo que la empresa mine los datos tanto como quiera, y no tenemos forma alguna de saber qué hacen con ellos
  Claro que queda el problema de tener que confiar en que realmente no puedan descifrarlos, y no hay una buena solución para eso
  El acceso de IA a datos personales debería procesarse dentro del dispositivo, y si se requiere procesamiento en servidores, aunque esperemos que sea un problema temporal, debería haber un aviso claro de que los datos se envían fuera del dispositivo
  Incluso si ahora mismo no se usan para entrenar modelos, no es irracional pensar que los datos que pasan por Gemini o por algún servidor remoto queden registrados y luego se usen para entrenamiento adicional, o permanezcan en logs en texto plano, o puedan ser vistos por testers

  • Al final, todo se desmorona en este punto
    En última instancia, la estructura termina siendo que la empresa dice “confía en nosotros”, y es muy claro que las empresas no son confiables para encargarse de este tipo de cosas