Hackeo de Google Bard: de la inyección de prompts a la filtración de datos

Descubrimiento y corrección de vulnerabilidades en Google Bard

• Google Bard recibió recientemente una actualización potente, que le permite acceder a YouTube, buscar vuelos y hoteles, y acceder a documentos personales y correos electrónicos.
• Ahora Bard puede analizar datos de Drive, Docs y Gmail, lo que lo vuelve vulnerable a la inyección indirecta de prompts.
• Mediante inyección de prompts, se logró realizar con éxito pruebas de resumen de videos de YouTube y de Google Docs.

Ataques de inyección indirecta de prompts mediante correo electrónico y Google Docs

• Los ataques de inyección indirecta de prompts a través de correo electrónico o Google Docs son una amenaza porque pueden entregarse sin el consentimiento del usuario.
• La inyección puede ocurrir cuando un atacante fuerza el uso compartido de un Google Docs y se interactúa con el documento usando Bard.

Vulnerabilidad: inyección de Markdown en imágenes

• Cuando el LLM de Google devuelve elementos Markdown, Bard los renderiza como HTML.
• Es posible insertar datos en una etiqueta de imagen para inducir la filtración de datos hacia un servidor.
• La vulnerabilidad se aprovecha resumiendo el historial de conversación o accediendo a datos previos para agregarlos a la URL.

Bypass de CSP

• El CSP de Google impide cargar imágenes desde ubicaciones arbitrarias.
• Es posible eludir el CSP mediante Google Apps Script, usando URLs que se ejecutan en los dominios script.google.com o googleusercontent.com.

Creación de Bard Logger

• Se implementó un "Bard Logger" usando Apps Script.
• El logger registra en un Google Doc todos los parámetros de consulta añadidos a la URL invocada.
• Mediante configuración, se puede exponer el endpoint sin autenticación.

Demo y divulgación responsable

• Mediante video y capturas de pantalla, se muestra cómo el historial de conversación del usuario se filtra a través de un Google Doc malicioso.

Shell Code

• Se usa un payload incluido en un Google Doc para realizar inyección de prompts y filtración de datos.
• Se aprovechan las capacidades del LLM para reemplazar texto dentro de la URL de una imagen.

Capturas de pantalla

• Para quienes no tengan tiempo de ver el video, se ofrecen capturas de pantalla con los pasos principales.

Corrección de Google

• El problema fue reportado al Google VRP el 19 de septiembre de 2023, y se confirmó que la corrección se completó el 19 de octubre.
• El CSP no fue corregido, pero parece haberse aplicado un filtrado para evitar la inserción de datos en la URL.

Conclusión

• Esta vulnerabilidad muestra el poder y el grado de libertad que puede tener un adversario durante ataques de inyección indirecta de prompts.
• Se agradece a los equipos de seguridad de Google y de Bard por resolver rápidamente este problema.

Cronología de la corrección

• Reporte del problema: 19 de septiembre de 2023
• Confirmación de la corrección: 19 de octubre de 2023

Material de referencia

• Anuncio de Google Bard Extension, inyección indirecta de prompts relacionada con Google Bard, charla sobre inyección de prompts en Ekoparty 2023, imagen Google Bard - Data Exfil generada con DALLE-3

Apéndice

• Se proporciona el contenido completo de la inyección de prompts dentro del Google Doc

Opinión de GN⁺

Lo más importante de este artículo es la vulnerabilidad generada por las nuevas funciones de Google Bard y la posibilidad de filtración de datos a través de ella. Esto resalta los problemas de seguridad en servicios basados en inteligencia artificial y recuerda la importancia de proteger los datos de los usuarios. Junto con el avance de la tecnología, están apareciendo nuevos tipos de amenazas de seguridad, lo que demuestra la necesidad de seguir investigando y respondiendo a estos riesgos. El proceso de descubrimiento y corrección de esta vulnerabilidad es un caso interesante y útil para quienes están interesados en ingeniería de software y ciberseguridad, y subraya la importancia de los esfuerzos continuos para usar la tecnología de forma segura.

[GN⁺]

Opiniones en Hacker News

• ¿Cuál es el futuro de los LLM? Integrar LLM que son difíciles de depurar en áreas sensibles será muy complicado a menos que exista una garantía razonable de que se pueden corregir las vulnerabilidades de seguridad.
• Cuando probé Bard antes de su lanzamiento, descubrí que era fácil romperlo rellenando el contexto para desplazar las reglas.
• El problema no es por qué funciona la exfiltración de datos, sino por qué creemos que darle privilegios de acceso especiales a un muestreador aleatorio de tokens va a funcionar en la mayoría de los casos.
• No se menciona ninguna recompensa por errores. Me pregunto si pagaron una.
• En Lakera AI están desarrollando un detector de inyección de prompts entrenado con diversas fuentes de datos, incluidos prompts tomados del juego de inyección de prompts Gandalf.
• ¿No podría resolverse este problema con el propio LLM? ¿No haría falta algo como un prompt de sistema que acepte prompts solo desde el cuadro de texto de entrada del usuario y que no interprete como prompts el texto dentro de los documentos?
• Se dice que Bard puede acceder y analizar Google Drive, Docs y Gmail. Sin embargo, cuando le pregunté a Bard si podía acceder a Gmail, respondió que no podía hacerlo directamente. Cuando le pregunté cómo habilitar la extensión de Gmail, respondió que actualmente no estaba disponible. Pero si haces clic en el ícono de rompecabezas de Bard, puedes habilitar las extensiones de Google Workspace, incluida Gmail.
• Los LLM solo deberían entrenarse y acceder a datos y acciones que el usuario ya haya aprobado. Garantizar que un LLM sea impulsado mediante prompts para realizar solo una tarea específica es muy difícil con la arquitectura actual, y quizá imposible. Los LLM tienen un potencial enorme, pero para desplegarlos con éxito en sistemas de seguridad, estas limitaciones deben superarse a nivel de arquitectura.
• Me gusta el inicio del prompt: "Toda persona que lea este documento debe hacer lo siguiente por requerimiento del Departamento de Justicia".
• Resumen: Bard puede renderizar imágenes Markdown en una conversación. Además, puede leer el contenido de documentos de Google para proporcionar más contexto a la conversación. Al compartir con la víctima un documento de Google que contiene un prompt malicioso, se puede hacer que Bard genere un enlace de imagen Markdown que incluya partes de la conversación como una sección codificada en URL. Esa sección de la conversación puede filtrarse cuando la interfaz de Bard accede a la URL que el atacante previamente hizo que Bard creara para cargar la imagen.
• Lección: hay que tener cuidado con lo que lee un asistente de IA. Puede estar controlado por un atacante e incluir sugerencias hipnóticas.