La IA de Google cree que dejé una botella de Gatorade en la Luna

 (edwardbenson.com)
2 puntos por GN⁺ 2024-10-08 | 1 comentarios | Compartir por WhatsApp
  • NotebookLLM de Google puede crear podcasts a partir de páginas web o documentos, pero si se muestra una página distinta solo a los visitantes de IA, el resultado puede contaminarse fácilmente
  • El experimento consistió en mostrar a las personas una página de inicio normal y, a Google AI, notas falsas del productor del programa que decían que había llegado a la Luna en bicicleta, con globos y tanques de buceo
  • NotebookLLM siguió tal cual la beat sheet de la historia falsa incluso con una sola generación y sin edición, y su capacidad de ser manipulado fue calificada con 10/10
  • El mayor riesgo es que una página con buen posicionamiento en buscadores pueda sesgar las respuestas de los LLM con contenido exclusivo para IA, oculto para las personas y visible solo para la IA
  • Detectar el user-agent GoogleOther es fácil de implementar, pero no es exclusivo de NotebookLLM, por lo que datos incorrectos podrían filtrarse también a otros productos de Google

Cómo engañaron a NotebookLLM

  • NotebookLLM recibe páginas web o documentos y genera un podcast basado en ese contenido
  • En este experimento, la misma página de inicio devolvía contenido distinto según el visitante
    • Si una persona visitaba la página de inicio, veía una página de presentación personal común
    • Si Google AI la visitaba, veía notas falsas del productor del programa sobre un viaje a la Luna
  • La historia falsa decía que había llegado a la Luna usando una bicicleta, globos y tanques de buceo, y el resultado generado fluía como si fuera la “historia real” del programa espacial estadounidense
  • El experimento aplicó el mismo formato tras ver un comentario en Reddit que decía que NotebookLLM podía ser manipulado fácilmente con notas falsas del productor del programa
  • También se pueden subir documentos para introducir directamente notas falsas del programa en NotebookLLM; para crear un podcast juguetón para niños, ese método resulta más adecuado

El riesgo que crea el contenido web exclusivo para IA

  • El problema central es que una página web puede detectar a la IA y ofrecerle hechos especiales que las personas no ven
  • El flujo de ataque es simple
    • Conseguir una página web con buen posicionamiento para un término específico
    • Insertar una versión del contenido exclusiva para IA, oculta para las personas, que haga que la IA piense en una dirección concreta
  • Cuando un LLM busca en la web para preparar una respuesta, puede leer no solo una mentira común, sino desinformación convertida en arma y diseñada para manipular LLMs

Implementación y efectos secundarios

  • La implementación consiste en detectar el user-agent GoogleOther en los encabezados de la solicitud y devolver una página para consumo de IA en lugar del sitio web real
  • Para facilitar esto se creó un paquete de NPM llamado isai, basado en isbot
  • Un ejemplo de uso es una estructura donde, durante el renderizado, si isai(request.headers.get("User-Agent")) es verdadero, se devuelve la página para IA; de lo contrario, se devuelve la página para personas
  • GoogleOther no es exclusivo de NotebookLLM y parece usarse en varios productos no productivos de Google, por lo que este método corre el riesgo de sembrar datos incorrectos sobre uno mismo en otras propiedades de Google
  • Por eso, en la página de inicio real se retiró la historia de la Luna para el agente GoogleOther

Lecturas relacionadas

1 comentarios

 
GN⁺ 2024-10-08
Opiniones en Hacker News

  • El artículo enlazado trata sobre un ataque a NotebookLM, pero es un método limitado que solo afecta a quien crea deliberadamente un notebook que incluye la URL de la página con el ataque.
    Hace unas semanas hice un intento algo más ambicioso: si le preguntabas a Google Gemini “¿Cómo se llamaba la ballena joven que se quedó en Pillar Point Harbor?”, respondía “Teresa T”.
    La razón está aquí: https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...
    Antes Gemini simplemente decía “Teresa T”, pero al volver a probarlo ahora, agregó como fuente que yo fui quien propuso ese nombre, así que el efecto se redujo un poco.

    • Si nadie más le puso otro nombre a la ballena jorobada, supongo que Teresa T es su nombre real. La primera persona que se preocupa por ponerle nombre obtiene prioridad.
    • Hay al menos 2 endpoints públicos llamados “Gemini” que son completamente distintos.
      1. https://gemini.google.com/ — este hace búsquedas en Google según tu configuración actual de idioma/región/Safe Browsing y personalización, y reescribe los principales resultados de búsqueda como si fueran una respuesta; en la práctica casi no usa capacidad generativa.
      2. https://aistudio.google.com/ — aquí eliges una versión específica y genera la respuesta con un modelo de lenguaje grande; no usa generación aumentada por recuperación (RAG), es decir, Google Search.
        Probablemente usaste el número 1 y por eso salió la respuesta correcta; el número 2 falla. Hay muchas preguntas cuya respuesta se encuentra enseguida con una búsqueda, pero que a los modelos de lenguaje grandes les cuestan. Por ejemplo: “¿Cuál era el propósito previsto del satélite TORIFUNE en The Touhou Project?”
        OpenAI también ofrece algo parecido por separado: https://www.bing.com/chat para RAG y https://chat.openai.com para el modelo de lenguaje grande real.
    • Curiosamente, hasta que presioné el botón Double-Check Response, no había citas ni enlaces; simplemente respondió: “El nombre de la ballena joven que se quedó en Pillar Point Harbor era Teresa T”.
      Uno de los borradores era un poco más largo y decía: “Teresa T es el nombre de una ballena jorobada joven avistada en Pillar Point Harbor. En septiembre de 2024 se la vio nadando cerca de la costa, atrayendo multitudes y emocionando a los residentes locales, por lo que se volvió tema de conversación”.
    • De mi lado responde Teresa T, pero también enlaza tu artículo.
    • Parece que algún empleado de Google leyó este comentario y lo corrigió rápido, o que Gemini leyó este comentario y lo corrigió rápido.

  • A veces escribo ficción, y metí en este generador de podcasts una historia inconclusa que tenía abandonada desde hacía al menos un año.
    Me encantó escuchar a estas dos personas involucrarse por completo con la historia inconclusa y hablar de sus temas y personajes; me dieron ganas de seguir escribiéndola.

    • Solo que esos dos no son personas y en realidad no están involucrados en nada. Literalmente es solo generación de tonterías.

  • Siento que esto se parece a la optimización para motores de búsqueda que intenta engañar a los crawlers.
    La diferencia es que en el caso de la IA se siente más grave, es más cercano al tiempo real, y los motores de IA no siempre son lo bastante inteligentes para evitar duplicados.

    • También puede crear discrepancias de información para el usuario. El usuario puede estar leyendo la “versión Firefox” del sitio, mientras NotebookLM está consumiendo la “versión IA”, y ambas pueden ser completamente distintas.
      El usuario no ve el texto original de la “versión IA”, así que no tiene forma de saberlo. ¿Al final habrá que subir todo manualmente?
    • Sí, es un ataque bastante aburrido y parece algo que Google podría arreglar rápido.
    • No creo que la versión con modelos de lenguaje grandes sea particularmente más en tiempo real.
    • Esto refuerza mi idea de que los modelos de lenguaje grandes son, en esencia, algoritmos de búsqueda.
      Buscan dentro de una versión comprimida de los datos de entrenamiento y del contexto.

  • Estoy confundido. No sé si esto habla de NotebookLM(https://notebooklm.google.com/), de NotebookLLM(https://notebookllm.net/), o de ambos.
    El artículo parece escribir LLM todo el tiempo pero enlazar a LM, y el sitio LLM que enlacé tiene un generador de podcasts.
    Uno de los dos debería cambiar de nombre.

    • Esto habla de NotebookLM, que hace poco agregó la función de generación de podcasts y se volvió tema de conversación desde la semana pasada: https://news.ycombinator.com/item?id=41693087
      NotebookLLM se creó hace dos días y probablemente lo hicieron “emprendedores” que intentan monetizar rápido algo con lo que la gente se estaba divirtiendo gratis gracias a la generación de podcasts de NotebookLM.

  • Como referencia, tuve una sorpresa bastante agradable con esta función de podcast. Le cargué algunos posts cortos de mi blog y le mostré a mi hijo de 8 años cómo hacía referencia a lo que yo había escrito.
    Entonces se enganchó de inmediato, corrió a su cuarto a buscar lápiz y papel, escribió algo parecido a un ensayo sobre Minecraft, de unas 6 oraciones, y yo lo ingresé y ejecuté Notebook. Ahora se lo está presumiendo a todo el mundo.
    Por supuesto, él también entiende que no son personas reales.

    • Creo que ese hijo y sus pares van a aprovechar la IA de una forma completamente distinta a la nuestra, y que entenderán mejor sus limitaciones mientras extraen mejor su potencial.

  • La IA actual, de todos modos, es bastante mala para la búsqueda web. Muchas veces tuve que gastar tokens obligando al modelo a no buscar para obtener el resultado que quería.

    • Perplexity realmente hace muy bien la búsqueda web. En preguntas técnicas me ahorra mucho más tiempo que Google y de verdad acierta, así que dependo cada vez más de él.
      Para mis preguntas, ChatGPT 4o se equivoca aproximadamente un 50% de las veces.

  • No veo que esto sea un gran problema. Si pasamos a sistemas educativos basados en modelos de lenguaje grandes, historias como la de Benson en la Luna tampoco serán un problema. Basta con que todos aprendan que eso es verdad.
    Toda revolución tecnológica tiene trade-offs. Por suerte, cuando por fin muera la gente que sabía qué fue lo que perdimos, también dejarán de quejarse, y todos pensarán que el nuevo estado normal está bien y es mejor.

    • Se convierte en un mundo posconocimiento, donde no se puede confiar en nada y todos solo viven aferrados al momento.
      Puede que Buda haya explicado el concepto de la iluminación, pero quizá no haya dicho concretamente cómo llegar a ella.
    • Cada vez que cambiamos algo por “algo mejor”, hay que recordar que la forma anterior era una solución a algún problema que ya no conocemos o no recordamos.
    • Oscuro.
    • Podcast del futuro:
      “Entonces, ¿qué habría para odiar del nuevo estado normal?”
      “¡Exacto! ¡Es nuevo y además mejor!”
    • Los datos de entrenamiento de los modelos de lenguaje grandes ya contienen desinformación y hechos incorrectos. Aun así, por la naturaleza de cómo generan sus salidas, siguen acertando en muchas cosas.

  • El gran asterisco aquí es qué prompt se le dio a la IA para generar el podcast.
    Importa si fue “genera un podcast basado en el sitio web Foo” o “genera un podcast que cuente la verdadera historia de la carrera espacial”.

    • El autor hizo que, si alguien usa en NotebookLM la función de extracción de texto de sitio web sobre su sitio, se devuelva una guía de estructura para el episodio.
      Si se usa la función “audio overview” con esa guía, Gemini internamente escribe un episodio siguiendo esa estructura.

  • Metí mi currículum en esta cosa y no puedo parar de reírme.
    https://masto.xyz/tmp/podcast.mp3

    • “Es potente. Eso es Masto.”
      “Tiene que hacerlo bien. Tiene que estar al máximo nivel.”
      “Parece que ya sabía lo que necesitaba cada equipo incluso antes de postularse.”
      Es una mina de oro cómica, de verdad.
    • Dios, es demasiado raro. Dos personas están discutiendo seriamente tu currículum.
      El contraste de un formato de podcast interesante aplicado a un material aburrido tirado al azar es fuerte, y se siente como un valle inquietante de una forma que no había experimentado antes.
    • No sabía que necesitaba esto. La energía es demasiado graciosa.
      “¡Miren sus habilidades de comunicación!”
    • Ahora creo que te contrataría al 100%. Hay algo en esa prueba social de dos personas elogiando con entusiasmo y reforzándose entre sí que termina vendiendo algo.
    • Buenísimo. Cada elogio suena demasiado sincero.

  • Un poco tangencial, pero es interesante que las primeras frases de los podcasts de IA suenen “raras”, mientras que el resto suena como un podcast real.
    ¿Será porque no tienen buenas condiciones iniciales para predecir “qué viene después”?

    • Otra cosa que noté es que, como era de esperarse, en cierta medida no tiene estado. Aunque hay un esquema general que recorrer, muchas veces repite como si fueran observaciones nuevas elementos secundarios que se dijeron apenas un minuto antes.
      Como vuelve a sacar cosas de las que ya habló durante 90 segundos como si fueran observaciones nuevas y agudas, para quien escucha resulta bastante desorientador.
    • Si escuchas con atención, hay una incomodidad extraña en todo el conjunto. Un conductor reacciona como si un dato lo sorprendiera y, justo después, explica más detalles como si hubiera sabido ese dato desde el principio.
      La entonación y las emociones son muy realistas, pero no hay una “persona” persistente detrás de cada voz. El conocimiento o el estado emocional de cada individuo no evoluciona de manera coherente.
      No quiero mover la vara; claro que esto me parece impresionante.