- NotebookLLM de Google genera un pódcast sobre una página web o documento que se le da como entrada. Tiene un rendimiento excelente, pero es fácil de engañar.
- El autor manipuló su propia página personal para que, cuando la visitara la IA, viera una historia sobre un viaje a la Luna en bicicleta y con globos y tanque de buceo. El resultado fue muy divertido.
Un poco más en serio..
- Posibilidad de manipular a la IA: Es muy fácil engañar a la IA para que entregue ciertos “hechos”. Es muy probable que ya haya gente usando estos métodos en toda la web.
- Vector de ataque:
- Conseguir una página web que se posicione alto para ciertos términos.
- Insertar una versión de contenido “solo para IA”, oculta para los humanos, para sesgar el razonamiento de la IA.
- Resultado: Cuando la IA busca en la web para preparar una respuesta, puede encontrar no solo información falsa, sino también contenido diseñado para manipular LLM. Los usuarios deben entender que las respuestas de la IA pueden verse potencialmente comprometidas por estas tácticas.
Detalles técnicos
- Manipulación de LLM: NotebookLLM puede manipularse fácilmente proporcionando falsas “notas del productor del programa”. El autor escribió una historia falsa con esto, y la IA la siguió con precisión.
- Engañar a los bots scraper: Se pueden subir notas falsas del programa al sitio web de NotebookLLM. En un sitio web se puede detectar el user agent GoogleOther y entregar datos exclusivos para IA. Esto puede implementarse fácilmente usando el paquete NPM
isai. Sin embargo, GoogleOther se usa en varios productos de Google no destinados a producción, por lo que existe el riesgo de servir datos incorrectos.
Resumen de GN⁺
- Este artículo muestra la vulnerabilidad de la IA y advierte que, al recopilar información de la web, puede recibir información manipulada.
- A medida que la tecnología de IA avance, esta posibilidad de manipulación podría volverse aún más importante. Los usuarios deben reconocer que las respuestas de la IA no siempre son precisas.
- Un proyecto con funciones similares es la serie GPT de OpenAI. Estos proyectos se siguen mejorando continuamente para aumentar la confiabilidad y precisión de la IA.
1 comentarios
Comentarios en Hacker News
El ataque contra NotebookLM es limitado solo a quienes crearon intencionalmente un Notebook que incluye la URL de una página específica
Como persona que escribe novelas, escuchar una historia inconclusa en formato de podcast le dio motivación para escribir al ver a gente involucrarse con el tema y los personajes
Al igual que con el SEO, hay formas de engañar a los rastreadores de IA, pero la IA opera en tiempo real y las funciones de deduplicación no siempre son inteligentes
Hay confusión entre NotebookLM y NotebookLLM, y uno de los dos proyectos debería cambiar de nombre
La experiencia de usar el generador de podcasts fue positiva, y su hijo de 8 años probó ingresar su propio texto y se sintió orgulloso
Actualmente la IA no es buena para buscar en la web, y muchas veces hay que evitar que el modelo busque para obtener el resultado deseado
Si se hace la transición a un sistema educativo basado en LLM, desaparecerán las desventajas de la innovación tecnológica y el nuevo estándar será percibido como mejor
Es importante qué prompt se usó cuando la IA generó el podcast
Puso su currículum en la IA y no podía parar de reír
Es interesante que las primeras frases del podcast generado por IA suenen incómodas, pero el resto suene como un podcast real