- Benn Jordan ha estado recibiendo recientemente mensajes y etiquetas pidiéndole repetidamente que aclare su postura sobre Israel
- Esto resulta extraño porque él siempre ha expresado públicamente que se opone al genocidio y apoya la creación de un Estado palestino, pero aun así comenzaron a llegarle mensajes raros
- Al verificarlo, descubrió que Google AI Overview estaba creando y difundiendo a nombre de Benn Jordan una elaborate story (historia elaborada pero falsa) que no era cierta
- Resumen de lo que Google AI Overview decía sobre Benn Jordan
Decía que Benn Jordan, músico electrónico y youtuber de ciencia, se había involucrado recientemente en el conflicto entre Israel y Palestina, provocando una gran controversia y debate en línea, y que había subido un video de YouTube titulado "I Was Wrong About Israel: What I Learned on the Ground", donde compartía su experiencia viajando por Israel e entrevistando a residentes de kibutz cerca de la frontera con Gaza. Según esa versión, el video mostraba una comprensión directa del conflicto a través de entrevistas con residentes de kibutz cercanos a la frontera con Gaza, y tras su publicación generó discusiones y comentarios en redes sociales.
- Resumen de lo que Google AI Overview decía sobre Benn Jordan
- Pero Benn Jordan nunca ha estado en Israel. Nunca subió ese video, y en realidad Google lo confundió con una persona llamada Ryan McBeth, que publica videos militares
- Debido a ese resultado generado por IA, se están difundiendo malentendidos que contradicen su postura real y, como consecuencia, se ejerce sobre la gente una presión social o una opinión pública equivocada
- Benn Jordan está consultando con abogados si es posible presentar una demanda
4 comentarios
Es bien sabido que AI Overview no es muy confiable, pero esto ya es bastante grave.
Esto amerita una demanda, ¿no...?
Vaya, esta historia es demasiado impactante. Si una situación así por un tema específico me pasara a mí también, da miedo pensar qué podría ocurrir.
Opiniones en Hacker News
Me parece un caso representativo de cuánto pueden afectar nuestras vidas las alucinaciones de la IA y su falta de precisión en el futuro; me da miedo que un tema tan delicado e importante se trate solo a nivel de titulares, especialmente si el público no entiende bien cómo funcionan estas herramientas. Antes, al menos un humano hojeaba la información; con la IA, ni eso se puede esperar.
He visto muchas veces que la gente copia y pega resultados o respuestas de conversaciones con IA en issues de GitHub, correos, etc., y siento que cada vez más personas tienden a confiar acríticamente en lo que producen estos modelos. Lo mismo pasa con el “resumen” que aparece hasta arriba en los resultados de búsqueda de Google. Casi todos los resúmenes que he leído contienen al menos un error grave, y pienso que si fuera un tema que no conozco bien, podría creérmelo tal cual. En general, “confiar, pero verificar” se ha vuelto cada vez más importante, pero en realidad creo que ahora también hay que limitar incluso la confianza inicial.
La lógica de que recopilar masivamente contenido con copyright para crear modelos de IA constituye una obra transformativa se usa como base de su justificación. Si ese argumento es válido, entonces creo que empresas como Google deberían hacerse responsables de estos resultados. Si es una obra transformativa, no se puede trasladar la responsabilidad a otra persona. No se debería permitir que estas empresas quieran quedarse con ambos lados del trato. Me interesa ver hacia dónde evoluciona este debate.
He dejado de evaluar a las personas según su postura sobre Israel y Hamás, y me parece bien simplemente no relacionarme con quienes hacen eso. No me importa demasiado si alguien expresa mal mi opinión. Para vivir así probablemente hay que dejar Bluesky o HN, donde abundan estas discusiones políticas, pero incluso las opiniones legítimas ya se transmiten de forma muy sesgada y equivocada, y la IA está al nivel de lanzar una moneda al aire. Si alguien quiere convencerme de que entiende bien este tema, estoy dispuesto a escucharlo, pero no creo que haga falta hacerlo aquí.
Creo que Google debería ser responsable de este tipo de resultados. Es quien publica y aloja este contenido, así que debería responder por todo el material difamatorio.
Probablemente esta historia crecerá lo suficiente como para tapar el incidente del video falso, y luego la IA terminará resumiendo automáticamente esa controversia del video falso a partir de los primeros resultados de búsqueda.
Busqué "benn jordan isreal" y el primer resultado fue un video de un creador completamente distinto, con el mismo título y la misma fecha. En el video no se menciona “benn” y solo se menciona un poco el país “Jordan”, así que parece que Google alucinó una relación solo con eso. Muy preocupante.
https://www.youtube.com/watch?v=qgUzVZiint0
Creo que esto es casi con certeza lo que realmente pasó. La respuesta de IA de Google no es magia; simplemente resume resultados de búsqueda. En este caso, parece haber arrastrado un video donde se mencionan juntos “Israel” y “Jordan”, y con eso produjo un contenido de postura completamente opuesta. La UI oculta mucho contexto, así que es difícil identificar dónde se equivocó, y en el modo IA ejecuta varias búsquedas, agrega snippets de más de 100 sitios y luego genera un resumen.
Lo interesante de esta discusión es que me hace preguntarme si es algo habitual que los resultados de búsqueda sobre temas generales se usen como base para el entrenamiento de LLM o para recuperación de información.
Si uno supiera cómo funciona realmente la traducción por IA, podría sorprenderse aún más: tuerce varios idiomas hacia una especie de inglés estadounidense.
La gente suele googlear cosas que no conoce, y lo que genera AI Overview le parece plausible a quien no domina el tema, pero en realidad se equivoca mucho. Y no solo en problemas grandes como este; antes también recomendó poner pegamento sobre la pizza. Si buscas en Google algunos temas que conoces bien y revisas el resumen completo, verás que falla con bastante frecuencia. En mi experiencia, solo alrededor de 1 de cada 5 no tenía errores graves. Ya sé que “el plural de dato no es anécdota”, pero se equivoca tan seguido que instalé una extensión para bloquearlo.
Yo he notado que cuando trabaja sobre contenido ya estático y bien organizado, como Wikipedia o blogs, es bastante preciso. En cambio, con información dinámica, especialmente en redes sociales, tiende a conectar relaciones y producir resultados incorrectos. En general, la gente espera demasiado de AI Overview. Google AI Overview no tiene una superioridad absoluta ni siquiera frente a la búsqueda web de Claude, Grok o ChatGPT; de hecho, en varios aspectos va por detrás. Creo que es una función metida a la fuerza porque el monopolio de exploración de información se ve amenazado por OpenAI y otros.
Siento que la mejora en la precisión de AI Overview respecto de antes hace que el problema sea aún peor. Antes se equivocaba con suficiente frecuencia y de forma suficientemente obvia como para ignorarlo fácilmente. Ahora acierta bastante seguido y siempre suena plausible, así que aparece la tentación de depender más de ello.
Parafraseando la mejor explicación que he visto sobre la desinformación de IA “plausible”: los resúmenes de IA se parecen a cuando un podcaster generalista o un ensayista de YouTube trata un tema técnico o muy de nicho: la forma y la confianza son tan pulidas que casi parecen verdad. Pero si eres experto en ese tema, detectas que todo lo que sabes está mal, o al menos débilmente sustentado. Ese exceso de seguridad amplifica aún más la “señal de precisión” para el público general que no tiene conocimiento sólido, y como la mayoría de nosotros no tenemos conocimientos profundos sobre el 90% de los temas, el problema se vuelve serio.
En este caso de alucinación de IA, aparece la afirmación de que el 18 de agosto de 2025 Benn Jordan subió un video con impresiones de viaje sobre Israel, pero eso coincide exactamente con el título de un video reciente de Ryan McBeth.
https://youtu.be/qgUzVZiint0?si=D-gJ_Jc9gDTHT6f4
Da miedo lo fácil que es que simplemente conecte mal la fuente del video.
Al principio pensé que la IA se había confundido porque existían dos personas llamadas Benn Jordan, pero en realidad quien subió ese video fue Ryan McBeth. Me pregunto cómo pudo ocurrir ese error.
Puede que el modelo que Google usa en la página de búsqueda sea menos inteligente por razones de ahorro de costos. Tengo mis dudas de que ese enfoque sea una buena estrategia en un producto insignia como Search. Más bien creo que sería mejor sacar por completo la IA de la búsqueda.
Probablemente en el video se menciona la palabra “Jordan”, y como es un país cercano a Israel, eso habría creado una asociación equivocada.
Resulta que el video de Ryan aparece por encima del de Benn al buscar en YouTube. Creo que la IA simplemente tomó como hechos los resultados de búsqueda de YouTube sin siquiera verificar el nombre del canal.
Esto no es responsabilidad de Google. En la parte inferior de la pantalla aparece claramente, en texto de 6pt, el aviso: “Las respuestas de IA pueden incluir errores. Más información”.
Sí es responsabilidad de Google, porque está creando y distribuyendo directamente contenido difamatorio. Piensa cómo te sentirías si alguien buscara mi nombre y en la primera línea apareciera que soy un delincuente sexual en cierta ciudad. No es una cita de algo que dijo alguien; es una alucinación sin fundamento. Aunque abajo haya una advertencia en letra diminuta diciendo que podría estar mal, casi nadie pensaría que “con eso basta”.
Se dijo que el aviso estaba en 6pt, pero al inspeccionar el elemento vi que en realidad era 12px (9pt). Como referencia, el texto normal del cuerpo —sin contar encabezados— es de 18px. Sí es tan pequeño que pasa desapercibido, pero no al nivel de ser completamente invisible.
Hace unas semanas, un pequeño negocio cercano a mí descubrió que la IA de Google les decía erróneamente a los usuarios que su empresa era una estafa, por información de otra compañía sin relación pero con un nombre parecido. Hemos terminado convirtiendo en servicio principal el evitar que la IA dañe la reputación de nuestros clientes.
Sobre “Las respuestas de IA pueden incluir errores”, creo que tal vez sería mejor que la gente aprenda a filtrar automáticamente los resúmenes de IA igual que ignora la publicidad.
https://news.ycombinator.com/item?id=44142113
A menos que la ley intervenga pronto y siente un precedente, tarde o temprano la IA va a provocar una catástrofe realmente grande.
Pregunto con qué fundamento debería intervenir la ley. Normalmente equivocarse no se castiga. La difamación suele requerir intencionalidad, y aquí no parece haberla de forma clara. La mayoría de las IA también incluyen avisos sobre errores y alucinaciones. En algunos países, como Francia, la parte afectada tiene derecho a pedir correcciones, y por lo que se ve en el artículo, Gemini ya reconoció el error y lo corrigió. Si se vuelve ilegal la alucinación de IA, los propios LLM podrían terminar siendo ilegales. En cambio, obligar a tener mecanismos de denuncia de información falsa y filtros sí parece técnicamente viable.
Quisiera preguntar qué significa exactamente “sentar un precedente”. También estoy de acuerdo en limpiar la contaminación de IA, pero me opongo a una sociedad centrada en litigios. Creo que las medidas legales en la práctica podrían abusarse muy rápido.
Desde una perspectiva técnica, hay investigaciones que muestran cómo los resúmenes pueden fallar por basarse en resultados con snippets cortos de Google.
Google tiene que soportar AI summaries a una escala de 200 mil a 500 mil consultas por segundo. Usar un modelo lo bastante bueno como para evitar alucinaciones sería demasiado caro, así que terminan usando modelos rápidos, baratos y de bajo rendimiento. Además, si ofrecen un resumen, también cae la tasa de clics en anuncios. Considerando todo eso, creo que fue una muy mala decisión por parte de Google adoptar este enfoque de resumen.
https://maxirwin.com/articles/interleaving-rag/