- En Google AI Overview se mostró información inexacta que decía que 'Dave Barry' había muerto
- En realidad, Dave Barry sigue vivo, pero la IA reflejó repetidamente información errónea varias veces
- El usuario envió retroalimentación en varias ocasiones, pero no se logró una solución satisfactoria durante el chat con la IA ni en el proceso de corrección del problema
- La IA confundió información de personas reales, mezclándola con la de otros o repitiendo errores una y otra vez
- Este caso muestra que la IA todavía tiene limitaciones para tareas basadas en hechos
Introducción
- Dave Barry se enteró de su propia muerte en 'Google'
- Al buscar su nombre ("Dave Barry") en Google, apareció una función de resumen llamada Google AI Overview
- Esta función usa inteligencia artificial para resumir los resultados de búsqueda y recientemente ha llamado la atención de muchos usuarios
Confirmación de la información de muerte incorrecta
- En Google AI Overview aparecía una lista de preguntas llamada "People also ask", junto con la información básica de Dave Barry
- Entre esas preguntas se incluía una que decía que Dave Barry había muerto, aunque en realidad no era cierto
- Dave Barry estaba seguro de que seguía vivo, incluso según la evaluación de varios médicos
Cómo procesó Google AI la retroalimentación
- Dave Barry envió retroalimentación sobre la información incorrecta de Google AI Overview
- Dado que Google opera con un sistema automatizado, no esperaba que la corrección fuera inmediata
- Sin embargo, después de enviar la retroalimentación, la parte de las preguntas fue corregida, pero en cambio desapareció la explicación precisa y fue reemplazada por información todavía más inexacta (contenido sobre otro Dave Barry)
Problemas de comunicación con la IA
- Dave Barry volvió a enviar comentarios para señalar que la IA estaba entendiendo mal su situación
- En ese proceso, la conversación con el chatbot de IA no funcionó correctamente, y la IA no logró comprender bien el sentido del problema
- A pesar de las explicaciones repetidas, la IA no reconocía el problema y la conversación avanzaba como si estuviera hablando con una máquina
Errores repetidos y solución temporal
- Después de enviar más retroalimentación, el contenido del Overview volvió a cambiar y desapareció la afirmación de su muerte
- Sin embargo, todavía había errores en otras partes (información sobre publicación de libros, trayectoria como columnista, etc.)
- Incluso después, el Overview volvió a marcarlo como muerto, mostrando que la precisión de la información cambiaba de forma inestable y repetitiva
- La última vez que se revisó, aparecía nuevamente como vivo junto con una explicación de que había "confusión"
Conclusión y lecciones
- Esta experiencia muestra que, aunque la IA es una herramienta muy poderosa, es difícil confiar en ella para tareas que requieren verificación precisa de hechos
- Por ahora, la IA parece más adecuada para trabajos de baja confiabilidad requerida (por ejemplo, redactar cartas de recomendación o borradores de políticas) y no para áreas que exigen alta precisión (por ejemplo, la operación de aeronaves)
- En definitiva, esto sugiere que hay que tener cuidado al usarla en el futuro, considerando sus limitaciones
Encuesta
- Se presenta a los lectores una encuesta con la pregunta: "¿Crees que la IA será una presencia beneficiosa para la humanidad en el futuro?"
- También cierra con una broma ligera
1 comentarios
Opiniones de Hacker News
Un negocio popular en mi zona aparece resumido en Google Maps más o menos así
dice que en este bar animado puedes disfrutar bebidas y sándwiches po' boy, y que tiene jukebox, mesa de billar y dardos electrónicos, pero en realidad no hay po' boys, no hay jukebox (aunque la playlist es excelente), ni mesa de billar ni dardos electrónicos. En bebidas, apenas ofrecen cerveza y unas cuantas cosas en lata, sin cocteles ni tragos preparados
Hace un mes alguien dejó una reseña crítica de 1 estrella diciendo que fue a jugar billar o dardos y se decepcionó porque no había nada de eso
Claramente el dueño ya lo reportó, yo también lo reporté, y supongo que otros visitantes también
Aun así, ya pasó un mes y esa información incorrecta sigue ahí
La solución más simple sería empezar a vender po' boys de verdad e instalar un jukebox, una mesa de billar y dardos electrónicos
De verdad me gustaría que Google tuviera una opción global para desactivar cualquier cosa que huela a “contenido hecho por IA”
Supongo que quizá estoy pidiendo demasiado
Por este tipo de información inexacta, la gente realmente toma decisiones (como visitar un negocio) e incluso termina dejando reseñas equivocadas
También me pregunto si en casos así se podría presentar una demanda por daños
O si simplemente sería mejor quitar la información de Google
Últimamente, cada vez que intento ayudar a alguien en línea, ya sea en foros de autos o grupos de Facebook, me enseñan una “captura que vieron en Google”, y resulta ser claramente un resumen de IA
Por ejemplo, aparece una explicación detallada diciendo que existe la función X, pero esa función jamás ha existido
Esto pasa todo el tiempo
Es un problema enorme, especialmente en comunidades en línea sobre autos
Creo que esto no es solo un problema de resúmenes de IA, sino un problema estructural de Google
Google muestra información inexacta con bastante frecuencia y, por lo general, casi no hay manera de corregirla
Formularios de retroalimentación y similares suelen ser ignorados
He tenido que pelear durante años en Google Maps para corregir información errónea por este mismo tipo de problema, y la mayoría de la gente cree que Google Maps es la verdad absoluta
Ni siquiera estoy seguro de que la información haya cambiado alguna vez gracias a mis reportes
Google suministra información como si la lanzara con una manguera contra incendios (feed)
Google es tan grande que parece no importarle mucho este tipo de inconsistencias, o más bien no le importan porque no afectan su modelo de negocio
Sí creo que esto es realmente un problema de los resúmenes de IA
Al principio, lo que hacían era poner hasta arriba el resultado de búsqueda más relevante para la consulta del usuario, y el usuario daba clic para verificar por sí mismo si el contenido era correcto
Ahora siempre aparece arriba un resumen de IA, con un LLM muy rápido pero bastante tonto, del tipo que pueden ejecutar barato en cada página web
Esto es claramente una decisión de producto, y es una decisión gravemente equivocada
Por ejemplo, si buscas "Suicide Squad", sale algo así
En este caso, la razón por la que se mostró información incorrecta es que el resumen de IA mezcló información de dos personas distintas
En una búsqueda tradicional, cada página habría tratado solo la información de una persona
Así que esto es, de hecho, un problema que surge específicamente en el resumen de IA
Google, en particular, no tiene mucho incentivo para priorizar la precisión a nivel de usuario individual
Y como maneja volúmenes enormes de contenido, también le resulta fácil escudarse en la “escala” para ignorar estas cosas
Si hay información incorrecta, sí existe una solución
Subir el caso a la portada de Hacker News (HN)
Antes, mi mayor queja con Google era simplemente que en la documentación de Java (al buscar nombres de clases) la documentación de la versión 1.4 salía antes que la de la versión 6
Me pregunto si este caso de “la IA escribió que Dave Barry murió en 2016” hará que el resumen cambie en el futuro, a medida que se indexen más textos suyos
Podría terminar saliendo un resumen tipo: “Dave Barry murió en 2016, pero todavía lo niega”
El resumen de IA que yo mismo recibí dice esto
Incluso parece posible que la IA termine escribiendo algo como: “Se creía que Dave Barry había muerto en 2016, pero surgió una controversia cuando se descubrió que seguía vivo”
Creo que parte de estos errores son inevitables por el problema de la falta de unicidad en los nombres de las personas
Una posible medida básica sería mostrar siempre una pregunta tipo “¿qué otras personas tienen este mismo nombre?” al ingresar un nombre
Eso no resolvería por completo el problema de mezclar información de varias personas, pero creo que la mayoría de los problemas ocurren porque el nombre coincide con el de alguien famoso
Parece que Google usa hasta cierto punto su knowledge graph, pero me pregunto cuánto consulta realmente el LLM ese grafo
Mi impresión es que consulta tanto el grafo como los resultados normales de Google, y que el LLM (probablemente un modelo simple como Gemini Flash Lite) no logra distinguir bien la celebridad del knowledge graph frente a la información de los resultados de búsqueda y termina mezclándolo todo
Esto pasa especialmente cuando hay homónimos con distintos niveles de notoriedad en varios ámbitos
Yo mismo, al crear una app personal de knowledge graph, me di cuenta de que usar solo el nombre y apellido como entity ID podría causarme problemas algún día
En mi caso, como lo usaré para organizar información personal, probablemente sea tolerable, pero ya veo problemas en el análisis de correos, donde no logra reconocer bien que varios de mis apodos corresponden a la misma persona
Este tipo de “confusión” al final proviene de que la máquina no entiende que los nombres humanos no son únicos (singleton)
Como parte de un movimiento social, voy a ponerles Google a todos mis hijos (incluidos los que ya tienen nombre)
Dave Barry de verdad es lo máximo
Este es un problema clásico de Google desde mucho antes de la IA
Soy pesimista respecto a que esto vaya a cambiar, pero igual no pierdo la esperanza
Y los fósiles de trilobites son muy tiernos
Hasta tengo un fósil real en mi escritorio, y un amigo hasta le puso lentes
Porque, según él, yo ya soy un señor de la era de los dinosaurios, pero los trilobites son todavía más antiguos
https://www.trilobites.info/
Hace poco vi un caso en que una banda llamada Dutch Interior fue completamente difamada sin ninguna base por Meta AI
La IA inventó que la banda estaba vinculada con supremacistas blancos y extremistas de ultraderecha
https://youtube.com/shorts/eT96FbU_a9E?si=johS04spdVBYqyg3
https://www.politico.eu/article/dutch-scandal-serves-as-a-warning-for-europe-over-risks-of-using-algorithms/
En 2019, la autoridad fiscal neerlandesa creó perfiles de riesgo con IA autoaprendente para detectar fraude en subsidios de cuidado infantil, y eso terminó causando la desintegración de muchísimas familias, hogares de acogida, bancarrotas e incluso suicidios
En 2021, la autoridad neerlandesa de protección de datos incluso multó a la autoridad fiscal con 2.75 millones de euros
Ver al gobierno multarse a sí mismo fue una movida realmente “genial”
Esta situación absurda es demasiado ingeniosa
Se parece al fenómeno de “Soy el autor de ciencia ficción Greg Egan, no hay fotos mías en internet”, texto que se ha propagado por internet de manera bastante inútil
https://www.gregegan.net/images/GregEgan.htm
Creo que algunos de los resúmenes sobre Dave Barry no estaban realmente equivocados, porque existe otro Dave Barry que sí murió de verdad (un homónimo que falleció en ese periodo)
Me pregunto por qué este Dave Barry debería tener más representatividad al responder la pregunta “¿qué le pasó?” sobre sí mismo
En realidad, a él no le pasó nada, pero a su homónimo sí le pasó algo (murió)
Si esa información estuviera mezclada entre enlaces o datos sobre el Dave Batty de Boston, el contexto quedaría claramente establecido
Así que en este contexto la información sí estaba mal
Solo con frases como “Dave Barry, humorista y ganador del Pulitzer, murió el 20 de noviembre del año pasado…” o “Dave Barry (Bostonian)… murió el 20 de noviembre…”, ya queda claro de quién se está hablando
Incluso cuando el contexto está fuera de la oración (embedding context), en expresiones así la identidad del sujeto cumple un papel importante
De hecho, si buscas el nombre en Google, la estructura del resumen apunta a Dave Barry (el escritor) y lo coloca hasta arriba
Por cierto, cuando yo busqué, Google decía que Dave Barry estaba vivo, pero citaba como fuente el artículo de Wikipedia de Dave Berry, el músico
También es posible que esta versión (con información de fallecimiento sobre el homónimo) se muestre de forma alternada con otros resúmenes de IA
Lo ideal sería que, como en Wikipedia, se distinguiera claramente entre personas (disambiguation)
Ahora me entró la duda de si el otro Dave Barry en realidad también seguirá vivo
En la sección “¿Qué le pasó a Dave Barry?”, la información sobre Dave Barry, el activista, aparecía dentro de una subsección sobre Dave Barry, el comediante
Para una persona común, eso naturalmente se interpreta dentro del contexto del comediante
Por eso este Dave Barry (el escritor de humor) sí tiene derecho a decir que era una pregunta dirigida a él
Es como si en medio de la página de Wikipedia de Dave Barry (comediante) apareciera sin ningún contexto la noticia de la muerte de otro Dave Barry