Las respuestas de IA pueden incluir errores

• El resumen con IA de la Búsqueda de Google inventó especificaciones plausibles sobre una IBM PS/2 Model 280 que no existe, y la respuesta seguía cambiando incluso con la misma consulta
• La respuesta incorrecta describía la Model 280 como un sistema 286 basado en ISA, mezclando detalles como lanzamiento en 1987, 1MB de RAM, 640KB de RAM, VGA y una unidad de 1.44MB
• Algunas respuestas decían que el sistema 286 podía ampliarse hasta 128MB de RAM, pero el límite estructural del 286 es de 16MB, así que la propia respuesta mostraba contradicciones internas
• Al repetir la misma consulta varias veces, a veces sí aparecía la respuesta correcta: “la Model 280 no es un modelo específico de la serie PS/2”, pero su proporción era de apenas alrededor del 10%
• Como los resúmenes de búsqueda con IA pueden parecer más convincentes para los no expertos mientras más detalles incluyen, no es fácil tomar a la ligera la advertencia de “AI responses may include mistakes”

---

El caso de la inexistente PS/2 Model 280

• Se ingresó el nombre del modelo en Google para encontrar un sistema IBM PS/2 Server de alrededor de 1992, pero la máquina que realmente se buscaba era un sistema con varios procesadores 486 y Microchannel (MCA)
• El resumen con IA de los resultados de búsqueda respondió desde el inicio con algo distinto al objetivo
  • Describía la PS/2 Model 280 como si fuera un sistema basado en 286
  • La presentaba como si estuviera basada en ISA en lugar de Microchannel
• Incluso al repetir la misma consulta, solo cambiaba el texto de la respuesta, pero seguía describiendo la Model 280 como un sistema 286 basado en ISA

Especificaciones falsas que cambian mientras más se repite

• El resumen con IA daba especificaciones distintas cada vez que se repetía la consulta
  • Una respuesta decía que la Model 280 tenía 1MB de RAM y podía ampliarse hasta 6MB
  • Otra respuesta decía que la RAM base era de 640KB
  • Repetidamente la describía como si tuviera una unidad de 1.44MB y gráficos VGA
• En otro intento, presentaba la Model 280 como un sistema 286 ampliable hasta 128MB de RAM
  • El 286 tiene un límite estructural de 16MB, así que esa explicación no es técnicamente correcta
• El resumen con IA también decía que la Model 280 había sido un avance importante en la línea de computadoras personales de IBM y que ayudó a convertir a la PS/2 en una plataforma popular y confiable

Error clave: la Model 280 no existía

• El problema más grave es que el modelo PS/2 Model 280 como tal nunca existió
• Aunque se ingresó un número de modelo equivocado, la IA de Google generó una explicación que a primera vista parecía plausible
• Este tipo de respuestas incluye muchos detalles y frases naturales, por lo que incluso información falsa puede parecer fácil de creer

La respuesta correcta aparece solo a veces

• Si se repite la misma consulta suficientes veces, sí puede aparecer una respuesta correcta
  • “La Model 280 no era un modelo específico de la serie PS/2”
  • Daba a entender que la consulta misma contenía un error
• Sin embargo, en las consultas repetidas, la respuesta correcta aparecía solo en alrededor del 10% de los casos, y en la mayoría de los intentos la IA inventaba el contenido
• Las respuestas alucinadas no solo no son útiles, sino que la respuesta incorrecta puede parecer más “real” que la correcta

Cuándo se vuelven peligrosos los resúmenes de búsqueda con IA

• Un experto podría detectar con relativa rapidez las inconsistencias en la respuesta
  • Por ejemplo, al revisar Wikipedia en List of IBM PS/2 Models se puede confirmar que no existió una Model 280
• Los no expertos son quienes más probablemente busquen ayuda en un resumen de búsqueda con IA y, al mismo tiempo, quienes tienen más posibilidades de ser engañados por una respuesta incorrecta
• Es difícil confiar en un asistente de investigación que da una respuesta distinta cada vez y solo acierta de vez en cuando
• La frase de Google “AI responses may include mistakes” no es una simple advertencia, y los resúmenes generados por IA pueden ser información completamente falsa sin relación con la realidad

[ndrgrd]

Creo que lo mejor es usar el LLM solo para resumir. Es indispensable pasar por el proceso de encontrar y verificar la fuente de los datos.

[GN⁺]

Opiniones de Hacker News

• Gemini en la búsqueda de Google no se preocupa por el contexto ni por la precisión, sino que inventa arbitrariamente contenido que parece respaldar la consulta. Es casi una confabulación (confabulation) completa y, si lo pruebas directamente, resulta absurdo.
  Puede servir como ayuda de memoria cuando ya sabes qué resultado estás buscando, pero si no lo sabes, es imposible confiar en él.
  La salida de Google Veo también está llena de agujeros si la miras con detalle, y no parece haber ningún rastro de razonamiento involucrado en la salida.
  Un error ridículo de Veo: https://arstechnica.com/ai/2025/05/ai-video-just-took-a-star...
  Un caso en el que Tesla FSD se comportó de forma extraña: https://electrek.co/2025/05/23/tesla-full-self-driving-veers...

  • Esto es lo que menos entiendo de cualquier tecnología. Google está apostando su negocio principal a una tecnología gravemente defectuosa y cambiando de rumbo.
    Como también dice Ben Evans, la promesa de que “mejorará” tiene límites y, al final, es una promesa vacía.
    Ayer, AI Overview, al buscar un evento conmemorativo en una sala de conciertos de Berlín, fabricó de cabo a rabo un álbum inexistente de un músico italiano ya fallecido.
    Básicamente tomó el nombre de la sala y afirmó que era la obra más importante de ese artista.
    Curiosamente, pegué esa respuesta en ChatGPT y me dio risa porque criticó de forma mordaz y cínica el error de AI Overview.
  • ¿De repente esta calidad es normal y se considera aceptable? Parece que nadie se queja en serio.
    Antes jamás habría pasado, pero hoy parece haber un ambiente de “más o menos está bien”.
    No entiendo por qué deberíamos aceptar resultados falsos o inexactos.
  • Uso uBlock para eliminar las respuestas de Gemini en la búsqueda. Porque con solo verlas un momento pueden contaminar mis suposiciones sobre lo que estoy buscando.
    La higiene de la información ya era importante, pero creo que en adelante será una habilidad realmente indispensable.
  • Tenía una duda sobre un auto e hice una búsqueda en Google con [año] [fabricante] [modelo] [función]. Era una búsqueda que el Google de antes habría resuelto perfectamente, pero ahora el 90% de la página era basura de IA sobre modelos incorrectos, años incorrectos e incluso fabricantes incorrectos.
    Al menos había un video de YouTube que ayudaba un poco, pero solo hasta el final de la página encontré una respuesta de búsqueda al estilo Google antiguo en un foro de un auto totalmente distinto. Gracias, CamaroZ28.com.
  • Hace poco busqué una pista para la sala del casino del juego Blue Prince, y el resultado de IA de Google se puso a explicar una lista de juegos disponibles en un Blue Prince Casino cercano.
    Sé que en realidad cerca de ahí solo hay una prisión, un Costco, algunas casas rurales y un espacio vacío.
    Es sorprendente ver cómo llenan la parte superior de la página de búsqueda con basura completamente falsa y fabricada.
    También devuelve con frecuencia mala información en temas como derecho laboral y en otras búsquedas.
    Sería gracioso si la gente no dependiera realmente de eso.

• Este fenómeno es realmente frustrante. Entiendo, o al menos conozco, la naturaleza probabilística y las limitaciones de los LLM, pero cuando señalo que mi esposa o mis amigos los están usando mal para tareas en las que los LLM no encajan y no son confiables, simplemente me descartan con un gesto, como si yo fuera un cínico de la IA.
  Siguen haciéndoles cálculos a los LLM, por ejemplo dividir una cuenta, y también tratan los resultados de consultas de datos factuales como 100% confiables y correctos.

  • Ah, claro. Es usar una solución de alta tecnología para un problema de baja tecnología. ¡Usemos una máquina de palabras para problemas numéricos!
  • En el uso cotidiano producen resultados “más o menos correctos” con la suficiente frecuencia como para que la gente empiece a construir hábitos alrededor de eso, y ahí está lo complicado.
  • Usarlos para cálculos simples es bastante gracioso. No sé si los hacen usar Python, pero… solo puedo soñar con que así sea.
  • Usar LLM o plataformas en general se parece un poco a fumar en un espacio cerrado donde hay otras personas. Se vuelve una molestia para los demás.
  • Yo no lo hago, pero la verdad es que para algo como dividir una cuenta creo que en general está bien. Me parece que los chatbots principales ya pueden hacer eso correctamente.
    El punto clave es que, como un chatbot puede hacer una amplia variedad de tareas, ¿hay alguna razón para hacer un cambio de contexto a una app completamente distinta por algo así?
    Creo que esto pasará más a menudo en otros casos de uso, y al final la usabilidad le gana a todo.

• Simples descargos de responsabilidad como “Las respuestas de IA pueden contener errores” o el texto al pie de ChatGPT, “ChatGPT puede cometer errores. Verifica la información importante”, ya son claramente insuficientes.
  La verdad es que desde hace años siguen apareciendo noticias de personas perjudicadas por alucinaciones de los LLM en ámbitos específicos, y aun así la gente sigue cayendo; por eso, mientras los proveedores no puedan corregir por completo las alucinaciones, tienen que educar a los usuarios de forma mucho más activa sobre la posibilidad de errores.
  Es necesario aunque aumente la fricción.

  • Eso no tiene mucho sentido. O se les impone a los proveedores de LLM responsabilidad legal por las salidas del modelo, o se mantienen los modelos como están ahora.
    La fricción ya existe. Las empresas de IA y los proveedores de nube operan todos “modelos censurados”, y en cada capa se agrega más censura.
    ¿Qué sería una fricción mayor en este caso? ¿Mostrar más pop-ups?
    Si se elige lo primero, en la práctica sería como matar el negocio de hosting de modelos.
    Las empresas podrían desarrollar modelos para usarlos internamente y dárselos a sus empleados, pero las API públicas desaparecerían.
    Entre empresas se usarían o licenciarían modelos mediante contratos legalmente vinculantes, pero el público general no tendría acceso sin mecanismos que mitiguen el riesgo legal.
    Si dentro de unos años la actitud se suaviza, algunas empresas podrían empezar a empujar los límites. Por ejemplo, automatizando los procesos de aprobación legal o abriendo el registro.
  • Recuerdo que antes Apple Maps recibía críticas durísimas cada vez que daba indicaciones equivocadas.
    Cuando Google Maps llevaba a la gente a lugares incorrectos, como barrios raros, también era noticia y tenían que gestionar una crisis de relaciones públicas.
    Ahora basta con poner uno de esos descargos de responsabilidad y listo.
    La tolerancia de la opinión pública que reciben estas tecnologías es desproporcionada y desalentadora.
  • Eso de educar más activamente a los usuarios sobre la posibilidad de errores quizá sea una situación en la que “aprender por experiencia propia es el mejor maestro”.
    Parece bastante difícil crear un descargo de responsabilidad tan efectivo como que te pase una vez.
  • Los proveedores de LLM no pueden hacer eso. La premisa misma de este boom es la sustitución del trabajo intelectual humano.
    Como dijo hace poco el CEO de Anthropic sobre el desempleo masivo, ellos lo han planteado así varias veces.
    No veo cómo pueden coexistir el énfasis en la posibilidad de errores y la promesa de reemplazar el trabajo humano.
  • El descargo de responsabilidad debería estar arriba de todo en letras rojas y en negrita.

• Los modelos de lenguaje no están diseñados para saber cosas, sino para decir cosas. Por eso se llaman modelos de lenguaje, no modelos de conocimiento.
  Dadas las palabras ya generadas, siguen agregando la siguiente palabra según qué tan común sea esa secuencia.
  La razón por la que la respuesta cambia cada vez es que, al elegir la siguiente palabra, influye un generador seudoaleatorio.
  El modelo observa la distribución de probabilidad de las siguientes palabras más probables, y si el valor de configuración llamado temperature es 0, no hay influencia aleatoria, así que siempre se elige la siguiente palabra más probable, es decir, el MLE top-1.
  En la GUI no se puede configurar realmente en 0, porque eso produce salidas que clasificaríamos como “muy aburridas”.
  Por lo tanto, el modelo no sabe nada sobre IBM, PS/2, 80286 y 80486, CPU, 280 ni sobre el modelo específico en sí.
  Una de las respuestas parece insinuar que no existió un modelo 280, y me da curiosidad si eso se generó mediante otro proceso, si se debe a la forma en que se incorpora la retroalimentación del usuario mediante aprendizaje por refuerzo, o si simplemente fue un resultado afortunado de la misma selección aleatoria de la siguiente palabra.

  • No necesariamente. Uso modelos locales con temperature 0 y funcionan bien.
    Creo que las interfaces en la nube no permiten temperature 0 porque a veces el modelo cae en una repetición infinita de tokens, y si el público ve eso, se rompe la inmersión.
  • Esto es correcto. Pero la razón para ir a Google no es “conversar”, sino aprender algo que, al menos en apariencia, está basado en conocimiento.
    Google parece estar cometiendo el error de convertir la entrega de conocimiento en entrega de palabras.
    Aunque, desde el punto de vista de su negocio real, los ingresos por publicidad, tal vez no haya diferencia.

• En el sitio web de búsqueda de Google, el débil descargo de responsabilidad “Las respuestas de IA pueden contener errores” aparece en letra pequeña, y además está oculto detrás del botón Show more.
  Cuando OpenAI lanzó ChatGPT, tuve que explicarle a un profesor que no era de ciencias de la computación que esto no era la IA que la gente imagina, sino que, por ahora, se parecía más a una juguetería computacional que parece IA.
  Pero resultó que esa juguetería es excelente para hacer trampa en tareas.
  Si no te preocupa mucho la calidad ni los derechos de autor, también sirve muy bien como truco para muchos otros tipos de trabajo.

  • No entiendo del todo la idea de “juguetería que parece IA”. Aunque no sea “algo que puede escribir código” sino “algo que parece poder escribir código”, si en la práctica puede escribir código, entonces al final puede escribir código.
    Discutir sobre si lo que hace internamente es “un verdadero escocés” o no carece de sentido.
    Porque tampoco sabemos qué hace internamente el cerebro humano.
  • Es una herramienta de memoria aumentada/búsqueda de información con una interfaz flexible de entrada y salida.

• Gemini parece estar ajustado para responder las preguntas que la gente suele escribir, pero si se ingresan consultas de búsqueda más tradicionales, salen tonterías inventadas
  He visto a mucha gente confiar en AI Overview como si fuera un oráculo
  Creo que así es como interactúan con la IA las personas “comunes” que no usan directamente LLMs
  No parece dividirse por edad como la confianza en las noticias; la confianza en las salidas de IA parece atravesar a la mayoría de los grupos de población
  Parece que, como especie, a los humanos nos gustan las respuestas de computadora confiadas y sin fundamento

  • Google está en una situación especialmente mala aquí
    Durante más de 10 años, en ese lugar de la página de búsqueda había una interfaz de “fragmento extraído de la página”, y eso tenía sentido
    Ahorraba un clic, y si confiabas en el sitio original y también un poco en la tecnología de extracción de fragmentos de Google, no había mucho de qué dudar
    Por ejemplo, si buscabas una pregunta médica sencilla y aparecía un fragmento de Mayo Clinic, como confiabas en Mayo Clinic, eso era suficiente
    A veces incluso copiaba el fragmento de Google, entraba a la página y lo buscaba con ctrl-f
    Google era bastante bueno eligiendo fuentes con buena reputación, y los fragmentos siempre se encontraban dentro de la página sin distorsionar el contexto, lo suficiente como para generar confianza
    Con el tiempo, ese sistema empeoró en su capacidad de elegir fuentes confiables, probablemente porque fue atacado por el SEO
    Pero ahora AI Overview reemplazó ese lugar
    No estoy en contra de la IA en sí, pero la IA es fundamentalmente distinta de “mostrar en milisegundos un fragmento relevante y verificable tomado de una fuente en la que confías”
  • Mi gerente sí usa LLMs directamente, y los usa con modelos recientes para validar sus propias suposiciones
    Si no recibe confirmación en el primer intento, reformula la pregunta hasta obtener la respuesta que quiere
  • Nos gustan las respuestas confiadas y sin fundamento en sí mismas. Vengan o no de una computadora
  • Hace tiempo que me di cuenta de que ya no se puede, como antes, decirle algo a la gente y esperar que pueda aprenderlo con una búsqueda web
    Porque todo se convirtió en residuos de spam SEO poco confiables y engañosos
    Me da escalofríos pensar cuánto peor se pondrá esto con AI Overview
    Siento que estamos entrando en una época en la que buscas “cómo funciona una impresora” y te dice que está hecha con un sistema de poleas y cuerdas, y la gente lo cree ciegamente
    La escala de los errores que vi tras decenas de búsquedas en áreas que me interesan era exactamente de ese tipo, y todos habrán visto capturas con respuestas mucho más absurdas o directamente peligrosas

• “Las respuestas de IA pueden contener errores” es la frase más importante que quisiera gritarle a todo el debate sobre la IA
  Junto con la energía y el impacto climático, este también debería ser el problema central de las discusiones sobre ética de IA o seguridad de IA
  Si esta fiebre sigue sin control, estas son las dos cosas que más daño nos causarán

  • El problema no es que los errores “puedan ocurrir”, sino que inevitablemente ocurren
    Pero la gente no se da cuenta de eso y la trata como un oráculo omnipotente
    Al final es un modelo estadístico, así que la probabilidad de que un mono produzca las obras de Shakespeare tampoco es cero

• Por eso Google entendió fundamentalmente mal la búsqueda. Ya no parece importarle la precisión de los resultados, sino principalmente ofrecer una respuesta rápida y, debajo, un paquete de enlaces patrocinados

  • El problema es que, de cada 10 de esas “respuestas rápidas”, 6 están sutilmente mal, 2 están gravemente mal y 1 es abiertamente peligrosa
    He visto capturas de cosas que podrían hacer que alguien muriera o se metiera en problemas legales
  • Es seguir con la idea de Eric Schmidt de que “muchos resultados son mejores que ningún resultado”
    Ahora parece haber evolucionado a “es mejor crear alucinaciones que dar una respuesta negativa”

• La IA es como esa persona que puede decir algo sobre cualquier tema con una confianza enorme. Por eso no tengo muy claro por qué habría que creerle más que a una conversación de bar

  • Creo que es un problema psicológico. La mayoría de las personas usa señales visuales de lenguaje corporal para juzgar si alguien no está seguro de su respuesta
    En la IA no hay señales que muestren falta de confianza, y por la experiencia de que los algoritmos tradicionales siempre dan la respuesta correcta, la gente confía mucho en las salidas de la máquina
    La proporción de personas que la miran críticamente debe ser mínima
  • Todavía ninguna empresa de “IA” tuvo el valor de llamar Cliff Clavin a su producto
    Haría falta valor en varios sentidos. También por el riesgo de que John Ratzenberger les haga juicio
  • ¿De verdad no sabes por qué le creen? Puede ser porque empresas con misiones como “organizar la información del mundo” lo promocionan como IA, y porque lo lanzaron compañías que pasaron décadas intentando dar información precisa a las preguntas de los usuarios

• Hace unos días me pasó algo con ChatGPT y código Python
  Quería modificar la clase de logger de Gunicorn para filtrar ciertas rutas de URL
  Como era una ruta de código caliente que se ejecuta en cada request, hice 3 soluciones y le dije que quería ver cuál era la más rápida
  Comparé una lista+bucle usando startswith, una expresión regular compilada y startswith pasándole una tupla de rutas
  ChatGPT generó código de benchmark y resultados, y dijo que la solución con regex era la mejor y más rápida en la biblioteca estándar de Python
  No me lo creí, así que corrí el benchmark yo mismo, y la versión con tupla era más de 5 veces más rápida que la regex
  Cuando le dije que el resultado era distinto, respondió casi tal cual: “Ah, cierto, gracias por corregirme. ¡La versión con tupla en realidad es la más rápida!”
  Me ahorró unos minutos escribiendo el código de benchmark, pero casi no confío en su salida para cosas de las que no esté 100% seguro