9 puntos por darjeeling 22 일 전 | 4 comentarios | Compartir por WhatsApp

Una investigadora sueca creó una enfermedad completamente ficticia, "Bixonimania", para probar si los chatbots de IA la presentarían como si fuera una enfermedad real. El resultado fue impactante. Todos los principales sistemas de IA, incluidos ChatGPT, Google Gemini, Microsoft Copilot y Perplexity, describieron esta enfermedad falsa como si fuera verdadera, e incluso una publicación falsa terminó siendo citada en una revista académica real.


Qué pasó en el experimento

Almira Osmanovic Thunström, investigadora médica de la Universidad de Gotemburgo, diseñó este experimento para comprobar si los modelos de lenguaje de gran tamaño (LLM) aceptan información incorrecta y la presentan como si fuera información de salud confiable.

Eligió el nombre "Bixonimania" porque, según explicó, combinar una enfermedad ocular con el término psiquiátrico "mania" era algo que a cualquier profesional de la salud le parecería extraño, así que escogió deliberadamente un nombre ridículo.

Entre abril y mayo de 2024, subió dos preprints falsos a la red social académica SciProfiles a nombre de un investigador ficticio, "Lazljiv Izgubljenovic", que usaba una foto de perfil generada por IA.

Los artículos incluían pistas ocultas por todas partes para indicar que eran falsos. En los agradecimientos se mencionaban el "laboratorio a bordo de la USS Enterprise", la "Starfleet Academy" y la "Universidad de El Señor de los Anillos", y en el cuerpo del texto incluso aparecía la frase "todo este artículo es inventado".


Cómo reaccionaron las IA

Apenas unos días después de publicarse la información falsa, los principales chatbots de IA empezaron a explicar la Bixonimania como si fuera una enfermedad real. El 13 de abril de 2024, Copilot de Microsoft la calificó como una "condición interesante y rara", y ese mismo día Google Gemini dijo que era una "enfermedad causada por exposición excesiva a la luz azul" y recomendó visitar a un oftalmólogo. Perplexity incluso indicó una prevalencia de 1 caso por cada 90 mil personas.

En marzo de 2026, la situación no había mejorado mucho. Microsoft Copilot respondió que "todavía no es un diagnóstico ampliamente reconocido, pero se reporta como una condición benigna relacionada con la exposición a la luz azul", mientras que Perplexity la describió como un "término emergente".


Un problema todavía más grave: contaminación de revistas académicas

Este artículo falso también fue citado en una revista académica real. Un equipo de investigación de India citó la Bixonimania como si fuera real en un artículo publicado en Cureus, revista del grupo Springer Nature, describiéndola como "una nueva forma de hiperpigmentación periorbitaria relacionada con la luz azul". Tras una consulta de Nature, ese artículo fue retirado el 30 de marzo de 2026.

Alex Ruani, investigador de la UCL especializado en desinformación sobre salud, calificó este experimento como "un caso de libro sobre cómo funciona la información falsa y la desinformación" y advirtió que "debemos proteger nuestra confianza como si fuera oro", ya que no solo la IA cayó en el engaño, sino también investigadores humanos que citaron estudios falsos.


¿Por qué pasa esto?

Según una investigación de Mahmud Omar, especialista en IA y salud de la Escuela de Medicina de Harvard, los LLM tienden a generar y ampliar más información falsa cuando procesan textos con formato profesional, como registros de alta hospitalaria o artículos clínicos, que cuando procesan publicaciones de redes sociales. "Cuanto más parece el texto escrito por un médico, mayor es la tasa de alucinación", afirmó.


La explicación de las empresas

  • OpenAI: "El modelo que hoy impulsa ChatGPT ha mejorado significativamente en la precisión de la información médica, y los resultados de investigaciones basadas en modelos anteriores difieren de la experiencia actual de los usuarios"
  • Google: "Los resultados reflejan las limitaciones de modelos iniciales y, para información médica sensible, recomendamos consultar a un profesional"
  • Perplexity: "La precisión es una de nuestras fortalezas centrales, pero no afirmamos tener un 100% de exactitud"
  • Microsoft: sin respuesta oficial

Implicaciones

Este experimento muestra con claridad, en un momento en que los chatbots de IA se están consolidando rápidamente como proveedores de información médica, qué tan rápido puede difundirse a través de la IA una sola pieza de información mal diseñada. Más que aceptar sin cuestionar la información médica generada por IA, se vuelve más importante que nunca desarrollar el hábito de verificar directamente fuentes confiables.


Texto original: Nature, 2026.04.07

4 comentarios

 
kalista22 22 일 전

Me recordó al incidente de Sreckovich de Park Moon-sung

 
beepp 22 일 전

Parece que sí debe haber un proceso para determinar si la fuente es autorizada o confiable, pero aun así se ve que sigue siendo vulnerable.

 
cjinzy 22 일 전

Me pregunto por qué falta Anthropic ''

 
baam12 21 일 전

Bueno, de la IA se entiende, pero ¿el equipo de investigación de India ni siquiera lo leyó?