EY Canada publicó un informe de ciberseguridad y la mayoría de sus citas eran alucinaciones

 (gptzero.me)
1 puntos por GN⁺ 2 시간 전 | 1 comentarios | Compartir por WhatsApp
  • El informe de 44 páginas de EY Canada sobre fraude en programas de lealtad resultó ser un documento con citas falsas, atribuciones erróneas, estadísticas inventadas y texto generado por IA
  • La mayoría de las URL en la tabla de referencias estaban rotas o eran falsas, más de la mitad de los títulos no coincidían con las fuentes reales, y AI Scan marcó el 72% del texto como generado por IA
  • Muchas fuentes atribuidas a BleepingComputer, Wired, Gartner, McKinsey, Forbes, Cisco Talos y TechCrunch devolvían 404, llevaban a páginas de etiquetas o a documentos inexistentes
  • La cifra de 200 mil millones de dólares se usó con dos significados difíciles de reconciliar: como tamaño total del mercado de puntos de lealtad y como valor de los puntos no utilizados; además, las dos citas que la respaldaban resultaron manipuladas
  • El informe defectuoso se difundió en Canberra Times y en más de 60 periódicos, y Claude, ChatGPT y Perplexity también mostraron esa información alucinada

Problemas del informe de EY Canada

  • EY Canada publicó a fines de 2025 un informe de 44 páginas sobre amenazas cibernéticas y fraude en sistemas de lealtad, Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems
  • Aunque el informe daba crédito a dos socios y un gerente senior, en él se encontraron citas falsas, atribuciones erróneas, estadísticas inventadas y texto generado por IA
  • EY Canada es la organización canadiense de Ernst & Young, que presta servicios por millones de dólares al año al gobierno de Canadá
  • Hallucination Check de GPTZero se usó en un pipeline automatizado que busca y escanea informes públicos recientes de grandes consultoras, lo que sugiere que el vibe citing se ha extendido incluso en informes corporativos de gran escala

Método de citación y resultados de verificación

  • El informe de EY Canada no usa notas al pie ni citas académicas convencionales; en su lugar, menciona las fuentes directamente en el texto o las reúne en una resources table en las páginas 41 a 43
  • Esa tabla ofrece título, descripción, URL y, en algunos casos, editorial y fecha, pero la mayoría de las URL estaban rotas o eran falsas, y más de la mitad de los títulos no coincidían con las fuentes reales
  • GPTZero define las citas alucinadas con criterios concretos, considerando el costo reputacional de los falsos positivos, y verificó manualmente los resultados de Hallucination Check
  • El texto del informe fue marcado como 72% generado por IA por GPTZero AI Scan, y repite errores típicos de LLM, como estadísticas falsas, atribuciones erróneas y contradicciones internas

Principales fuentes falsas o inexactas

  • Artículo de BleepingComputer sobre una brecha en programas de lealtad de aerolíneas

    • Airline Loyalty Breach: BleepingComputer se presenta como un artículo sobre millones de cuentas de lealtad de aerolíneas comprometidas por ataques de credential stuffing
    • https://bleepingcomputer.com/news/security/… devuelve 404, y se confirmó que ese artículo fue eliminado o nunca existió

  • Artículos de Wired sobre deepfakes de voz y seguridad de API

  • Informes de Gartner y McKinsey

    • Gartner Market Trends – Loyalty Fraud se presenta como una guía estratégica sobre la evolución del fraude en programas de lealtad digitales y billeteras móviles
    • https://www.gartner.com/en/documents/4000201 solo redirige al sitio principal de Gartner, y no existe ningún documento de Gartner con ese título
    • McKinsey & Company – Loyalty Economics Report (2022) se presenta como un informe que estimó en 200 mil millones de dólares el valor global de los puntos de recompensa no utilizados, pero ese informe no existe

  • Artículo de Forbes sobre la economía de la lealtad

    • Forbes – The $200 Billion Loyalty Economy se presenta como respaldo para describir los programas de lealtad como un activo digital importante
    • La URL está rota, y aunque Blake Morgan sí ha escrito en Forbes, no existe un artículo con ese título exacto
    • Aun así, un artículo de Forbes de 2020 sí usó la expresión “$200 billion loyalty economy”

  • Cisco Talos y TechCrunch

Contradicción interna en la estadística de 200 mil millones de dólares

  • Afirmación en el resumen ejecutivo

    • El Executive Summary afirma que el mercado global de puntos de lealtad vale 200 mil millones de dólares, y que entre 30% y 50% de esos puntos no se usan
    • Esa afirmación se respalda con una cita falsa atribuida a Forbes

  • Cambio de significado en la página 10

    • En la página 10, la misma cifra de 200 mil millones de dólares pasa a referirse no al valor total global de los puntos, sino al valor estimado de los puntos de lealtad no utilizados
    • Como antes ya se afirmaba que hasta 50% de los puntos no se usan, ambas afirmaciones solo podrían ser ciertas al mismo tiempo si el mercado global de puntos de lealtad valiera al menos 400 mil millones de dólares

  • Rastreo del origen de la cita de McKinsey

    • El informe manipulado de McKinsey & Company citado en la página 43 se usa como respaldo de esa segunda afirmación, según la cual los puntos no utilizados en el mundo valen 200 mil millones de dólares
    • La misma cifra se usa con dos significados difíciles de reconciliar, y se confirmó que las dos citas que la respaldan fueron fabricadas
    • Esa cita de McKinsey se remonta a una entrada de blog fintech de Financial IT publicada seis meses antes que el informe de EY
    • Ese texto afirmaba que “more than $200 billion in points sit idle each year” y citaba en su sección de fuentes un inexistente McKinsey & Company: Loyalty Economics Report (2022)
    • Esa cita fabricada pasó intacta a la tabla de referencias del informe de EY, lavando una fuente falsa de un blog de baja calidad como si fuera una publicación de una Big Four

Estadísticas del 72% y 89% con fuentes mezcladas

  • Estadística de fraude del 72% en programas de lealtad

    • En la página 6 se afirma que 72% de los programas de lealtad de clientes reportaron robo o fraude
    • Esa cifra se atribuye a una publicación de 2019 de la procesadora canadiense de pagos Paystone
    • En la página 11, la misma estadística se atribuye al resumen de NRF 2020 de la empresa de prevención de fraude digital Forter
    • Ni Paystone ni Forter aparecen en la tabla de referencias del informe, y la fuente original parece ser una encuesta de Ipsos de 2017

  • Estadística de aumento del 89% en ataques de fraude a programas de lealtad

    • En la página 6 se afirma que los ataques de fraude contra programas de lealtad han aumentado 89% desde 2019
    • En la página 11, ese aumento del 89% se limita a la variación de un solo año, entre 2018 y 2019, y se atribuye al Fraud Attack Index de Forter
    • Esa fuente sí existe y confirma parcialmente la segunda versión de la afirmación, pero, como varias otras fuentes usadas en el informe de EY, es material desactualizado
    • Fuentes contradictorias, fuentes de baja calidad, estadísticas antiguas y reformulaciones inexactas se presentan como señales de AI slop

Impacto público y riesgo de contaminación de datos

  • Points of Attack no parece haber causado gran impacto en Canadá, pero fue citado recientemente en un artículo de Canberra Times, que luego se distribuyó a más de 60 periódicos en Australia
  • Es posible que el informe también haya circulado mediante briefings para clientes no disponibles en el dominio público, presentaciones internas y medios exclusivos
  • Publicar informes en línea se parece a una inyección de datos al acervo de conocimiento de internet, y si una consultora reconocida publica información falsa o citas alucinadas en sitios de alto tráfico, puede desorientar a investigadores posteriores
  • Las herramientas de IA de “deep research” pueden ser aún más vulnerables a esta contaminación de datos, porque eligen fuentes con señales distintas a las que usa una persona
  • Claude, ChatGPT y Perplexity mostraron información alucinada proveniente del informe defectuoso de EY

Objetivo de Hallucination Check

  • GPTZero considera que el vibe citing ya es un riesgo actual para investigadores, academia, consultores y personas que dependen de búsquedas web
  • Hallucination Check se presenta como una herramienta para identificar citas alucinadas y desinformación sin tener que revisar manualmente cada referencia
  • La herramienta también se está usando para revisar envíos a conferencias académicas como IJCAI, ICLR e ICSE
  • La conclusión es que incluso las citas provenientes de fuentes reputadas como Ernst & Young ya no pueden aceptarse solo por confianza
  • Se incluye el enlace a Hallucination Check de GPTZero

Lecturas relacionadas

1 comentarios

 
GN⁺ 2 시간 전
Comentarios en Hacker News

  • El problema que se ve en muchos oficios es que las salidas de IA no las revisa adecuadamente alguien con conocimiento, como un analista experimentado, un ingeniero senior, un abogado especialista o un médico residente
    En el mejor de los casos les dan una mirada rápida; en el peor, ni siquiera las ven antes de publicarlas, distribuirlas, llevarlas a producción, entregárselas al cliente o presentarlas ante un tribunal
    En muchos casos la capacidad de revisión necesaria sí existe dentro de la organización, pero esas personas ya están saturadas solo con su trabajo cotidiano
    Hace unos meses no me quedó más que reír al ver un post sobre cómo Amazon hace que ingenieros senior revisen las salidas de IA generativa (https://news.ycombinator.com/item?id=47323017). Ya están ocupadísimos, y cuesta creer que Amazon vaya a permitir que aumenten los cuellos de botella humanos en todo el desarrollo de proyectos e infraestructura base

    • Parte del problema es que te avientan el documento ya terminado para que lo revises cuando todo ya está horneado
      Estoy empujando la idea de que hacen falta principios de ingeniería básicos en toda la organización
      A un ingeniero no le pides revisar 1000 líneas de código sin siquiera la especificación original de lo que se intenta lograr. Como mínimo hace falta contexto, e idealmente el revisor debería estar presente desde que se presenta el trabajo por primera vez para conocer el panorama completo
      Pero estos documentos llegan de forma de todo o nada. ¿Vas a echar para atrás la métrica número 39 cuando ya está definida al detalle hasta el final, o solo te resignas a que ya quedó así?
      Un documento de una página, o de 6 páginas al estilo Amazon, aunque solo diga “esto es lo que propongo”, ya permite cuestionar y pulir la forma general de la idea cuando todavía está en esqueleto. Tiene que ser antes de que exista esa inversión emocional de que el informe precioso ya está terminado
      Tradicionalmente se parece a cómo producto revisa especificaciones en un entorno SCRUM y cómo ingeniería hace revisiones de código de verdad. Claro, SCRUM ya murió, pero esa es otra conversación
    • Desde la perspectiva de un abogado, revisar salidas de IA se siente como algo que toma más tiempo que hacerlo uno mismo desde el inicio. Ni hablar si lo comparas con usar formatos existentes
      Si usas IA tienes que leerlo todo, explicar por qué está mal y muchas veces terminar reescribiéndolo completo
      Las horas facturables aumentan bastante, pero parece un síntoma de cómo desaparece la supuesta ventaja de la IA de ser rápida y accesible para alguien que no entiende el tema
    • Cuando dicen que “la gente con conocimiento no revisa las salidas de IA”, me pregunto si se refieren justamente a las personas que despidieron y desmoralizaron
      Una de las razones por las que a los “grandes hombres y mujeres” les gusta el vibe coding es que sienten que ahora pueden hacer por sí mismos cosas que antes requerían pasar por el doloroso proceso de “llevarlo con el experto en contexto”
      Ahora que el LLM es el “experto en contexto integrado”, sienten que ya no hace falta revisar las salidas
    • El problema es que a veces validar la salida toma más tiempo que crearla desde cero
      Entonces, para muchos usos, la IA se vuelve un sistema con retorno sobre la inversión fuertemente negativo
    • Me interesa especialmente la educación y la gestión del conocimiento humano. He visto que la velocidad de formación en TI se acerca a cero
      Piensen en una capacitación profesional donde, si te equivocas, el resultado puede salir en las noticias de la noche
      La sola idea de que todos acepten cadenas de texto salidas de una matriz de números suspendiendo el juicio y solo intentando evitar responsabilidad propia da escalofríos
      Se parece a lo que pasó cuando aerolíneas del sur de Asia prohibieron a los pilotos hacer aterrizajes manuales, deteriorando sus habilidades y terminando en desastres bien conocidos
      Si hasta consultores carísimos ni siquiera verifican los enlaces, peor todavía

  • ¿Hay alguna fuente que se pueda ver simplemente en texto plano? Me duele la cabeza por los estilos CSS y el modo lectura no funciona o parece bloqueado

    • El scroll de verdad es una pesadilla, y hasta al cambiar a modo lectura se rompía
    • Firefox tiene una práctica vista de lector que extrae solo el texto de la página y lo muestra de forma simplificada. En Mac se puede activar con Opt + CMD + R
      Aunque también tiene el problema de que elimina imágenes que contienen parte de algunas de las fuentes usadas
    • Pasa lo mismo en Lockdown Mode de iOS

  • La verdadera comedia es ver que esta basura baja desde la alta dirección. Prompts torpes, basura alucinada, cero información accionable y puro humo sin análisis real
    Cosas como “Vean este análisis de los issues de soporte extraídos de Jira. ¡Hay que arreglar sí o sí estos tres principales problemas!!!”, cuando en realidad todos ya sabían eso desde hace años y la dirección simplemente nunca le dio a nadie la autoridad para arreglarlo
    Ya vi esto más de dos veces, así que debería tener nombre. ¿Garbagemaxxing, quizá?

    • Si “hay que arreglar los tres principales problemas” en realidad se refiere a cosas que todos conocen desde hace tiempo y para las que la dirección nunca dio autoridad de resolución, entonces quizá el efecto neto sí sea positivo

  • Es una página realmente horrible de explorar

    • En móvil secuestra el scroll y literalmente no te deja bajar más. El modo lectura también solo muestra más o menos el primer párrafo
      Tendré que verla luego en escritorio. El contenido se ve interesante, pero en la práctica es imposible leerlo. No puedo pasar de la sección que presenta a Ernst and Young
    • Siento que mi scroll está alucinando
    • Esto está en un nivel completamente distinto de hostilidad hacia el usuario. Nunca había visto algo así
    • Mi iPhone activó automáticamente el modo lectura, pero lo desactivé para ver de qué se trataba y terminé estando de acuerdo
    • Retroalimentación no lineal con pausas literales, qué horror
      Hay gente que no debería hacer sitios web

  • ¿Alguien también alucinó cómo debería funcionar el scroll en una página web?

  • Lo raro es que hace apenas 12 a 18 meses este informe habría sido un escándalo enorme y causado un daño de marca duradero, pero ahora parece que nadie lo va a recordar ni siquiera notar

  • Primero deberían arreglar el sitio web. Hay que tirar esas pésimas animaciones en JavaScript. Estas cosas ya estaban resueltas desde 2014 con D3JS y jQuery

  • No entiendo cómo pasa algo así. Por ejemplo, Qwen Chat o Perplexity ponen citas al final de cada oración generada
    Así puedes pasar el mouse sobre cada cita y ver de qué sitio web salió
    ¿Simplemente metieron un prompt en ChatGPT sin búsqueda web y copiaron y pegaron?

  • EY ha estado despidiendo gente discretamente durante todo el último año
    Si intentas hacer más trabajo con menos personas, no sorprende que eso termine en baja de calidad

    • Lo interesante es que puede haber bastante demanda incluso para un servicio que no hace nada
      Mucho trabajo corporativo no es más que llenar casillas
      El jefe dice: “Tráeme un informe sobre X. Yo se lo voy a pasar a mi jefe, y esa persona no lo va a leer”
      Entonces la estructura termina siendo: “E&Y, por favor hagan un informe. Aquí tienen 200 mil dólares”

  • También es muy probable que la propia página web haya sido hecha con vibe coding, y que a su autor ni le haya importado