- Deloitte realizó un reembolso parcial al gobierno australiano después de entregar un informe de US$440.000 con errores elaborado con ayuda de inteligencia artificial generativa
- El informe tenía como objetivo revisar el marco de cumplimiento normativo y los sistemas de TI del sistema de bienestar social, y se detectaron múltiples errores, además de citas inventadas y referencias a materiales falsos
- Deloitte indicó en un apéndice del informe que utilizó modelos de lenguaje de gran tamaño como Azure OpenAI GPT–4o, pero no reconoció que la IA fuera la causa directa de los errores
- Una senadora laborista criticó que la firma consultora carecía de experiencia especializada y cuestionó el papel central que habría tenido la IA
- Incluso tras la corrección del informe final, el contenido central y las conclusiones no cambiaron, y las recomendaciones se mantuvieron
Deloitte reembolsa al gobierno australiano por el uso de IA
Resumen del caso
- Deloitte decidió reembolsar parte del pago tras reconocer que utilizó inteligencia artificial generativa para elaborar un informe gubernamental de US$440.000, luego de que se detectaran errores
- El informe fue encargado por el Departamento de Empleo y Relaciones Laborales de Australia (DEWR) para revisar el sistema automatizado de cumplimiento para beneficiarios del bienestar social
- El informe señalaba varios problemas, incluida la falta de conexión entre las reglas del marco y la legislación real, así como fallas fundamentales en los sistemas de TI
Uso de IA y problemas detectados
- Tras su publicación inicial el 4 de julio, los medios señalaron varios errores y citas inexistentes en el informe
- Según el Dr. Christopher Rudge, de la University of Sydney, el informe mostraba en varios puntos el fenómeno de "hallucination" (alucinación) típico de la IA, es decir, la invención de materiales que no existen
- Por ejemplo, incluso en la nueva versión del informe aumentaron las citas falsas, lo que sugiere que algunas conclusiones fueron generadas por la IA más que por fuentes reales de respaldo
- Deloitte añadió en el apéndice del informe actualizado que había utilizado modelos de lenguaje de gran tamaño como Azure OpenAI GPT–4o
- También indicó que se usó una cadena de herramientas con licencia ejecutada en el entorno de Azure del DEWR
- Sin embargo, no admitió que la causa directa de los problemas del informe original hubiera sido la IA
Reacciones y medidas posteriores
- La senadora laborista Deborah O’Neill criticó que “podría decirse que Deloitte sufre una falta de experiencia humana” y sostuvo que el reembolso parcial es una disculpa insuficiente por un trabajo deficiente
- También afirmó que el gobierno y la entidad contratante necesitan expertos reales y pruebas de independencia respecto de la IA
- Expresó de forma crítica que “sería mejor pagar una suscripción a ChatGPT que contratar a una consultora”
- Según la investigación periodística, el informe incluía falsedades concretas como citas de investigaciones universitarias inexistentes y resúmenes incorrectos de fallos judiciales
- Ejemplos: resúmenes falsos de materiales relacionados con la University of Sydney, trabajos de profesores de Lund University y el fallo del caso Robodebt (Deanna Amato v Commonwealth)
Postura oficial e impacto
- Deloitte afirmó que resolvió el problema directamente con el DEWR y subrayó que no hubo cambios en las conclusiones ni en las recomendaciones del informe actualizado
- El DEWR también señaló que solo corrigió algunas notas al pie y citas insuficientes, manteniendo las recomendaciones generales y el contenido central
- Algunos expertos consideran que las conclusiones generales del informe sí coinciden con la evidencia disponible, pero se ha puesto en duda la credibilidad del documento
Implicaciones
- Este caso pone en primer plano, a nivel social, la necesidad de transparencia en el uso de inteligencia artificial generativa en la industria de consultoría y de garantías de experiencia profesional
- Quienes contratan este tipo de servicios reconocen la necesidad de reforzar los procesos de verificación del uso de IA y de validación nominal de la experiencia especializada
1 comentarios
Opiniones de Hacker News
Para agregar más contexto, este informe trata sobre un sistema informático problemático que imponía multas erróneas, capaces de arruinarle la vida a la gente, alegando que quienes recibían ayuda estatal no habían cumplido con los requisitos de búsqueda de empleo. Las multas se emitían directamente como fallos de deuda, así que incluso hubo casos en que cobradores de deudas llegaban realmente a las casas para llevarse pertenencias. Además, por fallas graves del sistema, también se impusieron multas por error a personas que ni siquiera habían recibido apoyo del gobierno. En medio de eso, se le pagó a una consultora como Deloitte 440 mil dólares para encargarle un informe, y ellos lo hicieron usando IA, dejando todavía más errores. Si además le hubieran encargado a Deloitte construir el sistema, existe el temor de que se hubiera repetido otro caso como el de Royal Mail y Fujitsu
Me preocupa que este abuso de la IA termine convirtiéndose en un verdadero asunto de vida o muerte. No es que la gente de Deloitte sea ignorante o carezca de motivación, sino que son un grupo enfocado en el dinero, así que usan IA para cumplir por encima con los requisitos y pasar al siguiente contrato. Como resultado, muchas personas pueden ver sus vidas destruidas o incluso terminar tomando decisiones extremas. No se trata solo de manipular documentos, sino de provocar que personas armadas lleguen realmente a tu casa
Ni siquiera hace falta imaginarlo, porque esto ya ha pasado. Ver el caso de filtración de datos de Deloitte en Rhode Island
Si hasta pasar por Deloitte resulta una molestia, entonces mejor encárguenselo directamente a OpenAI
La razón por la que esto era un problema desde el principio es que probablemente ya habían usado a Deloitte cuando construyeron el sistema original
Ya que hablamos de los problemas de la consultoría y el outsourcing, también quisiera mencionar el tema del cambio del equipo A al equipo B. Al principio aparece en las reuniones alguien que parece muy capaz y consigue el contrato, pero una vez que el trato se cierra, esa persona se va a otra instancia de ventas y entonces aparecen los miembros del equipo B o incluso del equipo C
En mi experiencia, en los contratos grandes de servicios, el equipo A te seduce al principio para cerrar el acuerdo, pero quienes realmente hacen el trabajo son del equipo B. Y cuando ya dejas de poner tanta atención, te cambian ahora por el equipo Z. Incluso cuando dijimos que no íbamos a escatimar en calidad y que pagaríamos más de por vida, al final por codicia terminaban perdiendo el contrato completo
Mientras más grande es el equipo, más pasa esto de que una persona de nivel A va rotando entre 100 equipos, aparece un momento para calmar al cliente cuando se enoja, y luego desaparece otra vez. El resto son prácticamente junior, o ahora incluso menos especialistas porque trabajan junto con IA. Uno de mis clientes gastó 500 mil dólares en un proyecto y creía que durante meses le estaba pagando a 15 personas, pero cuando los entrevistamos por Zoom, solo 1 de esas 15 sabía algo del proyecto. Esa única persona era el tech lead que habían contratado al principio y apenas participaba part-time. Por la calidad del código, parece que unas cinco personas más simplemente pegaban código generado por codex o claude, lo pasaban por un “QA falso” y lo desplegaban de inmediato. Esto ya pasaba antes de la IA; la diferencia es que antes eran 15 juniors escribiendo código a lo loco
Esta historia es un chiste que refleja demasiado bien los tiempos actuales: ver la tira de Dilbert
Ese es todo el juego. Te reúnes con socios y al final te mandan a los recién graduados, mientras te cobran tarifa de socio. Y si te va mal, hasta terminas capacitándolos tú mismo
Por decirlo de forma positiva, una de las razones para usar consultoría u outsourcing es que hay proyectos grandes y puntuales que el personal interno no puede absorber por sí solo. En vez de contratar a varios freelancers por separado y armar un equipo, puede ser más eficiente usar por un tiempo corto un equipo externo ya armado. En la práctica, las consultoras también a veces reúnen gente de afuera sobre la marcha para hacerla pasar como equipo
Me pregunto si alguien puede explicar cómo y por qué funciona la consultoría. Si fuera una persona sola que apenas puede dar “consejos”, la verían como un fracasado, pero si se convierte en empresa, corporaciones y gobiernos hacen fila para pedirle consejo. Los empleados internos entienden mejor la situación de la empresa que cualquier consultor externo, así que no entiendo por qué alguien que básicamente hace presentaciones y googlea termina siendo más confiable y ganando más dinero
En realidad, cuando quieren impulsar una mala idea sin hacerse responsables, contratan consultoría y repiten el proceso hasta obtener la respuesta que desean. La calidad de la consultoría no importa, y hasta un intern o una IA podrían reemplazarla. Si el resultado sale mal, siempre pueden culpar a la consultora. Como el personal interno da consejos pensando en el beneficio de la empresa, quienes buscan su propio beneficio simplemente silencian o ignoran esas voces. Cuando el problema explota, ya se cambiaron de trabajo y solo les queda una línea más en el currículum
En realidad, hay muchas grandes empresas que no tienen nada de expertise interna. Además, a menudo hay una persona que finge ser experta y bloquea la contratación de alguien mejor. Un buen consultor no solo te dice qué hacer, también te aporta evidencia, y si hace falta ejecuta el trabajo por proyecto. Los consultores IT realmente buenos tienen varios skill sets muy escasos en el país, así que quizás una empresa no pueda justificar contratarlos full-time, pero sí vale la pena pagarles unas horas al mes como externos. En cambio, las grandes consultoras viven para vender y tratan a los tomadores de decisión como VIP. También operan dinámicas de viajes, alcohol, entretenimiento y favores por detrás. Yo mismo, asesorando un proyecto hace años, llegué a refutar públicamente frente al cliente el discurso de ventas de unos consultores sobre Dynamics CRM y Sharepoint
La consultoría no es solo “consejo”. También incluye mucho trabajo práctico, como implementar software. Cuanto más grande es la empresa, más busca una “garantía legal”. Si el proyecto fracasa, quieren que haya un blanco claro para demandar. La “calidad” del resultado es secundaria frente a esa cobertura legal. Ese papel lo asume la consultora. Tiene mucha gente, incluidos muchos recién contratados. Si falta calidad, responden metiendo todavía más personas o forzando horas extra. Por esa estructura a veces les dicen “meatfarm”. Tampoco se hunden fácilmente. El desarrollo de software también avanza a través de varias capas de subcontratación o outsourcing internacional, cobrando comisión en cada nivel. El trabajo en sí es difícil, aburrido y lleno de tareas ingratas. Los contratos son tan detallados que parecen una novela entera. Cuando era junior en Accenture, viví un caso donde cotizaron 3000 euros por cambiar el color de la barra de desplazamiento de un sitio web, aunque un empleado en India lo resolviera con 10 líneas de código. Después de eso me cambié de trabajo
En teoría, también existen personas con una capacidad poco común para resolver problemas o experiencia especializada en dominios muy específicos. Es posible reunir a ese tipo de talento en una empresa y venderlo con prima. Sería un error asumir que ninguna consultora tiene talento real. No existe solo la “consultoría de gestión”; también hay consultoría tecnológica, de seguridad y otras áreas con especialización auténtica. De hecho, muchas veces he visto problemas que el equipo interno no podía resolver o que había causado por sí mismo. Un buen consultor extrae la mayor cantidad posible de conocimiento oculto del personal interno y lo usa para resolver el problema. Ahí hay habilidades que se solapan con las de un ingeniero de software, como levantar requerimientos y comunicarse con gerentes
Algunos ejemplos de uso de la consultoría que vi en terreno:
La mayoría de las organizaciones, incluido el gobierno, ignoran la opinión de sus propios ingenieros y en cambio gastan millones contratando consultoría externa para escuchar exactamente la misma conclusión, o simplemente para aparentar que “están haciendo algo” respecto de una solución. A veces también se usa porque la dirección desconfía del personal interno, o porque quiere resultados rápidos sin distraer al equipo de su trabajo principal. En algunos casos incluso pesan motivaciones como inflar logros inútiles o hasta comisiones de referencia y arreglos por debajo de la mesa
Como las personas dentro de una empresa pueden ser al mismo tiempo parte del problema y quienes lo evalúan, a veces contratar consultoría externa no es necesariamente una mala decisión. Una mirada independiente, aunque algo imperfecta, puede ayudar precisamente por no estar involucrada en esos intereses
Aquí se está pasando por alto el papel importante de la consultoría para repartir la responsabilidad legal y de resultados
Esto es una especie de “teatro de due diligence”. En especial, la dirección quiere saber qué recomendarían los ingenieros de la competencia, y los consultores buscan cumplir el papel de proxy de ese mejor consejo
Una forma simple de decirlo es “lavado de decisiones”. Cuando una política ya está decidida internamente y solo quieren darle más credibilidad, recurren a consultoría externa. Incluso los CEOs lo admiten en privado
Si todo sale mal, el director puede decir: “seguimos la recomendación de Deloitte”. Eso protege mucho más que decir “eso lo dijo Bob de IT”
Soy alguien que estuvo a punto de entrar al mundo de la consultoría tras hacer un MBA, pero recapacitó y se pasó a ingeniería de software. El cliente real de los proyectos de consultoría es, en la práctica, el “ejecutivo”
Una vez me presentaron a un asistente consultor del tipo “¿qué haría Elon?”. Los ejecutivos quieren saber cómo decidiría un competidor —o un competidor imaginario— con la misma información. Y al mismo tiempo quieren apoyarse en el criterio de ese consultor que hace de intermediario
Esto varía muchísimo según la industria y la región. En algunas grandes empresas donde trabajé, el cliente de la consultoría no era un ejecutivo, sino un nivel gerencial medio, varias capas por debajo de la dirección
La esencia es investigación ligera más decirle al cliente lo que quiere escuchar. En ese sentido, la IA tiene una oportunidad real de sacudir el mercado de la consultoría
En este proceso también importa la diferencia entre “cliente” y “customer”
Aunque engañes al gobierno australiano y malgastes impuestos, el resultado es apenas un reembolso parcial
Véase el caso de Craig Wright, el famoso impostor de Satoshi. Antes incluso de sus fraudes con Bitcoin, ya había hecho fraude por millones de dólares en devoluciones de IVA e incentivos fiscales de I+D, e intentó estafar decenas de millones más. Cuando lo descubrieron, huyó de Australia, devolvió una parte y el resto quedó sin castigo mientras vive cómodamente en el extranjero
En la práctica, la estructura casi obliga a que sea así. Si una de cada diez personas comete fraude, es imposible recuperar el monto completo en todos los casos. Al final solo se cobra “costo + daño”. Si el principio fuera recuperar siempre el total, los contratos serían más largos que el trabajo real
Este caso, en esencia, no es un problema de IA sino un problema mucho mayor de falta de supervisión en la elaboración del informe. El papel de una consultora externa es garantizar que los hallazgos resistan el escrutinio público, y aquí fracasó por completo. Lo impactante es que, pese a un desempeño tan malo, solo se hable de un reembolso parcial y no de una reevaluación general de sus contratos presentes y futuros. Da igual si los errores del informe vinieron de la IA o de un consultor desvelado toda la noche; eso no debería cambiar el resultado
Los CEOs están confundidos pensando que la GenAI va a reemplazar personal, pero la realidad es que los clientes también quieren pagar mucho menos por resultados hechos con GenAI. Al final desaparece el ahorro. Ahora lo que viene es un círculo vicioso de márgenes más bajos, peor calidad y reducción de precios
Para agregar a eso, los clientes están pagando por “un ser humano que asume responsabilidad y cumple la misión”. La IA no puede asumir responsabilidad, así que no vale la pena pagar por informes de ese tipo
Relacionado con eso, en la era post-AI el camino al éxito es producir más resultados con la misma cantidad de personas —o incluso más—. Gracias a la IA, la automatización se vuelve común y el valor del trabajo cae, así que simplemente operar con menos gente no es una estrategia de supervivencia. Más bien hay que igualar, como nueva línea base, una “escala y calidad” que antes eran imposibles
La idea es “llevar el valor del servicio hacia cero al mismo tiempo que se crea nuevo valor”
Este informe trata precisamente de una política para quitar apoyos a personas desempleadas si no logran demostrar actividad de búsqueda laboral: es decir, afecta justo al grupo que preocupa que pueda perder su empleo por culpa de la IA
Desde la perspectiva del cliente, si puede obtener más barato un resultado hecho con GenAI, ¿no sería eso más bien un factor para aumentar ingresos? Dejando aparte la polémica de Deloitte, si se usa bien la GenAI sí puede generar resultados realmente mejores
Trabajé mucho tiempo en una consultora y me parece que mucha gente no entiende bien qué es la consultoría. Claro que existen casos de abuso y malas prácticas, pero las ventajas y el valor que aporta la consultoría son realmente grandes. Basta ver que el mercado sigue ahí y todavía genera decenas de miles de millones de dólares cada año
Opinión de que, salvo las Big Four, cuesta pensar en otra clase de organización que cree tan poco valor para la sociedad en comparación con su tamaño económico