- En los últimos 18 meses, la tasa de éxito de los proyectos de IA que observé o en los que me pidieron participar fue de 0%; la incertidumbre de la tecnología y la mala gestión de los proyectos de software existentes se combinaron para que la inversión no se tradujera en resultados
- En organizaciones con más de 500 empleados, solo dudar de la utilidad de la IA puede poner en riesgo ascensos y empleos, y los empleados se adaptan a las exigencias de la organización mediante lavado de IA y manipulación del uso de tokens
- Lujosos demos de IA como las consultas de datos en lenguaje natural desatan el entusiasmo de compra incluso cuando se advierte sobre sus límites de precisión y operación, y pueden incluso generar riesgos reputacionales y legales para el vendedor
- Debido a un problema de coordinación en el que clientes y juntas directivas no pueden refutar mutuamente sus exageradas afirmaciones de productividad, incluso ejecutivos escépticos apoyan públicamente la inversión en IA y terminan forzando elementos de IA en negocios que no la necesitan
- Para corregir a una organización se necesitan conversaciones uno a uno, encuestas anónimas y verificación en campo; quienes no puedan evitar la política interna deberían prepararse para cambiar de trabajo o pasar a contratos antes de agotarse revisando código generado por IA
El fracaso de los proyectos de IA observado durante 18 meses
- A partir de la experiencia de haber llevado durante el último año las ventas de la empresa y la mayoría del trabajo técnico, y de haber tenido unas 300 conversaciones con especialistas de todo el mundo, los responsables de organizaciones públicas y privadas estaban volcándose a la IA sin plan alguno o guardando silencio
- Es difícil confirmar los resultados reales de los proyectos de IA porque ni las juntas directivas, ni los ejecutivos, ni los empleados, ni los vendedores, ni los consultores tienen incentivos para hacer públicos los fracasos
- Los ejecutivos pueden perder su puesto si admiten el fracaso
- Los empleados pueden ser despedidos o quedar expuestos a reestructuraciones
- Algunas empresas cotizadas compran licencias de Copilot y luego lo anuncian como una mejora de productividad por IA
- Todos los proyectos que observé o en los que me pidieron participar fracasaron durante esos 18 meses, y el equipo rechazó por completo el trabajo de implementación de IA, manteniendo solo contratos que no dependieran directamente de la supervivencia de OpenAI
- Aunque las herramientas de IA aceleren ciertas tareas, la forma y la escala actuales de inversión no eran razonables
- Todos los factores de fracaso de los proyectos de software comunes siguen existiendo
- Debido al riesgo adicional de ser una tecnología nueva, incluso una implementación correcta puede fracasar
- Son pocas las empresas con suficiente capacidad de entrega de software como para soportar ese riesgo
Por qué los chatbots internos y para clientes no logran resultados
- Los chatbots internos no logran producir respuestas suficientes porque la calidad de la documentación empresarial es baja, y el uso real por parte de los empleados tampoco fue significativo
- En los chatbots para clientes también hubo pocos casos satisfactorios; una excepción fue la transcripción en tiempo real durante consultas médicas
- Los responsables de proyectos evitan métricas básicas que muestren si la herramienta realmente se usa, y eligen métricas fáciles de manipular
- El bot de voz de Mitsubishi para asistencia con fallas de autos tenía un alto nivel de acabado por su voz natural, respuestas rápidas y uso en un entorno real, pero la respuesta prometida nunca llegó durante 6 meses
- No quedó claro si la solicitud desapareció o si fue contabilizada como resuelta sin intervención humana
- Aunque no se viera un error evidente en el sistema, el cliente decidió no volver a comprar un vehículo Mitsubishi
- Solo preguntar por los objetivos, usuarios y resultados de un proyecto de IA en marcha puede tomarse como un ataque al sistema de responsabilidades, por lo que es difícil intervenir antes de que llegue la crisis
- Siguiendo el principio de Gerry Weinberg de que la consultoría consiste en influir en personas cuando ellas lo piden, no intervengo en proyectos salvo que me soliciten explícitamente asesoría sobre una estrategia general de datos
Una cultura organizacional que no permite la duda
- En todas las empresas observadas con más de 500 empleados, para conseguir ascensos y conservar el empleo había que repetir que el poder transformador de la IA era real
- No era simplemente proponer usos técnicos, sino algo más cercano a una confesión de fe religiosa, impulsada principalmente por personal no técnico y respaldada también por algunos técnicos
- Hubo casos en que alguien afirmaba que “la IA lo cambia todo” pero no podía mencionar ni un solo uso real de LLM dentro de la organización ni qué había cambiado en la práctica
- Incluso hubo un caso en una organización con ingresos anuales superiores a 2 mil millones de dólares en el que un ejecutivo que definió una estrategia tecnológica centrada en IA nunca había usado herramientas de IA, incluido ChatGPT
- Más peligroso que una simple mentira promocional era el caso de responsables sin formación técnica que realmente creían en lo que decían
- Con una persona que miente se puede negociar a través del interés propio, pero un verdadero creyente no se mueve ni por su propio interés
- Una organización despidió a sus empleados de mejor desempeño precisamente porque habían logrado grandes resultados sin usar LLM
- Aunque discrepe con la postura crítica de “My AI Skeptic Friends Are All Nuts”, coincido en que la obligación de usar LLM impuesta por la dirección es una mala estrategia y crea restricciones de trabajo anormales para el personal especializado
Lavado de IA y métricas de evaluación manipulables
- Cuando los gerentes empezaron a valorar más el uso de IA que los resultados, los ingenieros comenzaron a hacer lavado de IA: trabajaban de la forma tradicional y luego reportaban que lo había hecho Claude
- Algunas organizaciones operan rankings en los que una mayor cantidad de tokens consumidos da una mejor evaluación
- Empleados contratados por su capacidad para optimizar sistemas configuraban a los LLM para que repitieran prompts por sí solos
- Aunque el resultado no sirviera para producción, llenaban la cuota de tokens y luego se dedicaban a otra cosa
- Un ingeniero de software cumplía su cuota de uso dándole a una IA una copia de un repositorio en Go para que reescribiera todo en Zig y luego descartaba el resultado
- Quienes realmente terminaban en la mira de despidos eran las personas que planteaban dudas visibles sobre la estrategia de IA, y los empleados aprendían que lo seguro era elogiar la visión de IA de la dirección
- Así como sería inapropiado que un gerente sin experiencia en hospitales o ingeniería civil impusiera procedimientos concretos sin acuerdo de los expertos de campo, también es inapropiado que ejecutivos no técnicos obliguen a especialistas en software a usar herramientas específicas
La fiebre compradora desatada por un demo de Snowflake Cortex
- Snowflake cobra según uso y puede procesar los datos empresariales habituales en alrededor de 1 minuto al día, por lo que se usaba como base de datos analítica, pero no se utilizaba su capa de chatbot de IA, Cortex
- Cortex convierte preguntas en lenguaje natural como “¿Cuánto fueron las ventas de la semana pasada?” en consultas a la base de datos usando metadatos como el significado de las columnas
- En una presentación de personal de Snowflake, la precisión con la mejor configuración era de alrededor de 92%; en datos de grandes empresas, cerca de 1 de cada 10 cifras podía estar mal, y además había graves problemas de gestión para desplegarlo
- Aun mostrando el demo con la advertencia de que no era apto para producción, todos los potenciales clientes que habían sido tibios quisieron comprarlo de inmediato
- Incluso una propuesta que podía generar millones de dólares de valor sin IA quedó desplazada
- Al considerar irresponsable aprovechar ese vacío de juicio racional, se detuvo la venta y se eliminó Cortex de la lista de demos
- Incluso un demo de baja calidad que el equipo armó en dos horas era mejor que lo que los potenciales clientes habían visto antes
- Hasta una empresa listada en la ASX que ya promocionaba su uso de IA no tenía resultados concretos que mostrar de sus inversiones previas
- Los potenciales clientes que mostraban algo más que curiosidad pasajera por la IA revelaban comportamientos irracionales y un entorno de gestión cercano al culto durante el proceso comercial, y como el contrato podía generar riesgos reputacionales y legales, se abandonaron todas las negociaciones
El problema de coordinación que impide a los ejecutivos dejar de exagerar
- Algunos responsables de IA en empresas con ingresos recurrentes anuales de más de mil millones de dólares dijeron que consideraban su cargo esencialmente falso, pero lo aceptaban porque era la única vía real de ascenso dentro de la organización
- Incluso un ejecutivo técnicamente competente de una empresa Fortune 500 no podía defender en privado declaraciones públicas de su empresa como “100 veces más productividad”
- La fuerza principal detrás de la exageración no era el discurso de ventas, sino el orgullo de los ejecutivos clientes y la relación contractual
- Si un ejecutivo del vendedor negara la afirmación del cliente de haber logrado 100 veces más productividad, podría verse como un ataque que mina la credibilidad del ejecutivo cliente
- Si a causa de eso se cancelara un gran contrato empresarial, ese ejecutivo del vendedor también podría ser despedido
- Cuando las empresas son al mismo tiempo clientes y proveedoras entre sí, a ningún ejecutivo le resulta fácil ser el primero en decir la verdad
- Si todos cooperan con la exageración, pueden conservar el puesto
- Si una sola persona se desvía, queda como si llamara mentirosos, cobardes o incompetentes a sus colegas, y puede terminar despedida
- Si todos lo admitieran al mismo tiempo podrían cambiar la situación, pero no existe forma de coordinarlo
- Incluso miembros de juntas directivas de empresas del S&P 500 dudaban del riesgo de invertir en IA, pero sentían que para conservar su puesto debían exigir la inversión
- Un director lo evaluó así: “Invertir tan temprano parece asumir solo riesgos sin margen de subida”
- Unos dos años después, esa organización de miles de millones de dólares comenzó a promocionarse como AI-native
La prueba de pureza que obliga a envolver todo negocio con IA
- Toda propuesta atravesada por la política interna necesita incluir alineación con IA para ser aprobada, aunque el valor real no esté claro
- Una gran parte de los proyectos de IA eran en realidad proyectos previos sin IA a los que después se les añadía un elemento de IA para pasar esa prueba de pureza
- En un caso de migración de base de datos de Oracle a Snowflake, el vendedor añadió una etapa para automatizar con un LLM la conversión de Oracle SQL a Snowflake SQL
- Como la automatización falló por falta de permisos, una persona hizo la conversión manualmente
- Solo porque parte del SQL había sido traducido por IA, todo el proyecto se reportó como un éxito basado en IA
- Lo que realmente se estaba comprando era una migración de base de datos común para desmantelar el sistema existente antes de renovar licencias
- Eran raros los proyectos de IA genuinos en los que el LLM fuera el único mecanismo central y el éxito pudiera medirse con cifras concretas
- Aparecían sobre todo en startups, pero al final del proceso comercial se repetían las peticiones de construir productos que ya se promocionaban como terminados, por lo que se cortaban las negociaciones
- Los negocios a los que es difícil ponerles IA veían rechazadas sus solicitudes de presupuesto o sufrían retrasos de comunicación hasta volverse “lo suficientemente IA”
- Algunas empresas también exigen demostrar primero que ya se intentó usar IA antes de pedir más personal
- Si alguien dice que aun usando IA sigue necesitando más gente, puede quedar clasificado como “persona que usa mal la IA” y ser despedido
- Salvo en el pequeño número de empresas donde la IA realmente coincide con la prioridad principal, las grandes organizaciones tienen cada vez más dificultades para centrarse en comprar software adecuado, contratar talento, reportar proyectos con honestidad y lanzar nuevos negocios de forma racional
Cuando hay que enderezar un proyecto concreto
- Los problemas de los proyectos de IA se manejan mejor en conversaciones uno a uno que en reuniones grupales
- En público, cada asistente teme parecer escéptico ante sus colegas
- Hay que prometer que al transmitir opiniones a otros lugares se protegerá la identidad
- Deben evitarse formas de citación que permitan inferir la fuente, como citas casi textuales
- Si solo 1 de cada 6 personas habla de los problemas, quizá sea mejor irse a una organización con más posibilidades de mejora
- En proyectos en marcha puede usarse el método de encuesta anónima tomado de Secrets of Consulting
- Al pedir que evalúen la probabilidad de éxito del 1 al 10, puede aparecer una distribución polarizada: algunas personas ponen 3 y otras 8
- Esa brecha apareció incluso en un proyecto que ya llevaba 3 años de retraso, y podía mostrar que se le estaba ocultando información importante al CEO
- El éxito real de un proyecto debe confirmarse con el personal de campo que usa la herramienta todos los días
- Hay que asegurarse de que puedan opinar en un entorno donde se les respete
- En una empresa cliente, los empleados ni siquiera sabían que se les había asignado una licencia de una herramienta de IA, lo que debilitaba la base de las afirmaciones sobre mejora de productividad
- Si se intenta resolver un problema específico, conviene no refutar proposiciones amplias como “la IA lo cambia todo”
- Para cuestionar la visión general de la realidad de una organización, primero hay que ganarse la confianza del máximo responsable
- En lugar de avergonzar a alguien en público, hay que reducir su ansiedad en una cena privada
- Como no se puede saber qué declaraciones públicas hizo antes cada asistente a una reunión, incluso una obviedad como “un LLM no debería desplegar código sin revisión humana” puede destruir la confianza inicial
- Si hay que cumplir otros objetivos de interés público y no es posible un enfoque honesto, incluso se considera una opción realista añadir al proyecto un chatbot de IA de 10 mil dólares y destacar solo esa parte
Cuando hay que sobrevivir en vez de cambiar la organización
- La obsesión colectiva con la IA es menos un problema de la tecnología que de una cultura corporativa disfuncional, por lo que a una persona le resulta difícil oponerse de forma significativa
- Pasar de empleo fijo a trabajo por contrato puede dar más ingresos y alejar de la política interna, además de poner una fecha clara de salida a un entorno difícil de soportar
- Conviene consumir noticias de IA solo en la medida necesaria y evitar canales que alimentan constantemente ese flujo, como Hacker News o Reddit, para reducir la carga mental
- Incluso al quejarse con amistades conviene explicar por qué hace falta esa conversación y detenerse en un nivel razonable
- Si alguien cercano usa IA de forma inapropiada para algo no peligroso, se recomienda dejarlo pasar sin discutir; y si a uno, como programador, le piden opinión, responder brevemente que “hay bastante exageración” y cambiar de tema
- Si sigues teniendo que revisar PR de 2,000 líneas generados por IA, debes asumir el agotamiento y el posible despido, y empezar la búsqueda de empleo mientras todavía te queda energía
- Es difícil convencer a quien los genera de que deje de producir grandes volúmenes de código de baja calidad
- La caída en el ritmo de trabajo y el descontento del gerente llegarán de todos modos, ya sea ahora por buscar trabajo o después por agotamiento
- Si tu gerente responde con frases obviamente generadas por IA, debes contestar también con IA para ahorrar energía mientras buscas otro trabajo
- Incluso si te exigen llevar el consumo de tokens al máximo, debes prepararte para cambiar de empleo antes de perder el sentido de la realidad
- Este tipo de empresas puede existir en organizaciones pequeñas que no suelen aparecer en plataformas de empleo
- Como encontrarlas puede tomar meses, conviene empezar temprano
1 comentarios
Opiniones de Hacker News
La mayoría de nosotros estábamos más o menos convencidos de que la IA iba a transformar por completo la sociedad y traer la singularidad, pero la realidad no fue así. En vez de admitir el error y reevaluar, estamos haciendo un juego de rol futurista en el que metemos la IA a la fuerza en cada rincón y lo llamamos progreso.
Es parecido a un niño de los años 90 que cree que se vuelve hacker por ponerse el Nintendo Power Glove; esto no es la singularidad. Ojalá termine esta fiebre y volvamos a la etapa en que todos esperan la próxima solución milagrosa.
Para alguien como yo, que dejó la industria del software y no puede programar 40 horas por semana, la IA agéntica es un salto tecnológico comparable a los motores de búsqueda, los BBS y los compiladores. Si le pido a Claude Code que configure SMTP en mi homelab, modernice y firme una app de Android de 2017, y arme ejecutores de GitHub Actions para varios sistemas operativos y arquitecturas, me entrega resultados mientras lavo los platos.
Quienes niegan esto como si no fuera gran cosa más bien están metidos en una psicosis sobre la psicosis de la IA. Incluso si la inteligencia de los modelos ya chocara con su límite actual, esto ya es una tecnología que cambia las reglas del juego.
Las personas usarán los LLM de forma adecuada en su trabajo, pero aun así cometerán muchos errores porque no entienden bien su propio trabajo ni los resultados que otros quieren. Los directivos, que casi no usan tecnología más allá del correo, los mensajes y las llamadas, seguirán hablando sin parar sin entender la tecnología.
Nadie sabe cuál será el resultado final, pero con solo usar Claude 5 minutos cuesta imaginar que todo el trabajo de oficina vaya a mantenerse igual que antes.
Aunque igualara al cerebro humano, para alcanzar la producción de toda la sociedad humana tendría que ser varios órdenes de magnitud más eficiente, y solo así podría superar el ritmo de avance humano. Aunque la singularidad de la IA fuera posible, la aceleración podría tomar toda una vida.
La IA también tardó unos 75 años desde que se propuso la prueba de Turing en 1950 hasta que aparecieron sistemas que parecen haberla superado, así que hay que darle más tiempo.
Me identifico con la parte que dice: “si tu organización te pide revisar en masa PR de 2,000 líneas llenos de código horrible generado por IA, al final te va a quemar y despedir, así que busca otro trabajo como si ya te hubieran despedido”. Creo que esto será cada vez más frecuente a medida que se adopte ampliamente el desarrollo agéntico.
Hay que encontrar y organizar las condiciones para duplicar o triplicar el throughput, y concentrarse en los cuellos de botella y las partes más difíciles. Lo digo como alguien que ya lo hizo en la práctica.
La frase “todos los proyectos de IA que observé durante un año y medio fracasaron, con una tasa de éxito de 0%” es una exageración y le resta credibilidad. Cuando se habla de IA, el término abarca desde sistemas expertos hasta LLM, transformers y modelos de difusión.
Se han visto mejoras de productividad en búsqueda semántica, generación de contenido con modelos de difusión e incluso en regresión lineal dentro del contexto del aprendizaje supervisado. Aun limitándonos a los LLM basados en transformers que reavivaron el interés reciente, los proyectos pequeños para automatizar tareas simples y tediosas en general han tenido éxito.
Los proyectos ambiciosos que exigen más de lo que los modelos pueden dar tienden a fracasar, y la mayoría son previsibles de antemano, pero algunos en la frontera de lo posible son legítimos proyectos de I+D.
Es sesgo de selección: anuncian sus servicios solo a empresas que están fracasando por falta de expertise interno y luego escriben que todos los proyectos que vieron habían fracasado. Al rechazar incluso ayudar, también bloquean la posibilidad de convertirlos en casos de éxito.
Parece que no le gusta el lenguaje corporativo educado, pero a mí me gusta este estilo y a menudo ofrece perspectivas perspicaces que van contra las prácticas de la industria.
Han aumentado métricas como líneas de código, pruebas unitarias, documentación y velocidad de PR, pero el impacto real en el negocio no está claro. Más PR podrían acelerar el lanzamiento de funciones, pero también retrasar las revisiones o arruinar la experiencia de usuario con bugs. Las empresas no dicen cómo más código se traduce realmente en ingresos.
En el primer caso, si un ingeniero de software no rechaza activamente la tecnología, es fácil que obtenga resultados útiles. El segundo es muy difícil porque hay que construir sobre una base peculiar como los LLM, y los proyectos obvios como los chatbots internos suelen llevar a promesas excesivas y resultados por debajo de lo esperado.
En dos empresas totalmente distintas, al otro lado del mundo, vi a directivos intentando redactar con LLM documentos externos con grandes implicaciones legales y financieras. Siempre dicen que un experto los leerá y verificará los hechos antes de enviarlos, pero las personas que no son especialistas en edición y verificación de hechos tienden fuertemente a ser mucho más descuidadas al revisar que al escribir correctamente desde el principio.
Son excelentes las anécdotas de que “para conservar el empleo hay que poner a alguien a reescribir en Zig una copia completa del repositorio de Go mientras hace otras cosas”, o de que, como los ejecutivos de un cliente afirman una productividad 100 veces mayor, si un ejecutivo del proveedor dice que eso no es realista podría socavar la confianza del ejecutivo del cliente y hacer que se cancele un contrato corporativo.
Dice que “la tasa de éxito de todos los proyectos de IA que he observado es 0%”, pero no define qué es un proyecto de IA. Hace falta dar ejemplos concretos: si se trata de escribir software desde cero, de que personas no desarrolladoras usen chatbots LLM dentro o fuera de la empresa, o de otra cosa.
Estoy totalmente de acuerdo con la crítica del emperador desnudo sobre la automatización del trabajo, pero sorprende que no aborde la ingeniería asistida por IA, que para muchos resulta positiva. Los chatbots también pueden tener éxito si se acota el alcance del problema y se eligen adecuadamente. Mi empresa anterior obtuvo buenos resultados con una interfaz conversacional para una base de datos vectorial, aunque en realidad el núcleo era la base de datos vectorial, y una interfaz de usuario tradicional quizá habría sido más rápida y precisa.
En general, la dirección del texto es mayormente correcta, sobre todo la parte sobre la fiebre de la IA y las expectativas poco realistas que se apoderaron de la alta dirección.
Mi experiencia escribiendo SQL avanzado y código Python con Claude no coincide con lo que sostiene el texto. No he visto personalmente un chatbot satisfactorio para consultar datos en lenguaje natural, pero al escribir consultas muy complejas en lenguaje natural se podía llegar a un 80–90% del resultado.
Es probable que las empresas que se están adelantando a sus competidores con IA no lo promocionen mucho y la usen discretamente. El texto apunta a grandes empresas llenas de gerentes, pero estas organizaciones ya se comportaban igual antes de la IA con ciencia/análisis de datos o blockchain.
Cualquiera puede usar un LLM para envolver una mala idea de forma convincente, de modo que toda la organización termine siguiendo la idea equivocada de un vicepresidente mediocre, con una enorme pérdida de productividad.
El desarrollo de funcionalidades sigue tomando un tiempo similar o tiene mejoras de productividad limitadas. Parece deberse a que la mayoría de las organizaciones son crónicamente malas construyendo software en sí.
La semana pasada recibí encuestas de dos lugares distintos preguntando cómo uso IA en el trabajo; ambas eran preguntas de selección múltiple, pero no permitían seleccionar 0 opciones y estaban marcadas como obligatorias.
Sea o no que la adopción de IA por parte de las empresas genere realmente enormes aumentos de productividad, para los vendedores de palas como Nvidia y Anthropic tiene perfecto sentido.
Aunque se revele que el emperador está desnudo, eso no detendrá la fiebre. No solo la tulipomanía del siglo XVII, sino también los procesos ágiles, los cronogramas de trabajo y la medición de productividad basada en líneas de código son parecidos; las empresas repiten en cada época nuevas fiebres colectivas.
La impulsan los métodos de los consultores, el control excesivo de los responsables de seguridad, el miedo a quedarse atrás y el objetivo de presentar una imagen de empresa moderna impulsada por IA. Clientes, empresas, cadenas de suministro, gobiernos y pensadores participan todos en esta danza global; algún día la música cambiará y el baile también.
Los negocios y la política están dominados principalmente por esto, y la industria tecnológica también cae una y otra vez en modas, exageraciones y errores de décadas que después parecen obvios.