La fiebre por la IA está destruyendo la toma de decisiones en todo el mundo

• La tasa de éxito de los proyectos de IA en los que Hermit Tech participó o que observó indirectamente durante un año y medio fue del 0%, y las empresas están tomando la adopción de IA en sí misma como un objetivo estratégico, más que los resultados concretos
• Los chatbots internos no se usan por culpa de documentación deficiente y los chatbots para clientes ni siquiera miden bien si resuelven los problemas, pero como ejecutivos, empleados y proveedores no tienen incentivos para hacer públicos los fracasos, continúan los anuncios de mejoras de productividad
• En organizaciones de más de 500 personas, dudar de la utilidad de la IA pone en riesgo ascensos y empleo, y los empleados empaquetan como logros de IA trabajos que no usaron IA o inflan artificialmente el uso de tokens para cumplir métricas de evaluación
• Los ejecutivos también guardan silencio porque refutar afirmaciones de clientes, directorios o pares puede costarles contratos o puestos, y este problema de coordinación refuerza mutuamente los resultados exagerados y las inversiones innecesarias
• Si se exige un componente de IA en toda solicitud de negocio, contratación o presupuesto, se bloquean las compras y la comunicación normales; por eso, quienes trabajan en la práctica deben verificar los hechos mediante reuniones privadas y encuestas anónimas, y si la situación ya está enquistada, prepararse para cambiar de empleo o pasar a trabajar por contrato

---

Fracaso observado de las inversiones en IA

• Durante el último año, Hermit Tech se encargó de las ventas de la empresa y conversó con unos 300 profesionales de todo el mundo, conociendo la situación de adopción de IA en organizaciones privadas y públicas
• Todos los proyectos de IA en los que el equipo participó durante un año y medio, o que vio indirectamente mientras hacía otros trabajos, fracasaron; incluso si existieran casos de éxito, los considera más bien excepciones que resultados típicos
  • El equipo rechazó todos los trabajos de implementación de IA y redujo al mínimo su exposición para que, incluso si OpenAI desapareciera, sus contratos actuales no se vieran afectados directamente
• Aunque las herramientas de IA puedan acelerar tareas específicas, considera que la forma y la escala actuales de inversión no son justificadas
  • La capacidad general de las empresas para ejecutar proyectos de software es baja, por lo que arrastran los mismos factores de fracaso existentes
  • En los proyectos de IA también existe una posibilidad adicional de fracaso derivada de la novedad de la tecnología
  • Son pocas las empresas capaces de lanzar software de forma estable y, además, asumir estos riesgos

Intereses que ocultan el fracaso

• Directorios, ejecutivos, empleados, proveedores y consultores tienen incentivos para volver ambiguo si un proyecto de IA tuvo éxito o no
  • Un ejecutivo que reconoce un fracaso puede ser desplazado de su cargo
  • Un empleado que habla con honestidad sobre los problemas puede ser despedido o quedar en la mira de recortes
  • Algunas empresas que cotizan en bolsa anuncian mejoras de productividad por IA aunque no hayan hecho mucho más que comprar licencias de Copilot
• Incluso preguntas básicas sobre objetivos, usuarios y resultados de un proyecto pueden ser tomadas como un ataque a la cadena de mando
  • Mientras el proyecto está en marcha, el fracaso aún no queda expuesto y pueden aparecer respuestas de que todo va bien
  • Hermit Tech considera difícil intervenir antes de que la crisis se vuelva real y, si el cliente no solicita explícitamente asesoría sobre estrategia general de datos, no cuestiona primero los proyectos de IA en curso
• Este enfoque se basa en el principio de Gerry Weinberg: “la consultoría es influir en las personas a pedido”

Límites de los chatbots internos y para clientes

• El proyecto de IA más común en las empresas es un chatbot con LLM para empleados internos o para clientes
• Los chatbots internos casi no lograron una adopción real
  • Si la calidad de la documentación corporativa es baja, el LLM no puede obtener la información necesaria para responder
  • Como solo puede usar información registrada o hecha accesible, la IA no resuelve por sí sola el problema de documentación
• Los chatbots para clientes también rara vez ofrecieron una experiencia satisfactoria; la transcripción en tiempo real durante consultas médicas fue una excepción
• Los responsables de proyecto tienden a evitar métricas básicas, como si la herramienta se usa realmente, o a elegir métricas fáciles de manipular

• Caso de atención al cliente de Mitsubishi

  • Tras una falla del vehículo, al contactar a Mitsubishi, un sistema automático de atención con voz natural y respuestas rápidas registró el problema e indicó que respondería pronto
  • Pasaron 6 meses y nunca llegó una respuesta
  • No fue posible confirmar si la solicitud quedó registrada como error o si se contabilizó como resuelta sin intervención humana
  • En las métricas del sistema puede figurar como un éxito, pero el resultado real fue que el cliente decidió no volver a comprar un vehículo Mitsubishi

La estrategia organizacional convertida en profesión de fe en la IA

• En las organizaciones observadas de más de 500 personas, aumenta la situación en la que, para mantener ascensos y empleo, hay que expresar repetidamente la creencia de que la IA lo cambiará todo en ese negocio
• Se exigen declaraciones más cercanas a una profesión de fe que a ideas concretas de uso
  • Estos comentarios provienen sobre todo de roles no técnicos, pero los técnicos también se suman para ganar simpatía
  • Hubo casos de personas que dijeron “la IA lo está cambiando todo” y luego no pudieron presentar ni un solo caso de uso de LLM dentro de la organización ni un cambio en el trabajo
  • También hubo un caso en el que un ejecutivo que redactó la estrategia tecnológica centrada en IA para una organización con más de 2.000 millones de dólares de ingresos anuales admitió no haber usado nunca herramientas de IA, incluido ChatGPT
• En algunos casos se trata de exageración deliberada para parecer líderes de pensamiento, pero considera más peligroso cuando personas sin formación técnica creen realmente lo que dicen
• Una organización despidió a sus mejores performers porque habían logrado resultados sin LLM, y mantuvo la misma decisión no solo en comunicaciones externas sino también en su financiamiento propio y estrategia interna

Uso obligatorio de IA impuesto a expertos técnicos

• Tanto quienes son escépticos sobre la IA como quienes están a favor coinciden en que la imposición del uso de LLM por parte de la dirección es una mala estrategia
  • “Contra Ptacek’s Terrible Article On AI” evalúa la utilidad de los LLM de manera distinta a Thomas Ptacek en “My AI Skeptic Friends Are All Nuts”
  • Sin embargo, llega a la misma conclusión: es inapropiado obligar a empleados especializados a usar una forma específica de trabajo
• Que ejecutivos no técnicos impongan procedimientos y herramientas concretas sin el acuerdo de los especialistas tiene el mismo problema que un CEO de un hospital o una constructora indicándoles directamente a profesionales técnicas médicas o de construcción

• Lavado con IA y rankings de tokens

  • Como los gerentes se molestan si no se usó IA aunque el resultado sea satisfactorio, los empleados trabajan con métodos tradicionales y luego reportan falsamente que Claude lo hizo
  • Algunas organizaciones operan rankings que dan mejores evaluaciones cuanto mayor sea el costo de IA o el consumo de tokens
  • Ingenieros encargados de optimizar sistemas hacen que el LLM repita prompts por sí mismo para aumentar el consumo
  • Aunque juzguen que la salida no es apta para desplegarse, la descartan, hacen otra cosa y solo completan el uso requerido
  • Un ingeniero dijo que le pedía a la IA reescribir una copia completa de un repositorio en Go a Zig y luego ignoraba el resultado
  • Nadie que manipuló métricas de esta forma fue descubierto, y hubo casos en los que solo fueron despedidas las personas que expresaron dudas visibles sobre la estrategia
  • Los empleados terminan aprendiendo que, para estar seguros, deben elogiar la estrategia de IA de la dirección

Cómo las demos de IA aplastan el juicio de compra

• Una de las principales infraestructuras que Hermit Tech despliega para sus clientes es la base de datos analítica de uso medido Snowflake
• Cortex de Snowflake es una capa de IA que usa metadatos, como el significado de las columnas de datos, para consultar la base de datos de la empresa mediante preguntas en lenguaje natural
  • Puede responder preguntas como “¿cuáles fueron las ventas de la semana pasada?”
  • Recuerda que, en una presentación de empleados de Snowflake, incluso con una configuración ideal, la precisión era de aproximadamente 92% debido a la complejidad de los datos corporativos a gran escala
  • Considera que no es apto para producción, porque alrededor de 1 de cada 10 cifras que ve un CFO podría estar equivocada y además hay problemas serios de gestión de despliegue
• Aun así, Cortex permitía crear demos impresionantes con facilidad

• La demostración que hizo ignorar advertencias

  • Clientes que inicialmente se mostraban tibios frente a la propuesta querían comprar de inmediato después de ver la demo de consulta de datos en lenguaje natural
  • Aunque se les advirtió claramente que no lograría los resultados deseados, querían concentrar el presupuesto en el chatbot, incluso dejando de lado impactos de millones de dólares que podían obtenerse con métodos no basados en IA
  • Hermit Tech consideró irresponsable aprovechar el vacío de criterio del cliente, además de riesgoso para su reputación y legalmente, por lo que detuvo la venta y luego eliminó Cortex de su lista de demos
  • La demo se había hecho en unas 2 horas introduciendo descripciones de datos en el navegador, pero funcionaba mejor que cualquier resultado obtenido por posibles clientes —incluida una empresa listada en ASX que ya promocionaba su uso de IA— con sus inversiones existentes
  • Desde entonces dejó de hacer negocios con todos los prospectos que mostraban una fijación fuerte con la IA más allá de una curiosidad pasajera
  • No fue solo rechazo moral, sino que también era difícil evitar riesgos reputacionales y legales durante el proceso contractual
  • El entorno de gestión que creaban también se volvía religioso e ineficiente

El problema de coordinación que ata a los ejecutivos

• Algunos ejecutivos a cargo de grandes negocios de IA o que hacen declaraciones públicas exageradas no creen sus propias palabras
  • Algunos responsables de IA en empresas con más de 1.000 millones de dólares de ingresos recurrentes anuales dijeron que consideran ficticio el cargo, pero lo aceptaron porque era la única vía de ascenso dentro de la organización
  • Varios CISO son discretamente escépticos sobre los negocios de IA, pero temen oponerse públicamente
• Un ejecutivo de una empresa Fortune 500 dijo que, si los proveedores niegan afirmaciones de mejoras de productividad de 100 veces hechas por ejecutivos de clientes, minan la confianza en la dirección del cliente y los contratos corporativos pueden cancelarse
• Los proveedores también son clientes de otros proveedores, por lo que los ejecutivos de cada empresa temen que, si contradicen la exageración de la contraparte, ellos sean los primeros perjudicados
• Esto crea un problema de coordinación que dificulta hablar con honestidad sobre los resultados de IA
  • Si todos mantienen la postura existente, pueden conservar sus puestos
  • Si una persona niega resultados que no son ciertos, puede ser interpretado como que convirtió a sus colegas en mentirosos, cobardes o incompetentes, y ser despedida
  • El puesto vacante vuelve a ser ocupado por alguien que seguirá la postura existente
  • Si todos lo reconocieran al mismo tiempo, la situación podría cambiar, pero no hay un medio para coordinarlo
• Miembros de directorios del S&P 500 también expresan ansiedad de que deben exigir inversiones en IA para conservar sus puestos
  • Un miembro dijo: “Invertir tan temprano parece tener poco potencial de ganancia y solo riesgo”
  • Aproximadamente 2 años después, esa empresa de miles de millones de dólares se rebautizó como AI-native

La prueba de pureza de IA que aprueba todo negocio

• Como no se puede dudar públicamente de la creencia en la IA, la toma normal de decisiones en las organizaciones se está deteniendo
• Los empleados son evaluados con métricas fáciles de manipular, como el gasto en IA, y si rechazan compras innecesarias se cuestiona su lealtad a la estrategia de IA
• Toda propuesta afectada por la política interna debe incluir un componente de IA aunque su valor sea incierto
• Muchos proyectos de IA son, en esencia, proyectos existentes a los que se les agregó un paso de IA para pasar la prueba de pureza de la organización

• Caso de migración de Oracle a Snowflake

  • Una organización agregó una etapa preliminar para convertir automáticamente Oracle SQL a Snowflake SQL con un LLM mientras migraba una base de datos Oracle a Snowflake
  • Cuando la automatización fracasó porque no obtuvo los permisos necesarios, el proveedor convirtió el SQL manualmente
  • La causa del fracaso no fue la capacidad del LLM para convertir, sino la falta de permisos de automatización
  • Como se pegaron algunos SQL no importantes convertidos por IA, todo el negocio se presentó como un éxito basado en IA
  • La compra real era una migración estándar de base de datos para retirar el sistema existente antes de renovar licencias
  • A la dirección se le comunicó que “se asignó una parte considerable del presupuesto a IA y se logró el objetivo”

El destino de los negocios a los que cuesta incluso llamar IA

• Los verdaderos proyectos de IA, donde el LLM es el único mecanismo central y el éxito o fracaso puede juzgarse claramente según el cumplimiento de metas numéricas concretas, son raros
• Este tipo aparece sobre todo en startups, pero algunas pidieron a Hermit Tech que les construyera el producto que habían comercializado como terminado al final de la conversación de ventas
• Si no se puede agregar un componente de IA, o si quien propone se niega a disfrazarlo con una mentira, la solicitud de presupuesto desaparece o todos los documentos deben reescribirse para que sean “suficientemente de IA”
• También aumentan las empresas que exigen demostrar que se intentó resolver con IA antes de pedir más personal
  • Si alguien dice que usó IA pero sigue necesitando personal, puede ser clasificado como “alguien que no sabe usar bien la IA” y quedar expuesto a recortes
• Salvo unas pocas empresas donde la IA resuelve una prioridad real, a las grandes organizaciones les resulta difícil concentrarse en compras racionales de software, contratación de talento, reportes de estado de proyectos y ejecución de negocios importantes

Cuando hay que corregir un proyecto específico

• Para lograr un proyecto específico u otro objetivo, más que cambiar la creencia en IA de toda la organización, hay que evitar el choque público

• Conversaciones uno a uno y anonimato

  • Es mejor no plantear los problemas de un proyecto de IA en reuniones grupales
  • Porque cada asistente teme quedar expuesto como escéptico frente a sus colegas
  • Hay que organizar entrevistas uno a uno, aceptar la posibilidad de que el ambiente de IA esté sobrecalentado e informar que se protegerá la identidad de quien habla
  • Deben eliminarse pistas que permitan a colegas identificar a la persona, como citas directas
  • Si solo alrededor de 1 de cada 6 personas puede hablar de los problemas, puede ser mejor moverse a otra organización o proyecto con más posibilidades de mejora

• Encontrar divisiones ocultas con evaluaciones anónimas

  • Una encuesta anónima que pida calificar de 1 a 10 la probabilidad de éxito de un negocio en curso puede ser eficaz
  • El resultado típico observado fue una distribución bimodal: la mitad ponía alrededor de 3 puntos y el resto alrededor de 8
  • Esta división apareció incluso en proyectos ya retrasados 3 años
  • Mostrar estos resultados al CEO puede confirmar que se está ocultando información sobre el estado del proyecto

• Por qué hay que investigar a los usuarios reales

  • El personal de primera línea que usa la herramienta en su trabajo diario es la única fuente de datos capaz de juzgar el resultado de la inversión
  • Hay que hacer que hablen en un entorno donde se sientan respetados; en organizaciones grandes puede haber miembros que no ven a sus subordinados como personas iguales
  • En un cliente se descubrió que los empleados ni siquiera sabían que habían recibido licencias de herramientas de IA, lo que debilitó la base de las afirmaciones de productividad existentes

• No chocar directamente con creencias amplias

  • Si el objetivo es resolver un problema específico, conviene dejar pasar afirmaciones generales como “la IA lo cambia todo”
  • Solo después de ganar la confianza de la persona de mayor rango se puede desafiar la percepción de realidad de la organización
  • La confianza se construye reduciendo la ansiedad en comidas privadas, no avergonzando a la otra persona en público
  • Antes de entrar a una reunión es difícil saber quién hizo qué compromisos públicos
  • Alguien que ya dijo “la productividad es 100 veces mayor que el año pasado” puede no poder retractarse aunque quiera, por cuestión de imagen
  • Incluso una afirmación de sentido común como “los LLM no deberían desplegar código sin revisión humana” puede cortar una relación inicial
  • Si el objetivo de interés público es importante, una táctica realista de supervivencia puede ser agregar un chatbot de IA de 10.000 dólares al negocio central y enfatizar solo esa parte en las reuniones

Cuando hay que resistir dentro de la organización

• Hay que aceptar que es difícil resistirse de manera efectiva a esta situación, y que el problema está más en la cultura corporativa disfuncional que en la IA en sí
• Pasar de empleado fijo a contratista puede aumentar la remuneración y alejarte de la política interna, además de que incluso las situaciones difíciles tienen una fecha de término de contrato
• El consumo de noticias sobre IA debe limitarse lo suficiente para reducir el desgaste mental
  • Evitar lugares donde las noticias relacionadas llegan sin parar, como Hacker News y Reddit
  • Leer solo lo necesario para mantener el sentido de realidad y luego detenerse
  • Incluso al quejarse con amigos, conviene aclarar de antemano el propósito
• Si alguien usa IA para un fin inapropiado pero no hay un peligro físico inmediato, suele ser mejor seguirle la corriente y dejarlo pasar
• Como programador, si te piden una opinión sobre IA y la persona no puede influir en decisiones importantes, se recomienda responder brevemente “hay algo de exageración” y cambiar de tema

• Cuando grandes cantidades de código de IA invaden el trabajo

  • Si debes revisar continuamente PR de 2.000 líneas generadas por IA y de baja calidad, debes empezar a buscar empleo de inmediato, asumiendo que la organización acabará agotando al revisor y luego despidiéndolo
  • Es difícil convencer al generador de cambiar su forma de trabajar, y conviene preparar la salida mientras aún queda energía
  • Aunque la búsqueda de empleo reduzca la velocidad de trabajo, si no lo haces, el agotamiento y la depresión causarán el mismo problema más adelante

• Cuando un gerente conversa con frases generadas por IA

  • Si un gerente responde con texto claramente generado por IA, responde del mismo modo para reducir la carga mental y busca un nuevo trabajo
  • Este tipo de gerente puede valorar positivamente el uso de IA en sí, más que considerar descortés que el empleado responda con IA
  • Si además te exigen maximizar el uso de tokens, debes prepararte para salir de la organización actual
  • Existen empresas con menos de estos problemas, pero suelen ser compañías pequeñas que no aparecen bien en plataformas de empleo; encontrarlas puede tomar meses, así que hay que empezar temprano

Problemas que quedarán a largo plazo

• Aunque la burbuja actual de IA termine algún día, los rasgos irracionales instalados en las capas directivas pueden reactivarse después con otra moda
• Algunas organizaciones pueden permanecer ideológicamente capturadas hasta colapsar por completo, como ocurrió con casos que nunca salieron de la fiebre blockchain
• Por ahora, dentro de lo posible, hay que recuperar datos privados y opiniones de campo que permitan restaurar un juicio normal; y en organizaciones que no se pueden cambiar, priorizar el sentido de realidad y la supervivencia personal