La alucinación colectiva de los LLM en nuestro lugar de trabajo
(blog.avas.space)- Registro de una experiencia directa en un lugar de trabajo acosado por la falta de presupuesto, donde se recorta el dinero para tareas esenciales pero, de forma contradictoria, sigue fluyendo para la adopción de IA
- Mientras durante años se cancelaron bonos y se recortaron personal, licencias y bases de datos, los gastos en consultores, talleres de LLM y licencias de ChatGPT y Copilot se aprobaron de inmediato
- En reuniones de toda la organización con la participación de cientos de personas, varios equipos intentaron proyectos con LLM, pero ni uno solo tuvo éxito
- Los casos de uso generales que se presentaron se limitaron a cosas inútiles o riesgosas, como preguntarle al bot cómo se siente, un resumen en 1 página del menú del almuerzo, o subir correos sospechosos a ChatGPT
- El autor define este fenómeno como una alucinación colectiva fuera de control y lo evalúa como un momento de quiebre de confianza, al revelar que cosas que el liderazgo podía haber hecho si hubiera querido estuvieron siendo bloqueadas intencionalmente todo este tiempo
Contexto financiero contradictorio y trasfondo de la adopción de IA
- El empleador vive una escasez crónica de fondos, y las vacantes no se cubren: simplemente desaparecen
- Hace dos años se cancelaron de forma permanente los bonos para empleados destacados
- Se recortaron recursos esenciales y solo se informó que "se las arreglen como puedan"
- Varios departamentos están sobrecargados, sin contrataciones, y para ahorrar costos se eliminaron licencias y bases de datos importantes
- Aun con ese trasfondo, el gasto relacionado con IA fue tratado como una excepción
- Se consiguió presupuesto para contratar consultores que recomendaban ir "all-in"
- Se consiguió presupuesto para varios años de talleres y seminarios externos sobre LLM
- Se consiguió presupuesto para licencias tanto de ChatGPT como de Copilot
- Se señala que el dinero que podría ir a bonos del personal y apoyo al trabajo termina fluyendo a estafadores, riesgos de seguridad, talleres inútiles y tecnofascistas
Fracaso total de los proyectos de LLM en toda la organización
- Se realizaron reuniones periódicas donde cada departamento registraba, probaba y luego presentaba resultados de proyectos con LLM
- Aunque el autor asistió a todas, no hubo ni un solo caso realmente exitoso
- Participaron cientos de personas, varios equipos, entusiastas de la IA y todo tipo de proyectos
- Todos terminaron en "no funciona", "no ahorra tiempo" o "lo vuelve más complicado"
- Ni con talleres, "prompt engineering", GPT personalizados ni documentos y plantillas preparadas de antemano se logró un efecto reproducible (no se trata del área de programación)
- Cada intento era una apuesta desordenada, y se iba mucho tiempo en ajustes, iteraciones, validación de resultados y corrección de errores
- Las quejas principales eran que no incorporaba ciertos documentos, alucinaba, o no podía completar o editar correctamente los documentos
- Incluso con licencias Enterprise, las limitaciones eran demasiado grandes
Demostraciones de casos de uso generales sin sentido
- También hubo reuniones dedicadas a presentar casos de uso generales para el trabajo cotidiano, sin relación con proyectos específicos
- Se hizo una demostración seria de la función de preguntarle al bot: "¿Cómo te sientes hoy?"
- No era broma ni sátira: se presentó como algo futurista y humano
- Se enfatiza que, si esto hubiera ocurrido hace cinco años, una propuesta de pagar miles de dólares en suscripciones para tener conversaciones inútiles con un bot habría sido ridiculizada, y que esa reacción seguiría siendo la correcta
- Se mostró el caso de subir a ChatGPT la hoja de Excel con el menú de una página del comedor en la intranet para preguntarle qué había de almuerzo el miércoles
- La respuesta del bot era más larga que leer la hoja completa
- Descargar, subir y redactar el prompt tomaba más tiempo que leer la hoja directamente
- El bot es innecesario para información que se puede ver de un vistazo
- En un ejemplo dado directamente por el responsable de TI, se recomendó guardar en el escritorio correos de spam, phishing o con adjuntos sospechosos y luego subirlos a ChatGPT para revisarlos
- Se advierte el riesgo de empujar a personal con poca experiencia técnica a guardar archivos sospechosos en su laptop de trabajo
La IA amplifica el efecto Dunning-Kruger
- La IA amplifica el efecto Dunning-Kruger, haciendo que todo lo que la gente intenta parezca más inteligente y más legítimo
- Personas haciendo tareas comunes y sin valor pueden aparentar que están haciendo algo importante y revolucionario
- Los defensores de la tecnología se sienten parte de una revolución gigantesca e imaginan el día en que sus críticos tendrán que disculparse
- Hay preocupación por ver a personas responsables y competentes convertirse, sin una razón clara, en promotores de empresas de IA
- Gente calificada cae al nivel de un vendedor puerta a puerta que promociona falsamente la eficacia de un detergente
Hype puro y quiebre de confianza
- Se impulsa la adopción aunque no exista un problema concreto por resolver y aunque al menos el 90% del personal no haga un trabajo que se beneficie de herramientas como Copilot
- Se inventan problemas donde no los hay, y se repiten intentos para consumir tokens y justificar suscripciones
- Se lo define como una acción de fachada para poder decirle a la dirección: "al menos lo intentamos"
- Todo uso se justifica bajo la idea de "exploración" y "juego", minimizando la influencia del desperdicio de tiempo, desperdicio de dinero y el poder detrás de todo esto
- Se cuestiona la velocidad con la que se introdujo la IA
- En un lugar que siempre decía no tener dinero, una tecnología inestable con costos iniciales enormes fue aprobada de inmediato
- Una nueva tecnología que normalmente no llegaba al sector público esta vez recibió toda la atención
- Una organización donde introducir cambios tomaba años o incluso décadas de pronto adquirió infraestructura de IA y capacidades organizacionales
- Esto revela que la lentitud del cambio no era el estado natural de la organización, sino un diseño deliberado: un "momento en que se cae la máscara"
- Queda expuesto que los obstáculos no eran esenciales, sino mentiras arbitrarias
- Para el personal, esto funciona como un momento de destrucción total de la confianza
Lo que viene
- Se plantea una pregunta de fondo: cómo seguir adelante y olvidar la experiencia de ver a los adultos respetados de una organización, supuestamente dedicada al "progreso", humillarse a sí mismos
- Durante meses se formó una cultura que hacía sentir al autor como si estuviera siendo gaslighteado repetidamente, al punto de preguntarse si no sería él quien estaba loco
- Afirma que no podrá olvidar esta experiencia y la describe como "mi segunda pandemia"
- Cierra diciendo que, si en tu trabajo no pasa algo así, de verdad te puedes dar por afortunado, y aplaude a las industrias y personas que usan la IA con sensatez y logran buenos resultados
- Pero, dado que situaciones como esta sí existen, pide no negar la experiencia para que se pueda hablar en conjunto de esa locura
3 comentarios
Aunque no haya resultados, ¿no será un esfuerzo por mantener la organización y sobrevivir de alguna manera...?
Si ese esfuerzo termina siendo señalado como algo donde “el dinero va a parar a estafadores, riesgos de seguridad, talleres inútiles y tecnofascistas”, entonces no parece haber sido un buen esfuerzo.
Opiniones en Lobste.rs
Mi lugar de trabajo tampoco está tan mal, pero va en la misma dirección. No hay dinero para nuevas contrataciones ni aumentos, pero siempre hay dinero para consultores de negocio, licencias gigantes de software empresarial COTS y suscripciones de IA
Incluso dejando de lado un poco el sarcasmo, sigue siendo común que, incluso en organizaciones menos rígidas que el gobierno, sea más fácil conseguir presupuesto para “comprar cosas” que para “pagarle al personal”
Lo que describe el autor es una situación en la que la gerencia es casi fatalmente incompetente para operar el negocio
El autor debería buscar un nuevo trabajo con una gerencia menos incompetente. Si eso es difícil, tendría que tomar otras medidas por supervivencia y salud mental
No significa que FAANG esté libre de incompetencia fatal, sino que la actitud de “¡ah, te resume los correos y el menú del almuerzo?!” está mucho más extendida de lo que uno pensaría
En general, diría que mi experiencia ha sido un poco más positiva
Pero cuando paso por un aeropuerto y veo anuncios sobre IA dirigidos a ejecutivos, sí, la situación allá afuera está realmente grave
El uso de LLM se siente muy parecido en ese sentido. Si entiendes qué puede hacer la herramienta y cómo aplicarla de forma efectiva, de verdad te ahorra tiempo, pero si solo te enfocas en sacar código lo más rápido posible, el resultado termina siendo un caos difícil de penetrar.