- Explora ideas aplicables a la automatización basada en IA centrándose en el segundo capítulo, “Approaches to solutions”, del artículo de 1983 de Lisanne Bainbridge, “The ironies of automation”
- Cuando los humanos supervisan el trabajo que realizan los agentes de IA, las limitaciones cognitivas bajo juicio rápido y situaciones de estrés forman una estructura de riesgo similar a la de los sistemas de control industrial
- La UI/UX actual de agentes basados en LLM no es adecuada para detectar errores, y hay que aprender de los principios de diseño del control industrial
- Debido a la paradoja del entrenamiento, cuanto más exitosa es la automatización, más indispensable se vuelve una capacitación humana continua y costosa
- En la era de los agentes de IA, más allá de la simple supervisión, se requieren “habilidades de liderazgo”, lo que lleva a una nueva forma de colaboración humano-máquina
La automatización con IA y los límites del juicio humano
- En los sistemas de control industrial se requiere responder en cuestión de segundos, mientras que la automatización del trabajo de oficina implica menos riesgo inmediato, pero aun así exige juicio e intervención rápidos
- Cuando la IA genera resultados a velocidad sobrehumana, para que un humano pueda entenderlos y verificarlos se necesita apoyo cognitivo de nivel equivalente
- La cultura empresarial centrada en la eficiencia y los entornos de estrés degradan la capacidad de análisis humana, lo que hace todavía más difícil detectar errores
- Como los errores en los resultados de IA pueden derivar en consecuencias graves, como incidentes de seguridad, se necesita diseñar un sistema de monitoreo de un nivel similar al del control industrial
El peor problema de UI
- Bainbridge plantea que “en situaciones donde hay que reconocer rápidamente eventos de baja probabilidad, se necesita apoyo artificial”
- Esto implica la necesidad de reforzar los sistemas de alerta para aliviar el problema de la fatiga de monitoreo
- La forma actual de gestionar flotas de agentes de IA es una interfaz ineficiente en la que los humanos deben revisar planes de cientos de líneas
- Como los errores son poco frecuentes pero pueden ser fatales, hace falta un rediseño de UI/UX centrado en la detección de errores
- Es necesario aplicar los principios de diseño visual y de alertas de los sistemas de control industrial
La paradoja del entrenamiento
- Bainbridge subraya la importancia de mantener las habilidades manuales y señala que los humanos deben operar el sistema directamente de forma periódica
- Cuanto mayor es la automatización, más rápido avanza la pérdida de pericia humana
- El entrenamiento con simuladores tiene dificultades para reproducir situaciones de error imprevistas, por lo que se necesita una capacitación centrada en estrategias generales
- Como dice la frase “es irónico esperar inteligencia de humanos entrenados para seguir instrucciones”, los supervisores de IA también deben entrenar de forma continua su capacidad de responder a situaciones excepcionales
- Cuanto más exitosa es la automatización, más aumenta el costo de entrenar a los humanos, y no se puede resolver solo con una lógica de reducción de costos
El dilema del liderazgo
- Supervisar agentes de IA no es simple vigilancia, sino un rol de liderazgo mediante instrucciones, coordinación y retroalimentación
- Los humanos ya no gestionan la ejecución directa, sino los resultados indirectos, y eso exige una transición a una nueva forma de trabajo
- La mayoría de quienes trabajan en la práctica terminarán gestionando agentes sin formación en liderazgo, y consejos como “escribe mejores prompts” no son suficientes
- Se necesita formación en liderazgo para IA, con una estructura similar a la capacitación tradicional en liderazgo humano
- Hasta que los agentes del futuro alcancen un nivel de sofisticación suficiente, será indispensable fortalecer las capacidades de liderazgo de los supervisores
Conclusión: la verdadera ironía de la automatización
- Como concluye Bainbridge, los humanos sin presión de tiempo son excelentes solucionadores de problemas, pero bajo presión su eficiencia cae drásticamente
- La automatización no elimina las dificultades humanas; al contrario, exige mayor sofisticación técnica e inversión en capacidades humanas
- Las ideas de hace 40 años siguen siendo válidas en la era de los agentes de IA, y hay que redefinir el equilibrio de la colaboración humano-máquina
- El avance de la automatización con IA depende más del rediseño del rol humano que de la tecnología
1 comentarios
Opiniones en Hacker News
Me gustó mucho este resumen que hizo el autor del artículo de un paper de Bainbridge de 1983
Había intentado aplicar la "ironía" de la automatización industrial a los agentes de IA, pero no había logrado explicarlo con tanta claridad
El paper en sí es corto, pero denso y difícil de leer, y vale la pena seguirlo junto con el PDF original
En especial, la frase “los sistemas de automatización actuales se apoyan en las habilidades de los trabajadores manuales del pasado” es clave
Es decir, para usar bien la IA se necesitan programadores experimentados, pero para adquirir esa experiencia hay que programar directamente, lo que muestra la primera ironía
Es un texto lleno de ideas y lo recomiendo mucho
Los productos culturales como el arte o la escritura no son, en esencia, resolución de problemas sino actos de expresión
Pero la IA usa esos datos para entrenarse, reemplazando al mismo tiempo el trabajo y la remuneración de los creadores, y además contaminando el “bien común” de los datos de entrenamiento
Al final habrá que pagarles a los creadores, o si no los modelos se irán alejando cada vez más de la realidad cultural contemporánea
Ahora mismo solo estamos en el punto de un problema circular esperando a que aparezcan sus consecuencias
Incluso después, deberían dedicar cierto porcentaje de su tiempo a “proyectos manuales” para mantener sus habilidades
Pero aun así queda la duda de si esto realmente acelera las cosas y mejora el mundo
Los LLM han llegado a un nivel sorprendente, pero no crean nuevas abstracciones ni paradigmas; solo producen subproductos bien hechos
Por eso los humanos sienten menos necesidad de crear nuevas metodologías
Tal vez algún día los LLM de razonamiento resuelvan este problema
La automatización con IA no elimina las dificultades humanas, sino que las traslada a otro lugar
De hecho, las vuelve menos visibles y aumenta los riesgos
Al final, aunque intervenga una persona, sigue haciendo falta mucho ajuste posterior
Los antiguos trabajadores manuales ya se jubilaron, y los operadores de fábricas de hoy no tienen experiencia de operación manual
En cambio, sí tienen habilidades sobre “qué hacer cuando la máquina falla”
Hay muchos sistemas en los que la operación totalmente manual es imposible, pero la automatización industrial sigue siendo exitosa y gracias a ella los productos se volvieron baratos y abundantes
El texto trata dos problemas que aparecen al usar agentes de IA
Primero, cuando el agente se equivoca un experto humano debe intervenir de inmediato, pero como ya no hace el trabajo directamente, la degradación de su experiencia avanza rápido
Segundo, el experto termina siendo administrador del sistema de agentes, pero como ese es un rol poco familiar, siente alienación laboral
En resumen, la automatización aumenta la eficiencia, pero hace más difícil la intervención humana y, más que reemplazar por completo a las personas, incrementa la complejidad
Antes automaticé reportes de Excel con PowerBI, y durante varios meses los resultados estuvieron mal
Al automatizarlo desapareció el instinto de verificar, y rastrear el error fue mucho más difícil
Por eso insisto en que al automatizar hay que dejar siempre una rutina de validación
La generación de pantallas táctiles puede usar todo sin problemas, pero cuando algo falla, la generación anterior lleva mucha ventaja
Con la IA pasa lo mismo: si no es perfecta, al final hará falta la intervención de expertos
Solo que ese rol aparecerá de forma esporádica, como el de un mecánico automotriz
Incluso con la automatización, seguían haciendo falta habilidades humanas
La IA suele producir planes aceptables, pero a veces incluye errores fatales, y detectarlos termina siendo tarea humana
Al final otra automatización tapa eso, y luego aparece otra encima
Al ver esta estructura circular, dan ganas de volver a leer El capital de Marx
Fue un texto que me hizo pensar en que “las calculadoras son rápidas y precisas, pero igual debemos aprender los principios de las matemáticas”
La automatización de la programación está mucho más en la ruta crítica que una simple calculadora, así que el riesgo de degradación de habilidades es mayor
La IA no se rinde ante un problema, así que la necesidad de expertos siempre va a existir
Lo importante es saber qué números hay que calcular
Los desarrolladores jóvenes ya no pueden escribir por sí mismos ni las rutinas básicas, y casi no queda gente capaz de trabajar con drivers en C
Es un texto interesante, pero da pena que en la práctica se vea al programador solo como alguien que corrige errores de la IA
En realidad, la mayor parte del tiempo todavía se dedica a programar la IA
La IA no sabe qué hay que construir ni cuándo hay que cambiar lo existente
Al final, a diferencia de la manufactura, en programación sigue siendo la persona quien debe diseñar la cadena de producción
La industria aeronáutica ya lleva mucho tiempo lidiando con esta ironía de la automatización
El piloto automático realiza la mayor parte del vuelo, pero los pilotos practican aterrizajes manuales cada mes
Gracias a eso mantienen sus habilidades y aun así aprovechan los beneficios de la automatización
En cambio, en la industria del software la prioridad es la productividad de corto plazo, así que no se fomenta ese tipo de práctica
Yo personalmente pienso seguir escribiendo código manualmente, pero es difícil que toda la industria haga lo mismo
Por cierto, incluso en aviación este problema sigue existiendo — un caso representativo es el accidente del vuelo 447 de Air France
Texto relacionado: The Long Way Down – Air France Flight 447
El paper de Bainbridge también es interesante, pero la charla posterior “Children of the Magenta” es más práctica
En este video de YouTube se trata la formación de pilotos para automatización
Los cazas modernos (F-22, F-35, etc.) están diseñados para enfocarse más en el combate que en el pilotaje
Antes la mayor parte del entrenamiento era aterrizaje, pero ahora eso se estabiliza con ayuda de computadoras, así que el piloto se concentra en el juicio estratégico
En programación pasará algo similar: a medida que la IA avance, los humanos dedicarán más tiempo al análisis táctico de problemas
Es fácil entender la asistencia de IA para programar si se la compara con los niveles de automatización SAE en los autos
Ahora estamos en un nivel 2~3, donde todavía hacen falta la supervisión y la responsabilidad humanas
Hasta llegar a la automatización total (Nivel 5), este período de transición será el más peligroso
Al final, por la presión competitiva, todos tendrán que avanzar hacia Nivel 4 o más, o quedarse atrás
Me genera dudas esa idea de “recibir suficiente capacitación en liderazgo antes de asumir un rol de liderazgo”
En la práctica, eso rara vez pasa
Yo también siento la degradación de habilidades
Mi primera reacción ya es usar un LLM, así que vivimos en una época en la que hace falta una moderación consciente, como con el ejercicio o la dieta
Solo una parte de la gente logrará mantener bien ese equilibrio
No es un tema de moderación, sino de mantener una línea mínima de comprensión
La frase “si no sale bien, hay que escribir mejor el prompt” ya me resulta demasiado familiar
Esa es precisamente una frase que muestra cómo hoy se traslada la responsabilidad al usuario de IA