La IA no anestesia a una sola persona, sino a toda la organización: la ironía de la automatización que aviación y salud vivieron primero
(evan-moon.github.io)La capacidad de usar bien la IA y la capacidad de verificar su salida son ejes distintos, y mientras uno sube, el otro se desgasta silenciosamente. Este artículo aborda el mecanismo por el que ese desgaste se propaga no a nivel individual sino organizacional, y cómo los líderes pueden responder con estructura.
- La IA no es una abstracción que oculta trabajo de bajo nivel, sino un agente probabilístico que ocupa ese lugar. Las abstracciones previas como React u ORM permitían, si era necesario, bajar por la escalera y verificar la causalidad, pero sobre la IA ni siquiera existe esa escalera.
- El concepto clave es la propiedad cognitiva, es decir, "el estado en el que se puede explicar de principio a fin la trayectoria lógica de por qué este código tuvo que escribirse así". No importa por cuántas manos pasó el código, sino en la mente de quién está esa causalidad.
- La IA no democratiza la habilidad, sino la apariencia de plausibilidad. Solo elevó el piso más bajo de la distribución de calidad del código; la habilidad no aumentó, y cuanto mejor se vuelve el modelo, menos visible se vuelve el hecho de que la causalidad está vacía.
- El costo de generación converge a 0, pero el costo de verificación sigue igual. Por la presión económica que hace que, en las métricas organizacionales, la persona que tarda 1 hora en verificar código generado en 1 segundo parezca la más lenta, la aceptación crítica no puede sostenerse solo con voluntad.
- Se citan precedentes por los que ya pasaron aviación, neurociencia y medicina. La ironía de la automatización (Bainbridge, 1983), el vuelo Air France 447, la atrofia del hipocampo en dependientes del GPS y la disminución de sensibilidad del CAD en mamografías.
- La receta no debe ser la determinación individual, sino la estructura del equipo. Se propone contabilizar la ineficiencia de la propiedad cognitiva no como “moral”, sino como una “prima de seguro”.
Resumen detallado
La IA no es una abstracción, sino un agente
- Las herramientas previas eran deterministas (misma entrada, misma salida), por lo que era posible rastrear la causalidad. La IA es un agente probabilístico: ante la misma petición puede dar resultados distintos cada vez, y aunque el código pueda leerse, no hay camino para llegar al “por qué quedó escrito así”.
- El código escrito directamente por uno deja la causalidad en la cabeza; el código escrito por IA deja solo el resultado, y la causalidad no pasa por la mente humana. Se compara con firmar cada vez un contrato en un idioma que no conoces.
La estandarización de lo plausible
- Observación de primera línea como entrevistador y revisor de PR. Los nombres de variables son prolijos y la estructura parece razonable, pero al revisar aparecen funciones duplicadas, separación de responsabilidades poco clara y bloques llenos de side effects.
- La evidencia más honesta es el momento en que alguien se traba ante la pregunta: “¿Por qué lo hicieron así aquí?”. Es la señal directa de un código que luce bien por fuera pero carece de causalidad.
La anestesia se propaga a nivel organizacional
- Antes, la causalidad se guardaba de forma distribuida gracias a una doble capa de propiedad: la del autor y la del revisor. Pero si escribe la IA y también revisa la IA, el PR queda en un estado en el que la causalidad no está en la cabeza de nadie del equipo.
- “Si un bot de revisión con IA resume y una persona lo hojea y pone LGTM” solo parece verificación; en realidad es otro artefacto producido sin causalidad. El principio de “yo opero el código que construí” se derrumba.
El gusto solo crece dentro de la falla
- Es una refutación a la idea de que “la implementación la hace la IA y las personas solo ponen taste”. El gusto no crece por leer mucho buen código, sino por la experiencia de que lo que escribiste se rompa y rastrear ahí mismo su causalidad.
- Se citan la metáfora del martillo de Heidegger (la esencia de la herramienta se revela recién cuando se rompe) y la sabiduría práctica de Aristóteles. La IA no elimina la falla, sino la “experiencia de atravesar la falla”, cerrando la fragua donde crece el gusto.
Donde se corta el aprendizaje de aprendiz a maestro
- Las abstracciones anteriores “solo ocultaban” la causalidad, no la eliminaban, por lo que la escalera seguía ahí. Sobre la IA, esa escalera no aparece sola. Que una capacidad crezca o no ya no depende de la voluntad individual, sino de la estructura en la que esa persona está inserta.
- Quien decide si esa escalera se volverá a colocar, aunque sea artificialmente, dentro del equipo es el líder.
La receta debe ser la estructura del equipo
- Fijar como regla de revisión que “no se fusiona código cuya causalidad no pueda explicarse”, cambiar el significado de LGTM para que sea una declaración de aceptación del tipo “yo puedo explicar este código”, e introducir verificaciones aleatorias.
Introducir checks
- Desarrollar como capacidad del equipo la forma de dejar el diseño en manos humanas y delegar a la IA solo después de especificar incluso restricciones y edge cases.
- Elegir puntos que nunca se soltarán (dominio core), convertir la ineficiencia en una ruta de aprendizaje intencional, medir no solo velocidad sino también propiedad, pero manteniéndolo como tablero de instrumentos y no como KPI, cuidándose de la ley de Goodhart.
La crisis del líder: quien aprueba sin poder verificar podría terminar siendo yo
- Si desaparecen las dos capas de soporte, el deterioro del líder deja de ser un problema personal y se vuelve el valor por defecto de la organización. Lo que el líder debe preservar no es la verificación exhaustiva, sino la capacidad de discernir si la causalidad que el equipo escribió es real.
- Aunque no se pueda controlar si llega la anestesia, sí puede controlarse la velocidad a la que se propaga. El objetivo es “seguir siendo una organización capaz de distinguir un poco más de tiempo”.
Aún no hay comentarios.