¿Cómo convierte la IA un pensamiento incompleto en una certeza fluida? Por qué cuanto más experto eres, mayor es el riesgo

Cómo la IA convierte una idea a medio cocer en el lenguaje de un experto

• En LinkedIn y en comunidades de IA, a menudo aparecen frameworks con nombres grandilocuentes como “Existential Invocation Engine”, “D9 Governance System” y “Total Agent Orchestration”
• Estos textos muchas veces parten de preocupaciones reales, como la gobernanza de IA, la arquitectura de agentes, el control de ejecución y la gestión de permisos
• Sin embargo, el problema es que, antes que la implementación o la validación reales, ya está profesionalmente terminada la estructura de nombres, términos, diagramas y organización documental. No hay código funcional, ni condiciones de fallo, ni resultados de pruebas
• La estructura es idéntica a la alegoría de la cueva de Platón: así como los prisioneros ponen nombre a las sombras y creen que son la realidad, la IA vuelve las sombras de conceptos no verificados más nítidas y sofisticadas que en cualquier generación anterior
• Joel Spolsky definió este tipo de experto, tan absorbido por la abstracción que pierde contacto con la implementación real, como un “Architecture Astronaut”
• El riesgo central no es la ignorancia en sí. Es el momento en que la ignorancia se vuelve fluida

Por qué los expertos son más vulnerables que los principiantes

• Estudio de Dan Kahan (2012): cuando una creencia se fusiona con la identidad profesional, la capacidad cognitiva deja de servir a la precisión y pasa a servir a la defensa. Cuanto mayor es la capacidad de razonamiento, con más eficiencia se construyen argumentos para proteger la estructura existente
• Glickman y Sharot (2025): la interacción humano-IA amplifica sesgos preexistentes mucho más fuertemente que la interacción humano-humano
  • Los participantes del experimento ajustaron sus opiniones para alinearlas con las respuestas de la IA y mostraron mayor certeza incluso cuando estas eran factualmente incorrectas
  • La mayoría no reconoció qué tan equivocada estaba. Los autores describen esto como el efecto bola de nieve (Snowball Effect)
• Investigación sobre sesgo de confirmación en LLM: si el prompt incorpora una suposición hipotética, el modelo no corrige esa suposición, sino que más bien la amplifica
  • “Explícame por qué mi framework resuelve el authority gap” → el modelo genera una explicación exhaustiva y segura de que efectivamente lo resuelve. El efecto psicológico es el mismo que si estuviera verificado
• En conversaciones de múltiples turnos, los LLM ceden gradualmente al framing del usuario conforme avanzan los intercambios
  • Un experto que refina un framework a lo largo de decenas de sesiones no está recibiendo retroalimentación independiente, sino produciendo un resultado que refuerza aún más sus propias suposiciones

El proceso de 4 etapas por el que un experto construye su propio castillo con ayuda de la IA

1. Insight: el experto tiene un concepto propio. No es falso, pero todavía no está materializado ni verificado
2. Nombrarlo (name): mediante la conversación, la IA lo conceptualiza y lo detalla. Se convierte en un término definido con estructura interna clara. Una intuición difusa se cristaliza en un sustantivo
3. Estructuración (Scaffold): una vez ordenada la terminología, la IA construye la entidad en reversa. Definición → propiedades formales → modelo matemático → metodología para respaldar un paper → taxonomía de fallos relacionados. La dirección del razonamiento se invierte. La experiencia ya no genera teoría; la teoría empieza a reencuadrar retroactivamente la experiencia
4. Fortificación (Wall): aunque no haya pasado por validación externa ni revisión por pares, se le otorga autoridad retórica al propio marco. Los documentos están pulidos, los diagramas se ven profesionales y la lógica es internamente consistente. Al final, uno mismo termina convencido de que es experto

El criterio para distinguir la explicación de un sistema real de la de uno falso: la falsabilidad

• El problema son los frameworks que hacen afirmaciones operativas como production-ready, agent-safe, audit-grade o liability-reducing, mientras se niegan a especificar bajo qué condiciones esas afirmaciones fallarían
• La documentación de ingeniería real tiene una tosquedad característica: hay trade-offs, hay límites conocidos y aparece la frase “todavía no resuelto”

• Un framework construido con consistencia interna amplificada por la IA resulta sospechosamente pulido. Tiene una capa para cada caso excepcional, una clasificación para cada objeción, y afirma que el sistema nunca falla, sino que escala al nivel superior, aísla o pospone

• El riesgo estructural aumenta cuando la audiencia principal no son ingenieros, sino tomadores de decisiones de compra. Expresiones como “deterministic consequence boundaries” se leen como si fueran soluciones, pero el comprador no está en posición de verificar por sí mismo sus condiciones de fallo. El lenguaje no verificado llega primero al contrato

Tres preguntas que conviene hacer primero para no quedar atrapado en el castillo

• ¿Qué haría que esto fuera falso?
• ¿Qué evidencia estoy ignorando?
• Si esto falla, ¿qué prueba externa haría que esta teoría resultara embarazosa?