- Este estudio analiza el impacto del uso de LLM (modelos de lenguaje de gran tamaño) sobre el costo cognitivo humano durante el proceso de redacción de ensayos
- Los participantes se dividieron en grupo LLM, grupo de motor de búsqueda y grupo Brain-only y participaron en un experimento de escritura según usaran o no herramientas
- El análisis de EEG (electroencefalograma) mostró que, al usar LLM, la conectividad de redes neuronales y el nivel de involucramiento cognitivo fueron los más bajos, mientras que el grupo Brain fue el más alto
- Después de escribir los ensayos, el grupo LLM obtuvo los peores resultados en sentido de autoría (ownership), capacidad de citar y recuperación de memoria
- Se sugiere que el uso de LLM es eficiente al inicio, pero que a largo plazo puede provocar una disminución del aprendizaje y de la capacidad cognitiva
Resumen
Hoy en día, con la adopción generalizada de productos LLM (modelos de lenguaje de gran tamaño) como ChatGPT, tanto personas como empresas usan LLM de forma cotidiana. Estas herramientas tienen ventajas y limitaciones propias al mismo tiempo. Este estudio se enfoca en identificar el costo cognitivo de usar LLM en el contexto educativo de la redacción de ensayos, es decir, cómo el uso de LLM afecta la estructura cognitiva de los estudiantes y la actividad cerebral.
Para la investigación, los participantes se dividieron en grupo LLM, grupo de motor de búsqueda y grupo Brain, y en cada sesión redactaron ensayos usando la herramienta correspondiente (o sin herramientas). En total, 54 personas participaron en las sesiones 1 a 3, y 18 de ellas completaron hasta la sesión 4. En la sesión 4, el grupo LLM dejó de usar herramientas y el grupo Brain pasó a usar LLM, intercambiando roles (LLM-to-Brain, Brain-to-LLM). Durante la escritura de los ensayos se registraron las señales de EEG (electroencefalograma) de los participantes para analizar involucramiento cognitivo, carga y conectividad neuronal; después de cada sesión también se realizaron entrevistas, análisis de NLP (procesamiento de lenguaje natural) y evaluación por parte de docentes humanos y agentes de evaluación con IA.
Los resultados del análisis confirmaron una alta homogeneidad dentro de cada grupo en Named Entities Recognition (NER), n-gramas y ontología temática. El análisis de ondas cerebrales mostró que los patrones de conectividad neuronal diferían de forma marcada entre los grupos, y que mientras mayor era el apoyo de herramientas externas, menor era el tamaño de la red cerebral y el nivel de involucramiento (Brain > motor de búsqueda > LLM). En la sesión 4, los participantes LLM-to-Brain mostraron conectividad cerebral debilitada, baja activación de las redes alfa y beta, y un bajo sentido de apropiación del tema. En cambio, en los participantes Brain-to-LLM se observó una mejora en la capacidad de recuperación de memoria y una reactivación de áreas cerebrales relacionadas con el procesamiento visual. Los ensayos del grupo LLM obtuvieron malos resultados en sentido de autoría, capacidad de citar y recuperación de memoria, mientras que el grupo de motor de búsqueda mostró cierta mejora, aunque siguió por debajo del grupo Brain.
En conclusión, aunque el uso de LLM mejora la productividad a corto plazo, al repetirse durante varios meses siguió mostrando desventajas frente al grupo Brain en comportamiento cerebral, logro lingüístico y puntajes. Este estudio sugiere que el uso excesivo de herramientas de IA puede provocar deterioro cognitivo y práctico en contextos de aprendizaje, y propone que se necesita cautela al diseñar experiencias de aprendizaje de largo plazo.
Resumen de los principales resultados del experimento
- En la sesión 4, los participantes Brain-to-LLM mostraron mayor conectividad cerebral (en todas las bandas: alfa, beta, theta, delta, etc.) que el grupo LLM de las sesiones 1 a 3. Esto sugiere que usar IA después de haber escrito por cuenta propia sin ayuda activa una red cerebral más amplia
- En los participantes LLM-to-Brain, aun con historial de uso de LLM, al escribir sin herramientas se observaron en la mayoría de las ondas cerebrales fenómenos de descoordinación neurológica (reducción de conectividad) y sesgos léxicos característicos de LLM
- Tanto la evaluación humana como la de IA mostraron que los ensayos del grupo LLM tenían baja diversidad de NER/n-gramas y eran estructuralmente homogéneos
- En el análisis por temas, entre el grupo LLM y el grupo Brain se observaron patrones de uso diferencial significativos en temas específicos (HAPPINESS, PHILANTHROPY)
- Por grupo, OWNERSHIP (sentido de autoría) y capacidad de citar siguieron el orden Brain > motor de búsqueda > LLM
Guía del índice del artículo
- Vista rápida: Discussion, Conclusion
- Análisis NLP del texto de los ensayos: NLP ANALYSIS
- Comprensión de los datos de EEG: EEG ANALYSIS
- Análisis en profundidad por temas: TOPICS ANALYSIS
- Método experimental detallado y actividades de los participantes: EXPERIMENTAL DESIGN
- Apéndice: datos adicionales, valores EEG dDTF, etc.
Introducción
La rápida expansión de los modelos de lenguaje de gran tamaño ha transformado de forma fundamental aspectos cotidianos como el trabajo, el entretenimiento y el aprendizaje. Los LLM tienen un gran potencial en educación en términos de personalización de la experiencia de aprendizaje, retroalimentación inmediata y democratización de materiales educativos. De hecho, se han reportado efectos positivos como mayor autonomía del estudiante, aumento del involucramiento y apoyo a estilos de aprendizaje individualizados.
Sin embargo, también se han planteado efectos secundarios cognitivos del uso extendido de LLM. Aunque tienen la ventaja de reducir la carga cognitiva inmediata, también se ha reportado disminución del pensamiento crítico, debilitamiento de la capacidad de análisis profundo y menor involucramiento. En particular, cuanto más se depende de la IA, más pueden deteriorarse las capacidades analíticas y de juicio del cerebro. El estudio destaca especialmente que las generaciones más jóvenes tienden a depender más de herramientas de IA, y que esto se asocia con una tendencia a puntajes más bajos en desempeño cognitivo.
Además, también se han encontrado resultados que indican que la interacción con IA reduce las oportunidades de resolución independiente de problemas y de pensamiento crítico, lo que genera preocupación por su posible impacto negativo, a largo plazo, sobre el desarrollo intelectual humano y la autonomía. A diferencia de los motores de búsqueda tradicionales, los LLM generan respuestas unificadas en lugar de ofrecer perspectivas diversas, por lo que tienden a convertir al usuario en un consumidor pasivo, más que en un explorador activo de información, y se prevé que esto tenga efectos duraderos sobre la forma de procesar y evaluar información.
Este estudio mide de forma empírica el costo cognitivo de redactar ensayos con apoyo de LLM. La escritura de ensayos es una tarea que requiere de manera combinada múltiples procesos cognitivos, como redacción, organización de la información, citación y pensamiento crítico, y se utiliza con frecuencia tanto en contextos educativos como en evaluaciones estandarizadas. El estudio muestra que, al introducir herramientas de IA como los LLM en el entorno educativo, es necesario considerar cuidadosamente sus efectos cognitivos de largo plazo.
Diseño experimental y algunos detalles
- En cada sesión se compararon las condiciones de LLM, motor de búsqueda y Brain (sin herramientas), reasignando participantes por grupo o cambiando las condiciones de uso de herramientas
- En la sesión 4, el grupo Brain-only usó LLM por primera vez (Braind-to-LLM) y el grupo LLM escribió sin herramientas (LLM-to-Brain)
- Durante el experimento se evaluaron de forma sistemática las ondas cerebrales y los indicadores de NLP, así como el sentido de autoría del ensayo, la capacidad de citar y la diversidad temática
- El análisis de EEG se centró en cambios de conectividad cerebral funcional, como la conectividad de redes neuronales (análisis dDTF)
Principales características de los resultados del experimento y el análisis
- Con el uso de LLM, tanto las ondas cerebrales como la diversidad lingüística se redujeron de forma notable, y también se deterioraron el sentido de autoría del trabajo, la capacidad de recuperación de memoria y la capacidad de citar
- El grupo Brain-only mostró resultados superiores en general en activación de la red cerebral, diversidad lingüística, sentido de autoría y capacidad de citación
- En la sesión 4, en los participantes Brain-to-LLM se observaron con fuerza cambios en la red neuronal cerebral, como aumento en la recuperación de memoria y reactivación de regiones visuo-frontales, en comparación con antes de introducir la herramienta
- En general, cuanto mayor es la dependencia de la IA, más preocupación existe por una disminución de la eficiencia cognitiva y una pérdida de iniciativa en el proceso de aprendizaje
Significado de la conclusión
Este artículo demuestra, con datos de múltiples capas, que las herramientas de aprendizaje con IA pueden mejorar la eficiencia a corto plazo, pero a largo plazo pueden afectar negativamente elementos centrales del aprendizaje como la capacidad cognitiva, la motivación para aprender, el sentido de autoría y la memoria. También sugiere que, al diseñar e introducir tecnologías educativas avanzadas como la IA y los LLM, es indispensable considerar con cautela esta deuda cognitiva y el deterioro de la calidad del aprendizaje, además de realizar más investigaciones.
1 comentarios
Opiniones en Hacker News
Creo que una mejor descripción que “cognitive debt” sería deterioro cognitivo o pérdida de capacidad cognitiva; el cerebro no almacena información innecesaria. Si vemos estudios publicados antes sobre el uso de Google Maps, usar GPS con frecuencia reduce la memoria espacial, y de hecho hay resultados que indican que disminuye la cantidad de materia gris en el cerebro de quienes usan mapas. Como sabe cualquiera que haya desarrollado especialización en un campo científico, para comprender realmente un concepto hay que reflexionarlo lo suficiente y explorar a fondo las conexiones entre distintas ideas. No aprendes matemáticas solo hojeando un libro de matemáticas; tienes que detenerte y pensar profundamente. Creo que el propio acto de pensar es el proceso de establecer conceptos en la mente para que sigan siendo útiles con el paso del tiempo.
No aprendes matemáticas leyendo por encima un libro de matemáticas; tienes que detenerte y pensar. Y lo más importante es sin falta “escribir”. Escribir permite que mi cerebro estructure las ideas. La escritura es una herramienta para crear una conversación estructurada entre yo y mí mismo. Me permite explorar distintos caminos. Pensar por sí solo tiene límites, pero escribir me permite explorar mis pensamientos casi sin límite. El acto de pensar está estrechamente relacionado con la escritura (sea texto, dibujo, fórmulas, gráficos o cualquier otra forma), y ahora que estamos entrando en una era en la que los LLM escriben cada vez más por nosotros, me pregunto cómo se reflejará eso en mi capacidad cognitiva.
Yo sí creo que el término cognitive debt es acertado. ¿Has escrito alguna vez un informe grande con un LLM? Cuando el LLM te arma la estructura y hasta te genera fácilmente gráficos y argumentos, el resultado deja de sentirse realmente tuyo. Aunque lo entregues con tu nombre, muchas veces cuando te piden explicarlo te quedas ambiguo. Normalmente tengo en la cabeza una comprensión real de mayor nivel, pero al usar un LLM ese proceso se omite. En la práctica, me cuesta explicar los conceptos clave. Al final, necesito vivir personalmente el proceso de construir los conceptos esenciales en mi mente, iterarlos y adaptarlos para transmitirlos a distintos públicos. Cognitive debt representa la diferencia entre los modelos mentales que necesariamente construía antes de los LLM y la superficialidad al usarlos. Al final, mi nombre aparece en el informe, pero con el tiempo existe el riesgo de que las expectativas sobre el autor bajen cada vez más o incluso de que se espere que el propio LLM dé la explicación. Cada LLM imita la realidad con modelos internos y algoritmos distintos, y para hacer predicciones más precisas hace falta suficiente “profundidad de comprensión”. La escritura dependiente de LLM no crea esa profundidad. A largo plazo, podría llevar al deterioro cognitivo o a la pérdida de habilidades en toda la población. Cuando apareció la imprenta, las élites religiosas de la época también temían que la gente común no pudiera leer ni interpretar correctamente, pero en la práctica no fue así. Escribir sí es pensar (y todavía no creo que hayamos encontrado una herramienta mejor que la escritura), y pensar es el proceso de construir modelos mentales basados en información para predecir mejor el futuro. Nuestra propia supervivencia depende de eso. Desde una perspectiva de teoría de la información, “la biología solo tiene sentido cuando se explica a la luz de la información” enlace de YouTube
Sobre la frase “el cerebro no almacena información innecesaria”, me pregunto por qué todavía recuerdo cómo optimizar memoria con
config.sysyautoexec.batde DOS, algo que no he usado en más de 20 años. No creo que vuelva a necesitar esa habilidad.Términos como “cognitive decline” o “brain rot” pueden sonar demasiado sensacionalistas, y el propio paper señala como limitación que el tamaño de muestra es pequeño. El paper tampoco da fundamento ni citas para el término “cognitive debt”, así que el título se siente raro, como si lo hubieran cambiado solo al final. Es un resultado interesante de MIT. Como todo estudio de psicología, necesita escepticismo saludable y verificación independiente. Se siente como un paquete integral que combina neuroimagen y psicometría. La mayoría de las imágenes tipo “así se ve tu cerebro usando LLM” me parecen divertidas.
Cuando escucho “el cerebro no almacena información innecesaria”, suena plausible, pero me intriga que claramente existen habilidades que no desaparecen, como andar en bicicleta, que una vez aprendido no se olvida en toda la vida.
La discusión sobre “cognitive debt” es pertinente, pero creo que hace falta una perspectiva más amplia. No se trata solo de perder temporalmente o confundir habilidades como el lenguaje o la memoria espacial, sino de un encogimiento sistemático e irreversible de los circuitos neuronales encargados del razonamiento integrador. El término “debt” sugiere que puede pagarse o recuperarse con práctica, pero el verdadero riesgo es cruzar un “cognitive tipping point”. Si externalizamos demasiada carga de funciones ejecutivas, integración y argumentación a sistemas externos (LLM), el cerebro no solo podará sin piedad los circuitos que no usa, sino que corre el riesgo de perder incluso la “capacidad de reconstrucción” para recuperarlos. El cerebro humano es un sistema de “úsalo o piérdelo” sin control de versiones. Una vez que se pierde una capacidad cognitiva compleja, es como si se corrompiera el propio “código fuente”. No puedes hacer
git reverta una red neuronal colapsada. Estos comentarios de HN se enfocan en escribir ensayos, pero en realidad toda la sociedad está ejecutando un experimento masivo e incontrolable de externalización de la capacidad intelectual. A largo plazo, existe el riesgo de que la sociedad en conjunto no solo pierda habilidades, sino que termine atrapada en un límite estructural donde “ese tipo de pensamiento” ya ni siquiera sea posible. Por eso la verdadera pregunta va más allá de “¿cómo evitamos la deuda cognitiva?”. El temor es: “¿no necesitamos un nuevo contenedor para nuestra mente cuando el cerebro biológico, al autooptimizarse, se optimiza de forma letal hacia la pereza?” enlace relacionadoLa IA es lo opuesto a Zettelkasten (un sistema de notas interconectadas). En vez de que una persona profundice por sí misma en un tema y obtenga ideas más profundas, con productos basados en IA lo que ocurre es una iteración rápida pero superficial. Por ejemplo, quise entender la situación de Medio Oriente y escribí junto con OpenAI un ensayo de 10 páginas sobre los orígenes de Hammas y Hizbulah, pero no me quedó nada en la memoria, e incluso de las pocas cosas que sí quedaron ya ni sé si eran alucinaciones de la IA que yo corregí o hechos reales.
Soy algo optimista respecto a la utilidad de los LLM, pero coincido con lo anterior. Puedes desarrollar cierto instinto para manejarlos bien, pero eso no construye conocimiento realmente explicable ni pensamiento desafiante. Más bien, el núcleo está en acostumbrarte a una “memoria muscular” de ciertos patrones de salida, ajuste de prompts y manejo de contexto. Creo que ese tipo de “habilidad” desaparecerá rápido a medida que los modelos mejoren. En cierto sentido, esta situación se parece a la impotencia que sienten algunos trabajadores de línea de ensamblaje.
Lo que una persona corrige con sus propias manos tiende a quedarse más en la memoria. Recuerdo mejor las partes que toqué directamente que aquellas que pasaron sin problemas.
La mayoría de la gente inteligente sabe muy bien que escribir no es solo producir un resultado, sino un proceso para “pensar”. En ese proceso, un LLM puede ser un buen compañero de sparring para señalarme errores, detectar vacíos o fallas, o ayudarme con investigación general para entender el mundo. Pero eso solo si se usa como apoyo al proceso de pensar por cuenta propia, no para que el LLM “escriba por ti”. Aun así, el resultado siempre exige verificar las fuentes.
Personalmente, este resultado de investigación no me sorprende. Cuando usé IA para ayudarme a escribir o traducir, sentí menos que yo mismo estuviera activamente involucrado o profundamente comprometido con el pensamiento. Pero cuando usé IA de una forma completamente distinta, sentí un nivel de inmersión muy alto. Durante dos semanas probé usar Claude Code para generar ideas, investigar y automatizar ensayos/papers, y ese proceso me absorbió mentalmente durante todo el tiempo tanto como la escritura “real” (aunque de una manera distinta). Los resultados que obtuve también fueron bastante buenos. Incluso si son ensayos o papers escritos por IA, al leerlos directamente resultan suficientemente interesantes. Eso sí, no tengo intención de publicarlos ni de entregarlos como si fueran artículos académicos.
A este fenómeno se le llama “cognitive offloading”, y cualquiera que haya trabajado suficiente tiempo con asistentes de programación seguramente se identifica con ello.
Igual que el desarrollo de la mecanización impactó a la industria humana, vale la pena pensar en términos amplios el efecto que nuevas tecnologías como los LLM pueden tener en nuestra estructura cognitiva. Creo que la automatización consiste en delegar lo repetitivo y aburrido para dar a los humanos más tiempo y energía para cosas más creativas e innovadoras. Lo que me intriga es si el mayor uso de herramientas como LLM y GPS no solo puede provocar cambios a corto plazo, sino también transformar nuestra forma de pensar a largo plazo. Las generaciones que crecieron acostumbradas a motores de búsqueda memorizarán menos, pero se adaptaron recordando “cómo encontrar” información. Me hace pensar si esto será otra continuidad natural del reemplazo gradual de funciones anteriores, o si depender demasiado de los LLM podría traer la pérdida de habilidades centrales que sencillamente no pueden reemplazarse.
En la cita de abajo se señala que “los LLM redujeron la barrera de entrada para responder preguntas, pero el precio de esa conveniencia es que los usuarios están menos inclinados a abordar críticamente las respuestas u ‘opiniones’ del LLM (que en realidad son estimaciones probabilísticas basadas en datos de entrenamiento)”. Al final, el efecto de cámara de eco no ha desaparecido; más bien, la exposición del usuario se ha reestructurado de forma sistemática alrededor de contenido “priorizado” por algoritmos. Y esa propia “prioridad” refleja los valores de los dueños del LLM (sus accionistas).
Es algo en lo que llevo pensando últimamente, y por eso probé copilot solo un poco. Estoy al inicio de mi carrera y aprendo todos los días; usar asistencia de LLM puede ayudarme a terminar el trabajo más rápido, pero entonces siento que perdería oportunidades de adquirir habilidades con facilidad. No puedo estar de acuerdo con la idea de que “las habilidades de pensamiento crítico de bajo nivel perderán sentido y en adelante solo hará falta planificación abstracta de alto nivel”. También, a nivel emocional, siento orgullo y sentido en “saber algo y poder hacerlo yo mismo”. No me parece difícil usar LLM, y si hace falta puedo elegir las herramientas más recientes, pero por ahora valoro más el proceso de aprender y crecer por cuenta propia.
Creo que con la adopción de la IA no solo disminuirá la cantidad de personal junior, sino que incluso los juniors que queden corren el riesgo de usar IA, no aprender nada y quedarse juniors para siempre.
Cuando escribo con IA, en el momento parece que fluye muy bien, pero siento que no estoy reflexionando seriamente sobre las ideas. El texto terminado suena pulido, pero después muchas veces ni siquiera recuerdo por qué escribí esa frase. Ahora prefiero escribir primero mi propio borrador y luego usar IA para pulirlo. Requiere un poco más de esfuerzo, pero sin duda aprendo más y se me queda por más tiempo.