- Un estudio analizó experimentalmente cómo el uso de modelos de lenguaje de gran escala (LLM) para escribir ensayos afecta la actividad cerebral y la carga cognitiva humana
- Los usuarios de LLM mostraron menor sensación de autoría sobre sus textos, tuvieron dificultades para citar con precisión lo que habían escrito y, a largo plazo, mantuvieron un deterioro del rendimiento a nivel lingüístico, conductual y neuronal
- Los participantes se dividieron en tres grupos: LLM, motor de búsqueda y solo cerebro (Brain-only), y realizaron la misma tarea; algunos también cambiaron de condición para comparar resultados
- Los resultados de EEG (medición de ondas cerebrales) mostraron que el grupo Brain-only presentó la red cerebral más fuerte y amplia, mientras que los usuarios de LLM mostraron la conectividad más débil
- El estudio muestra que la dependencia de la IA puede generar costos cognitivos en el proceso de aprendizaje y plantea la necesidad de una revisión profunda de sus implicaciones educativas
Resumen del estudio
- El estudio explora el impacto del uso de herramientas de asistencia con IA en la actividad cerebral y el comportamiento durante la redacción de ensayos
- Los participantes se dividieron en tres grupos: LLM (como ChatGPT), motor de búsqueda y Brain-only (sin usar herramientas)
- Cada grupo realizó tres sesiones bajo la misma condición y, en la cuarta sesión, algunos participantes cambiaron de condición
- Los usuarios de LLM pasaron a Brain-only (LLM-to-Brain)
- Los usuarios de Brain-only pasaron a la condición con LLM (Brain-to-LLM)
- En total, 54 personas participaron en las sesiones 1 a 3, y 18 completaron hasta la sesión 4
Método experimental
- Se midieron la carga cognitiva y la conectividad cerebral durante la escritura de ensayos mediante EEG (electroencefalografía)
- Los ensayos redactados se evaluaron además con análisis de procesamiento de lenguaje natural (NLP) y con calificaciones de docentes humanos y evaluadores de IA
- Los resultados del análisis de NER (reconocimiento de entidades nombradas), patrones n-gram y ontología temática mostraron alta similitud dentro de cada grupo
Resultados principales
- El análisis de EEG confirmó diferencias claras entre grupos
- El grupo Brain-only mostró la red cerebral más fuerte y extensa
- El grupo de motor de búsqueda mostró un nivel intermedio de participación
- El grupo LLM mostró la conectividad más débil
- Se confirmó una tendencia: a mayor uso de herramientas externas, menor actividad cognitiva
- En la sesión 4, quienes cambiaron de LLM a Brain-only mostraron disminución de conectividad en las bandas alfa y beta, es decir, un estado de baja activación cognitiva
- En cambio, quienes pasaron de Brain-only a LLM mostraron mejora en la capacidad de recuperación de memoria y activación en regiones occipitoparietales y prefrontales, similar a los usuarios de motores de búsqueda
Observaciones conductuales y lingüísticas
- La sensación de autoría sobre el ensayo (self-reported ownership) fue más baja en el grupo LLM y más alta en el grupo Brain-only
- Los usuarios de LLM tuvieron dificultades para citar con precisión sus propios textos
- En el seguimiento de 4 meses, los usuarios de LLM mostraron bajo rendimiento persistente a nivel neuronal, lingüístico y conductual
Conclusiones e implicaciones
- Los LLM ofrecen comodidad inmediata, pero implican un costo cognitivo a largo plazo (cognitive cost)
- El estudio advierte sobre el impacto negativo de la dependencia de la IA en el aprendizaje y la capacidad de pensar
- Destaca la necesidad de equilibrar y replantear el uso de la IA desde las perspectivas educativa y cognitiva
- A partir de estos resultados, MIT Media Lab plantea la necesidad de rediseñar los mecanismos de aprendizaje en la era de la IA
14 comentarios
Desde la perspectiva de alguien que se dedica a la investigación, yo hablo muchísimo de este problema. Los objetos que antes reemplazaban funciones humanas sustituían funciones específicas; rara vez reemplazaban la cognición en sí. Las capacidades cognitivas se desarrollan mediante aprendizaje funcional en el proceso de experimentar carga, y aquí uno mismo se priva de esas oportunidades. Se podría decir que eso permite concentrarse en otras cosas, pero si la propia capacidad cognitiva no pudo crecer, puede que ni siquiera se te dé la oportunidad de hacer otras cosas. Por supuesto, también podría ser un fenómeno propio de un período de transición, pero al ver a personas junior que entrevisté recientemente o a compañeros menores de la escuela, siento que el problema es más serio de lo que parece. Es cierto que las herramientas dependen de cómo se usen, pero en una situación en la que la gente ni siquiera puede controlar un smartphone pequeño y abundan los peatones distraídos que caminan mirando el teléfono, no espero que la mayoría pueda usar esto con autocontrol.
Yo también me cuido de depender de los LLM por este problema. En la mayoría de las cosas que crea el ser humano, la esencia está en la "intención". En las películas, en la comida, en la tecnología... Siento que la implementación solo importa alrededor de un 15%.
Si un LLM te ahorra tiempo, ese tiempo ahorrado debe usarse para elevar la calidad.
> Cada vez que aparece un medio nuevo, surge una controversia parecida
> Sócrates decía que la escritura arruinaría la memoria, y en la época de Gutenberg se preocupaban por si desaparecería la reflexión
Esta opinión me parece interesante. Referencia: xkcd.com/1601 xkcd.com/1227
Opiniones de Hacker News
Si usas IA demasiado seguido, se siente que disminuye la sensación de inmersión al resolver problemas
Al implementar un algoritmo de layout de grafos basado en el framework Sugiyama aprendí rápido los conceptos gracias a la IA, pero cuando dejé que escribiera el código, paradójicamente se me bloqueó la comprensión
Después cambié del IDE de Copilot a la app Copilot 365, pedí que me explicara los principios y yo mismo depuré, y así recuperé la sensación de inmersión
Creo que es mucho mejor usar la IA como una enciclopedia interactiva en vez de delegarle el trabajo
Ahora puedo enfocarme más en revisión de código o diseño de arquitectura, y dedicar tiempo a lo esencial
Aunque usar la IA como enciclopedia también reduce la capacidad de buscar información, el trade-off de ahorrar tiempo y energía vale la pena
Empezó con “mejor pregúntale al LLM”, luego pasó a “el LLM lo hace mientras yo descanso un poco”, y después a “el LLM sigue mis ideas y me da inspiración nueva”
Pero al final llegan los deadlines y el trabajo real
Cada vez que aparece un medio nuevo surgen polémicas parecidas
Sócrates decía que la escritura arruinaría la memoria, y en la era de Gutenberg se temía la desaparición de la reflexión
Este estudio tiene una muestra pequeña y un período corto, así que su confiabilidad es baja, pero los LLM podrían reemplazar todo el proceso cognitivo, a diferencia de una calculadora o Google, y por eso son cualitativamente distintos
Puede que la capacidad cognitiva no desaparezca, sino que cambie de forma. Probablemente sabremos el resultado dentro de unos 20 años
Quienes no conocían la escritura tenían una enorme capacidad de memorización, y ahora nos hemos vuelto perezosos dependiendo de las máquinas
También está la paradoja de la productividad(https://en.wikipedia.org/wiki/Productivity_paradox): ya pasaron 30 años desde la masificación de internet, pero la productividad no ha aumentado mucho
Los LLM debilitan las tres etapas. En cambio, si se usan como profesor personalizado para que me plantee problemas, también podrían hacer crecer el cerebro
Pero las empresas no van a ir en esa dirección, así que tenemos que pelear por un mejor rumbo
Con las calculadoras pasó igual: debilitaron la capacidad de hacer cálculos complejos
Si el cambio es positivo, hará falta una nueva forma de evaluar el aprendizaje; si es negativo, harán falta políticas para bloquear los LLM
En cualquier caso, será inevitable rediseñar el sistema educativo
Si los juniors no pueden crecer haciendo tareas simples, también desaparecerán los seniors
Desde la perspectiva de un estudiante, la ayuda de la IA para aprender tiene más perjuicios que beneficios
Desaparecen el proceso de ensayo, error y reflexión, y hasta el pensamiento mismo se delegará a sistemas automatizados
Antes bastaba con bloquear Instagram, pero ahora vivimos en una era en la que hay que bloquear el pensamiento mismo
En el pódcast de la psicóloga Cat Hicks y la neurocientífica Ashley Juavinett, Change, Technically, se abordan bien los problemas de este estudio
ChatGPT podría volver más tonta a la gente, pero con un estudio así no se puede demostrar
Yo más bien siento que gracias a la IA se me han aliviado los síntomas de TDAH
Organizo ideas como si fuera un cuaderno interactivo, y el proceso de escribir textos largos en LaTeX se volvió mucho más disfrutable
Es como funcionar como una persona sin TDAH
Cuando programo directamente entro en flujo, pero mientras espero la respuesta de la IA me disperso
Tengo conversaciones de diseño con ChatGPT y uso Copilot para apoyar el trabajo de código
Más bien aumentaron mi velocidad de aprendizaje y mi nivel de comprensión
Nunca me he hecho una evaluación de TDAH, pero sí siento claramente problemas de concentración
Un amigo contó que un colega veinteañero dejó en manos de ChatGPT el cálculo de la cuenta del almuerzo
Me sorprendió ver a una generación joven dependiendo de la IA incluso para aritmética simple
Incluso llegan a llamar Excel a Google Sheets
Los humanos de por sí somos malos para la aritmética, así que no hay necesidad de hacerlo a mano
Los cálculos simples no son resolver problemas
Ahora la IA también escribe y lee por nosotros, así que los humanos pueden enfocarse en pensamiento de más alto nivel
Así como los druidas criticaron la escritura, la pérdida de memoria siempre ha existido
Aun así, la escritura se expandió, y no sabemos si nos volvimos más inteligentes o más tontos
Aun así, si se usa como profesor personalizado, también podría hacer crecer el cerebro
Al final, nosotros decidimos la dirección de la IA
Ya no hace falta memorizar números de teléfono ni rutas
Pero si la IA nos ahorra tiempo, entonces podemos invertirlo en leer fuentes primarias
Al final, la religión también fue la primera economía de la atención
Irónicamente, el LLM está resolviendo el problema que le preocupaba
La dependencia del GPS y la dependencia de la IA son problemas parecidos
Algunos no pueden memorizar caminos, y otros la siguen ciegamente
Eso ayuda a aprender la estructura de la ciudad
Con los LLM hago algo parecido: mantengo la concentración con una dinámica competitiva de resolver el problema por mi cuenta mientras la IA da su respuesta
Me preocupa que las generaciones jóvenes no puedan mover el auto sin GPS
Con los LLM pasa lo mismo: si dependes demasiado, terminas tercerizando el pensamiento mismo
Hay quienes aprenden rápido las referencias del entorno, y otros necesitan más tiempo
Este estudio fue un experimento donde se pidió a los participantes escribir un ensayo de 20 minutos
En un entorno así uno tiende a priorizar solo la eficiencia a corto plazo, así que está lejos de reflejar el impacto cognitivo real
Habría que ver qué efecto tienen los LLM en tareas realmente significativas
Al final, la conclusión es del nivel de “la persona que jugó tenis directamente usó más los músculos que la que vio a un robot jugar”
Esto es como ver un martillo y decir que “hace que las casas queden mal construidas”.
El problema no es la herramienta, sino cómo se usa.
Por ejemplo:
si usas una calculadora, puede que hagas menos cálculo mental,
pero en cambio puedes hacer matemáticas más complejas.
Si usas GPS, puede que disminuya tu capacidad de memorizar rutas,
pero puedes diseñar estrategias espaciales más amplias.
Con ChatGPT pasa exactamente lo mismo.
Y hay algo interesante.
En el momento en que lees un texto así y, sin pensarlo, estás de acuerdo con "es cierto, usar IA te vuelve tonto",
ya se está produciendo exactamente la deuda cognitiva de la que esa persona habla.
Las herramientas siempre son neutrales.
Que el pensamiento se convierta en deuda o en un activo depende de la actitud del usuario.
Señor Kim. Hay algo que me atrevo a aconsejarle. No es otra cosa que esto: no use demasiado AI GPT. Si hay comodidad, también aumentan los riesgos. Para atrapar una vaca hay una hoja adecuada; ¿de verdad hace falta un cuchillo para atrapar una gallina? Lo más simple puede ser la respuesta correcta.
Hay métodos sencillos, como GitHub y buscar en Google. No cuestan nada aparte del tiempo, y después también está la forma de programar a puro esfuerzo.
Supongamos que el señor Kim fuera un general en el campo de batalla. ¿No es natural que tenga que ganar la guerra? ¿La estrategia adecuada para esa situación? ¿Someter al enemigo solo con tropas terrestres? No. Mi opinión es que buscar en Google puede ser más rápido y, claro, depende de la persona, pero GPT también puede ser bueno. Le comparto esta opinión porque creo que la IA es más bien un cuchillo para atrapar vacas.
La primera parte me parece acertada, pero creo que el ejemplo de la segunda mitad no es adecuado.
El equipo de ejercicio no equivale a un LLM, sino que la analogía correcta sería un dispositivo de asistencia para hacer ejercicio = LLM. Es decir, si al hacer ejercicio usas un aparato de asistencia para reducir la carga sobre el cuerpo, puedes aumentar el peso, pero eso reduce a la mitad el efecto del ejercicio en términos de aumentar la musculatura de tu cuerpo o mejorar la circulación sanguínea.
Es contradictorio poner un ejemplo inapropiado y luego escribir: "Las analogías y metáforas se usan para que sean fáciles de entender". Viendo el comentario que escribió, ya no parece tener sentido seguir comentando.
Ah, sí. Si lo entiendes así, está bien.