- La crítica de que el uso de los modelos de lenguaje grandes (LLM) puede debilitar la capacidad cognitiva humana no se resuelve simplemente diciendo que “hay una cantidad infinita de cosas en las que pensar, así que no hay de qué preocuparse”; esa postura pasa por alto la complejidad del problema
- Cuando se usan LLM en la escritura y la comunicación personal, se daña la naturaleza del lenguaje, en la que significado y expresión no pueden separarse, y se nos priva de la oportunidad de descubrir nuestra propia voz
- Actividades cotidianas como planear vacaciones, preparar una fiesta o redactar mensajes personales también son experiencias valiosas en sí mismas, y automatizarlas implica el riesgo de reducir el sentido de la vida
- Incluso en tareas repetitivas y que parecen aburridas se forma conocimiento tácito (tacit knowledge), por lo que delegarlas a un chatbot solo por eficiencia puede generar pérdidas a largo plazo
- Definir el alcance adecuado del uso de chatbots no es un problema de eficiencia, sino una cuestión sobre los valores humanos y la dirección de la comunidad
Introducción: contexto del texto y planteamiento del problema
- Existe la crítica de que el uso de LLM puede debilitar la capacidad cognitiva, y en algunas habilidades y técnicas el principio de “si no lo usas, lo pierdes (use it or lose it)” resulta intuitiva y empíricamente convincente
- El texto de Andy Masley, The lump of cognition fallacy, señala que es errónea la idea de que la cantidad total de pensamiento es fija, y sostiene que como el pensamiento genera nuevo pensamiento, delegar una parte a las máquinas no reduce el pensamiento humano
- Este texto toma la discusión de Masley como punto de partida, pero busca explicar que la externalización del pensamiento no es un simple problema de eficiencia, y examinar su complejidad y sus efectos a largo plazo
Cuándo conviene evitar el uso de LLM
- Los casos que Masley presenta como “cuando la externalización cognitiva es dañina” son los siguientes
- Actividades que forman conocimiento tácito complejo necesario para vivir en el mundo futuro
- Actos que expresan cuidado y presencia hacia otras personas
- Experiencias valiosas en sí mismas
- Casos en los que la falsificación o la sustitución resultan engañosas
- Situaciones donde el resultado es muy importante y es difícil tener plena confianza en aquello a lo que se delega
- En general, hay acuerdo con esta lista, pero el problema es que las actividades que entran en estas categorías son mucho más amplias de lo que parece, y ahí aparece la diferencia de fondo con Masley
Comunicación personal y escritura
- No solo en situaciones íntimas como los mensajes en apps de citas, sino en toda la comunicación personal, la forma de expresarse tiene un significado esencial
- En la comunicación existen expectativas compartidas incluso cuando no se explicitan, y en el momento en que una máquina retoca o reemplaza la expresión, esas expectativas se rompen
- Como la elección de palabras y la construcción de las frases contienen en sí mismas mucho significado, cuando interviene un LLM se deteriora la calidad de la comunicación directa
- En la prensa noruega se volvió polémico el caso de alguien que usó LLM en escritura pública sin revelarlo, lo que muestra la necesidad de volver a aclarar qué esperamos de la comunicación
- Dos objeciones frente al argumento de que los LLM ayudan a personas no nativas o con dificultades de aprendizaje a expresarse
- En la mayoría de los casos, significado y expresión no pueden separarse, y las propias palabras y oraciones son ya el significado
- Cuando se delega la expresión a una máquina, disminuyen las oportunidades de crecer y aprender, y se pierde la oportunidad de descubrir la propia voz
- La frontera entre corregir ortografía y gramática y que un LLM prácticamente escriba por uno mismo es demasiado delgada, y con las interfaces actuales de chatbot es difícil distinguirla
- Desde una perspectiva pragmática, muchas personas quieren usar LLM para mejorar la eficiencia en el trabajo, pero la calidad de generación de texto en idiomas no ingleses como el noruego sigue siendo muy baja (según un informe del Consejo de la Lengua Noruega)
- Los LLM parecen útiles para redactar documentos burocráticos como reclamos o solicitudes de seguros, pero las consecuencias de que todas las partes usen generadores de palabras siguen siendo inciertas
- De hecho, ya se observa una tendencia en la que en propuestas de prácticas, investigación y postulaciones laborales aumenta de forma drástica el número de solicitudes, pero cae la calidad general
- Cuando estudiantes usan el mismo chatbot en trabajos colaborativos, la diversidad de ideas se reduce de forma drástica
- La habilidad de escritura solo mejora escribiendo directamente, y con la capacidad de pensar ocurre lo mismo
- Los textos funcionales como código, recetas, instrucciones y documentación se ven relativamente menos afectados por estos problemas
- En cambio, en textos escritos por un autor individual para una audiencia humana existen expectativas específicas de rol y confianza, y la erosión de esa confianza puede convertirse en una pérdida para toda la humanidad
Experiencias valiosas
- Cada vez que veo publicidad que sugiere delegar a un LLM la planificación de vacaciones, la organización de una fiesta o incluso mensajes para familiares y amistades, siento una desconexión con la sociedad tecnológica
- Muchas actividades de la vida moderna pueden sentirse como simples pendientes, pero al mismo tiempo también es problemático tratar casi todo en la vida como si fueran simples pendientes
- La expectativa moderna de que uno debería poder hacer siempre lo que quiere y evitar todo lo que no quiere hacer termina produciendo insatisfacción constante
- Estoy de acuerdo con la idea de que la automatización puede liberar tiempo para cosas más significativas, pero el problema es que ya hemos llegado al punto en el que hasta planear vacaciones se percibe como una tarea tediosa que se quiere evitar
- Si vivimos en una época en la que la IA puede automatizar “casi todo”, entonces ojalá esa capacidad sirva para hacernos más conscientes de a qué vale la pena dedicar tiempo y esfuerzo en la vida
Construcción del conocimiento
- Se coincide con la idea de que “no deberíamos usar chatbots en procesos donde se construye conocimiento tácito complejo necesario para vivir en el mundo futuro”, y en la práctica esa categoría incluye una parte considerable de la vida cotidiana
- Desde la masificación de los smartphones se difundió la idea de que “si se necesita, se busca en internet, así que no hace falta memorizar”, pero adquirir y recordar conocimiento es en sí mismo una parte central del aprendizaje
- A partir de la experiencia de aprender piano jazz, para improvisar bien no basta con practicar improvisación: también hay que aprender y repetir piezas y frases existentes hasta incorporarlas al cuerpo, de modo que se forme una intuición sobre qué suena bien
- En ese sentido, la manera en que aprenden los seres humanos puede parecerse a la de los modelos de machine learning, pero eso no significa que debamos tratar realmente al ser humano como si fuera ese tipo de entidad
- Estamos subestimando seriamente el conocimiento que se acumula a través de tareas aburridas y repetitivas, y si por presión de eficiencia lo delegamos a chatbots, existe el riesgo de perder a largo plazo conocimientos y sensibilidades importantes
Objeción al concepto de la “mente extendida”
- Masley sostiene que la cognición no se limita al cerebro y también ocurre en el entorno físico, por lo que no habría una diferencia esencial entre que algo ocurra en las neuronas del cerebro o en los circuitos de un teléfono
- Esa afirmación es ajena a la realidad, porque no se puede equiparar lo que ocurre en el cerebro con el procesamiento que realiza una computadora
- Reducir al ser humano a un simple dispositivo de procesamiento de información y asumir que no pasa nada al delegar ciertos procesos cognitivos a aparatos externos es un reduccionismo extremo
- Recordar personalmente el cumpleaños de una amistad y que un chatbot envíe automáticamente un mensaje de felicitación son actos completamente distintos; lo primero incluye el proceso consciente de pensar en la otra persona y fortalecer la relación
- Comparar “perder el teléfono” con “perder una parte del cerebro” es un error que iguala situaciones totalmente distintas tanto en probabilidad de ocurrencia como en gravedad de sus consecuencias
- Tampoco resulta muy convincente la idea de que el entorno físico esté diseñado para minimizar el pensamiento; cuando cambia el entorno, quizá haga falta un tiempo de adaptación, pero pronto nos acostumbramos y volvemos a pensar según la nueva forma
Importa qué pensamos
- Respecto a la llamada “falacia del bloque de cognición”, se acepta que no hay que preocuparse por agotar el pensamiento humano, ya que la cantidad total de pensamiento que podemos usar no es infinita pero sí no se agota de esa manera
- Sin embargo, la idea de que “da igual en qué pienses, mientras sigas pensando” también es otra falacia
- Es fácil creer que si se dejan a la computadora tareas simples y aburridas podremos concentrarnos en cosas más complejas e interesantes, pero hay trabajos mentales que, aunque una máquina pueda hacerlos, solo tienen sentido si los hace directamente una persona
- Por ejemplo, si se delega la administración de un proyecto a un chatbot, puede que aumente el tiempo disponible para investigar, pero a cambio se pierde el sentido de pertenencia al proyecto y la base para emitir juicios de nivel superior
- No se trata de afirmar que nunca se deba automatizar nada, sino de reconocer que toda automatización siempre trae algo que se gana y algo que se pierde
- Si se compara con la “falacia del bloque de trabajo”, aunque al delegar trabajo físico a máquinas surjan nuevas formas de trabajo, eso no garantiza que ese trabajo sea útil, pleno o significativo para las personas o la sociedad
- Con el pensamiento pasa lo mismo: incluso los procesos mentales aburridos y monótonos afectan al ser humano, y si se elimina una tarea cognitiva concreta, ese efecto, ya sea positivo o negativo, necesariamente permanece
Conclusión
- Juzgar a largo plazo en qué ámbitos son adecuados los chatbots es una tarea importante e inevitable
- La naturaleza de la comunicación personal puede cambiar de forma radical, el sistema educativo tendrá que adaptarse profundamente, y tendremos que volver a preguntarnos con más cuidado qué experiencias son realmente importantes en la vida
- Lo verdaderamente interesante de esta tecnología es que plantea de frente preguntas sobre la humanidad y los valores, más que sobre la eficiencia
- La decisión sobre cómo usar chatbots no es solo un asunto de productividad o de resultados cognitivos, sino una pregunta sobre qué tipo de vida y qué tipo de sociedad queremos
- Por eso existen razones claras para proteger ciertas actividades humanas de la automatización mecánica
- Además de los resultados de investigación y de los debates sobre eficiencia, hace falta considerar también sobre qué valores queremos construir la comunidad
1 comentarios
Opiniones de Hacker News
La expresión "Lump of cognition fallacy" deriva de la clásica "Lump of Labor Fallacy (falacia de la cantidad fija de trabajo)" en economía
Se refiere al malentendido de creer que la cantidad de trabajo en una economía es fija
En realidad, el avance tecnológico o la automatización aumentan la productividad y reducen costos, lo que termina generando más demanda de trabajo
La afirmación de que "la IA elimina empleos" también puede verse como una forma de esa falacia
Este texto me pareció realmente impresionante. Aun así, la expresión "tercerizar el pensamiento" me parece un marco un poco equivocado
El problema real que viví no fue usar IA, sino automatizar la parte equivocada
En tareas donde pensar, reflexionar y juzgar son lo central, la IA debe diseñarse como colaboradora, y cosas como la ejecución o la memoria sí deberían automatizarse sin miedo
Al final, el problema no es "tercerizar el pensamiento", sino saltarse bucles cognitivos importantes
Organicé mis ideas sobre eso aquí
Desde que metieron LLM en Gmail, me he sentido incómodo
Creo que cada palabra y la forma en que una oración está construida revelan la identidad de una persona
Por eso pienso que la comunicación directa mediada por LLM daña la conexión humana
Estoy de acuerdo con lo de la conexión humana cuando esta se basa en la buena voluntad, pero cuando no es así, un LLM puede incluso ayudar
Me gusta la perspectiva de la "reversibilidad"
No es lo mismo que la IA ayude en una sola etapa, como revisar gramática o resumir, a que haga todo el proceso por ti
Si yo solo me limito a aprobar, no logro construir un modelo interno y mi criterio también se debilita
Esto no es solo un problema del modelo, sino también de UI/diseño
Las herramientas que muestran diferencias a partir de un borrador mantienen al usuario dentro del ciclo, mientras que las que empiezan desde una página en blanco entrenan la "aceptación"
Lo que me preocupa es la posibilidad de que, una vez que la gente dependa de la tecnología, los datos de entrenamiento o los algoritmos queden sesgados hacia cierta agenda
Al final, el problema es que la fuente de información está bajo control de otros
Por eso, cada persona debería poder poseer su propio LLM y su hardware
Al ver un tuit de Karpathy, volví a pensar en la importancia del fracaso
Cuando la IA se equivoca, muchas veces se le echa la culpa a la IA y se pierde la oportunidad de aprender de ese error
Siento que este texto trata algo parecido
A mí también me pasó que le delegué parte de un proyecto a la IA y después me di cuenta de que yo no entendía bien mi propio proyecto
Si se traba, usas otro LLM como depurador, y si ese también se traba, usas otro más; como una torre infinita de tortugas — (/s)
Si usamos el cerebro humano como analogía, la IA parece que será nuestro nuevo neocórtex (neocortex)
Así como el sistema límbico no le "terceriza" el pensamiento al neocórtex, la IA tampoco reemplazará el pensamiento humano, sino que será una capa que ofrezca consejos
Así como el neocórtex expandió la sociabilidad humana, la IA también hará posible que nos comuniquemos con millones de personas
Pero esa relación tendrá una forma completamente distinta a la de la "conversación personal" actual
La "lista de cosas para las que no deberías usar IA" me parece algo ingenua
Como en un artículo de The Atlantic sobre estudiantes de cine que ni siquiera logran terminar las películas, la gente no actúa con responsabilidad aunque conozca los riesgos
El marco de "Lump of cognition" no trata de la cantidad de pensamiento, sino de qué tipo de pensamiento dejamos de hacer
El criterio y la intuición crecen en tareas repetitivas y aburridas, y tercerizarlas tiene un costo
Que producir palabras sea más barato no significa que aumente la profundidad del pensamiento