- La importancia de la escritura científica redactada directamente por humanos sigue subrayándose incluso en la era de los LLM
- Escribir va más allá de comunicar resultados de investigación: es una herramienta para refinar el pensamiento y descubrir nuevas ideas
- El texto escrito por LLM carece de responsabilidad y autenticidad, y también implica un alto riesgo de generar información falsa (alucinaciones)
- Los LLM son útiles como herramientas para mejorar la legibilidad, corregir la gramática y generar ideas, pero si se les delega la escritura completa, se puede perder la oportunidad de ejercer el pensamiento crítico y el pensamiento creativo
- La experiencia y la oportunidad de reflexión para construir una narrativa de investigación creativa es un proceso importante y exclusivo del ser humano
El valor de la escritura científica generada por humanos en la era de los LLM
- La escritura científica es una parte central del método de investigación y una práctica habitual para comunicar resultados
- Escribir no es solo reportar resultados, sino un proceso de organizar ideas de forma estructurada e intencional y extraer los mensajes clave
- También existen estudios que muestran que la escritura a mano tiene un efecto positivo en la conectividad cerebral y en el aprendizaje y la memoria
La necesidad de una escritura científica centrada en el ser humano
- Se plantea que debe seguir reconociéndose la importancia de la escritura científica redactada directamente por humanos
- Con LLM se pueden redactar rápidamente artículos completos o informes de revisión, pero un LLM no puede ser autor (por falta de responsabilidad)
- Si escribir es pensar, entonces se señala como problema que un artículo escrito por un LLM equivale a leer el “pensamiento” del modelo, y no el del investigador
Límites y precauciones en el uso de LLM
- Los LLM actuales pueden generar información incorrecta, lo que se conoce como alucinaciones
- Como las citas o referencias generadas por LLM pueden ser ficticias, todo el contenido debe verificarse cuidadosamente, y en la práctica esto puede incluso tomar más tiempo
- Algunos problemas de los LLM podrían mitigarse con modelos entrenados solo con bases de datos científicas, aunque su eficiencia real sigue siendo incierta
Formas positivas de aprovechar los LLM
- Los LLM pueden ser útiles para mejorar la legibilidad, corregir la gramática, buscar y resumir distintos artículos, y hacer lluvia de ideas
- También pueden ayudar a superar el bloqueo del escritor, proponer distintas formas de explicación y descubrir conexiones entre temas nuevos, como apoyo al pensamiento creativo
El valor de la creatividad y la reflexión propias del ser humano
- Sin embargo, delegar toda la escritura a un LLM provoca la pérdida de oportunidades de reflexión sobre el campo de investigación y de construcción de una narrativa creativa
- El proceso de reconstruir el contenido de una investigación como una historia atractiva y convincente es una capacidad humana esencial que va más allá del artículo académico
1 comentarios
Opiniones de Hacker News
Creo que leer también es pensar. Y como leer y escribir forman parte del proceso de pensamiento, es riesgoso delegárselos de forma habitual a un modelo de IA. En especial durante la etapa formativa de los estudiantes, necesitan aprender por sí mismos a pensar mediante la lectura y la escritura; hace falta práctica constante, como la reflexión o tomar notas. Se parece al uso de la calculadora: una vez que ya tienes cierta base, está bien usar una calculadora electrónica, pero primero debe existir la experiencia de calcular mentalmente o resolverlo a mano. Eso crea el hábito de detectar errores de entrada o verificar resultados. Me preocupa que estudiantes jóvenes, cuya capacidad de pensamiento aún no está consolidada, empiecen a delegar trabajo en los LLM
Quisiera poner como ejemplo la historia de la invención de la escritura en el antiguo Egipto (citada en el Fedro de Platón). Thoth le explica a Thamus los beneficios de la escritura, pero Thamus advierte que depender de ella debilitará la memoria. Es decir, llevamos más de 2000 años repitiendo este debate. Yo también creo que Thamus podría tener razón, pero la realidad es que hoy todos vivimos usando la lectura y la escritura
El simple acto de escribir algo en papel genera un pensamiento más profundo. Esto es especialmente importante en ingeniería. Por eso en muchas empresas tecnológicas se desarrolló una cultura de documentos como los RFC. Eso ayuda muchísimo tanto a quien escribe como a quien revisa
Leer es seguir el pensamiento de otra persona, pero escribir es explorar directamente el mío. Por eso escribir es doloroso para mucha gente, y al mismo tiempo es precisamente por eso que resulta necesario. Y enseñar también es importante. Refinar el pensamiento hasta volverlo claro es una tarea muy valiosa y muy difícil
Veo el impacto de los LLM en el pensamiento exactamente igual que el de las calculadoras. Te hacen saltarte ciertas etapas del razonamiento, pero a cambio te permiten hacer otros tipos de pensamiento nuevos. En mi caso, los LLM aumentaron mi capacidad de pensar. Como me quitan trabajo repetitivo, pude dedicar mucho más tiempo y energía a extraer rápido la “señal” de la información o a combinar ideas de distintas áreas. Puede que cometa errores, pero sin LLM habría cometido errores parecidos, solo que más lentamente. De hecho, en áreas donde no soy experto probablemente habría abandonado la investigación por completo o mi pensamiento habría sido mucho más limitado. Prohibir los LLM no profundiza el pensamiento. Del mismo modo que prohibir las calculadoras no hará que todos sean buenos en matemáticas, cuando se permiten, a quienes sí les gustan las matemáticas les permiten llegar mucho más lejos
Estos niños vivirán en un futuro donde la IA será más avanzada. El mundo cambia rápido, así que confío en que ellos también lo comprenderán por sí mismos. Pero también está la realidad de que la abundancia digital con la que soñó la generación de internet se está convirtiendo poco a poco en una pesadilla de contenido sobrante y guerra de información
Quisiera citar a Paul Graham: "Escribir es pensar. Para escribir bien tienes que pensar con claridad, y pensar con claridad es algo muy difícil. Hay una forma especial de pensamiento que solo puede hacerse por medio de la escritura. Si solo piensas y no escribes, en realidad solo te engañas creyendo que estás pensando. Si el mundo se divide entre ‘los que escriben’ y ‘los que no escriben’, las consecuencias serán mucho más peligrosas de lo que parecen. Muy pronto se convertirá en una división entre ‘los que piensan’ y ‘los que no piensan’"
https://www.paulgraham.com/writes.html
El pensamiento y la escritura están estrechamente conectados. El pensamiento y usar ChatGPT no
Enlace al estudio del MIT Media Lab, 'Your Brain on ChatGPT': https://share.google/RYjkIU1y4zdsAUDZt
Me cuesta imaginar cómo un LLM podría realmente “escribir” un artículo científico. Por ejemplo, si se le dan resultados de western blot, datos de ratones con modificaciones genéticas específicas o datos de secuenciación de célula única, el artículo termina revelando una nueva proteína y explicando cómo la edición genética en ratones altera cierta vía. ¿Qué insumos habría que darle al LLM y cómo sabría que ese hallazgo es significativo? Creo que, en esencia, un LLM solo parafrasea lo que le pido. La parte difícil de escribir de verdad es “decidir cómo contar la historia”
En posgrado aprendes que cada campo tiene un formato estándar para escribir artículos. Si un LLM ha aprendido suficientes artículos de ese campo, podría colocar automáticamente la información que da el usuario en las secciones adecuadas. Gran parte del tiempo al redactar un paper se va en manejar citas y ajustar formato, así que está bien que el LLM se encargue de ese trabajo estilístico y repetitivo. Para un científico importan el rigor y la claridad, pero preferiría dejar la carga mecánica del formato a la automatización
Un LLM incluso podría aprender todo un repositorio como arXiv y entender los artículos relacionados mejor que un humano
Un LLM también puede hacer primero un plan o un esquema, así que eso también es una forma de escritura
Incluso hablar es pensar. Por eso la libertad de expresión está en la Primera Enmienda. Si alguien limita mi derecho a hablar, también controla mi pensamiento.
Escribir es como una especie de superpoder, como el pensadero de Harry Potter. Te permite sacar ideas de la cabeza, examinarlas en varias capas de análisis y almacenar y organizar recuerdos con facilidad
La idea actual de libertad de expresión, en realidad, se consolidó hace relativamente poco, en las décadas de 1910 y 1920. Antes de eso, el significado de “free speech” era muy distinto al actual; había un excelente pódcast (Radiolab, entre otros) que trataba ese tema
Sitio relacionado: https://voicebraindump.com
Cuando la gente dice “escribir es importante”, a veces pienso que en realidad lo que sienten es “me vuelvo más inteligente y me siento bien mientras escribo”. En la práctica, uno combina ideas en la cabeza durante mucho tiempo, y solo cuando todo ya está reunido ocurre la síntesis en un nivel superior; me parece fácil confundir ese verdadero proceso de síntesis con el acto de escribir. Si hubiera intentado escribirlo una semana antes, habría sido improductivo
Al menos para mí no es así. En el proceso de llevar pensamientos, ideas y conocimiento al papel de forma concreta, descubro errores o vacíos, y eso me da la oportunidad de corregirlos. No se trata solo de corregir: también surgen nuevas perspectivas o enfoques, cosas que antes no estaban en mi conciencia. Yo uso la escritura como herramienta de pensamiento. Otras herramientas son la lluvia de ideas en grupo o la discusión. Esas actividades complementan y fortalecen mi pensamiento, y hasta me muestran nuevas direcciones o conexiones. También recomiendo el ensayo de Paul Graham (sobre poner ideas en palabras) y el libro Writing to Learn de Paul Zissner. Practicar escritura al aprender también tiene un efecto parecido al de “enseñar”, en una línea similar al método Feynman
https://paulgraham.com/words.html
Por poner un ejemplo de mi experiencia personal: cuando realmente lo escribo, encuentro contradicciones y huecos en mi pensamiento o en mi conocimiento. Encontrarlos y corregirlos es precisamente la razón por la que digo que escribir es pensar
No estoy de acuerdo. Mi método consiste en escribir primero todos los pensamientos por separado, sin mezclarlos, y luego irlos acomodando y reorganizando hasta que emerge una estructura. Al final queda un resultado sintetizado. Tal vez algo de esa estructura ya estaba en mi mente, pero no aparecía con claridad. El simple hecho de que haya tanta reubicación demuestra que la escritura misma es parte de la síntesis
Solo cuando queda escrito detecto los huecos o errores. Si no lo escribo, por experiencia, nunca los encuentro
Es una visión demasiado cínica. Cada persona piensa y trabaja de forma distinta, y cada quien obtiene beneficios distintos. La mayoría no lo dice para presumir que “escribir es una virtud”
Conecto con el mensaje de que “escribir es pensar”, pero solo es cierto bajo ciertas condiciones. No siempre fue así. En realidad, aprendimos a desarrollar el pensamiento escribiendo solo después de que escribir se volvió barato. Si ves las obras y diarios de escritores de los siglos XVIII a inicios del XX, como Tolstói, Zweig o Goethe, da la impresión de que concebían el libro entero en su cabeza y luego lo escribían de una vez en 20 o 30 días. Antes, pensar y escribir eran cosas separadas. En la era moderna eso cambió gracias al papel barato y las computadoras. No digo que la forma actual esté mal, pero no hay que confundirse creyendo que “pensar = escribir” es la única manera. Sócrates también decía que escribir daña la memoria (y no estaba completamente equivocado), pero hoy todos usamos la escritura. Las críticas a los LLM tienen una ironía curiosa. La analogía con la escritura surge sola. Los niños que crezcan con LLM pensarán de otra manera
Más bien me parece una reacción a la afirmación de que “pensar es escribir”. Yo también creo que se puede pensar perfectamente sin escribir. Pero escribir no consiste solo en volcar pensamientos ya terminados; en el proceso ayuda a criticar mis ideas, generar otras nuevas, simplificarlas o expandirlas. Una vez puestas por escrito, resulta mucho más fácil revisarlas de forma metacognitiva
Cuando el papel era caro, la gente solía usar cera o tablillas de madera para registros temporales. Dudo que fuera realmente tan común eso de componer un libro entero solo con la memoria y escribirlo de una sola vez, y además existe evidencia sobre el proceso de escritura de Guerra y paz de Tolstói
https://www.amazon.com/Tolstoy-Genesis-Peace-Kathryn-Feuer/dp/0801419026
Cada vez que veo textos filosóficos medievales tan largos y lógicos, me pregunto cómo lograban desarrollar algo así en una época en que ni siquiera era común tener papel para notas temporales.
Y sobre eso de que “los niños que crezcan con LLM pensarán distinto”, me gustaría saber en concreto cómo sería esa diferencia. Al ver cómo los universitarios actuales usan LLM, me preocupa que, más que pensar distinto, en realidad estén pensando menos
Hay una teoría parecida, aunque un poco distinta, de Larry McEnerney. Distingue entre escribir para pensar y escribir para comunicar. Escribir para pensar existe desde antes de Sócrates, pero se parece más a una actividad personal. Escribir para comunicar abarca desde novelas hasta periodismo. Larry se enfoca sobre todo en cómo los estudiantes que preparan papers tienen problemas porque no logran conectar esas dos formas de escritura
Los LLM son muy distintos de la “escritura” tradicional. Son más parecidos a agentes creativos. Una ventaja que tengo al escribir es que puedo repetir, corregir y revisar mis propias ideas muchas veces; pero si uso un LLM, ahora “otra persona” hace por mí el pensamiento, la escritura y la edición, así que mi propia cantidad de pensamiento disminuye. Si la bicicleta es una forma de llegar más lejos con mi propia fuerza (escritura), y el automóvil usa una fuente de energía completamente distinta (LLM), ¿cuál de las dos será mejor para la salud física? Y esa idea de que Tolstói mantenía el libro entero en la cabeza y lo escribía de golpe me parece interesante. Me gustaría ver ejemplos o pruebas reales. Siendo un aristócrata como Tolstói, seguramente sí tenía recursos suficientes
Mucha gente interpreta que si los LLM reemplazan la escritura humana misma, eso pondrá en riesgo el desarrollo humano. Yo lo veo con más optimismo. Si una buena escritura conduce a un buen pensamiento, entonces cualquier esfuerzo por mejorar mi capacidad de escribir también mejora mi capacidad de pensar. En ese sentido, los LLM pueden ayudar muchísimo a mejorar la escritura y, por extensión, el pensamiento. También pueden dar retroalimentación muy potente sobre contexto o temas relacionados. Creo que, si se usan con moderación, los LLM pueden incluso ayudarnos a ser mejores personas
Cada vez que necesito pensar en serio y a profundidad, abro sublime text y escribo la situación, línea por línea, con la mayor concisión posible. En ese momento me hago preguntas muy directas y básicas para intentar entender de verdad la esencia, el objetivo y el camino. Es como si estuviera respondiéndole a un jefe mafioso: sin excusas ni pretextos, solo la verdad. Cuando hago eso, entiendo la estructura completa y de inmediato se me ocurre la lista de tareas
Mi antiguo jefe (que también era editor) solía decir que escribir es “descubrimiento”. Es decir, va en el mismo sentido esencial que pensar. Estoy de acuerdo con esa idea