2 puntos por GN⁺ 2025-06-04 | 1 comentarios | Compartir por WhatsApp
  • La IA generativa ya está cambiando la educación y la investigación en humanidades, por lo que tratarla simplemente como una exageración o como algo que hay que prohibir difícilmente será sostenible
  • Las capacidades de traducción, clasificación y procesamiento del lenguaje de los LLM están conectadas con el conocimiento humanístico, y, como muestra el problema de adulación de GPT-4o, los juicios sobre lenguaje, cultura y retórica también se vuelven importantes para mejorar los sistemas de IA
  • Incluso investigadores de humanidades sin perfil técnico pueden crear herramientas personalizadas de investigación y enseñanza con ayuda de la IA; el simulador de boticaria del siglo XVII y Young Darwin muestran tanto las posibilidades como la dificultad de controlar las alucinaciones
  • Los chatbots como ChatGPT dificultan la evaluación de la escritura estudiantil y aumentan el riesgo de que los estudiantes se salten el esfuerzo intelectual y pierdan la experiencia de pensamiento concentrado
  • Si los educadores no diseñan por sí mismos tareas y herramientas basadas en IA, las herramientas de aprendizaje con IA comerciales, que debilitan la relación personalizada entre docente y estudiante, podrían ocupar su lugar en las aulas

Por qué es difícil ignorar la IA en las humanidades

  • D. Graham Burnett critica en un artículo de The New Yorker la actitud de las universidades que tratan la IA solo mediante lineamientos de prohibición o intentan resistir manteniendo los métodos existentes
  • El borrador de una política anti-IA de un departamento universitario, interpretado literalmente, podía incluso bloquear tareas centradas en la IA, y luego fue modificado
  • Una evaluación externa recomendó que el departamento de Historia respondiera con urgencia a la disrupción de la IA que se avecina en la enseñanza y la investigación, pero la reacción fue fría
  • La idea central no es que la IA generativa sea inherentemente buena, sino que ya está transformando las humanidades y por eso es difícil descartarla como exageración o ignorarla

Las habilidades humanísticas se volvieron importantes para la propia investigación en IA

  • Los LLM, como “calculadoras para palabras”, muestran fortalezas en traducción, alineación y clasificación, y empiezan a influir en áreas como la paleografía, la minería de datos y la traducción de lenguas antiguas
  • En los últimos años, las habilidades humanísticas se volvieron importantes no solo para usar IA, sino también para la propia investigación en IA
  • La primera medida que OpenAI aplicó para corregir la extraña tendencia aduladora de GPT-4o no fue código nuevo, sino un system prompt escrito en una nueva forma de frases en inglés
    • Simon Willison analizó el cambio de system prompt implementado por OpenAI
    • También se señaló como otro factor la prioridad otorgada a la retroalimentación de usuarios mediante el botón “thumbs up”, lo cual también se relaciona con cómo el lenguaje influye en el comportamiento, las diferencias culturales, la retórica, el género y el tono
  • Cuando se averiaba un mainframe de IBM en la década de 1950 o una máquina de vapor en la década de 1850, los técnicos no tenían gran necesidad de reflexionar sobre lenguaje, cultura o filosofía de la tecnología; pero los sistemas de IA pueden comportarse como si realmente estuvieran averiados si falta ese tipo de reflexión

Herramientas de investigación y enseñanza creadas directamente por humanistas sin perfil técnico

  • La IA generativa permite que usuarios no técnicos del campo de las humanidades también intenten escribir código por su cuenta
  • Es posible que una nueva generación de historiadores vea como algo natural crear y distribuir herramientas personalizadas de investigación y enseñanza a un costo casi nulo
  • El primer intento fue un simulador gratuito de boticaria del siglo XVII
    • El estudiante juega como Maria de Lima, una boticaria semificticia de la Ciudad de México en la década de 1680
    • Debe leer y usar recetas médicas reales de la Edad Moderna para tratar a pacientes basados en personajes históricos reales
    • Hubo errores y problemas de usabilidad, y rápidamente apareció el problema de alucinaciones generadas por el LLM que se apartaban de la realidad histórica
    • En una partida, Maria se convertía en cirujana de un barco mercante rumbo a Inglaterra, conocía a Isaac Newton en Londres y era invitada a tomar té
  • El segundo intento, Young Darwin, es un juego en el que se recolectan pinzones y especímenes como un joven Darwin en las islas Galápagos en 1835
    • Un sistema de desplazamiento por el terreno basado en la geografía real descrita en Voyage of the Beagle de Darwin hace que la IA mantenga una base literal
    • Es difícil salir de la isla, y como los animales y el terreno que se encuentran provienen directamente de los escritos reales de Darwin, se reduce la tendencia a alucinar
    • Cuenta con un sistema de registros más robusto, útil para añadir en el futuro una capa de evaluación y convertirlo en una tarea real
  • El diseño de aprendizaje consiste en que los estudiantes lean primero los textos de Darwin y luego demuestren lo aprendido mediante sus decisiones dentro del juego
    • Para avanzar, deben encarnar la epistemología y los conocimientos reales de un naturalista del siglo XIX
    • Esta actividad no reemplaza los ensayos en clase ni las discusiones presenciales, sino que los refuerza

La realidad de que enseñar habilidades humanísticas se volvió más difícil

  • Los chatbots de IA están sacudiendo elementos centrales del sistema educativo, y educadores, estudiantes, políticos y laboratorios de IA de frontera deben tomar este problema en serio
  • Debido a ChatGPT y sus herramientas competidoras, evaluar la escritura estudiantil se volvió más difícil, y el aumento de entregas de ensayos generados por máquinas obliga a rediseñar tareas y planes de clase
  • A largo plazo, el mayor daño recaerá sobre los estudiantes
    • Los LLM corren el riesgo de convertir el esfuerzo en un elemento opcional dentro de la educación superior
    • Un estudiante que nunca experimentó quedarse bloqueado al escribir difícilmente experimentará también el estado de inmersión que llega al superar ese bloqueo
    • Sin la experiencia de perder horas buscando sin éxito en una biblioteca, es difícil entender de forma fundamental para qué sirve una biblioteca
  • Un artículo de New York Magazine captura bien el problema del uso de ChatGPT
    • Un estudiante de Columbia dijo que “la mayoría de las tareas universitarias no eran relevantes, podían hackearse con IA y no le interesaba hacerlas”
    • Respondió que fue a una universidad de la Ivy League porque era “el mejor lugar para conocer a un cofundador y a una esposa”
  • Este enfoque debilita el placer de enseñar y el sentido de la experiencia educativa

Posibilidades de las tareas con IA y preocupaciones por la desigualdad

  • En la clase de Burnett, los estudiantes debatieron con ChatGPT el concepto de atención (attention), luego editaron los resultados y los entregaron como tarea; él lo recibió como una experiencia educativa intensa
  • Los modelos de lenguaje son una nueva herramienta educativa y su impacto aún es incierto, por lo que los educadores apasionados por el aprendizaje en sí deben involucrarse activamente desde ahora
  • La mayor preocupación es que los LLM puedan ampliar aún más la polarización de los resultados de la educación en humanidades
    • Al parecer, los estudiantes de Princeton a quienes enseñó Burnett respondieron a la tarea de forma muy reflexiva y creativa
    • Hay que ver de otra manera si estudiantes de materias sociales en secundarias públicas con pocos recursos responderían del mismo modo
  • Los educadores deben aprender a crear y distribuir directamente tareas y herramientas basadas en IA que se ajusten a la forma de enseñanza que desean
  • Esta preocupación fue la base de una beca de la NEH recibida junto con Pranav Anand y Zac Zimmer, de UCSC
    • La beca fue otorgada en enero de 2025, pero fue cancelada el mes pasado por la administración Trump/DOGE
    • El trabajo planeado sigue en curso

1 comentarios

 
GN⁺ 2025-06-04
Opiniones de Hacker News
  • Hay un problema educativo más profundo que se viene formando desde hace décadas. A los estudiantes se les entrenó para ver la escuela y el trabajo como una sucesión interminable de metas que alcanzar, con el objetivo final de conseguir empleo.
    Pero ahora es difícil decir con certeza qué empleos seguirán existiendo dentro de 5 a 10 años. Si hay una excepción, quizá sean los oficios calificados, pero esos programas desaparecieron en su mayoría de las escuelas hace mucho tiempo.
    Si los universitarios usan IA para pasar las tareas fácilmente en lugar de leer por su cuenta, aguantar y aprender, es difícil culpar solo a los estudiantes por el sistema educativo y profesional que construimos. Este problema no apareció de la noche a la mañana, y tampoco es un problema exclusivo de la IA.

    • La IA se venía usando como un chivo expiatorio conveniente para explicar los despidos y recortes después del fin de la ZIRP, y ahora parece que también se usa para culparla por el fracaso del sistema educativo moderno.
      Nuestra educación no recompensa la comprensión, el conocimiento ni la inteligencia, sino únicamente las calificaciones. Un solo número llamado GPA es, más que nada, fácil de gamificar, y terminó convirtiéndose en el indicador más importante que determina todo el futuro académico desde la secundaria hasta la universidad.
    • Creo que los oficios que existen desde hace mucho tiempo probablemente seguirán existiendo por mucho tiempo más. Sea cual sea el cambio, se reducirán poco a poco en lugar de desaparecer de golpe, así que habrá tiempo suficiente para hacer un plan razonable.
      Se pueden predecir bastante bien muchos empleos que seguirán existiendo dentro de 5 a 10 años. Pero la verdad incómoda es que una parte importante de los empleos bien pagados de la nueva economía no cumple con el criterio de ser trabajos de larga data.
      Por eso, si sigues ese criterio, puedes perder oportunidades de altos ingresos difíciles de predecir; y si eres de los que sienten celos fácilmente cuando un amigo de pronto gana mucho dinero, quizá esos trabajos no te hagan feliz.
    • Si apenas el 10% de la población se pasara a oficios calificados, ese mercado colapsaría. No entiendo por qué todos no captan esto.
    • Esto es realmente grave. Sigue pasando que graduados locales vienen casi a rogar por pasantías no remuneradas o empleos.
      Tomaron cursos AP, tienen buen GPA, salieron de buenas escuelas, “aprendieron a programar” y además cargan con 200 mil dólares de deuda estudiantil, pero al final descubren que no existe el empleo prometido.
      Al mismo tiempo escuchan que “hay una enorme escasez de desarrolladores” y ven que se contrata a trabajadores extranjeros para esos mismos puestos. ¿Cómo pueden los jóvenes confiar en este sistema?
      En una situación así, ¿un trabajador siderúrgico querría reciclarse profesionalmente y aprender a programar? Menos aún si incluso los nerds que aprendieron a programar terminan con resultados tan sombríos.
    • Antes tampoco se podía decir con certeza qué empleos serían posibles. Una persona flexible que conoce los fundamentos al final puede encontrar algo.
  • Me llamó la atención el primer comentario de ese artículo:
    “Soy estudiante de posgrado en filosofía en SFSU y enseño pensamiento crítico. Este semestre cambié todo el diseño de la clase: en vez de tratar a Plato, se siente como correr una pista de obstáculos junto con la IA, y a los estudiantes les gusta”.
    Sería interesante pedirles a los estudiantes que diseñen ellos mismos “tareas que sus compañeros no puedan terminar con ChatGPT”.
    Hace unos 10 años, en BarCamp, hicimos un quiz por equipos diseñado para que fuera difícil resolverlo con Google: por ejemplo, había que adivinar “¿qué isla es esta?” viendo solo el contorno de la isla. Fue muy divertido, y diseñar tareas a prueba de ChatGPT se siente como un desafío intelectual parecido.

    • Creo que diseñar una “clase casi imposible de vulnerar con ChatGPT” es bastante simple si se toma inspiración del sistema universitario alemán.
      Cada semana hay que resolver ejercicios difíciles, pero completar cierto porcentaje es solo el comienzo y sirve como requisito para poder rendir el examen oral o escrito real.
      Como dicen muchos profesores, el propósito casi único de la cuota de ejercicios difíciles es evitar que estudiantes no preparados se presenten al examen y se perjudiquen a sí mismos.
      Hacer trampa con algo como ChatGPT en los ejercicios está prohibido, pero normalmente no se controla con demasiada fuerza. En cambio, si lo hacen, no estarán preparados para el examen que viene y terminarán reprobando; los estudiantes por lo general lo saben bien.
      En las universidades alemanas, si normalmente repruebas el mismo examen 3 veces, puedes quedar como “reprobado definitivamente (endgültig nicht bestanden)”, lo que en algunos casos impide seguir estudiando el mismo programa de grado en cualquier universidad alemana.
    • Me llama la atención que un diseño de problema “innovador” que solo da el contorno de una isla sea, en esencia, inaccesible para alguien como yo, que soy ciego.
      Sé que no soy lo común, pero la tendencia a evitar las tareas basadas en texto está haciendo que la educación accesible sea aún más imposible. Parece que nos espera una nueva generación de brecha digital.
    • Howard Rheingold y otros llevan mucho tiempo trabajando en este campo. Si te interesa, conviene ver el Peeragogy Handbook y el texto que detonó esa idea.
      “Cuanto más cedo la autoridad del docente a los estudiantes y más los animo a asumir responsabilidad por su propio aprendizaje, más me muestran cómo debo rediseñar mi forma de enseñar”.
      [0]: https://clalliance.org/blog/toward-peeragogy/
    • Es cierto que diseñar tareas a prueba de ChatGPT es un desafío intelectual, pero el problema es que a los profesores casi no se les da tiempo ni capacitación para hacerlo.
      Cuando apenas sobrevives con una carga docente de 4/4, falta tiempo para introducir pedagogías experimentales y rediseñar por completo la clase. Muchas universidades también dejan esto en manos de cada profesor, en lugar de ofrecer capacitación o apoyo para transformar las clases de manera más resistente a la IA.
      Además, las herramientas avanzan tan rápido que incluso las buenas ideas se vuelven obsoletas enseguida. Algunas personas cambiaron el trabajo final de un ensayo a la producción de un podcast, pero pronto aparecieron herramientas de “crea tu propio podcast” que permiten hacer trampa con la misma facilidad que en un ensayo tradicional.
    • Si un docente conoce bien el tema que enseña, con solo 30 segundos de conversación con un estudiante puede juzgar si ese estudiante realmente sabe. Tal vez las “tareas” no sean la mejor forma de construir y verificar conocimiento.
  • El autor habla principalmente de enseñar historia, pero la enseñanza de historia a la que se refiere parece más bien apreciación histórica que historia para ayudar a predecir. Está más cerca de estudiar los “clásicos” posteriores a Cicerón.
    Los oficiales militares estudian mucha historia, pero de otra manera. Buscan errores. Analizan por qué se perdió una batalla o una guerra, por qué se terminó involucrado en esa batalla en primer lugar, y por qué la situación previa a la Primera Guerra Mundial era tan estratégicamente inestable como para que el asesinato de una figura menor escalara hasta convertirse en una guerra mundial.
    La enseñanza tradicional de la historia tiende a enfocarse especialmente en los vencedores que escribían bien. Puede ser más productivo leer textos escritos por los perdedores o sobre los perdedores.
    Si quieres entender la época de Cicerón, conviene leer [1]. Es un libro de un cínico y experimentado periodista político de prensa que estudió a Cicerón, y sostiene que muchos historiadores toman los discursos de Cicerón al pie de la letra. El autor cree saber más porque escuchó a muchos políticos de su época.
    Este enfoque se aleja de las áreas donde los LLM son más útiles. Porque los LLM todavía no detectan bien la adulación y el oportunismo.
    [1] https://archive.org/details/thiswasciceromod0000henr

    • “Usar la historia como herramienta de predicción” no es algo que hagan, por lo general, los historiadores académicos. La investigación histórica cuenta la historia de la humanidad y existe por razones más amplias que su aplicación directa a la toma de decisiones actual.
      Esto también aplica a la historia militar. La historia militar es uno de los subcampos más lentos en adoptar nuevos métodos y prácticas.
    • No veo bien cómo se separan la apreciación histórica, la historia que ayuda a predecir y los estudios clásicos.
      Siempre vi la historia como una forma de explicar “por qué las cosas actuales llegaron a ser así”. Todo lo bueno y malo del presente es resultado de hechos anteriores.
      ¿Estudiar los “clásicos” desde una perspectiva histórica es algo orientado a la apreciación? Lo que he visto en historiadores reales, en general, se parece más a una lectura crítica.
    • El objetivo de la historia no es predecir el futuro, y no se puede predecir el futuro con la historia.
      Tampoco es cierto que los historiadores tomen los discursos de Cicerón al pie de la letra. Parece otro caso más de alguien que mira una disciplina desde afuera, cree saber más y termina haciendo el ridículo.
      Además, ¿por qué habría que leer un libro de 1942 ignorando los últimos 80 años de investigación sobre Cicerón?
    • Me gusta la separación entre la historia como análisis estratégico y la historia como apreciación cultural. La educación actual, en general, se inclina hacia esto último, y también es más fácil de replicar con IA.
      Pero el pensamiento histórico más valioso suele surgir de preguntas incómodas, como fracasos, consecuencias no intencionadas y puntos de vista que normalmente se ignoran.
  • Un profesor de física flojo puede convertir todos los problemas, en la práctica, en problemas de matemáticas. Si te preocupa que una mejor calculadora vuelva trivial el examen, quizá deberías enseñar física en vez de evaluar matemáticas.
    Un profesor de humanidades flojo puede convertir todos los problemas, en la práctica, en problemas de redacción. Si un mejor corrector ortográfico vuelve trivial la evaluación en humanidades, quizá deberías enseñar humanidades en vez de escritura de ensayos.
    Para decirlo de forma deliberadamente provocadora: ¿la calidad de las ideas realmente se correlaciona bien con un ensayo bien escrito?

    • Creo que los profesores pueden desarrollar evaluaciones resistentes a la IA.
      Pero casi no hay apoyo institucional para eso. Cada quien se las arregla por su cuenta, y las herramientas de IA cambian rápidamente. No es realista pedirle a un docente no titular que dicta 4/4 cursos que deje de ser flojo y rediseñe por completo su forma de evaluar.
      El ciclo de iteración también es lento. Hay que crear un nuevo programa de curso para reducir las trampas, dictar un semestre, ver los resultados y luego volver a cambiarlo en unas pocas semanas antes del semestre de primavera. En el mejor de los casos es una vez cada 6 meses, y normalmente solo se puede hacer una iteración significativa una vez al año.
    • La educación en humanidades debería volver más al método socrático.
      En lugar de centrarse en el consumo y la producción de textos que solo leen los ayudantes o profesores, debería centrarse en un proceso dialéctico en el que los estudiantes discutan las ideas de los textos y clases que leyeron y escucharon.
      Un LLM puede producir fácilmente trabajos de nivel universitario inicial, pero no puede sentarse en un aula y sostener una conversación intelectual con sus compañeros.
      Claro que, como no escala bien económicamente, es muy probable que este cambio no ocurra. Porque requiere mucha más mano de obra.
    • Me recuerda a cuando aparecieron las calculadoras. En la clase de física de la preparatoria, los estudiantes adinerados empezaron a llevar calculadoras “científicas”, y hubo un alboroto sobre si debían permitirse.
      No sé si sea exactamente igual a los LLM, pero el argumento convincente en ese momento era que los estudiantes iban a usar calculadoras de todos modos en el campo. Para los estudiantes de ingeniería de software, ese futuro también parece seguro.
    • Si desapareciera el incentivo económico para hacer trampa, creo que las humanidades no tendrían los problemas actuales por culpa de los LLM.
    • Ver ChatGPT como un “mejor corrector ortográfico” es exagerado. ¿La escritura no es también una habilidad que debe enseñarse?
  • Lo que la mayoría no sabe sobre la historia y las humanidades es que todavía queda una cantidad enorme de trabajo por hacer.
    La gente se entusiasma, con razón, por descifrar los rollos quemados de Herculaneum, pero no suele saber que menos del 10% de los textos neolatinos desde el Renacimiento hasta la Edad Moderna han sido traducidos al inglés.
    Por ejemplo, Marsilio Ficino fue un filósofo brillante contratado por Cosimo Medici para traducir al latín textos griegos como Plato, Plotinus y Hermetica. Eso tuvo una gran influencia en el Renacimiento y la Ilustración europea, pero buena parte de los propios escritos de Ficino todavía no ha sido traducida al inglés.
    Por supuesto, los LLM también tendrán un gran impacto aquí, pero los estudiantes también pueden tenerlo. Si tienen la voluntad, cualquier estudiante puede hacer una contribución significativa. Hay demasiado por descubrir y desentrañar.
    Lamentablemente, las humanidades en la preparatoria suelen tratarse más como ejercicios que como descubrimientos reales. Ahora evalúo a los estudiantes según cuánto aprendo de ellos. ¿No debería poder hacerse eso?

    • La arquitectura transformer se desarrolló originalmente para tareas de traducción, pero los enormes modelos generativos sobreajustados hacen traducción de forma pésima.
      Incluso sistemas extremadamente simples, como clasificación de categorías gramaticales, consulta de diccionarios y mapeo gramatical, funcionan mejor, y además se puede obtener rendimiento por segundo a escala de capítulo, con intervalos de confianza. Si necesitas una herramienta de traducción, conviene usar algo como Project Bergamot(https://browser.mt/), no IA generativa.
      También me irrita muchísimo que las humanidades en la preparatoria se traten como práctica y no como descubrimiento real.
    • La historia que tenemos pasa inevitablemente por un cuello de botella. Muchas cosas se omiten, se editan y se exageran.
      No podemos saber qué fue realmente lo que ocurrió hace 500 años, y tampoco deberíamos aceptar sin más la historia de un académico brillante que tradujo textos griegos para los Medici.
      Si estás en una posición capaz de mover el mundo, como los Medici, la historia habría sido una palanca de control. Es muy probable que las historias hayan sido guiadas cuidadosamente hacia algún propósito.
      En realidad, la historia es una actividad del presente. Proporciona el trasfondo del presente, y cambiar ese trasfondo tiene valor en el presente.
      No estoy seguro de cómo la IA ayudará a mejorar nuestra comprensión del pasado. Pero sí parece que puede darles a los Medici modernos una forma de cambiar ese trasfondo más rápido.
  • Puede ser cierto que los ingenieros que construyen sistemas de IA deban pensar de manera profunda y crítica sobre el lenguaje, la cultura, y la historia y filosofía de la tecnología.
    Pero probablemente no en el sentido seudoacadémico que imagina el autor. Los sistemas de IA no fallan porque a los ingenieros les falte conocimiento académico de historia y filosofía.
    El punto más importante del texto es que el personal no técnico de las humanidades ahora puede escribir código por sí mismo. Cuando la capacidad básica de programar, o cualquier capacidad, se vuelve una mercancía, quienes más se benefician son las personas con habilidades complementarias.

    • Creo que “la capacidad de hacer buenas preguntas” siempre ha sido una habilidad valiosa.
    • Las generaciones jóvenes no están tratando de forzarse a elegir una de dos cosas; ya se mueven como equipos multidisciplinarios.
      Es porque, a diferencia de generaciones anteriores, están viviendo un ritmo de cambio de un nivel muy distinto. En un entorno así, sin importar la calidad de la formación, uno ve sus propios límites mucho más rápido y al final necesita depender de otras personas.
      El gran desafío es lograr que personas muy distintas, con habilidades e intereses que siguen cambiando, se coordinen, mantengan el mismo ritmo y remen en una misma dirección.
    • Puede ser cierto que la nueva generación de historiadores dará por sentado que puede crear y distribuir sus propias herramientas de investigación y enseñanza casi gratis.
      Pero también podrían pasar 12 horas tratando de distinguir bibliotecas falsas de Python e citas falsas alucinadas por un LLM de las reales. El vibe coding se parece más a un WYSIWYG reforzado, tanto en lo bueno como en lo malo, y WYSIWYG al final tampoco desapareció.
    • La historiografía ya tuvo hace décadas, con Hayden White, su momento de “ah, este es el problema”. Es un buen ejemplo del underlying issue.
      La frase de Hayden White de que “la historia es ficción” sigue siendo una afirmación compleja, no un intento de negar la factualidad de la escritura histórica, como suele describirse.
      Más bien enfatizaba el carácter interpretativo de escribir historia y la forma en que los historiadores construyen explicaciones del pasado mediante técnicas literarias y retóricas. White consideraba que los historiadores, igual que los novelistas, usan estructuras narrativas y recursos de estilo para construir significado a partir de los acontecimientos históricos.
    • Los fallos de los sistemas de IA suelen venir de ignorar la complejidad del mundo real.
  • La evaluación de una tesis doctoral en humanidades incluye tanto una tesis escrita como una defensa oral improvisada. Un profesor puede lanzar preguntas curveball que para un humano parecen no relacionadas, pero van en direcciones comparables, así que no es fácil aprobarla con ChatGPT.
    En la maestría, una vez resolví un problema semántico de análisis que los ingenieros no lograban captar. Eran técnicamente muy inteligentes y escribían bien, pero cuando aparecía un problema de lenguaje, se les complicaba. Aunque alguien se comunique bien, puede no entender el lenguaje en sí.
    Muchas personas en IA son evaluadas con criterios en los que la IA es buena. Por eso, si un candidato tiene una gran comprensión del lenguaje, es posible que la IA no pueda evaluar esa capacidad. Hay que presentar de forma concreta los problemas de lenguaje que la IA debe enfrentar y hacer que los humanos entiendan su valor.

    • Creo que todos los doctorados tienen defensa oral. Además, también son comunes los exámenes de candidatura en los que se presenta la investigación más reciente del propio campo y se responden preguntas orales.
      La razón por la que sigue siendo difícil incluso con ChatGPT es que las preguntas son del tipo: “¿por qué XYZ hizo ABC después de ver el resultado 123?”. El problema es que muchas veces esa afirmación en sí es falsa. Puede que XYZ no haya hecho ABC, o que no lo haya hecho después de ver 123.
      Me parece que la mayoría de los LLM actuales tendrían dificultades, en un campo tan sutil, para responder: “No, eso no ocurrió; en realidad fue así”.
  • Un prompt de sistema como “mantén la experiencia y la honestidad fundamentada que mejor representan a OpenAI y sus valores” es algo sobre lo que alguien de humanidades probablemente podría decir de inmediato cómo podría salir catastróficamente contraproducente solo por la formulación
    Si se tratara de una historia de ciencia ficción sobre una IA fuera de control en un futuro cercano, la razón por la que la humanidad cayó ante las máquinas quizá no habría sido solo la arrogancia. El gatillo final podría haber sido una frase cursi de una sola línea que le ordenaba a una máquina conectada a internet mirar dentro del alma corporativa de su creador e imitarla

    • Eso es lo que pasaría si fuera un sistema lógico. Pero un LLM no es un sistema lógico, y ahí es donde se pone interesante
      Un LLM es un modelo estadístico, y ponerle un prompt así se parece más a un peso narrativo que a una exigencia lógica. Si pones estas palabras en este orden, el modelo explorará más la narrativa que estadísticamente tendería a venir después. Esa posibilidad la determinan los datos de entrenamiento y los pesos redistribuidos por el entrenamiento adicional
      No hay que preocuparse demasiado por describirle mal un objetivo a un LLM en términos técnicos. Porque un LLM no sigue la objetividad. En cambio, hay que preocuparse por transmitir mal la atmósfera general, y esa es una tarea mucho más misteriosa
  • Por mi experiencia de varios años como docente, creo que los LLM abrieron un gran agujero en la estructura real de la educación estadounidense. Ese agujero es que una parte considerable de la educación ha considerado los “productos escritos creados sin supervisión” como evidencia de avance en el aprendizaje
    Ahora los LLM pueden producir esos entregables y, de paso, probablemente también estén sacudiendo la industria pagada de escritores fantasma
    Por eso, los educadores tienen que encontrar otros puntos de apoyo para la evaluación, y las preguntas de “¿qué diablos significa aprender?” y “¿cómo medir ese aprendizaje de manera significativa?” se volvieron más importantes. Las humanidades pueden decir cosas significativas sobre ambas
    Si hago una predicción un poco en broma, creo que volverán la memorización, las presentaciones y los exámenes orales. Por ahora son más difíciles de manipular, aunque no sabemos cuánto durará este “por ahora”

    • Creo que el tema central de ese agujero es la objetividad, y que afecta un ámbito mucho más amplio que la educación
      Al estructurar la educación de forma obsesiva alrededor de la medición, hemos insinuado que lo que enseñamos son hechos objetivos. Siempre fue una tontería, pero en general funcionaba con suficiente coherencia interna. Cuanto más rigurosa es la presentación del conocimiento, más fácil es hacerla pasar por objetividad verdadera
      Todo lo escrito en la realidad es subjetivo. La única forma de aprender hechos objetivos es explorarlos a través de múltiples expresiones subjetivas. Cualquiera que haya aprendido matemáticas sabe que uno no entiende de repente las implicaciones del teorema de Pitágoras solo al ver x^2+y^2=z^2
      Como la objetividad no puede escribirse, no es computable. No puedes darle a una computadora varias expresiones subjetivas de un concepto y pedirle que lo entienda. Es como el problema de la ambigüedad: no existe una forma objetivamente correcta de computar una oración ambigua
      Por eso escribimos en lenguajes de programación. La gramática de cada lenguaje de programación es “libre de contexto”, así que todo debe definirse de manera completamente explícita. Para escribir una oración computable, tienes que subordinar el concepto abstracto de tu cabeza a la gramática y al entorno de ese lenguaje
      La mayor parte de la escritura de la sociedad se redacta con software. Por eso se nos induce implícitamente a establecer un contexto compartido. Si un texto es coherente con el contexto de los textos de otras personas, puede fingir ser objetivo y se vuelve más computable
      Las interacciones sociales mediadas por software también quedan implícitamente configuradas por la estructura de ese software. En las redes sociales no puede haber una conversación verdaderamente de formato libre
      Lo interesante de los LLM es que no sufren este problema. Lo evitan cómodamente al no hacer lógica en absoluto. Ahora el software no te subordina a un entorno estricto, sino a un entorno familiar. No hay verdad, solo atmósfera; no hay cálculo, solo conjetura
      Esto se siente como objetividad, pero no es más que una nueva envoltura. La diferencia es que los límites aparecen en lugares nuevos y extraños
      En general, creo que la muerte de la objetividad es un avance positivo. Era algo anunciado desde hace mucho, y las estructuras rígidas siempre estuvieron sobrevaloradas. La mejor forma de aprender es explorar tantas perspectivas como sea posible. Los humanos pueden manejar atmósfera y lógica a la vez
    • Durante mucho tiempo, las escuelas asumieron que si un estudiante entregaba un ensayo, eso significaba que había aprendido algo
      Pero ahora que la IA también puede escribir ese ensayo, esa suposición ya no se sostiene
      La verdadera pregunta es qué demuestra el aprendizaje si la escritura por sí sola no puede hacerlo
      Tal vez vuelvan los exámenes orales o los debates en tiempo real. No porque sean perfectos, sino porque son más difíciles de falsear
      En cierto sentido, la IA no arruinó la educación; reveló un problema que ya existía
    • La definición de aprendizaje no cambió. Incluso en uno de los registros más antiguos, alguien se queja de que “esa nueva tecnología llamada escritura hará que los estudiantes se vuelvan flojos y ya no recuerden lo que estudiaron”
      La educación se adaptará
    • Una proporción sorprendentemente grande de la educación estadounidense se dedica a enseñarles a los niños a producir ensayos de relleno. No sorprende que la IA le haga un agujero a eso
  • Soy bastante escéptico respecto al uso de computadoras en la educación en general. Personalmente, siento que no aprendo nada si no leo en papel y escribo en los márgenes o en una libreta de papel
    Soy programador, así que uso pantallas todos los días, pero para recordar de verdad contenido nuevo necesito papel. Incluso en reuniones o conferencias presenciales tomo notas en papel sin abrir la laptop
    Por eso, cuando interviene una laptop o una tablet, me queda la duda de si realmente se está aprendiendo algo. No es algo específico sobre la IA, sino una observación personal general

    • Eso puede ser cierto para ti, pero definitivamente no es cierto en general
      Hace años que casi no escribo nada significativo en papel, y durante ese tiempo claramente he aprendido cosas nuevas
    • Creo que es una diferencia en la forma en que uno aprendió a aprender al principio. Si escribo en un bloc de notas, no lo recuerdo tan bien como cuando escribo a mano, pero eso puede ser un subproducto de haber pasado muchos años en la escuela
      Otras personas aprendieron sus propios métodos, y esos métodos pueden ser igual de efectivos
    • Como prueba de que un caso personal no es un caso general, existe toda una generación
    • En un sentido amplio, las apps de aprendizaje gamificadas parecen ser muy efectivas para practicar