Cómo organizar exámenes universitarios en la era de los chatbots

• En un examen del curso de estrategia de código abierto, se probó un formato de examen no tradicional que permitía tanto el acceso a internet como el uso de materiales, con el fin de incentivar que el alumnado aprendiera por cuenta propia
• Se pidió al estudiantado elegir de antemano si usaría chatbots y, en caso de usarlos, se volvió obligatorio indicar las fuentes, revelar los prompts y analizar los errores
• De 60 estudiantes, 57 no usaron chatbots, y en general el grupo que no los usó mostró mejores resultados
• El alumnado tendía a evitar el uso de chatbots por miedo a hacer trampa y por cómo percibía los criterios de evaluación del profesor
• El profesor usó un archivo de "flujo de conciencia" (stream of consciousness) para entender el proceso de pensamiento de cada estudiante y subrayó la importancia de fortalecer el pensamiento propio por encima del chatbot

---

Forma de administrar el examen

• El examen se diseñó con reglas abiertas, como permitir todos los materiales y el uso de internet, sin límite de tiempo, con posibilidad de discutir entre estudiantes y de proponer preguntas de forma autónoma
  • El estudiantado también podía elegir libremente su vestimenta para el examen, desde ropa tradicional hasta atuendos humorísticos
• Este formato buscaba convertir el examen en una extensión del aprendizaje y reducir la tensión

Sistema de elección sobre el uso de chatbots

• Antes del examen, cada estudiante debía elegir explícitamente si usaría o no chatbots
  • Opción A: no usar chatbots; si se usan, se considera trampa
  • Opción B: se permite usar chatbots, pero cada uso exige entregar fuentes, prompts y análisis de errores
• Los errores del chatbot se trataban como un factor de penalización mayor que los errores humanos, y quien lo usaba debía asumir la responsabilidad por el resultado

Elecciones del alumnado y distribución de calificaciones

• De 60 estudiantes, 57 no usaron chatbots
  • Grupo de preferencia personal: valora el aprendizaje autónomo, calificaciones de 15 a 19 puntos
  • Grupo de no uso: no le gusta interactuar con chatbots, promedio de 13 puntos
  • Grupo pragmático: consideró que no eran necesarios por la naturaleza del examen, entre 12 y 16 puntos
  • Grupo de usuarios intensivos: la dependencia del chatbot les generó confusión, en su mayoría entre 8 y 11 puntos
• Entre los 3 estudiantes que sí usaron chatbots:
  • 1 olvidó usarlo
  • 1 lo usó mínimamente para verificar conceptos
  • 1 terminó entendiendo menos por una configuración compleja de LLM (preguntaba a un LLM y pedía verificación a otro)
    • Al conversar sin chatbot se veía que su comprensión era suficiente, pero los resultados generados por el chatbot hicieron que entendiera peor. En su caso, el chatbot terminó perjudicándolo

Percepción generacional sobre hacer trampa

• La mayoría del alumnado no confiaba en los chatbots o temía que se interpretara como trampa
• Algunos incluso se preocupaban de que la función de respuestas generadas automáticamente de Google pudiera malinterpretarse como trampa
• En el sistema universitario actual existen sanciones severas, como la prohibición de entrar a la universidad por hasta 3 años en caso de fraude académico
• El profesor expresó su sorpresa ante una cultura estudiantil que, a diferencia de generaciones anteriores, evita incluso colaborar antes del examen

Experimento del archivo de “flujo de conciencia”

• Se pidió al alumnado que registrara sus pensamientos en tiempo real durante el examen
  • No se permitían modificaciones ni borrados, tampoco copiar; solo se permitían URLs
  • Estaba prohibido usar chatbots; solo debían registrar su propio pensamiento
• 55 de 60 estudiantes lo entregaron, y 24 lo enviaron correctamente con git-send-email
• Este registro permitió observar el estrés y el proceso de pensamiento del alumnado
  • Algunas personas expresaron que al escribir entendían mejor el problema y se les reducía la ansiedad
  • Gracias a ese archivo, el profesor pudo rescatar casos de estudiantes con comprensión real pero dificultades para expresarse

Conclusión y filosofía educativa

• El profesor planea mantener este método también el próximo año
• Con los chatbots, lo importante es la capacidad de usarlos como herramienta y, si se dominan bien, quizá ni siquiera hagan falta
• El verdadero problema no es la tecnología, sino la destrucción de la infraestructura heredada y los sistemas ineficientes
  • La adopción de Outlook empeoró la experiencia del correo electrónico, y el alumnado llama al email la “carpeta de spam del rector”
  • Muchas personas ni siquiera conocen la diferencia entre Git y GitHub, como resultado de un entorno dependiente de Microsoft
• El profesor transmite a sus estudiantes el mensaje de “aprendan más rápido y más a fondo que mi generación”, y subraya el progreso del aprendizaje entre generaciones y la herencia del pensamiento crítico

[GN⁺]

Comentarios en Hacker News

• Hace 10 años los exámenes se escribían a mano, y no existían cosas como internet o los LLM
  Incluso ahora ese método sigue funcionando perfectamente. Si no se está evaluando la capacidad del estudiante para googlear, no veo por qué habría que usar otro sistema

  • Yo también estoy volviendo a los exámenes en papel en mis clases. Los dispositivos digitales están prohibidos y distribuyo la evaluación en 7 quizzes cortos. Reduje el peso de los proyectos al 50%, porque es difícil verificar si de verdad los hizo el estudiante
  • El problema es la falta de tiempo para calificar. A veces tengo que revisar 20 páginas en 15 minutos. Por eso simplifico con preguntas de opción múltiple, diagramas y ejercicios de cálculo. También hay muchos estudiantes con letra terrible, así que quizá estaría bien permitir al menos entradas simples en terminal. Además, aunque el estudiante no memorice todo, creo que lo importante es entender intuitivamente dónde encontrar la respuesta
  • Los exámenes a libro abierto no son algo nuevo. En matemáticas o biología ya eran comunes. Si no conoces los conceptos básicos, no apruebas solo con googlear. Hace falta diseñar exámenes que evalúen pensamiento crítico más que simple memorización
  • Hubo una época en la universidad en la que impulsaban expandir las clases online. La calidad de la enseñanza bajó y el valor del título también se diluyó. Me preguntaba por qué una universidad pública buscaba maximizar ganancias
  • Creo que este método termina inclinándose demasiado hacia una prueba de memoria. Yo también tenía buena memoria de mediano plazo, así que me iba bien en los exámenes, pero eso no significaba comprensión real. Una estructura que favorece solo a quienes tienen buena memoria no es justa

• Siento que muchos estudiantes no encuentran respuesta a “por qué hay que aprender esto”
  Después de graduarse, la realidad es que basta con saber “lo suficiente como para que no te despidan”. En la era de los LLM ese estándar baja todavía más. Por eso creo que, al contrario, hay que volver a formas tradicionales de examen. Exámenes cerrados escritos a mano, exámenes orales, eliminar la tarea y, en cambio, publicar miles de preguntas con sus explicaciones para entrenar la memoria que sirve de base para la creatividad

  • Yo creo que el propósito de la universidad no es simplemente “no ser despedido”, sino contribuir a la expansión del conocimiento humano. Pero hoy la universidad se ha convertido en un lugar que produce el tipo de talento que quieren las empresas, siguiendo la lógica del mercado. Además, muchos trabajos en realidad podrían ser ‘trabajos de mierda (bullshit jobs)’
  • También es peligroso asumir que los estudiantes podrán depender continuamente de los LLM. ¿Qué pasa si el uso de LLM cuesta 1000 dólares al mes? ¿Podrán seguir trabajando igual?
  • En Europa desde hace tiempo eran comunes los exámenes orales y los exámenes manuscritos. La cultura de poner nota a la tarea me parecía más bien extraña. En la era de los LLM, creo que se ha vuelto más importante qué es lo que debemos aprender
  • Ahora la pregunta en educación ya no es “cómo enseñar”, sino “qué significan el trabajo y la competencia”. La sociedad ha pasado a valorar más la performance que la capacidad, y la IA refuerza todavía más esa tendencia
  • Mi profesor de electromagnetismo decía: “No memoricen fórmulas, entiendan las relaciones”. Pero yo creo que memorizar fórmulas es el punto de partida para entender esas relaciones. La física no es solo ecuaciones, sino una disciplina para comprender la estructura evolutiva de los sistemas

• Parece que ya no es cierto eso de que “la mayoría de los estudiantes no quiere usar chatbots”
  Soy profesor universitario, y el número de estudiantes dependientes de los LLM está creciendo de forma explosiva. Me preocupa que termine apareciendo una generación incapaz de estudiar sin LLM

  • El profesor y el estudiante del artículo seguramente no necesitaban LLM porque tenían interés en aprender en sí mismo. Pero la mayoría de los estudiantes tiene como objetivo aprobar, así que usar LLM es una decisión racional. Yo también probablemente los habría usado en una materia que no me interesara
  • Creo que este caso corresponde a un entorno de examen muy particular, así que es difícil generalizar. Si la condición es “usa IA, pero hazte responsable del resultado”, entonces un estudiante bien preparado no tendría por qué usar IA
  • Si el uso de LLM estuviera prohibido en la universidad, los estudiantes aprenderían pensamiento autónomo a través del miedo. El pensamiento crítico es una habilidad que hay que entrenar constantemente
  • Cuando los LLM empiecen a cobrar su costo real, puede que muchos estudiantes ya no puedan acceder por la barrera de precio
  • El problema es que Google arruinó la búsqueda y la reemplazó con una caja de LLM. Tal vez la causa no sea el deseo de los estudiantes, sino la dirección que tomaron las empresas

• Un profesor sintió que la capacidad de empatía y consideración de sus estudiantes era sorprendentemente alta. Su manera de abordar la IA también es muy humana, a diferencia de la de muchos otros docentes

• Es interesante la idea de “permitir que los estudiantes discutan entre ellos durante el examen”
  Entonces salió la broma de que quizá habría que dar diplomas por equipo. De hecho, como hay empresas que contratan equipos completos, quizá no sea tan mala idea

  • Soy el autor del post original. Enseño Open Source Strategies. La clave es la colaboración. Si defines el problema, haces preguntas y amplías tu comprensión a partir de las respuestas, ya estás aprendiendo muy bien.
    Otro método es hacer que el estudiante 1 explique un concepto y que se lo enseñe al estudiante 2 en 20 minutos hasta que lo entienda. Después se evalúa al estudiante 1 según la respuesta del estudiante 2. Es una manera de fomentar una colaboración con responsabilidad compartida
  • Sería aún mejor si hubiera una regla para que ambos estudiantes participen activamente
  • Parece que este tipo de clases colaborativas surgió como reacción a la cultura competitiva de la escuela
  • También apareció la broma cínica de “mejor mandemos todos los diplomas a OpenAI”. Es una sátira sobre cómo se está tambaleando el valor de la educación

• Me impresionó el diseño flexible de exámenes de este profesor. Es raro ver una actitud de entender al estudiante, dejar claras las expectativas y querer aprender junto con ellos

  • Soy el autor del post original. La mayoría de los profesores llegaron a serlo porque les iba bien en los exámenes estándar. Yo fui lo contrario: un mal estudiante. Me gradué con la nota mínima, pero hice carrera en el mundo del open source y gracias a eso me contrataron como profesor. Estoy agradecido por ese camino no tradicional

• Me sorprendió la idea de que “los estudiantes no colaboran entre ellos por miedo a hacer trampa”. Antes había escuchado que, al contrario, hacer trampa era algo muy extendido

  • Yo enseño en una maestría, y en los últimos años cerca del 15% de los estudiantes plagia de forma descarada. Incluso una vez dos personas entregaron respuestas idénticas byte por byte
  • Puede que esta clase no represente la conducta general de todos los estudiantes

• Siento que la forma de enseñar de este profesor es un enfoque realmente cuidadoso y equilibrado. Le da al estudiante autonomía y responsabilidad al mismo tiempo.
  Me impactó especialmente la frase: “Mi objetivo es que ustedes aprendan más rápido y más profundamente que yo”