Estudio de la Universidad de Michigan revela que los estudiantes con apellidos al final del alfabeto reciben calificaciones más bajas

Resultados del estudio sobre el sesgo de calificación secuencial

• Un análisis de más de 30 millones de registros de calificaciones en Canvas realizado por investigadores de la Universidad de Michigan encontró que los estudiantes con apellidos ubicados más atrás en orden alfabético tienden a recibir puntuaciones más bajas
  • Esto se debe al sesgo de calificación secuencial y a que el orden predeterminado de las entregas estudiantiles en Canvas se basa en la posición alfabética del apellido
• Los estudiantes perjudicados por el orden alfabético reciben comentarios más negativos y menos corteses, y la calidad de la calificación, medida por las quejas posteriores de los estudiantes sobre sus notas, también es menor
• Los investigadores dijeron que, aunque piensan mucho en la equidad y la precisión de la evaluación, no habían reconocido este efecto hasta que vieron en los datos que el orden sí generaba diferencias

Datos y resultados de la investigación

• Se recopilaron todos los datos históricos disponibles de Canvas sobre programas, estudiantes y tareas desde el semestre de otoño de 2014 hasta el semestre de verano de 2022
  • Se complementaron con datos de inscripción universitaria para incluir información detallada sobre el contexto, la demografía y la trayectoria académica de los estudiantes en la universidad
• Aunque los datos provienen de la Universidad de Michigan, los investigadores afirman que los hallazgos podrían generalizarse a otras instituciones y cursos debido a un problema de diseño común en los sistemas de gestión del aprendizaje
  • Esto se debe a la configuración predeterminada que ordena las tareas de los estudiantes alfabéticamente por nombre
• Encontraron un patrón claro de deterioro en la calidad de la calificación a medida que el evaluador revisa más tareas
  • Los estudiantes con apellidos que comienzan con A, B, C, D o E reciben 0.3 puntos más sobre 100 en comparación con una calificación aleatoria
  • Del mismo modo, los estudiantes con apellidos ubicados al final del alfabeto reciben 0.3 puntos menos, lo que genera una diferencia total de 0.6 puntos
• Aunque una diferencia de 0.6 puntos puede parecer pequeña, estas discrepancias afectan el promedio de calificaciones de las materias y tienen un impacto negativo en las oportunidades a lo largo de la trayectoria profesional de cada estudiante

Contexto del estudio y propuestas

• La idea del estudio surgió mientras Wang, quien investiga tecnología educativa, y Fei, quien investiga IA, discutían el proyecto
  • Observaron que el etiquetado de datos, una tarea básica del machine learning, también puede ser un trabajo largo y tedioso, pero normalmente se realiza de forma aleatoria
  • A través de un estudio piloto comprobaron si existía desigualdad en las notas según el momento en que se calificaban
• Los investigadores suponen que la fatiga podría ser uno de los principales factores que provocan este efecto
  • Cuando se hace algo durante mucho tiempo, uno se cansa, disminuye la atención y se reduce la capacidad cognitiva
• Canvas y otros sistemas de gestión del aprendizaje en línea ofrecen la opción de calificar tareas en orden aleatorio, y algunos docentes ya la utilizan, pero el modo predeterminado sigue siendo el orden alfabético
  • Una solución simple sería convertir el orden aleatorio en la configuración predeterminada
• También proponen que las instituciones académicas contraten más evaluadores para cursos masivos, distribuyan la carga de trabajo entre más personas o capaciten al personal para reconocer y reducir este sesgo

Opinión de GN⁺

• Que el sesgo de calificación secuencial tenga un impacto real en las notas de los estudiantes plantea un problema de equidad en los sistemas de evaluación educativa. Dado que las calificaciones influyen fuertemente en el futuro de los estudiantes, parece urgente introducir mejoras
• Sin embargo, como se trata de un estudio limitado a países angloparlantes, quizá no sea un problema tan grande en Corea. Harían falta estudios locales para comprobar si el mismo fenómeno aparece al ordenar por consonantes y vocales del hangul o por el orden de trazos de los apellidos en caracteres chinos
• Que la fatiga del evaluador afecte la calidad de la calificación sugiere la necesidad de una compensación y un apoyo adecuados para las tareas de evaluación en el ámbito educativo. Una carga laboral excesiva puede perjudicar una evaluación justa
• La introducción de sistemas automáticos de calificación basados en inteligencia artificial también podría ser una alternativa. Aun así, será difícil eliminar por completo los problemas de sesgo, por lo que también harán falta medidas que refuercen los aspectos cualitativos de la evaluación

[GN⁺]

Opiniones de Hacker News

A continuación, un resumen de los comentarios de Hacker News:

• En la universidad, al calificar exámenes, el orden de los exámenes apilados en los pupitres depende del orden en que se recogieron. Los evaluadores mezclan los exámenes en un salón y cada uno se encarga de una pregunta específica para mantener la consistencia en la puntuación. En la práctica, el orden de calificación puede considerarse aleatorio.
• Al calificar entregas de tareas, sí suelen evaluarse por orden alfabético del nombre del estudiante, y todos coinciden en que habría que mezclar el orden por razones de equidad. Esto se debe a que (1) al principio se está menos cansado, (2) al final uno se siente mejor porque ya casi termina y (3) al comienzo se pueden pasar por alto errores comunes o no haber agarrado todavía el ritmo.
• Una persona cuenta que en primaria, como su apellido aparecía al inicio de la lista, a menudo le tocaban tareas especiales, como encargarse de los boletos o ser evaluado primero en educación física. Para un niño introvertido, eso era molesto.
• En las escuelas de los 80 y 90, los asientos se asignaban de adelante hacia atrás según el orden alfabético del apellido. En preparatoria, los estudiantes con apellidos que empezaban con A~D solían ser los aplicados, mientras que los que iban de U~Z tendían a ser los problemáticos. Puede que eso se debiera a que, al sentarse más cerca del profesor, recibían más atención.
• Quienes tienen iniciales Z y W son muy conscientes de las listas ordenadas alfabéticamente, pero sus amigos con iniciales A y B no tanto.
• En la universidad, los exámenes importantes y las tareas se manejan con números de candidato anonimizados. No es un anonimato total, pero le da cierta integridad al sistema.
• Al calificar, puede pasar que al principio no aparezca cierto error ni una respuesta inesperada, y cuando aparece más adelante haya que volver a exámenes anteriores para recalificarlos.
• Tener un orden aleatorio como configuración predeterminada podría ayudar a reducir sesgos. Aun así, el estudiante que sea calificado al final todavía podría salir perjudicado.
• Como el apellido de la esposa empieza con Y y ella odiaba quedar al final, decidieron poner primero el apellido del esposo para sus hijos, que empieza con E, unido con un guion. También eligieron nombres que empiezan con A y B para que aparezcan al principio al ordenar.
• En los libros de Diary of a Wimpy Kid se menciona que los niños con apellidos que van al inicio del alfabeto se sientan al frente del salón, reciben más preguntas y aprenden más.
• Un padre de un estudiante con apellido de finales del alfabeto comenta que, en la clase de su hijo, cuando el profesor revisa los proyectos por orden de apellido, a veces no alcanza a cubrir aproximadamente el 40% final. Pero no todos los estudiantes van activamente a buscar al profesor, así que eso puede traducirse en calificaciones más bajas.
• Hay quien se pregunta por qué Helen Wang investigó este tema.