¿Funcionan los detectores de IA? Estudiantes enfrentan acusaciones injustas de hacer trampa

Detectores de IA que acusan erróneamente a estudiantes de hacer trampa: con grandes consecuencias

• Cerca de dos tercios de los docentes reportan que usan regularmente herramientas para detectar contenido generado por IA. A esta escala, incluso una tasa pequeña de error puede acumularse rápidamente.

El caso de Moira Olmsted

• Moira Olmsted, quien hizo una pausa en la universidad al inicio de la pandemia para formar una familia, deseaba profundamente volver a estudiar.
• En 2023 se inscribió en un curso en línea de Central Methodist University, pero recibió un 0 porque una herramienta de detección de IA determinó que su tarea posiblemente había sido generada por IA.
• Olmsted afirmó que, como está dentro del espectro autista, escribe de manera formal y por eso podría ser confundida con texto generado por IA.
• La calificación finalmente fue modificada, pero recibió una severa advertencia de que, si volvía a ocurrir, sería tratado igual que un plagio.

Problemas de precisión de los detectores de escritura con IA

• Los mejores detectores de escritura con IA son muy precisos, pero no son perfectos.
• Businessweek probó GPTZero y Copyleaks con una muestra de 500 ensayos de admisión universitaria entregados justo antes del lanzamiento de ChatGPT.
• Estos servicios marcaron erróneamente entre 1% y 2% de los ensayos como probablemente escritos por IA.
• Los estudiantes afectados por estos falsos positivos tenían más probabilidades de ser neurodivergentes, usuarios de inglés como segunda lengua, o personas entrenadas para usar vocabulario simple y un estilo mecánico.
• Los servicios de detección de IA a veces también pueden ser engañados por herramientas automatizadas diseñadas para disfrazar la escritura de IA como si fuera humana.

El caso de Ken Sahib

• Ken Sahib, un estudiante multilingüe que pasó la mayor parte de su infancia en Italia, dijo que fue “abrumador” recibir un 0 en una tarea de resumen de lectura de un curso de redes en Berkeley College.
• El profesor afirmó que había sido generado por IA, diciendo que todas las herramientas daban el mismo resultado.
• Sahib finalmente aprobó la clase, pero el incidente deterioró su relación con el profesor.

Problemas derivados del uso de detectores de IA

• Aunque algunos educadores están retrocediendo en el uso de detectores de IA y tratando de integrar la IA en el proceso educativo, muchas universidades y preparatorias todavía usan estas herramientas.
• Como resultado, en las aulas se ha extendido una ansiedad y paranoia generalizadas ante acusaciones falsas.
• Los estudiantes universitarios dicen que dedican mucho tiempo a defender la autenticidad de su trabajo, lo que deteriora su experiencia de aprendizaje.
• También temen usar servicios comunes de asistencia de escritura con IA y correctores gramaticales que se comercializan específicamente para estudiantes.

Startups de detección de IA

• Los detectores de escritura con IA suelen fijarse en la perplexity, que mide la complejidad de las palabras en una entrega.
• Las empresas de detección de IA enfatizan que sus servicios no deben ser tratados como juez, jurado y ejecutor, sino como un dato más para orientar e informar a los docentes.
• Copyleaks está dando a los estudiantes acceso a su servicio para que puedan ver su propia puntuación de IA.
• Turnitin está ampliando su portafolio de productos de IA con servicios que ayudan a los estudiantes a mostrar el proceso de cómo estructuraron sus tareas de escritura.

Cómo están respondiendo los estudiantes

• Después de ser señalada, Olmsted se obsesionó con evitar otra acusación. Grababa en pantalla cómo hacía sus tareas de escritura en su laptop y trabajaba en Google Docs para rastrear cambios y crear un rastro documental digital.
• Nathan Mendoza, estudiante de tercer año de ingeniería química en UC San Diego, usa GPTZero para revisar previamente sus trabajos. Dice que pasa la mayor parte del tiempo ajustando la redacción para no ser marcado erróneamente por detectores de IA.
• Otros estudiantes aceleraron este proceso usando servicios de “humanización de IA” que pueden reescribir automáticamente sus entregas para pasar los detectores de IA.

Servicios de “humanización de IA”

• Según una prueba de Bloomberg con Hix Bypass, un ensayo escrito por un humano que GPTZero etiquetó erróneamente como 98.1% IA redujo drásticamente esa proporción a 5.3% después de ser modificado por este servicio.

Problemas con el uso de herramientas de apoyo a la escritura como Grammarly

• Los estudiantes han comenzado a replantearse el uso de herramientas populares de apoyo a la escritura en línea como Grammarly.
• Bloomberg descubrió que si se usa Grammarly para “mejorar” un ensayo o hacer que “suene académico”, un trabajo que originalmente pasaba como 100% escrito por humano podía pasar a ser considerado 100% escrito por IA.
• Kaitlyn Abellar, de Florida SouthWestern State College, dijo que eliminó de su computadora los plugins de programas como Grammarly.

Un sistema actual que no es sostenible

• Para algunos educadores y estudiantes, el sistema actual se siente insostenible debido a la carga que impone a ambos lados del escritorio y porque la IA seguirá existiendo.
• Adam Lloyd, profesor de inglés en University of Maryland, dijo: “La inteligencia artificial será parte del futuro, nos guste o no”, y agregó que “aislar la IA del aula o tratar de impedir que los estudiantes la usen es una mala idea”.

Opinión de GN⁺

• El problema de los falsos positivos de las herramientas de detección de IA puede afectar gravemente, en particular, a estudiantes neurodivergentes, aprendices de inglés y quienes usan un estilo de escritura simple. Las instituciones educativas deben considerar a estos grupos y interpretar con cautela los resultados de detección de IA.
• La carrera armamentista entre detectores de IA y servicios de humanización de IA daña la confianza entre educadores y estudiantes, y ofrece pocos beneficios educativos. Explorar formas de integrar la IA al proceso educativo podría ser un mejor enfoque a largo plazo.
• En lugar de prohibir herramientas como Grammarly para mejorar las habilidades de escritura de los estudiantes, vale la pena considerar cómo usarlas pedagógicamente. Por ejemplo, el profesorado podría ofrecer una lista de herramientas recomendadas directamente o guiar sobre formas deseables de uso.
• Es positivo que empresas de detección de IA como Copyleaks y Turnitin estén intentando desarrollar servicios más amigables para los estudiantes. Sin embargo, en vez de depender excesivamente de estas herramientas, es preferible abordar los casos sospechosos mediante una comunicación abierta con el alumnado.
• Para prepararse para un futuro en el que la convivencia entre IA y humanos será inevitable, es importante enseñar a los estudiantes el uso ético de las herramientas de IA y fortalecer sus capacidades de pensamiento creativo y crítico. Para ello, se requieren cambios innovadores en los planes de estudio y en los métodos de evaluación.

[GN⁺]

Comentarios de Hacker News

• Con base en 30 años de experiencia enseñando matemáticas en educación superior, en los exámenes remotos las trampas están por todas partes. La solución sería exigir exámenes presenciales y no permitir el uso de tecnología, pero entonces los estudiantes no se inscribirían en las clases. Creo que el consejo de educación superior debería hacerlo obligatorio para todos los cursos. Sin embargo, los exámenes presenciales por sí solos no bastan. Los estudiantes se han acostumbrado a hacer tareas para aprobar más que para aprender, y las trampas van en aumento. La educación K-12 también necesita cambiar.

• Como la IA llegó para quedarse, necesitamos nuevas formas de evaluar el desempeño estudiantil. Antes se prohibían las calculadoras en los exámenes porque no se podían usar, pero ahora vivimos en una época en la que se puede tener una calculadora disponible 24/7. Hay que adaptarse al cambio y decidir como sociedad cómo responder.

• El problema es que no se le explica al estudiante por qué la IA marcó su trabajo. Un algoritmo debería poder explicar exactamente por qué marcó cierto trabajo. Las soluciones actuales basadas en IA no pueden hacerlo, así que no son adecuadas.

• La maestra de un estudiante advirtió que iba a revisar todos los ensayos con software de detección de IA, pero resultó que ese mismo aviso había sido generado por IA.

• Como consultor que trabaja en un gran hospital universitario, uso ChatGPT para hacer mi inglés más conciso y más orientado a negocios. Puede que los detectores de IA funcionen, pero no son tan útiles ni como un corrector ortográfico. La IA no es más que un modelo de lenguaje grande y, de hecho, ni siquiera es un modelo. Los docentes deberían ser buenos detectores de mentiras.

• Si la detección de IA no es 100% precisa, entonces no creo que sea apropiada para decidir el futuro de millones de estudiantes y jóvenes. Hay que alejarse de la tecnología o del formato de ensayo. Deben cambiar los criterios para medir el dominio de un tema.

• Identificar trabajo generado por IA puede ser fácil para una persona, pero es difícil programarlo en una computadora. En un trabajo anterior, al lidiar con detectores de plagio, me di cuenta de lo fácil que era engañarlos.

• Es contradictorio que un docente use detectores de LLM para reprobar a un estudiante. El docente acusa al estudiante de no entender la tarea, pero el propio docente tampoco entiende la decisión de la herramienta y evade la responsabilidad.

• En la escuela de mis hijos implementaron escáneres de armas impulsados por IA, pero identificaban como arma las laptops Lenovo entregadas por la propia escuela. Compran productos de IA y confían en ellos, pero no funcionan bien.

• Sorprende que la gente haya llegado a confiar en los algoritmos. No saben cómo funcionan ni pueden explicarlos, pero creen que simplemente funcionan. Si el sistema te marca por hacer trampa, no puedes hacer nada. Hay mucha gente que no asume responsabilidad. Antes, aunque te sospecharan de hacer trampa, no importaba si no podían probarlo. Pero ahora ya no hace falta probar nada, porque creen que el sistema existe.