OpenAI cierra discretamente su herramienta de detección de IA

• AI Classifier fue una herramienta lanzada para identificar textos escritos con IA generativa como ChatGPT, y dejó de operar después de aproximadamente medio año por su baja precisión
• El cierre no se anunció por separado, sino que solo se dio a conocer mediante una nota agregada a la publicación del blog donde se presentó originalmente la herramienta, y el enlace al clasificador ya no está disponible
• Incluso en su lanzamiento, OpenAI afirmó que este clasificador "no era completamente confiable"; solo identificaba el 26% de los textos escritos por IA y clasificaba erróneamente como IA el 9% de los textos escritos por personas
• Tenía limitaciones como menor confiabilidad en textos de menos de 1,000 caracteres, falsos positivos en textos escritos por personas y peor rendimiento fuera de los datos de entrenamiento
• Fue un ámbito que despertó especial interés en el sector educativo, preocupado por el uso de ChatGPT por parte de estudiantes para escribir ensayos; es importante reconocer los límites y el impacto de los clasificadores de texto de IA

---

Cierre de AI Classifier

• AI Classifier dejó de operar discretamente la semana pasada debido a su "baja precisión (low rate of accuracy)"
• La explicación no llegó mediante un nuevo anuncio separado, sino solo mediante una nota agregada a la publicación del blog donde se había anunciado originalmente la herramienta
• El enlace que llevaba al clasificador de OpenAI ya no está disponible

Contexto del lanzamiento y rendimiento inicial

• En enero, OpenAI lo anunció como una herramienta para detectar si un contenido fue creado con IA generativa como ChatGPT
• Se lanzó con la afirmación de que podía distinguir entre texto escrito por personas y texto escrito por IA, aunque incluso entonces se aclaró que "no era completamente confiable"
• Se publicaron métricas de una evaluación con un "challenge set" de textos en inglés
  • Identificó correctamente el 26% de los textos escritos por IA como "probablemente escritos por IA"
  • Clasificó erróneamente el 9% de los textos escritos por personas como escritos por IA

Limitaciones de AI Classifier

• Baja confiabilidad en textos de menos de 1,000 caracteres
• Clasificaba erróneamente textos escritos por personas como escritos por IA
• Los clasificadores basados en redes neuronales tenían bajo rendimiento en áreas fuera de sus datos de entrenamiento

Próximos pasos de OpenAI

• Está trabajando para incorporar feedback e investigando técnicas de procedencia (provenance) más efectivas para textos
• Prometió desarrollar y desplegar mecanismos que permitan a los usuarios identificar si contenidos de audio y video fueron generados por IA

Sector educativo y demanda de detección de IA

• Tras el lanzamiento de ChatGPT en noviembre, educadores expresaron preocupación por su posible uso indebido para la redacción de ensayos por parte de estudiantes
• Aunque reconoce que la identificación de textos de IA fue un tema importante de debate entre educadores, también subraya que es igual de importante comprender los límites y el impacto de los clasificadores de texto generado por IA en el aula
• Con la aparición casi diaria de herramientas de IA cada vez más sofisticadas, se formó una industria artesanal de detectores de IA (cottage industry)
• Aún no hubo respuesta a la solicitud de comentarios de Decrypt

[GN⁺]

Opiniones de Hacker News

• Me alegra que lo hayan hecho, pero obviamente debieron haberlo anunciado.
  Me sorprende que haya tanta gente en el ecosistema que crea que se puede determinar si algo fue escrito por IA con solo ver un texto de unas pocas frases. Lo más absurdo es que personas con autoridad realmente confían y actúan en función del dictamen de herramientas de “escrito por IA vs. escrito por humano” que, en la práctica, no pueden garantizar eso.
  Ojalá esto sirva como otro ejemplo de que no se puede determinar simplemente si una cadena de texto fue producida por un LLM o no.

  • En realidad es imposible. Incluso si existiera un clasificador que determine si un texto fue generado por IA, se podría acoplar ese clasificador detrás de un modelo generativo y entrenarlo para engañarlo, haciendo retropropagación desde la salida sí/no hasta la capa de entrada del modelo generativo. Así se podrían crear fácilmente textos que engañen a ese clasificador.
    Un modelo así está condenado al fracaso desde el inicio, a menos que sus parámetros se mantengan en secreto absoluto y nunca se filtren. Incluso si fueran secretos, eso significaría que solo podría engañar a quienes tienen acceso, y al resto no; al final, la contraparte también tendría incentivos para crear su propio modelo, y se convertiría en una carrera armamentista interminable.
    La verdadera respuesta debería ser que necesitamos mejores herramientas para determinar automáticamente si un contenido es bueno, sin importar si lo escribió un humano o una IA. Si eso se vuelve posible, sería de gran ayuda; e incluso si hubiera competencia, estarían compitiendo por crear contenido de mayor calidad.
  • La idea en sí no es buena. ChatGPT es, desde el principio, una herramienta cuyo objetivo es escribir de una manera indistinguible de la humana.
    La información que tiene un “detector” es extremadamente limitada, y el único criterio más o menos razonable es algo como el estilo. ChatGPT sí tiene cierto estilo particular, pero de ninguna manera es el único; y cuanto mejor se vuelva, por definición mejor escribirá en una variedad más amplia de estilos.
  • También circulan publicaciones sobre cómo marca como salida de IA textos escritos por humanos, es decir, falsos positivos. Dicen que pasa especialmente con algunas personas autistas. ¿No es tan inútil como un detector de mentiras?
  • Eliminar la herramienta no parece la mejor respuesta. Hacer desaparecer algo, en general, no ha sido una buena solución.
    Si el problema es que la gente la usa mal, entonces se parece más a que la herramienta no fue diseñada para los usos que la gente necesita. Por ejemplo, si el problema es usarla mal cuando hay muy pocas frases, se podría agregar una condición como un número mínimo de frases para asegurar un nivel mínimo de confianza.
    Lo mismo aplica a la forma de mostrar el significado. Si la gente no entiende estadística o matemáticas, se puede mostrar el significado de forma visual, con círculos o monedas. Quitar opciones no parece algo bueno, y menos aún eliminarlas juzgando cínicamente a las personas como si no merecieran tenerlas.
  • En relación con la parte de que “hay una cantidad sorprendente de gente que cree que se puede determinar si algo fue escrito por IA con solo unas pocas frases”, este informe publicado hoy resulta bastante desconcertante: https://gpai.ai/projects/responsible-ai/social-media-governa...
    Foundation AI Models Need Detection Mechanisms as a Condition of Release [pdf]

• Bien. Si no es confiable, su existencia es más perjudicial, porque da una falsa sensación de seguridad.
  Como ejemplo parecido, una pizzería de entregas a domicilio en la que trabajé sellaba las cajas con una etiqueta de seguridad para que los repartidores no las tocaran ni se comieran algo. Pero por razones logísticas, a veces se les olvidaba. Las cajas sin etiqueta empezaron a ser devueltas por los clientes porque les preocupaba que les hubieran robado el pepperoni, y al poco tiempo abandonaron el sistema.

  • Yo lo vería más como una falla en la capacitación del personal y, al contrario, daría un bono semanal al turno que no se olvidara de poner las etiquetas de seguridad.
    Es parecido a que, si se olvidan del sello de seguridad en un frasco de aspirinas, no dirías que van a eliminar todos los sellos porque alguien no selló un frasco durante la producción.

• Esta herramienta ha fomentado una enorme cantidad de acusaciones falsas en el ámbito académico. Mi esposa está haciendo un doctorado y a menudo me cuenta historias de profesores que acusan erróneamente a estudiantes de haber usado ChatGPT.

  • En Reddit también hay muchas historias de profesores de escuela que acusan injustamente a estudiantes de haber usado ChatGPT en sus tareas.
  • Algunos estudiantes de nuestra universidad afirmaron que sus trabajos estaban siendo calificados por un LLM. Lo argumentaban con base en los resultados de meter los comentarios de retroalimentación en un clasificador como el del OP.
  • No es un problema de esta herramienta en particular. En línea se venden cientos de “detectores de IA” que básicamente son charlatanería, y profesores y administradores escolares sobreexcitados seguirán pagando por ellos.
  • Estoy haciendo un doctorado y uso ChatGPT todo el tiempo.
  • Lo curioso es que incluso las salidas de GPT con una temperatura relativamente baja se clasifican como escritas por humanos de forma más consistente que los textos humanos.

• Por lo que escuché hace poco, algunos profesores están haciendo que los alumnos entreguen las tareas en Google Docs, para revisar el historial de cambios y ver si escribieron todo el texto ellos mismos o si solo pegaron un ensayo terminado y lo editaron
  Claro que un estudiante listo podría encontrar fácilmente una forma de transmitir la salida de GPT a Google Docs. Incluso podría hacer que parezca que va “editando” de vez en cuando
  A un estudiante astuto y poco ético casi no se lo puede detectar, sin importar qué obstáculos se pongan. Esto solo frena a los estudiantes que no son astutos

  • Es algo cercano a una prueba de trabajo para humanos
    Cualquiera podría crear un agente que escriba lentamente en Google Docs un texto generado por ChatGPT. Google también podría determinar la probabilidad de que un documento haya sido escrito por un humano, pero no lo hará por la misma razón por la que OpenAI descontinuó esta herramienta
    Alguien verá esta noticia o este hilo y creará un editor o evaluador así. Otra solución es grabar la pantalla mientras se escribe. La mejor solución, y la más difícil para los educadores, es no pedir ni calificar cosas que un robot puede escribir mejor que la mayoría de los humanos
  • Este método será difícil de romper. En la práctica, es un CAPTCHA de una hora. Se pueden observar los intervalos entre pulsaciones de teclas, los movimientos del mouse, los patrones de edición, etc. No creo que un LLM logre burlar con este enfoque la forma de clasificar escritura humana
  • Parece que bastaría con mirar el texto de ChatGPT mientras se lo vuelve a tipear y, de vez en cuando, reescribir alguna frase
  • Hay una forma: un examen con límite de tiempo y supervisor
    Aunque no es muy buena. Los proyectos hechos en casa evalúan otro conjunto de habilidades, y algunas personas rinden mejor en una modalidad y otras en otra. Pero la realidad es la realidad
  • Ni siquiera hace falta hacerlo tan complicado. Solo empiezas a escribir el ensayo como siempre y luego pegas la salida de GPT de forma normal
    Si hay más de 30 alumnos, es poco probable que el profesor revise el historial de cambios uno por uno

• Llegué exactamente a la misma conclusión de “medio año después, la herramienta murió porque no cumplía el propósito para el que fue diseñada” cuando probé detectores de imágenes
  La detección automática actual no es muy confiable. Probé AI or Not de Optic, que presume 95% de precisión, con algunas de mis imágenes. Marcó correctamente como generadas por IA las imágenes que contenían contenido de IA, pero también marcó como generadas por IA alrededor del 50% de mis composiciones hechas con fotos de stock
  Si la IA generativa no fuera un blanco en movimiento, sería optimista y pensaría que estas herramientas mejorarían hasta volverse muy confiables. Pero la realidad no es así, y dudo que esto llegue algún día a ser una solución confiable
  Tomado de mi artículo sobre arte con IA: https://www.mindprison.cc/p/ai-art-challenges-meaning-in-a-w...

  • ¿No es posible que muchas de las fotos de stock que usaste como originales en realidad hayan sido imágenes generadas por IA?

• En mi experiencia, cuando una respuesta de ChatGPT era clasificada como generada por IA por herramientas como ZeroGPT, bastaba con cambiar un poco el prompt e indicarle que no sonara como escrita por IA para evadir la detección con una probabilidad muy alta
  Además, si le pedías que generara la respuesta con el estilo de algún escritor famoso, a menudo aparecía como 100% escrita por un humano en la mayoría de los modelos de detección de IA

  • Hace medio año esto no funcionaba. Incluso el texto reescrito seguía siendo acusado de haber sido generado por IA
    Las actualizaciones recientes cambiaron mucho el tono de ChatGPT, así que ahora parece no aparecer en el radar de detección

• Bien. También creo que poner marcas de agua en las salidas de IA es un callejón sin salida. Mejor asumir que todo contenido es falso hasta que se demuestre lo contrario
  Si necesitas fotos confiables, parece mejor firmar criptográficamente la imagen a nivel de hardware en el momento de tomar la foto. Poner marcas de agua voluntarias en contenido de IA no tiene ningún sentido

  • Parece que podría funcionar para equipos especiales como las cámaras corporales de la policía. Pero si todos los fabricantes de cámaras del mundo tuvieran que administrar claves e instalarlas de forma segura en los sensores, en cuestión de semanas aparecerían claves filtradas
  • Aquí ni la criptografía nos salva. En unos meses la gente encontrará la forma de enviar imágenes de IA al hardware criptográfico para que las firme. Solo será otra capa de seguridad falsa

• Trabajo en la industria del SEO y hablé con varios “pesos pesados” que creían que se estaba preparando una actualización de IA de Google. Tal como están las cosas, en un futuro cercano los resultados de búsqueda quedarán completamente invadidos por contenido de IA
  A largo plazo me parece una jugada tonta, pero actualmente existen detectores de clasificación de IA que identifican con bastante éxito ChatGPT y otros modelos en textos largos. Originality.ai es un ejemplo representativo
  El método es bastante simple: generar una enorme cantidad de ejemplos con modelos principales como ChatGPT, GPT-4 y LLaMA, y luego crear un modelo de clasificación
  La debilidad evidente de esta estrategia es que el ajuste fino cambia el estilo de salida. Ese mismo “peso pesado” dijo que logró evadir el detector de Originality.ai con su propio método de ajuste fino, y que el proceso le tomó meses de pruebas y miles de dólares

  • Google debería dar un giro de 180 grados y posicionar solo los sitios web más concisos que respondan la consulta de búsqueda
    El estado actual de Google es un desastre. Todos los artículos tienen 100 párrafos, y la respuesta que buscas está enterrada por la mitad para aumentar el tiempo de permanencia y el desplazamiento, con el fin de satisfacer al algoritmo
    Estoy esperando que Google hunda por completo todos esos sitios web de spam

• Muchos comentarios aquí parecen asumir que clasificar de manera efectiva texto generado por humanos y texto generado por IA se volverá imposible. Esos intentos pueden ser neutralizados de muchas formas en un juego interminable del gato y el ratón
  Si aceptamos eso, el desafío que anticipo es este
  Estamos apenas al inicio de la revolución de la IA, y para que los LLM se vuelvan más sofisticados y potentes en el futuro, harán falta datos de entrenamiento de alta calidad generados por humanos o seleccionados por humanos. Es probable que la escala sea tan grande que la selección manual, la depuración y el control de calidad resulten difíciles
  Y no cabe duda de que, de aquí en adelante, todos los medios serán bombardeados y llenados de spam con contenido generado por IA
  Entonces, para entrenar los LLM del futuro y liberar su potencial, ¿cómo podremos filtrar los datos reales del ruido generado por IA?
  Este problema me viene rondando desde hace tiempo y, a falta de una mejor expresión, antes lo llamé provisionalmente contaminación de datos. Me interesan otros puntos de vista

  • ¿No bastaría con curar el contenido? Si se determina que el contenido es bueno, ¿importa si lo creó un LLM?

• La única forma de impedir que la IA responda preguntas en plataformas digitales sería crear una base de datos de aprendizaje automático con el estilo de escritura en teclado acumulado durante todo el tiempo que un estudiante pasa en una institución.
  Buena suerte consiguiendo esa aprobación. Incluso para que los departamentos puedan acceder a datos de calificaciones o demográficos, los grupos operativos tienen que pasar por un proceso de comités de tres niveles.
  ¯_(ツ)_/¯ Entonces no quedará más que usar papel. Es hora de volver a practicar OCR.

  • Si la IA puede replicar patrones lingüísticos hasta el punto de que ni humanos ni modelos puedan detectarlo, parece más fácil crear un modelo de aprendizaje automático que imite de forma indetectable el estilo, el ritmo y la cadencia naturales al escribir en teclado.
    Pero quienes tienen más datos reales sobre estilos de escritura en teclado son Google, Microsoft, Meta y todas las empresas que operan SaaS de documentos, correo electrónico y mensajería. Me imagino que muchos estudiantes escriben sus ensayos en lugares como Google Docs o Word, y luego los entregan como archivos adjuntos o los copian y pegan en un cuadro de texto.