No es simplemente X, es Y
(mail.cyberneticforests.com)- La construcción de contraste negativo "It's not X, it's Y" que los LLM usan con frecuencia es originalmente un recurso retórico útil para establecer contraste y reconfigurar supuestos previos
- Por el uso excesivo en modelos recientes, esta construcción quedó estigmatizada como mala escritura, pero el valor de un recurso retórico cambia según el contenido que vehicula
- Detectores de IA y herramientas como Grammarly buscan este tipo de patrones y provocan la paradoja de hacer que los humanos vuelvan a escribir para que las máquinas escriban como humanos
- Se señala a RLVR (aprendizaje por refuerzo con recompensa verificable) como una causa de la expansión de esta construcción, ligada a la forma en que se refuerza el lenguaje usado por el modelo cuando llega a la respuesta correcta
- Si los propios patrones lingüísticos pasan a ser objeto de evaluación, entonces, como en la ley de Goodhart, el lenguaje deja de ser buen lenguaje; hace falta pensamiento crítico en vez de depender del juicio de las máquinas
La construcción de contraste negativo y la reacción en su contra
- La construcción de negative parallelism (paralelismo negativo) que atrae a los LLM sirve para establecer contraste, y es especialmente útil al reconfigurar supuestos, como en "crees que es esto, pero en realidad es aquello"
- Esta construcción abunda en redes sociales, sobre todo en LinkedIn, y ha provocado rechazo en medio de una guerra contra la producción automatizada de lenguaje
- El uso de em dash, palabras como delve, quietly y genuinely, o listas de tres elementos suelen verse como señales sospechosas de un bot
- Por el uso excesivo en modelos recientes, mucha gente la ha clasificado como mala escritura, pero la frase de JFK, "No preguntes qué puede hacer tu país por ti; pregunta qué puedes hacer tú por tu país", usa la misma técnica, y nadie la llama escritura perezosa
- Un recurso retórico puede ser perezoso o inspirador según lo que contenga
La paradoja de la producción automatizada de lenguaje y las herramientas de detección
- Los detectores de IA dicen buscar estos patrones para proteger de las cazas de brujas, pero si uno mete su texto en Grammarly, este analiza los patrones de palabras que un detector de IA marcaría y propone correcciones
- Eso equivale a darle a Grammarly permiso para escribir en tu lugar y perder el ritmo y la intención del texto
- En una sección, Grammarly señaló 27 expresiones como candidatas a corrección
- Marcó "automated language production" como 11 veces más probable de ser IA y sugirió reemplazarlo por "against mechanized language synthesis"
- Marcó "align with" como 43 veces más probable de ser generado por IA y sugirió que un humano usaría "corresponds"
- Pequeñas sugerencias se acumulan hasta producir un texto que uno no eligió; la máquina que intenta sonar humana termina reemplazando la voz humana
- También se pagaron $20 a otra empresa de detección de IA, Pangram, para confirmar antes de enviar un artículo que no había sido generado por IA
- No para saber si uno mismo no lo escribió, sino para pagar por la notificación de que no sería marcado; eso se describe, en los hechos, como extorsión (extortion)
- Pangram clasifica la autenticidad en cuatro niveles: high, very likely, somewhat likely y human
Una cultura hostil al razonamiento y el post-training
- El impulso de entender a las máquinas lleva a mirar sus datos de entrenamiento, pero esos datos ya no son "simplemente la web"; la web es solo materia prima y luego pasa por un procesamiento intensivo
- El post-training optimiza el modelo para que cumpla el propósito con el que fue diseñado
- RLHF (aprendizaje por refuerzo con retroalimentación humana): personas ordenan respuestas por preferencia y el sistema enfatiza ese tipo de respuestas
- RLVR (aprendizaje por refuerzo con recompensa verificable): más extraño, y sospechoso de explicar por qué la construcción "It's not X, it's Y" aparece tan seguido
- Si este lenguaje se descarta como perezoso, se dificulta entender por qué aparece por todas partes y se termina confundiendo un marco poderoso para pensar con la capacidad de pensar del modelo
- Es atribuirle al cómputo lo que hizo el lenguaje
Cómo funciona RLVR
- RLVR no funciona vigilando palabras para activar subprocesos, sino que, como un modelo general, aprende y luego predice tokens
- La predicción de tokens arma una lista de candidatos según la distribución matemática de los datos de entrenamiento y los ordena por probabilidad a la luz de las palabras anteriores
- RLVR hace que el modelo escriba el proceso mediante el cual resuelve un problema matemático y llega a la solución, reproduciendo el lenguaje que usamos cuando pensamos en voz alta
- Cuando llega a la respuesta correcta, se refuerza el lenguaje que más usó durante ese proceso en el modelo final; eso es parte de lo que la industria llama reasoning (razonamiento)
-
La analogía del "perro raro"
- Se plantea una situación en la que, con el teléfono apagado, una amiga pregunta: "¿Qué día fue que vimos a ese perro raro?"
- "Fue el jueves" → amiga: "No, el jueves yo estaba de viaje" → "Entonces fue el miércoles, lo vimos camino a la fiesta de cumpleaños de tu amigo" → amiga: "Sí, pero la fiesta fue el viernes, así que lo vimos el viernes"
- Ambas personas llegan a través del lenguaje a una respuesta correcta que podría verificarse con fotos; la primera intuición ("jueves") corresponde a esa primera conjetura en la que antes se detenía el modelo
- A diferencia de dos personas con memoria y experiencia reales, el modelo extiende el lenguaje cada vez más y reproduce patrones de razonamiento; no delibera a través del lenguaje, sino que recrea la deliberación dentro del lenguaje
- Se plantea una situación en la que, con el teléfono apagado, una amiga pregunta: "¿Qué día fue que vimos a ese perro raro?"
- Palabras de alta entropía (high-entropy) como "suppose…", "because", "consider", "alternatively" y "wait" disparan pasajes especulativos más largos
- Llevan a un lenguaje que introduce contraste, excepción y abstracción, y si ayudan a llegar a la respuesta correcta en un problema matemático, se refuerzan para aparecer más seguido
Por qué razonamos
- El punto de una conversación como la del "perro raro" no es identificar una fecha en el calendario, sino abrir la evocación, reconstruir recuerdos, saborear el contexto y profundizar el vínculo entre amistades
- La definición de razonamiento usada en los LLM supone que el punto de una pregunta es obtener una respuesta, que esa respuesta es verificable y que no se pierde nada con una clausura inmediata
- Eso afecta la escritura real: cuando se usa un modelo de lenguaje para prototipar pensamiento rápidamente, se pierde la apertura a la duda
- La ambigüedad, la duda y la incertidumbre son, en ciertas formas de pensamiento, más importantes que una respuesta inmediata
- Surge la pregunta de si los detectores de IA marcan un texto como generado por IA porque sigue patrones estructurales del razonamiento; tanto Pangram como los modelos de razonamiento detectan patrones estructurales de cómo los humanos escriben mientras razonan
- El modelo de Pangram se entrenó con datos anteriores a 2021 y luego insertó en el entrenamiento versiones generadas por IA del mismo texto
- Si se avergüenza públicamente a alguien por parecer una máquina, la gente empezará por miedo a evitar las estructuras que ha interiorizado como "escritura de IA", transmitiendo la señal de que el lenguaje para razonar debe ser vigilado
- Al final, eso nos hace esquivar estructuras que los modelos aprendieron de nosotros, es decir, herramientas eficaces para argumentar, y nos lleva a guardar las herramientas del pensamiento crítico justo cuando más se necesitan
Cuando medir se vuelve el objetivo
- En el Reino Unido se probó una herramienta de evaluación de ensayos basada en IA comparándola con correctores humanos
- El sistema daba puntajes altos en función de la longitud del ensayo, la amplitud del vocabulario y la complejidad sintáctica, factores que muchas veces no tienen relación con los estándares académicos
- Esas características se parecen a rasgos del razonamiento de IA basado en RLVR; es decir, un LLM calificando a humanos según los criterios con los que ingenieros evalúan a los LLM
- La ley de Goodhart en economía: "Toda regularidad estadística observada tiende a colapsar una vez que se la somete a presión con fines de control"; es decir, cuando una medición se vuelve el objetivo, deja de ser una buena medición
- Aplicado a los LLM: "cuando la medición del lenguaje se vuelve el objetivo, deja de ser buen lenguaje"
- Es peligroso evaluar patrones lingüísticos por encima del contenido, y tanto la generación como la detección empujan en esa dirección; la calificación automática queda en medio
- Si se recompensa no el acto de razonar sino la forma del razonamiento, esa forma se vuelve más tentadora y más común; si se castiga la forma, se corre el riesgo de castigar el razonamiento mismo, así que no hay que delegar esto al juicio de las máquinas y hay que pensar críticamente en todos los casos
En contra del pensamiento automatizado
- No se acepta la vieja lógica de que "si no hiciste nada malo, no tienes nada que temer"
- Desde 2018 se cita una precisión de 99.8% para sistemas automatizados de vigilancia, pero según Arvind Narayanan esa cifra se acumula cada vez que se usa a nivel de artículo
- El resultado es que hasta el 10% de los estudiantes universitarios podría ser acusado falsamente; si todo texto pasa por inspección de IA, los falsos positivos ocurrirán a una escala mucho mayor
- Estos modelos concentran poder real y las empresas prometen razonar por nosotros
- Cuando alguien pasa una frase de dos líneas por un intérprete de IA, publica el resultado en línea y dice "miren, es un plagiador", se está normalizando algo peligroso
- La cultura de reescritura y autocensura bajo presión de detección de IA es lo opuesto a proteger la expresión humana y hay que resistirse a normalizar la confianza en la capacidad de las máquinas para declarar culpabilidad
- Si escribir con IA, en el peor de los casos, es la industrialización de la mente, entonces la detección de IA, en el peor de los casos, se convierte en un sistema de vigilancia del pensamiento
1 comentarios
Comentarios en Lobste.rs
Si un sistema automático rechazara una tesis de forma automática solo porque evaluó el texto como parecido a IA, sería una pesadilla, y me alegra que en mi trabajo no exista ese problema
Me gustó el punto de que el lenguaje de razonamiento no solo hace que la salida de un LLM parezca fluida y convincente, sino que además la hace funcionar en primer lugar, o al menos funcionar mejor. Estas técnicas también funcionan bien con humanos, y por eso métodos como el análisis de los 5 porqués son efectivos
Aun así, creo que hay que seguir detectando los textos flojos y de baja calidad. Se puede hacer sin centrarse solo en la estructura o en recursos de estilo. En mi caso, normalmente empiezo a leer con buena fe, y si después de unos párrafos todavía me cuesta captar el punto central del autor, ahí empiezo a buscar señales típicas, y bastante seguido las encuentro
Es un texto interesante, pero en la práctica distinguiría entre el texto para razonar sobre algo y el texto final que se escribe para comunicarlo una vez terminado ese razonamiento
En el ejemplo, durante el proceso de pensar uno puede decir “era miércoles, no jueves”, pero al mandarle un mensaje a otra persona terminaría escribiendo simplemente “era jueves”
Por eso, en la academia o en el trabajo, productos reales como informes o correos no usarían el lenguaje con el que uno razona sobre el tema, y si están bien escritos no deberían parecer de un LLM. Un borrador o una nota personal sí podrían, pero no un envío final
Suelo ser bastante crítico con la IA generativa, pero creo que sí puede ser útil en la redacción académica para pulir textos de investigadores cuyo idioma nativo no es el inglés
Eso sí, hace falta un borrador casi terminado y bien estructurado; si solo se le pasan viñetas sueltas, lo que sale son alucinaciones o expresiones rígidas y poco naturales
En los últimos años he revisado muchos artículos de baja calidad provenientes de países como China o India, así que noto que he desarrollado cierto sesgo hacia expresiones idiomáticas de inglés no nativo que usan con frecuencia autores de esos países. Lo lamentable es que algunos de los mejores artículos que he evaluado también venían de esos países
En ese sentido, dado que el inglés se ha convertido en el idioma estándar de la academia, los LLM también podrían ayudar a estandarizar un nivel alto de lenguaje y a reducir los sesgos en el proceso de revisión
Las instituciones con muchos empleados cuyo idioma nativo no es el inglés suelen tener asesores de redacción, que no solo producen buenas frases sino que, más importante aún, verifican que lo escrito coincida con la intención del autor. Si eso se deja en manos de un LLM, el significado puede cambiar sutilmente y, por errores fácticos o formulaciones imprecisas, al final puede traerle peores resultados al autor
Las instituciones que no ofrecen apoyo lingüístico están creando un entorno desfavorable para sus empleados, y los investigadores independientes a menudo ya están en desventaja por otras razones
Hasta cierto punto, el sesgo inconsciente hacia expresiones propias de hablantes no nativos es difícil de evitar, pero cuando revisaba artículos solía dar bastante margen de buena fe si los problemas de idioma eran evidentes, y dejaba como observación de corrección las partes que consideraba poco claras por cuestiones de lenguaje. Eso hay que revisarlo y controlarlo en uno mismo
Un uso torpe del idioma puede nublar en cierta medida las ideas, la metodología y los resultados, pero un LLM puede arruinarlos convirtiéndolos en contenido contrario a los hechos, como de hecho vi en artículos que me tocó revisar, y al final eso puede requerir refutaciones y correcciones o incluso un rechazo inmediato. Como hay mejores maneras de abordar este problema, no se debería recomendar el uso de LLM
Además, sigue siendo una cuestión abierta si esto es plagio o no. Es una discusión mucho más grande, y muchas veces ni siquiera hay acuerdo sobre los hechos básicos. Algunas conferencias o revistas prohíben la asistencia de LLM por esta misma razón, así que también hay que respetar esas normas
Irónicamente, las empresas no tardaron en monetizar esa histeria y ganar dinero usando LLM para dictaminar si un texto fue escrito por un humano real, convirtiéndose en árbitros de lo que se considera escritura aceptable
El autor tiene razón al señalar que todo este problema desaparecería si la gente dejara de mirar perezosamente solo el estilo y empezara a involucrarse de verdad con el contenido