- La ablación semántica (Semantic ablation) es un fenómeno de erosión algorítmica en el que la IA elimina gradualmente la densidad semántica propia de un texto
- Esto es un subproducto estructural de la decodificación codiciosa (greedy decoding) y del aprendizaje por refuerzo con retroalimentación humana (RLHF), que descarta expresiones raras y precisas para converger hacia un lenguaje promedio
- El ajuste de la IA para “seguridad” y “utilidad” refuerza esta tendencia, suprimiendo intencionalmente la fricción lingüística atípica y provocando una amputación de la intención y la individualidad
- Cuanto más se pule un texto repetidamente con IA, más cae de forma abrupta la diversidad léxica (type-token ratio), mientras metáforas, tecnicismos y estructura lógica se van aplanando por etapas
- Como resultado, la complejidad del pensamiento humano se sacrifica en nombre de una estética algorítmica de la “fluidez”, y la sociedad en conjunto está cayendo en una “carrera hacia el medio”
El concepto de ablación semántica
- La ablación semántica se refiere a la erosión algorítmica de información de alta entropía (high-entropy)
- No se define como un error, sino como un producto estructural de la decodificación codiciosa y del proceso de RLHF
- Para maximizar la probabilidad, el modelo converge hacia el centro de una distribución gaussiana, descartando tokens raros, precisos y complejos
- Este fenómeno se agrava a medida que los desarrolladores refuerzan el ajuste para “seguridad” y “utilidad”
- La fricción lingüística atípica se considera un “riesgo”, lo que produce una amputación semántica no autorizada
- Como resultado, en la búsqueda de una baja perplejidad (perplexity) se produce la destrucción de señales distintivas
El proceso de erosión en la escritura con IA
- El proceso por el que la IA “pule” un borrador en realidad se describe como la ejecución de la ablación semántica
- La IA detecta zonas de alta entropía, es decir, las partes que contienen ideas originales, y las sustituye por los tokens generales con mayor probabilidad
- La precisión áspera del texto original desaparece y se convierte en una capa exterior pulida pero vacía
- Este fenómeno puede medirse como decaimiento de la entropía (Entropy Decay)
- Cuanto más se refina repetidamente un texto con IA, más se derrumba la diversidad léxica (type-token ratio)
- Como resultado, aparece un proceso de tres etapas de ablación semántica
Las 3 etapas de la ablación semántica
- Etapa 1: limpieza metafórica (Metaphoric cleansing)
- La IA considera las metáforas atípicas o las imágenes sensoriales como “ruido” y las reemplaza por expresiones seguras y trilladas
- Se elimina la fricción emocional y sensorial
- Etapa 2: aplanamiento léxico (Lexical flattening)
- Los términos especializados y el vocabulario técnico preciso se sacrifican en nombre de la “accesibilidad”
- Al cambiar un token raro (1/10,000) por un sinónimo común (1/100), se diluyen la densidad semántica y la gravedad lógica
- Etapa 3: colapso estructural (Structural collapse)
- La lógica compleja y no lineal se fuerza hacia estructuras predecibles de baja perplejidad
- Se eliminan la implicación y el matiz, y solo queda una cáscara gramaticalmente perfecta pero intelectualmente vacía
Resultados y metáforas
- Este tipo de resultado se describe como un “JPEG del pensamiento”
- En apariencia es consistente y fluido, pero ha perdido la densidad de datos y el significado original
- Si una “alucinación (hallucination)” es el error de crear algo que no existe, la ablación semántica es el proceso de destruir algo que sí existe
- La complejidad del pensamiento humano se sacrifica en el altar de la fluidez algorítmica
- La sociedad cae cada vez más en una “carrera hacia el medio (race to the middle)”, construyendo un mundo gramaticalmente correcto pero vacío
Advertencia y conclusión
- Si se aceptan los resultados de la IA sin reconocer la ablación semántica, se terminará normalizando la corrupción del significado
- Si esta erosión continúa, existe el riesgo de que olvidemos incluso qué significa la “sustancia”
- Por ello, es importante nombrar y tomar conciencia del concepto de ablación semántica
2 comentarios
Supongo que dejar errores tipográficos o escribir en minúsculas para que no parezca un texto escrito por IA podría verse como un acto de aumentar deliberadamente la entropía.
Opiniones de Hacker News
Parece señalar muy bien algo que mucha gente siente cuando rechaza los consejos de reescritura de la IA
Cuanto más pule la IA una frase, más desaparece el filo del texto, y al final termina sin decir nada
La personalidad humana se borra y se convierte en un estilo pulido pero plano
Pero justamente esos bordes ásperos, esas expresiones inesperadas, son la parte que despierta la atención del lector y se mete en su pensamiento
Mucha gente no escribe bien, así que la IA les produce frases más claras y sin errores
Pero esos textos jamás son grandiosos
Incluso si intenta imitar el estilo de un autor famoso, siempre suena raro en algún punto
Puede hacer más eficientes las partes aburridas, como los correos, pero lo realmente interesante pasa en los “bordes”
La escritura común se puede automatizar, pero la expresión creativa sigue siendo territorio humano
Cuando falta pericia técnica, se llena cada vez más de palabras vagas, términos de moda y metáforas
Quizá por eso a líderes y políticos les gusta tanto el contenido generado por IA
Repite mucho, tiene demasiadas frases innecesarias y no sabe expresarse con concreción
Al construir varios pipelines multi-agent, vi un fenómeno interesante
Si pasas por cuatro etapas —“resumen → expansión → revisión → pulido”—, hacia la tercera etapa todas las frases ya tienen el mismo ritmo y vocabulario
Incluso haciendo que siguiera consultando el texto original, había un límite
La causa está en la propia estructura de RLHF (aprendizaje por refuerzo con retroalimentación humana)
Como se prefieren expresiones “claras, seguras y aceptables”, las frases sorprendentes reciben penalización
Al final, el modelo converge hacia resultados promedio
Los modelos base son mucho más extraños y creativos, pero los modelos afinados eliminan deliberadamente la personalidad
Por eso, cuando RLHF ya está aplicado con fuerza, es difícil arreglarlo solo con prompts
En cambio, separo las tareas: las que deben preservar la voz se las dejo a modelos menos tuneados, y la extracción estructural o la clasificación a modelos con RLHF
De todos modos, coincido con el análisis
Aunque sería difícil conservar la personalidad propia del texto original
Quizá al final sea un problema difícil de resolver solo con LLMs
Últimamente se oye la voz de la IA por todo internet
Blogs, noticias, obituarios, YouTube: todo tiene un tono parecido
A veces incluso imita la voz de físicos famosos
En lo personal, me deprime porque se siente como si le estuvieran sacando el alma a todo
Como los artefactos de compresión JPEG de 1993, ya empezó a saltar a la vista
Y por el efecto fundador, no parece que vaya a surgir un nuevo internet
No sé si soy demasiado sensible o si de verdad el texto está tan mal hecho
Está todo tan cubierto de basura sintética que ni ganas dan de verlo
Creo que el propio término “Generative AI” está mal
Cuanto más entiendo los principios matemáticos del machine learning, más siento que no debería usarse para generar contenido para personas
A veces, con suerte, sale algo decente, pero casi siempre queda al nivel de alguien que en una fiesta aburrida finge ser creativo a la fuerza
Es útil como herramienta para ayudar a crear, pero no creo que pueda producir resultados creativos por sí sola
Antes que tokens artificiales, casi da más ganas leer el prompt original
Pero la realidad es que están produciendo agentes espagueti para inflar la acción
Digamos que es Median AI à la mode
Me impresionó muchísimo la expresión “high entropy” que usó el estudioso bíblico Dan McClellan
En este video de YouTube,
citó la frase: “they rang a tuning fork in the loins of their dogmatism”,
y siento que una expresión así jamás podría producirla una IA
Quizá con un estilo nivel GPT-2 hasta se sentiría más natural
Porque son términos demasiado sexuales o malos para marketing
Por ejemplo, algo como “mezcla el estilo de Jim Thompson y Thomas Harris, y escríbelo con sensibilidad pulp de una librería de paradas de camiones de 1967” da resultados bastante buenos
Claude es mejor que ChatGPT en este tipo de estilo exagerado
Al final, si los textos de la web suenan todos parecidos, no es por HTML, sino porque la gente no supo usar HTML correctamente
Yo también tuve una experiencia parecida
Escribí con emoción la landing page de mi nuevo estudio y la pasé por Grok, y toda la personalidad desapareció
Justamente las expresiones ásperas son las que hacen falta para transmitir el alma del concepto
Por eso ahora solo uso la IA para revisar ideas
Le pedí que armara la trama de una campaña de Dungeon World y solo salieron configuraciones demasiado comunes y vacías
En cambio, sí fue útil para resumir las notas de sesión y convertirlas en una narrativa entretenida
A ChatGPT le gusta un tono un poco bromista, pero si lo editas salen resultados bastante leíbles
Al final, las tramas creativas las tiene que hacer directamente una persona
Hay riesgo de terminar entendiendo los conceptos en una forma distorsionada
Sirve para encontrar términos nuevos, pero para entender de verdad un concepto creo que es mucho mejor buscar directamente material escrito por humanos
Me encanta el concepto de “Semantic ablation”
De ahora en adelante lo voy a usar para explicar por qué los correos estilo ChatGPT de algunas personas no convencen
Por eso también soy escéptico con la idea de que un modelo como Opus 4 vaya a convertirse en AGI
Aunque sueltes varios agentes, al final todo convergerá hacia una papilla homogénea sin significado
La generación de imágenes se siente como una especie de anti semantic ablation
Empieza desde un lienzo vacío y converge poco a poco hacia píxeles con significado
Me pregunto si en generación de lenguaje sería posible hacer algo parecido y avanzar gradualmente hacia frases con opiniones más definidas
Si se pudiera medir el grado de ablación semántica de una frase generada, quizá se podría crear un agente en bucle para reducirla
Así tal vez aparecerían conexiones nuevas dentro de los datos de entrenamiento que aún no se han descubierto
Aunque claro, también puede que el resultado no sea más que puro griterío
Para quien todavía no la haya visto, recomiendo la página de Wikipedia sobre señales de escritura de IA
Originalmente es una guía para detectar contribuciones hechas con IA,
pero también es un buen material de referencia para darte cuenta de que cometes los mismos errores al escribir por tu cuenta y corregirlos