Posible aparición de "brain rot" en LLMs

• Según la hipótesis LLM Brain Rot, si un LLM está expuesto de forma continua a texto web de baja calidad, sufre una caída en la capacidad cognitiva.
• En los resultados experimentales, al seguir entrenando con datos de baja calidad se observó la caída de razonamiento, comprensión de contexto largo y seguridad junto con un aumento de los rasgos oscuros.
• A mayor proporción de datos basura (junk), se profundiza la disminución de la capacidad cognitiva.
• En el análisis de errores, el fenómeno principal aparece como omisión de pensamiento (saltar el proceso de razonamiento causal).
• Con datos de alta calidad y tuning es posible recuperar algo, pero la recuperación total es difícil.

---

Resumen del estudio

• Este estudio propone y valida la LLM Brain Rot Hypothesis (hipótesis de brain rot).
• Se observó experimentalmente si la exposición continua de un LLM (modelo de lenguaje grande) a textos web de baja calidad provoca un deterioro cognitivo a largo plazo.
• Para separar la causa y confirmar el efecto, se construyeron conjuntos de datos contaminados (junk) y de control a partir del dataset original de Twitter/X con dos enfoques (M1: criterio de participación, M2: criterio de calidad semántica) y se compararon.
• En ambos enfoques se emparejaron la cantidad de tokens y las condiciones de entrenamiento, dejando como variable independiente únicamente el cambio en la calidad de los datos.

Resultados principales del experimento

• Tras realizar pre-training adicional con datos de baja calidad en 4 LLM, se observaron claramente, en las métricas, signos de disminución en capacidades cognitivas como razonamiento, comprensión de contexto largo y seguridad.
  • También se observó un efecto de aumento en las puntuaciones de “rasgos oscuros” (psicopatía, narcisismo, etc.).
• Por ejemplo, en la configuración M1, la métrica ARC-Challenge basada en Chain of Thoughts pasó de 74.9 a 57.2, y RULER-CWE de 84.4 a 52.3, entre otros resultados en los que la caída de puntuación se vuelve más marcada cuando aumenta la proporción de datos basura.
• Al elevar progresivamente la proporción de datos basura (junk), se confirmó un patrón de 'respuesta dosis-efecto' en el que el deterioro cognitivo empeora proporcionalmente.

Análisis de causa de errores

• La tendencia a omitir el proceso de pensamiento (thought-skipping) surgió como el principal patrón de degradación.
  • Los LLM van omitiendo o saltándose cada vez más el proceso de razonamiento, lo que incrementa los errores.
• Recuperación parcial: con instruction tuning y reentrenamiento usando datos de alta calidad, el deterioro cognitivo se recupera en gran parte, pero no parece posible restaurarlo al nivel base, lo que sugiere que se debe a cambios de representación y no a una desalineación de formato.
• Más popularidad que estilo: la popularidad de los tuits (métrica no semántica) en M1 ofrece una señal más fuerte para medir el impacto del brain rot.

Conclusiones e implicaciones

• Se demuestra desde varios ángulos que la calidad de los datos es la causa principal de la caída de rendimiento de los LLM.
• Se redefine la curación de datos en el reentrenamiento continuo de LLM como un problema de “seguridad de la etapa de entrenamiento”.
• Se recomienda realizar controles periódicos de “salud cognitiva” en LLM que estén en operación.

[GN⁺]

Opinión de Hacker News

• Llamar “Brain Rot” a un problema de curación de datos de LLM me suena un poco pretencioso; de hecho, me da la impresión de que el autor se dejó llevar por un modo de pensar muy LLM-like.

  • Se siente como una frase escrita por un LLM real, especialmente porque usa el em dash (—) dos veces para listar cosas; cualquiera que lea HN distingue ese estilo rápido.
  • De hecho, los equipos de RR.HH. ya usaban ese tono antes de que existieran los LLM: si estás afinando OKR, creciendo con revisiones 360 de compañeros, revisando metas cada día y teniendo 1:1 con el manager; es el mismo hablar “de RR.HH.”.
  • Si el mensaje se entiende, no sé qué problema hay en escribir con ayuda de un LLM; al final, pase lo que pase, los LLM van a quedar como herramienta de escritura imprescindible.
  • Entre más uso un LLM, más siento que se me “estropea” el cerebro: si escribes con ese formato por mucho tiempo, terminas dependiendo del autocompletado y luego se te olvidan palabras al escribir en serio. Al final, lo importante es meter datos de alta calidad al LLM, y muchas startups de agentes están intentando meter conocimiento y flujos de trabajo de alta calidad por dominio en modelos grandes.
  • Me parece una lástima que solo se estudie el “brain rot” de los LLM y se descuide el brain rot humano; si la gente cuidara más su higiene cognitiva, las redes sociales de hoy serían mucho más sanas.

• Si te interesa el dataset de entrenamiento de un LLM, te recomiendo descargar una muestra aleatoria de Common Crawl (es de alrededor de 100 MB): https://data.commoncrawl.org/crawl-data/CC-MAIN-2025-38/segments/1757047532641.17/wet/CC-MAIN-20250905112101-20250905142101-00000.warc.wet.gz Cuando la vi, había muchos datos problemáticos allí; claro, en producción eso debería filtrarse antes, ¿pero? algunos modelos base/texto como Llama ya han dado resultados impactantes, así que queda la duda de si el filtrado es realmente exhaustivo.

  • Karpathy también comentó recientemente que las muestras de Common Crawl son puro trapo; ahí, artículos como los de WSJ son extremadamente raros, y aprender con eso sería casi un milagro.
  • Creo que los grandes proveedores de IA terminan descartando datos peligrosos con clasificadores y filtros modernos; y si queda algo, lo controlan con RLHF. Al final, la combinación de filtrado de datasets + acceso a datos premium de calidad es la diferenciación con open source y una barrera de entrada baja.

• Al final, el hecho de que metas datos basura en un LLM y veas peor resultado no me suena como algo nuevo ni especialmente sorprendente.

  • Aun así, hicieron experimentos de recuperación de daño, y en ciencia es clave validar la hipótesis directamente; para que otros investigadores tomen en serio la gravedad del tema, lo más efectivo suele ser publicar un paper.
  • Hay rumores de que casi cualquier dataset sirve para entrenar, así que hace falta investigación para verificar eso en serio.

• En el paper se mencionan dos problemas grandes:

  • El problema principal es el “thought-skipping”: se omiten con frecuencia etapas intermedias del razonamiento.
  • El indicador de “popularidad” tiene mayor relación con el brain rot que la longitud, o sea que los tweets populares son una señal más fuerte del efecto brain rot. Esto, visto así, parece obvio: la cultura masiva suele saltarse la evidencia y sacar conclusiónes; si entrenas en un feed de Twitter, el modelo cambia por ese estilo. Al menos hace falta un grupo de control con datasets sin redes sociales.

• Leyendo, me quedó la sensación de que “todos saben que el dataset de entrenamiento está mal, pero a nadie le importa demasiado”; es tonto simular sorpresa porque se vuelva tonto con mala data, como si esto no fuera algo obvio sin este paper.

• La metáfora de “higiene cognitiva” (cognitive hygiene) no me parece acertada, porque los LLM no tienen cognición, así que ni siquiera es la metáfora correcta. En el fondo, lo que importa es que los proveedores de datos inyectan barato data mala, incluso malaiciosa y con copyright.

  • Incluso decir que hay deterioro cognitivo es discutible: no es cognición real, sino simulación lo más realista posible.

• El texto de brain rot puede ser dañino, pero el video de brain rot puede ser inquietante y tener alta densidad de significado, incluso un punto de mejora de rendimiento (vea el video de análisis del brain rot en alemán), y el arte de Svankmajer también es un “proto-brainrot” tipo museo para rumiar. También creo que hay confusión conceptual: en realidad, la diferencia es si el contenido es cutre o si tiene mucha densidad de significado.

  • Según estudios, los videos de brain rot para niños no son positivos; véase el artículo relacionado de Cocomelon y otros, y un contenido suficientemente “fabricado” está más lejos del espectro de brain rot.
  • En este sentido, el riesgo más importante es la IA como herramienta de manipulación de personas (con intención o no, el arte también manipula), más que los riesgos de procesamiento técnico de información. Me preocupa el brain rot que generan los LLM y los modelos diseñados para agradar a la gente; y da miedo la antropomorfización cada vez más humana.

• Me parece que esto es más un nuevo envoltorio de “garbage in, garbage out”, casi un título de clickbait.

  • La mayoría de GIGO (garbage in, garbage out) también aplica directamente al entrenamiento de LLM. En este paper, algo a lo que sí vale la pena prestar atención es:
    • No se puede compensar por completo la mala calidad del pretraining con post-training insuficiente; por ejemplo, aunque sea sintácticamente correcto, una mala costumbre implícita como saltarse el razonamiento puede incrustarse.
    • No es trivial definir qué cuenta como “mala data”, y hubo casos donde la heurística basada en engagement de usuarios funcionó mejor que la clasificación de contenido de LLM.
  • Attention is all you need.
  • La idea de ver a ChatGPT invadido por meme de brain rot o por memes de internet tipo “Skibidi Toilet” es medio graciosa.
  • Hoy, independientemente de que el entrenamiento de LLM sea mejor o peor, la realidad es que siempre se mezcla una cantidad enorme de basura con buenos datos; aunque parezca obvio, creo que el replanteo llega justo a tiempo.
  • Encima, se le suma otro paso.

• Pienso que usar metáforas como “brain rot”, “thought-skipping”, “primary lesion”, “cognitive declines” en papers de ingeniería informática no es lo más apropiado; además de inexactas, pueden proyectar rasgos humanos en un modelo computacional y, si la comunidad de investigación se deja contaminar por esos términos, después será más engorroso deshacerse de ellos.

• Al leer este paper, me dio curiosidad el impacto a largo plazo de los chicos de generación Alfa creciendo en ese entorno mediático.

  • Me pregunto por qué debería pensarse solo en los niños.