La IA está homogeneizando nuestra forma de pensar

• En un estudio del MIT, el grupo que usó ChatGPT mostró una actividad cerebral relativamente más baja
• El uso de inteligencia artificial provoca una disminución de la creatividad y la diversidad, y genera una tendencia a la homogeneización de los resultados
• Un estudio de la Universidad de Cornell también confirmó que, incluso en textos donde deberían reflejarse diferencias culturales e individuales, el uso de IA hace que converjan hacia tendencias occidentales y promedio
• Las respuestas promedio y seguras que propone la IA debilitan la diversidad cultural y la individualidad
• Aún no se conocen suficientemente los efectos a largo plazo de la IA masificada, pero ya surge como preocupación principal la simplificación y homogeneización del pensamiento

---

Experimentos y hallazgos principales

• En 2023, el MIT realizó un experimento de redacción de ensayos estilo SAT con más de 50 estudiantes universitarios del área de Boston, divididos en tres grupos
  • Un grupo usó únicamente su cerebro
  • El segundo grupo podía usar Google Search
  • El tercer grupo escribió el ensayo usando ChatGPT
• Todos los participantes llevaron diademas de medición de ondas cerebrales, y el análisis mostró que el grupo que usó ChatGPT tuvo la menor actividad cerebral
  • Se observó una disminución en la conectividad (ondas alfa y theta) entre distintas áreas del cerebro
  • Algunos usuarios mostraron falta de sentido de autoría sobre los ensayos que escribieron, y la mayoría ni siquiera pudo citar lo que había redactado
  • El equipo del MIT llamó a esto el costo cognitivo de la dependencia de la IA

La IA y la promediación del pensamiento

• Los ensayos del grupo que usó ChatGPT mostraron una tendencia a converger hacia palabras e ideas similares
  • A pesar de que las consignas del SAT buscaban respuestas amplias, el grupo que usó IA mostró una lógica y un vocabulario uniformes
  • Por ejemplo, las respuestas sobre la “verdadera felicidad” se centraban todas en la carrera y el éxito, y frente a la “obligación moral de donar” todas adoptaban una postura favorable casi idéntica
• En palabras de la investigadora del MIT Kosmyna, se detectó un fenómeno donde “todo se reúne en el promedio”

Debilitamiento de la diversidad popular y cultural

• Investigadores de Cornell realizaron un experimento en el que usuarios de Estados Unidos e India escribían reflejando su trasfondo cultural
  • Algunos usaban autocompletado conectado con ChatGPT y otros no
  • Cuando se usaba autocompletado, se confirmó que los textos convergían hacia una tendencia occidental y promedio y se parecían más entre sí
  • En preguntas sobre comida y festividades, pizza y Navidad aparecían como respuestas recurrentes, mientras que la diferenciación regional era escasa
  • Incluso los detalles descriptivos y la atmósfera de los ensayos pasaban a apoyarse en frases comunes y corrientes

Influencia de las sugerencias de la IA y pérdida de identidad

• El autor explica que la función de sugerencias de la IA tiene un “efecto hipnótico” que debilita la voz propia del escritor
  • La exposición continua puede provocar pérdida de confianza al escribir y de identidad
  • Las sugerencias de la IA no solo promedian lo que piensa el usuario, sino incluso su forma de pensar
  • Como resultado, también queda abierta la posibilidad de que cambie la percepción social de “qué es normal y deseable”

Incentivos industriales y estandarización cultural

• OpenAI y otras empresas de IA diseñan sus sistemas para que más usuarios queden satisfechos con resultados generales y promedio
  • Cuanto más aceptable sea la salida del modelo para alguien, más usuarios de pago puede conseguir
  • Desde el punto de vista de la eficiencia, es posible lograr economías de escala cuando “todo es igual”

IA y creatividad: límites experimentales

• El CEO de OpenAI, Sam Altman, entre otros, sostiene que con la IA cualquiera puede convertirse en creador

• Sin embargo, en los experimentos se observó que el grupo que usó IA tendía a producir ideas más promedio y parecidas entre sí en términos de originalidad

  • Un estudio de la Universidad de Santa Clara comparó ChatGPT con una herramienta clásica de creatividad, Oblique Strategies
  • Los usuarios de ChatGPT mostraron similitud semántica en sus ideas, es decir, una tendencia a la homogeneización

• Según el analista experimental Max Kreminski, el pensamiento primario humano va siendo arrastrado poco a poco hacia el promedio de la IA

  • Como la IA ofrece rápidamente “respuestas suficientemente buenas” de forma repetida, los usuarios terminan concentrándose más en seleccionar resultados de la IA que en desarrollar sus propias ideas
  • A medida que la conversación se alarga, las limitaciones de la ventana de contexto de la IA refuerzan respuestas cada vez más repetitivas y promedio

Entorno de IA masificada y falta de diversidad informativa

• La mayoría de estos estudios son experimentos a pequeña escala, pero el impacto de largo plazo de la IA sigue siendo incierto
• En aplicaciones como la app de IA de Meta, se genera masivamente contenido creado por muchísimas personas que resulta excesivamente pulido y uniforme
  • En correos automáticos y solicitudes cotidianas abundan formatos y vocabularios estandarizados
  • Incluso en ejemplos reales de prompts, la IA enumera solo futuros positivos y excluye escenarios negativos o riesgos
  • Esto sugiere que el sesgo tecnófilo del proceso de diseño de la IA puede traducirse en una menor diversidad de resultados

Conclusión y perspectiva

• Para creer solo en la información que presenta la IA, hace falta en cierto modo dejar de pensar
• Surge la necesidad de una alerta social y cultural frente a la promediación del pensamiento y el debilitamiento de la creatividad que produce la IA

[zihado]

Creo que cuando recién apareció internet también hubo temas parecidos. Me parece que no es más importante la capacidad de desarrollar el pensamiento crítico.

[mango]

Parece mejor que aceptar información errónea de búsquedas en internet o de YouTube. Me parece preferible a aceptar información sesgada con el propósito de representar los intereses de un grupo específico. Se podría decir que la IA también puede estar sesgada, pero creo que aun así su confiabilidad promedio es más alta que la de la información aleatoria que circula por internet. También se parece en que, sin pensamiento crítico, uno puede terminar aceptando información incorrecta.

[GN⁺]

Opiniones en Hacker News

• Últimamente pienso que la verdadera "brecha digital" se define por si una persona ya logró desarrollar pensamiento crítico en los últimos años o no. Para quienes construyeron esa capacidad mediante lecturas variadas y reflexión paciente, herramientas como los LLM se sienten como tener la llave para subirse a una moto acuática en medio de un mar de información cruda. Pero para quienes apenas ahora tendrían que aprender a pensar críticamente, parece que les costará superar la incomodidad de reflexionar sin recurrir por costumbre a un LLM. El acto de soportar la ambigüedad por cuenta propia, ese momento en que la información se transforma en conocimiento, aquí se resuelve de inmediato. Me siento afortunado de haber adquirido esa capacidad antes de 2023, pero me da algo de miedo la realidad de ofrecer LLM sin condiciones como herramienta de aprendizaje a las generaciones jóvenes

  • Creo que el pesimismo de que la IA va a volver estúpida a toda la gente en realidad sobreestima el hecho de que la mayoría nunca ha destacado por su pensamiento crítico. Tras casi 20 años trabajando en ingeniería avanzada, incluso entre profesionales consumados era raro encontrar personas que realmente entendieran conceptos complejos. No creo que la gente inteligente vaya a salir perjudicada solo porque la mayoría, que ya de por sí no pensaba críticamente, ahora tenga respuestas fáciles

  • Si pienso en mí mismo cuando era joven, recuerdo que cuando solo perseguía la diversión inmediata no aprendía nada

  • Siento que se acerca la era de Idiocracy

• Creo que toda tecnología de conexión tiene la fuerza de fomentar la homogeneidad. Por ejemplo, la TV es un caso representativo de cómo se provocó la desaparición de dialectos regionales. Con diversión, entretenimiento y conectividad ilimitados, estamos construyendo un mundo triste, aburrido y solitario

  • Me gustaría ver la evidencia de que desaparecieron los dialectos regionales. Cuando viajo por distintas partes de Estados Unidos, todavía escucho muchos acentos regionales. Tengo familiares en el oeste, el medio oeste, el sur y el este, y en cada región siguen existiendo acentos claramente distintos. Varían en intensidad, pero siguen siendo notorios

  • Las redes sociales ya han homogeneizado bastante nuestra manera de pensar. Como entran demasiada información y perspectivas al mismo tiempo, cuesta sostenerse sin inspirarse en lo que piensan otros en vez de formar una opinión propia. El botón de upvote define con facilidad cuáles son las ideas con las que todo el mundo está de acuerdo

  • Me pregunto qué deberíamos hacer. Tengo curiosidad por saber si intentos serios como The Offline Club[https://www.theoffline-club.com/] podrían servir de antídoto. Hace poco también se discutió esto en Hacker News. Esa idea de tecnología para volver a "tocar el pasto"

  • Aun así, la diversidad que ofrece el entorno geográfico define parte de nuestras experiencias. Claro, uno de los objetivos de la tecnología actual es precisamente compensar o bloquear esas particularidades geográficas

  • En el caso de la IA, el problema es exactamente quién gestiona esa homogeneidad y con qué propósito lo hace. Sistemas dinámicos como IRC o los mensajeros permitían que la gente se conectara de forma natural y formara grupos. Pero la IA es una herramienta cerrada y administrada, creada por capitalistas con mucho dinero invirtiendo capital, así que al final se impone implícitamente una homogeneización destinada a proteger el modelo de negocio y reducir riesgos. La amenaza real es que la realidad misma termine siendo "escrita" para ajustarse a ciertos fines

• Mi postura es que tus pensamientos solo se homogeneizan si no piensas por ti mismo. Y creo que eso puede ser una debilidad para mucha gente

  • He observado que, de manera paradójica, la gente del tipo "yo investigo por mi cuenta" suele caer en las formas más severas de pensamiento grupal

  • Muchos individuos con sistemas axiomáticos de estructura similar llegan a conclusiones parecidas. Algunos creen que piensan de forma autónoma aunque pertenezcan a un determinado grupo ideológico. A veces la fuerza que vuelve similares las ideas de una comunidad es muy grande. En cambio, hay quienes usan una "estrategia de búsqueda del tesoro" para descubrir nuevas estrategias o ideas en un espacio memético desconocido. Esa estrategia también tiene limitaciones: implica mucho riesgo y requiere recursos para intentar varias veces

  • Coincido con la idea de que "si no piensas por ti mismo, te homogeneizas", y recomiendo revisar хотя sea una vez cómo usan ChatGPT tus amistades o familiares no técnicos o poco familiarizados con la tecnología. Hay casos realmente impactantes. Mucha gente que no entiende bien las herramientas LLM las usa de formas de verdad peligrosas. Por ejemplo, el cuñado de un amigo escuchó en ChatGPT que ciertas penny stocks y criptomonedas poco conocidas le garantizarían enormes ganancias, y de hecho invirtió. También hay personas que creen que ChatGPT transmite la voz de Dios y empiezan a actuar de maneras extrañas. Los LLM comerciales funcionan de forma lo bastante convincente como para que quienes no entienden cómo operan queden fácilmente fascinados. Yo desarrollé cierta desconfianza porque ya he visto errores evidentes en las respuestas de los LLM, pero quienes tienen dificultades para juzgar objetivamente corren un gran riesgo de creerse todo tal cual

• Según un estudio escrito por Nataliya Kosmyna del MIT Media Lab, se hizo un experimento con unos 50 estudiantes universitarios de Boston divididos en tres grupos, y el grupo que usó ChatGPT mostró una actividad cerebral notablemente menor que los otros, en especial en conectividad alfa y theta relacionada con creatividad y memoria de trabajo. Pero me pregunto si este tipo de estudios de fMRI con un valor n tan pequeño realmente pueden considerarse resultados científicos confiables. Podría ser más bien un resultado vistoso apoyado en sesgo de confirmación

• Últimamente los artículos exagerados de "profecía del desastre" están uniformando demasiado lo que piensa la gente. Es cierto que esas afirmaciones tienen algo de razón, pero en la práctica hay muchos matices

• Miren los cambios de tecnologías de medios del pasado, como la TV, las redes sociales o la imprenta: la historia muestra que este tipo de pánico mediático ya se ha repetido muchas veces Artículo relacionado

  • Los medios masivos homogeneizan nuestro input, es decir, nuestro consumo de información. Si la IA se diferencia de los medios anteriores, vale la pena pensar también en que puede homogeneizar directamente nuestro output, o sea, lo que producimos

  • Antes de la imprenta, probablemente la humanidad sostenía 8 mil millones de conversaciones diferentes, pero con la imprenta muchos grupos pequeños y diversos fueron creciendo poco a poco hasta empezar a tener las mismas conversaciones a una escala mucho más amplia

• Las redes sociales, la TV, Hollywood y la cultura popular en general también cumplen un papel de homogeneización social

• La teoría del límite central (central limit theorem) termina imponiéndose de manera consistente

• Al final estamos destinados a subirnos sobre los hombros de gigantes homogeneizados

• Cuando estudiaba humanidades en la universidad, tomaba ideas de artículos académicos y las pegaba y conectaba con mis propias ideas, y no creo que eso sea tan distinto de lo que hace la IA ahora. Al final, que la IA se convierta o no en tu prótesis intelectual depende del criterio y la conciencia de cada quien