Los LLM son esteroides que refuerzan tu efecto Dunning-Kruger

• Las conversaciones con los modelos de lenguaje grandes (LLM) refuerzan la ilusión de certeza, haciendo que los usuarios sientan que saben más de lo que realmente saben
• Después de conversar, los usuarios a menudo quedan en un estado de confianza en información incorrecta, lo que tiene una adictividad psicológica que fomenta el uso repetido
• Los LLM expanden ideas y amplifican el pensamiento, pero al mismo tiempo pueden funcionar como una herramienta que refuerza el autoengaño
• En lo técnico, se basan en una estructura relativamente simple fundada en inferencia estadística y una gran inversión de recursos de entrenamiento, pero su impacto social es enorme
• Estos modelos deben entenderse no como un motor de conocimiento, sino como un “motor de certeza”, y están provocando cambios fundamentales en la forma en que los humanos piensan y usan el lenguaje

---

La ilusión de certeza y el efecto psicológico de los LLM

• A través de una cita de Bertrand Russell de “The Triumph of Stupidity”, se menciona el contraste entre la certeza ignorante y la duda intelectual
  • Russell expresa que “el problema del mundo es que los tontos están llenos de certeza, mientras que los sabios están llenos de dudas”
• En las conversaciones con LLM, los usuarios muestran una tendencia a sentirse seguros incluso de información errónea
  • Cuando ChatGPT responde que es una “buena idea”, muchas veces en realidad no lo es
• El autor experimenta con frecuencia la ilusión de que aumentó su conocimiento después de interactuar con un LLM
  • Incluso reconociendo que la información es incorrecta, termina usándolo repetidamente por el placer que produce la certeza
• Esta experiencia tiene un carácter de adicción psicológica, y el usuario termina dependiendo del LLM cada vez que intenta desarrollar ideas
  • Incluso en situaciones cotidianas surge el impulso de preguntarle a un LLM (“cuando perdí mi bolso pensé en preguntarle a ChatGPT”)

La doble cara entre amplificación del pensamiento y autoengaño

• Los LLM se describen como un espejo que amplifica el pensamiento
  • Expanden las ideas del usuario en múltiples direcciones y a veces producen resultados interesantes
• Pero esta amplificación es un arma de doble filo: puede desarrollar buenas ideas, pero también refuerza pensamientos equivocados
  • El LLM envuelve los errores en un tono fluido y autoritario, creando una trampa psicológica

Estructura técnica y desequilibrio del interés

• El autor evalúa a los LLM como una “tecnología aburrida”
  • En esencia son una caja negra probabilística, y el entrenamiento es repetición de inferencia estadística
• Aunque existen innovaciones recientes en software y hardware, se menciona que la innovación propia de los LLM es limitada
  • Se expresa que “quizá la verdadera innovación fue meter enormes cantidades de dinero para entrenarlos a gran escala”
  • Se menciona RLHF (aprendizaje por refuerzo con retroalimentación humana) como una posible innovación excepcional

Impacto del giro social y lingüístico

• El verdadero interés de los LLM está en su impacto social más que en la tecnología misma
  • Se evalúan como una señal de cambios importantes en la educación, el trabajo y la sociedad en general
• El lenguaje es un núcleo de la identidad humana, y el cambio comenzó en el momento en que la máquina entró al terreno del lenguaje
  • Aunque la naturaleza exacta de ese cambio todavía no está clara, existe la sensación de que “la marea del cambio ya se está moviendo”

No un motor de conocimiento, sino un motor de certeza

• Los LLM deben verse no como motores que entregan conocimiento, sino como motores que generan certeza
  • Se presenta esta idea como un concepto que explica una característica clave del futuro a corto y mediano plazo
• A medida que la forma humana de pensar y usar el lenguaje se combina con mecanismos mecánicos de generación de certeza, están surgiendo nuevos patrones sociales

[xguru]

La IA ofrece el ‘efecto Dunning-Kruger’ como servicio

[GN⁺]

Comentarios en Hacker News

• Cada vez que uso un LLM, más bien siento que me vuelvo más tonto
  Como no es conocimiento que adquirí estudiando por mi cuenta, sino una fuerte sensación de depender de él, me baja la confianza
  Como tengo la costumbre de contrastar varias fuentes, como libros o artículos, las respuestas del LLM se sienten simplemente como un promedio

  • Si usas demasiado seguido un LLM, de verdad sientes como si se te apagara el cerebro. Como cuando juegas algo repetitivo durante mucho tiempo y te quedas atontado
  • Antes, en la escuela, escuchaba mucho eso de “no confíes en Wikipedia tal cual; revisa las fuentes”
    Pero ahora la gente cita Wikipedia casi como si fuera una verdad absoluta. Creo que con los LLM va a pasar lo mismo con el tiempo
  • En nuestra empresa operamos un producto open source, y nos llegan muchas consultas de gente que siguió configuraciones generadas por un chatbot y luego no les funcionó
    Incluso se quejan de que la API está caída, pero en realidad el chatbot se inventó el endpoint
  • Yo también termino el trabajo más rápido gracias a los LLM, pero no siento que realmente lo haya hecho yo, así que me da una sensación de falsedad
    Al final, disminuye el esfuerzo por investigar y experimentar por cuenta propia. Me parece que solo la gente con disciplina va a poder usar bien esta herramienta de verdad
  • Aunque una respuesta de la IA no esté equivocada, siempre deja como un olor a algo improvisado. Inspira poca confianza

• Un LLM es como un libro de Bill Bryson: suena convincente y con autoridad, pero en los temas que uno sí conoce se nota que tiene muchos errores
  Aun así, igual terminamos apostándole otra vez a la siguiente pregunta

  • Yo uso los LLM más bien como punto de partida para aprender. No espero una respuesta perfecta, pero sí me ayudan a captar rápido términos o conceptos nuevos
    Por ejemplo, quería ponerle un switch a un Miata modelo 1990, y gracias al LLM conocí por primera vez los conceptos de relay y switch DPDT
    El diagrama del circuito estaba mal, pero me ayudó a encontrar por dónde empezar a estudiar
  • No creo que la comparación sea del todo justa. En los temas que conocemos bien hacemos preguntas más difíciles, así que es normal que el LLM falle más seguido
    En cambio, en áreas que desconocemos, incluso respuestas de nivel básico ya pueden parecer bastante impresionantes
  • Le pregunté a ChatGPT para analizar las motivaciones de un personaje de novela, y había muchos errores en los hechos
    A alguien que no sabe le puede sonar convincente, pero si construyes ideas sobre información equivocada, al final obtienes un resultado todavía más distorsionado
    La conversación se puede ver aquí
  • Me da muchísima risa que hayan mencionado a Bill Bryson
  • Quise leer un libro de Bryson, pero me da curiosidad ver ejemplos concretos de qué partes están mal

• En la universidad, cuando iba a clases, también me daba una sensación parecida
  Durante la clase sentía que entendía todo, pero cuando intentaba resolver los problemas por mi cuenta me daba cuenta de que me faltaban muchas piezas

  • Este semestre, la mayoría de mis estudiantes parece haber hecho la tarea con LLM
    El código no refleja el contexto de la clase y da errores, y al final me toca arreglar esa parte a mí
  • El problema en el aprendizaje es que el reconocimiento (recognition) es fácil, pero la evocación (recall) es difícil
    Cuando aprendes sin esfuerzo, sientes que aprendiste mejor, pero en realidad no es así
  • Me preocupa que los universitarios de ahora estén reemplazando ese “esfuerzo” con LLM
  • A los expertos también les pasa algo parecido. Cuando simplifican una explicación para el público general, muchas veces terminan acusados de mentirosos
  • Que falten detalles no es lo mismo que equivocarse con total seguridad
    Por ejemplo, Claude dijo que los cimientos de mi edificio estaban en riesgo, pero el inspector real se rio y dijo que no había ningún problema

• En los subreddits de matemáticas y física a veces aparecen publicaciones de gente diciendo que con ChatGPT creó una teoría unificada de la física
  Antes también existía ese tipo de personas, pero desde los LLM hay muchísimas más

  • Hasta el ex-CEO de Uber actuó así
    Artículo relacionado: enlace de Gizmodo

• La experiencia de leer un LLM se parece a leer el periódico
  En los temas que no conoces, sientes que aprendiste mucho, pero en los que sí conoces te das cuenta enseguida de que dice tonterías
  Por eso me preocupa cuánto se estará equivocando en los temas que yo no conozco

  • A eso se le llama precisamente el efecto de amnesia de Gell-Mann
    Explicación en Wikipedia
  • En realidad, no solo es difícil confiar en los periódicos; también en los libros hoy en día
    Cualquiera puede publicar, y ahora manipular video también es fácil
    Al final, lo importante es la capacidad de filtrar las fuentes

• A ChatGPT le aplico el mismo filtro de fuentes y confiabilidad que usaría con una persona
  Después de escuchar la respuesta, más que sentir que “adquirí conocimiento”, siento que obtuve una dirección para explorar

  • Me preguntaron si había algún caso en que ese “punto de partida para explorar” realmente se hubiera convertido en conocimiento real
  • Esto me recuerda el concepto de “default to null”
    Es la postura de asumir que, cuando una frase no se entiende, no necesariamente significa que yo no sepa, sino que el texto podría no tener sentido
  • El problema es que la memoria humana olvida el contexto más rápido que los hechos
    Al final, con el tiempo, hasta la información equivocada se mezcla dentro de mi visión del mundo

• Hay demasiados textos que fingen tener certeza sobre el futuro de los LLM
  Pero si uno mira la historia, hay muchos casos en los que la cantidad (Quantity) cambió la calidad
  Los motores de ajedrez, la búsqueda de Google y Wikipedia partieron de principios simples, pero fue la escala de los datos lo que produjo la innovación
  Los LLM también son multiplicación de matrices bastante simple, pero quizá de ahí también pueda surgir una nueva inteligencia, así como la “carne” piensa

  • Pero incluso ahora siguen existiendo el sesgo político de Wikipedia o las manipulaciones sutiles de las que habla xkcd 978
  • Si no conoces la historia de la “carne que piensa”, vale la pena leer este texto
  • Antes se creía que la carne producía moscas, así que tal vez algún día también descubramos que era una ilusión pensar que la carne produce pensamiento

• Me impactó la frase: “Los LLM no son motores de conocimiento, sino motores de confianza”
  Cuando les preguntas por un problema técnico y te responden “eso es un problema conocido”, te tranquiliza pensar: no es que yo sea tonto; es que de verdad es un problema difícil
  Por ejemplo, quise cambiar la pestaña predeterminada del depurador en WebStorm, y la IA me dijo que no había forma, lo que me ahorró perder tiempo

  • Pero la IA muchas veces da falsa confianza de esta manera
    Incluso si le planteo un problema inventado, me engaña de forma convincente diciendo que “es un issue conocido”

• Yo uso los LLM no como fuente de autoridad, sino como espejo del pensamiento
  Al explicar mis ideas, descubro por mí mismo mis confusiones o fallas lógicas
  El lenguaje es incierto por naturaleza, y los LLM revelan esa incertidumbre de manera estadística
  Por eso, si se les aborda críticamente, más bien pueden convertirse en una herramienta para depurar el pensamiento
  Al final, lo importante es aceptar que ni los humanos ni la IA son perfectos, y tratarlos con escepticismo, como tratarías a un desconocido

• Coincido con la frase “Los LLM no generan conocimiento, sino confianza”
  Aunque no sea perfecto, a veces actuar con seguridad y ejecutar produce mejores resultados
  Sobre todo para quienes son demasiado cautelosos, la confianza en sí misma puede ser la clave de la productividad

  • Pero la confianza también es un arma social
    Una seguridad sin fundamento les transmite credibilidad a los demás, y cuando eso se repite uno termina aprendiendo modestia y vacilación
    Por eso la actitud académica a menudo también termina siendo autolimitante