Automatizamos el “Bullshit”
(cst.cam.ac.uk)- La IA generativa como ChatGPT funciona prediciendo e imitando de forma convincente textos de internet, más que verificando la lógica o los hechos, por lo que recibe la crítica de ser una automatización del Bullshit
- El resumen de Rodney Brooks —“inventa cosas que suenan plausibles”— conecta con el artículo sobre stochastic parrots de Emily Bender y Timnit Gebru, y con el análisis de Murray Shanahan sobre los grandes modelos de lenguaje
- En la definición de Harry Frankfurt, el Bullshit no es una afirmación que contradice la verdad como una mentira, sino un discurso al que no le importa la verdad, lo que se vincula con las salidas de ChatGPT
- Geoff Hinton ubica el peligro de los chatbots no tanto en la superinteligencia, sino en su capacidad de generar masivamente texto persuasivo aun sin inteligencia, y advierte sobre la automatización de la persuasión política
- Lo que la IA puede reemplazar con facilidad quizá no sea el trabajo valioso, sino Bullshit Jobs como reportes sin sentido, intermediación de mensajes o atención de quejas; por eso, el foco de la regulación debería estar más en la producción y difusión de Bullshit que en la IA en sí
Por qué ChatGPT parece un generador de Bullshit
- ChatGPT se basa en un algoritmo que imita patrones de texto encontrados en internet, más que en verificar la lógica o los hechos
- Rodney Brooks resume ChatGPT como un sistema que “simplemente inventa cosas que suenan plausibles”
- La “plausibilidad” se relaciona con el algoritmo que imita textos de internet
- “Inventar” apunta a que depende de la aleatoriedad del texto predicho más que de la lógica o los hechos
- El artículo sobre stochastic parrots de Emily Bender, Timnit Gebru y sus colegas, así como la discusión de Murray Shanahan sobre los grandes modelos de lenguaje, abordan de manera más técnica el mismo principio de predicción de texto
La definición de Frankfurt: discurso indiferente a la verdad
- En On Bullshit, de Harry Frankfurt, el bullshitter no rechaza la autoridad de la verdad como lo hace un mentiroso, pero no presta ninguna atención a la verdad
- Esta definición se conecta con los análisis de Brooks, Bender, Shanahan y Hinton sobre cómo funciona ChatGPT
- Frankfurt considera que el Bullshit es un enemigo mayor de la verdad que la mentira
- La mentira al menos presupone una relación con la verdad
- El Bullshit es difícil de evitar cuando alguien tiene que hablar incluso en una situación en la que no sabe de qué está hablando
El riesgo político que crea el texto persuasivo
- Geoff Hinton ubica el principal peligro de los chatbots no tanto en la superinteligencia en sí, sino en su capacidad de producir texto muy persuasivo aun sin inteligencia
- Esta preocupación se conecta con formas de persuasión política como las de Donald Trump y Boris Johnson
- En un mundo donde la evidencia y la lógica no son respetadas en el debate público, un sistema que funciona sin evidencia ni lógica puede imitar y reemplazar a malos líderes políticos con texto sobrehumanamente persuasivo
Bullshit Jobs y automatización con IA
- Bullshit Jobs, de David Graeber, se conecta con el futuro de IA en el que “nadie tendrá que trabajar” que Elon Musk le planteó al primer ministro británico
- Graeber analiza que más del 30% de los trabajadores británicos cree que su trabajo no aporta ningún valor a la sociedad
- Estos trabajos incluyen redactar reportes sin sentido, transmitir mensajes entre personas y escuchar quejas que no pueden resolverse
- ChatGPT puede realizar fácilmente todas las partes de estas tareas
- Parte de la educación universitaria puede entrenar a los jóvenes para someterse a procedimientos burocráticos y hacerlos escribir textos largos que casi nadie leerá
- En una educación que produce figuras como Boris Johnson, la fluidez verbal y los argumentos entretenidos pueden recibir más recompensa que la atención minuciosa a la verdad
Datos de entrenamiento y foco de la regulación
- Sistemas de IA como ChatGPT se entrenan con enormes archivos de Bullshit como Twitter, Facebook y Reddit, y con materiales mezclados con hechos reales, como Wikipedia y textos de escritores profesionales
- Dentro de ChatGPT no hay un algoritmo que verifique qué partes son verdaderas
- Así como Twitter incentiva el Bullshit de políticos a quienes no les importa lo verdadero o falso, los registros que dejan pueden usarse para entrenar generadores automáticos de Bullshit
- Lo que debe regularse no es la IA en sí, sino el Bullshit
- Para distinguir entre trabajos valiosos y trabajos que estaríamos dispuestos a eliminar, hace falta una reunión sobre Bullshit más que una cumbre sobre IA
Más para leer
- Designing Alternatives to AI será publicado por MIT Press en 2024 y ofrece una vista previa gratuita en línea
- Talking About Large Language Models, de Murray Shanahan, está disponible en arXiv:2212.03551
- El texto relacionado con Rodney Brooks apareció en IEEE Spectrum como “Just Calm Down About GPT-4 Already”
1 comentarios
Comentarios de Hacker News
Creo que este artículo acierta en varios aspectos. Los LLM parecen operar bajo el principio de “¿esto sonará como la respuesta correcta?”, no de “esto funciona así, así que la respuesta razonable a la pregunta es esta”.
Aun así, también hay que reconocer que en ciertos momentos los LLM realmente producen buenas respuestas. Como cuando les pides un fragmento de código y aciertan; puede que una respuesta que pasó la prueba del olfato sea buena por casualidad, pero igual sigue siendo una buena respuesta.
El punto clave es que, para saber si el LLM acertó, yo ya tengo que saber lo que estoy haciendo. Si yo, que no soy historiador, le pido a cGPT un ensayo sobre las causas de la Primera Guerra Mundial, sonará convincente, pero no sabré si realmente cubre lo que un historiador consideraría importante. Solo da una respuesta común y corriente que a una persona promedio que ha leído un poco le parecería correcta.
La mayoría somos expertos solo en un área, así que no hay forma de evitar que un LLM me engañe en todos los campos que desconozco. Por eso hay que usarlo con cuidado fuera de mi área de especialidad.
Veo a los LLM en su estado actual como una herramienta de atajo para expertos. Yo puedo saber si un fragmento de código en mi área está bien o mal, pero alguien que no trabaja en ese campo puede ser engañado.
Los LLM son excelentes para producir cosas que parecen lenguaje coherente. Es como poner cada categoría gramatical en el lugar donde se espera dentro de la oración. El problema es que el modelado del lenguaje y el del conocimiento están tan estrechamente relacionados que la parte del conocimiento que aparece por accidente la gente la confunde con algo más profundo.
Pero, por convención, el valor de un algoritmo de ordenamiento al 50% no es el 50% del valor de un ordenamiento que funciona bien, sino 0. Ordenar suele ser parte de un sistema mayor, y ese sistema necesita que el ordenamiento funcione al 100%.
Durante mucho tiempo, entre las técnicas de “aprendizaje automático” hubo áreas donde acertar solo el 80% ya se consideraba un éxito. Lo interesante de los LLM es que, en algunos problemas de aprendizaje automático, elevan el estándar al 90%, pero en otras tareas que antes podían resolverse al 100% con algoritmos, terminan bajando el estándar.
Hace tiempo leí el resumen de un estudio que comparaba el desempeño de personas que podían usar software de ajedrez con el de quienes no. El factor predictivo más fuerte del éxito no era la habilidad pura para el ajedrez, sino la capacidad de aprovechar eficazmente el software.
No conozco bien la investigación pública, pero otro campo donde hay mucha evidencia anecdótica es el trading algorítmico. Las empresas exitosas casi siempre tienen personas supervisando cómo se comportan los algoritmos. Cuando el algoritmo empieza a actuar raro o las condiciones dejan de encajar, una persona puede darse cuenta y ajustar parámetros, o apagarlo por completo si parece que ya se descompuso del todo. Francamente, buena parte de esta supervisión probablemente sea resultado del caso de Knight Capital.
El punto es que coincido en que, por ahora, los LLM son una herramienta para personas con experiencia en ese campo, pero aun así representan un avance bastante grande. Igual que los hedge funds cuantitativos de primer nivel superan de forma constante a los fondos gestionados por humanos, las personas inteligentes que sepan usar bien esta herramienta se pondrán por delante. La clave está en aprender en qué son buenos, en qué no, y cómo validar sus resultados.
Cuando necesito buscar conocimiento, hacerlo por mi cuenta sigue siendo más rápido que conversar con una computadora. La verdadera experiencia también incluye dominar y simplificar ese proceso de búsqueda.
En cambio, tiene dificultades para generar cosas que nunca ha visto antes, o que no sean una variación cercana de algo ya conocido.
Si eso fuera cierto, me pregunto por qué ayer me tomó solo 10 segundos encontrar con ChatGPT 3.5 un dato extremadamente oscuro de la historia del siglo XVIII. Con Google estuve más de una hora buscando y fracasé.
ChatGPT al principio me dio una respuesta incorrecta porque mi pregunta no era precisa, pero después de aclarar algunas cosas dio una respuesta que parecía correcta, y tras 1–2 minutos adicionales de investigación y verificación quedé 100% seguro de que efectivamente era correcta.
También me parece rara la afirmación de que “los sistemas de IA como ChatGPT aprenden tanto de enormes depósitos de tonterías como Twitter, Facebook y Reddit, como de hechos reales, como textos extraídos de Wikipedia y de escritores profesionales, pero no tienen ningún algoritmo para verificar qué partes son verdaderas. Su salida es literalmente tontería”.
Filósofos, matemáticos, científicos y novelistas también aprenden mezclando hechos reales con enormes depósitos de tonterías. Tienen el trabajo establecido de otros, la educación escolar y los experimentos, pero también experiencias cotidianas que no llamaríamos ciencia, charla sin importancia parecida a conversaciones de Twitter, propaganda y mentiras. Si es así, entonces su salida también sería tontería, y además todo lo que ha creado la humanidad también lo sería.
Puede que no sepan que hay que ajustar la pregunta y hacer investigación adicional. Si se quiere usar GPT en un sistema automatizado, ¿cómo podría ese sistema determinar qué está mal y qué está bien?
No parece muy discutible que ChatGPT y modelos similares son especialmente fuertes en este tipo de tarea, es decir, en servir como reemplazo de Google Search.
La evaluación final es si sale más barato vender la información directamente, o usar IA para reducir el espacio de búsqueda. Suponiendo que se verifica, yo diría que lo segundo.
En sentido contrario, en Wyrd Sisters de Terry Pratchett aparece esta frase: “Las cosas que intentan parecer cosas a menudo parecen más cosas que las cosas. Es un hecho bien conocido. Pero a mí no me gusta fomentarlo”.
Por eso, los argumentos que descalifican a los LLM llamándolos tontería o loros estocásticos se quedan cortos por mucho, y al mismo tiempo no son tan buenos como un experto en el dominio.
Creo que los LLM nos han mostrado que tenemos al menos dos modos de pensar.
Uno se parece al funcionamiento de los LLM y es, en esencia, predicción del siguiente token. Basta pensar en el estado mental cuando estás profundamente metido en una conversación. No es un acto realmente consciente, y a veces hasta te sorprendes a ti mismo. Si eres un niño pequeño o estás en un estado inmaduro, puede que inventes cualquier cosa en el momento sin darte cuenta.
Ahora piensa en una ocasión en la que tuviste que resolver un problema realmente difícil. Es un acto muy consciente: mueves la atención de un lado a otro y razonas cómo encaja todo, qué tendrías que cambiar para resolver el problema. Incluso es muy posible que no uses lenguaje cuando modelas el problema en tu cabeza.
Los LLM están haciendo lo primero, y ya en esta etapa temprana lo hacen muy bien. Lo sorprendente es hasta dónde se puede llegar solo con ese método. Si entras en modo conversación con un nivel de conocimiento sobrehumano, realmente puedes resolver hasta cierto punto problemas difíciles.
Creo que también encaja con nuestra experiencia. En áreas que conocemos a fondo, a veces descubres que estás resolviendo un problema solo al ir formando frases.
La estructura de conocimiento que construimos es simbólica. Los símbolos representan abstracciones, es decir, clases, e incluyen también relaciones entre símbolos. La creatividad humana consiste en crear nuevos símbolos o nuevas relaciones entre símbolos existentes a partir de nuevas entradas perceptivas, y ese es un proceso abductivo. Este tipo de estructura de conocimiento es poderosa porque permite levantar una enorme torre sobre una base sólida.
Decir que a veces uno resuelve problemas solo formando frases en un tema que conoce profundamente significa que ese tema tiene claridad y que el flujo de pensamiento está alineado con la estructura de conocimiento. En otras palabras, significa que realmente lo entiendes. Pero en mi experiencia, es muy raro que la gente se mantenga dentro de sus capacidades; la mayoría termina hablando incluso de temas sobre los que no tiene una estructura de conocimiento. Además, también es raro tener la autoconciencia de saber sobre qué cosas sí tienes una estructura de conocimiento real, es decir, saber qué no sabes.
Los LLM son, para bien o para mal, un pato de goma que responde.
La interpretación común era que la mayoría de la gente piensa solo de la primera manera.
Esta interpretación ya cansa. Los LLM sí son loros, pero loros que imitan el lenguaje humano, y el lenguaje humano parece codificar nuestra capacidad de razonamiento en su estructura. Así que, si imitan el lenguaje lo suficientemente bien, también empiezan a imitar la capacidad de razonar
Creo que ya deberíamos superar el hecho de que los LLM no tienen una memoria muy precisa. Este problema se resuelve en gran parte, aunque no por completo, si pones en el prompt la información que quieres preguntar, como hace Bing. ChatGPT es mucho mejor resumiendo que recordando hechos con exactitud
Y en la mayoría de los casos eso no importa. Cuando usas ChatGPT para aprender algo o resolver un problema, es un punto de partida, no la conclusión. Si todo el mundo entendiera eso, no habría problema. Aún no he visto a nadie tratar la salida como si fuera 100% factual, y las empresas de IA tampoco afirman eso
De hecho sí existen personas que tratan la salida como si fuera 100% factual
https://www.nytimes.com/2023/06/08/nyregion/lawyer-chatgpt-s...
Si metes tonterías en una calculadora, salen tonterías. En muchos casos tienes que meter hechos. Cosas como RAG automatizan eso
Por eso parece que ChatGPT se está expandiendo mucho hacia RAG. Porque encaja mejor con la forma en que los usuarios esperan que funcione esta herramienta
A la gente que cree que el mundo funciona a base de hechos le cuesta entender los LLM. La forma de encontrar la solución de un problema con ChatGPT es la misma que con un humano. Se encuentra mediante conversación
En lo personal, ChatGPT revolucionó mi flujo de trabajo. A veces me saca código que hace lo que quiero, y también me ayuda a enmarcar problemas de una forma que sí se pueden resolver en la práctica
Hasta ahora los modelos de yi han estado bastante bien, y en dos semanas deberían salir otros dos modelos nuevos mejores. Esta tendencia va a seguir hasta que Altman averigüe a qué político tiene que sobornar más fuerte
En cambio, ChatGPT fue entrenado con Reddit y Twitter
Parece que el autor se está perdiendo bastante el matiz. Sí, a veces inventa tonterías, pero muchas veces no, y puede ahorrar muchísimo tiempo. Claro, a veces también te lleva por mal camino o te da una respuesta totalmente equivocada
Cómo manejar eso depende del usuario. Puedes intentar aprovechar el resultado, o montar herramientas fáciles de verificar para aumentar la productividad, o puedes enterrar la cabeza en la arena y decir que todo está mal así que no importa
Ambos son enfoques válidos
La IA no produce “bullshit a veces”; produce bullshit siempre. Que a veces la salida sea correcta es resultado de que el corpus inicial era correcto. Pero para la IA eso no importa en absoluto, igual que para un charlatán; lo único que importa es sonar convincente
Si fuera “fácil” verificar lo que dice la IA, entonces también “debería ser fácil” enseñarle a la IA a verificar antes de hablar, y entonces la crítica de que la IA es una máquina de bullshit quedaría refutada automáticamente. La amenaza real es que la IA puede producir bullshit difícil de verificar, y hacerlo a una velocidad que haría quedar mal incluso a un Gish gallop profesional
En la economía del bullshit, por ejemplo donde hay burócratas que escriben reportes que nadie lee, y esos burócratas escriben reportes para inflar la cantidad de gerentes y subirles el sueldo, eso por sí solo ya basta
Eso es distinto de los casos donde el usuario revisa la salida y selecciona lo útil con criterio experto, o afina el uso de herramientas con llamadas a API en vez de meter texto ingenuamente en la GUI básica
¿No se podría decir que “el lenguaje es un generador de bullshit”? La mayor parte del lenguaje con el que nos topamos, lo haya hecho un humano o una máquina, es muy sospechoso, una ejército en movimiento de “metáforas, metonimias y antropomorfismos”, como decía Nietzsche
Eso también es parte de lo que hizo exitoso al lenguaje. Porque es independiente de la restricción de tener que ser “verdadero”. Los LLM aprovechan esa propiedad a su favor, pero no son su origen
Antes pensaba exactamente lo mismo que este artículo, pero ahora de verdad ya no sé
El código que se ejecuta y funciona, o sea, código que realmente hace lo que pediste, no es en absoluto “bullshit”
La búsqueda que incluye referencias a fuentes ajustadas a un corpus específico, o sea RAG, tampoco es bullshit
Así que la IA sí es en muchos sentidos un generador de bullshit, pero nosotros también, y además se puede usar de maneras útiles y no-bullshit
En un mundo donde la optimización importa, hay una brecha bastante grande entre que algo funcione y que sea correcto. No siempre, pero estrictamente hablando no solo hay que optimizar algorítmicamente, también cosas como la reutilización y la facilidad de prueba, y el código generado por GPT puede pasar por alto esas partes
Hace 9 meses hubo un buen video de un youtuber francés sobre este tema: https://youtu.be/JcFRbecX6bk?feature=shared
En francés existe la palabra baratineur, que me parece más precisa. Significa alguien que te dice lo que quieres oír, sin importar la noción de verdad o falsedad
Si todos realmente recordaran que los LLM están diseñados para generar salidas plausibles, se ahorrarían mucho tiempo. Los LLM no “saben” nada, no “razonan”, no “piensan” y no tienen opiniones. Solo toman algo como un prefijo de texto o una semilla y generan una salida con base en cosas que humanos realmente crearon y con las que fueron entrenados
Viéndolo así, todo se vuelve bastante claro
¿Hay que creerle a la respuesta? Claro que no. Solo generó algo
¿Se puede usar para hacer brainstorming? Claro que sí. Puedes revisar la salida y adoptarla o inspirarte en ella
¿Se puede usar para generar código útil? Claro que sí. Pero hay que leer el código y hacer que herramientas y personas lo revisen para comprobar que funciona como se pensó
¿Debería reemplazar a los empleados? Claro que no. Un generador de sufijos de texto no puede encargarse de problemas complejos ni asumir responsabilidad por decisiones
Puede que haya un modelo del mundo dentro, o puede que no. Quién sabe. Lo que sí sabemos es que “predecir el siguiente token” es un objetivo simple, pero para funcionar tan bien como ahora requiere una enorme complejidad dentro de la caja negra