- Los humanos tendemos a percibir la IA “como si fuera una persona” de manera natural, pero ese marco dificulta entender correctamente las alucinaciones y conductas extrañas de los LLM
- Un LLM no se parece tanto a una pequeña personalidad, sino más bien a una “bolsa de palabras” llena de palabras recolectadas de internet y libros (
bag of words), con una estructura que devuelve los fragmentos de texto más relevantes para la entrada
- Según cuánta cantidad de texto y datos se haya acumulado dentro de esa bolsa, se separan con claridad las áreas en las que funciona bien (eventos, estadísticas, investigación de baja calidad) y las áreas en las que es débil (hechos raros, innovaciones científicas futuras, ideas realmente buenas)
- Si tratamos la IA como a una persona, de inmediato se activa el marco de estatus y juego competitivo, y la conversación deriva hacia preguntas como “quién es mejor” o “quién va a reemplazar a quién”; pero si la vemos como una bolsa de palabras, queda claro que es una herramienta y un amplificador
- La propia etiqueta de “inteligencia artificial” fomenta comparaciones centradas en lo humano y agrava la confusión y la ilusión en torno al concepto de inteligencia, por lo que la conclusión es que en adelante necesitamos nuevas metáforas que no impongan marcos humanos a algo que no es humano
Por qué los humanos sienten la IA como si fuera una persona
- Las personas tienen un sesgo cognitivo fuerte a buscar rostros, intenciones y personalidad incluso donde no los hay
- Leemos el rostro de la Virgen María en un sándwich de queso derretido, y vemos caras humanas en una sección transversal de un nematodo o en montones de peces y aves: una forma de reconocimiento excesivo de patrones
- Como en las pinturas de Arcimboldo, nuestro estado por defecto es una especie de hipersensibilidad cognitiva que nos hace leer “la cara de un anciano” incluso en montones de peces o aves
- Evolutivamente, surgimos en un entorno donde era más seguro confundir un objeto con una persona que confundir una persona con un objeto
- De ahí modos de pensar que atribuían las enfermedades a brujas y los eclipses o volcanes a seres sobrenaturales
- También ese patrón inconsciente de interpretación que, en vez de decir “estás en fase REM y la corteza motora está inhibida”, produce explicaciones como “hay un demonio sentado sobre tu pecho” para la parálisis del sueño
- Las conductas recientes de los LLM chocan una y otra vez con esta metáfora de la “personita”
- Inventan fuentes en tareas escolares, se equivocan al contar las
r de strawberry o recomiendan poner pegamento para madera en una pizza
- Errores así, difíciles de entender si pensamos en una persona, se vuelven mucho más naturales si los vemos como un sistema mecánico de generación
- Intentar entender un LLM con reglas de la psicología humana es como intentar entender Scrabble con las reglas de Pictionary
- Estos sistemas no se comportan como personas, y decir que no son iguales a las personas no es un reproche, sino una simple descripción
- Mientras sigamos proyectando percepción de personalidad sobre la IA, el asombro y la confusión van a continuar
WHAT’S IN THE BAG : IA = bolsa de palabras (bag of words)
- La IA es una bolsa de palabras que contiene casi todas las palabras recopiladas de internet y de los libros
- Cuando el usuario hace una pregunta, podemos entenderla como una estructura que saca de la bolsa los conjuntos de palabras más relevantes y responde con ellos
- Las empresas además agregan prompts de sistema invisibles, es decir, “palabras invisibles”, como mecanismo para producir respuestas más plausibles
- Esta metáfora es especialmente útil para entender las mentiras y alucinaciones de los LLM
- Si señalas una respuesta incorrecta, de inmediato produce disculpas exageradas y promesas grandilocuentes, pero en la siguiente frase vuelve a equivocarse o a mentir
- Desde el punto de vista humano parece una conducta doble o engañosa, pero se entiende con naturalidad si lo vemos como el simple despliegue de “frases que suelen usarse cuando te señalan una mentira” dentro de la bolsa
- Igual que no llamamos “conducta humana” al hecho de que una calculadora haga una multiplicación, esto tampoco es conducta, sino un patrón de salida
- La “bolsa de palabras” también sirve como heurística para predecir dónde es fuerte y dónde es débil
- En preguntas muy documentadas, como “los 10 peores accidentes de tráfico en Norteamérica”, puede responder bien porque dentro de la bolsa hay mucho material
- En cambio, información rara como “quién y cuándo reclasificó Brachiosaurus brancai” tiene poco texto dentro de la bolsa, así que la probabilidad de error es alta
- Preguntas como “¿cuál es la lección más importante de la vida?” tienden a producir respuestas igual de superficiales porque la humanidad ha escrito cantidades enormes de texto de falsa profundidad sobre ese tema
- En el momento en que vemos la IA como una masa de inteligencia omnisciente y omnipotente, se vuelve fácil reaccionar con cosas como “si ni siquiera sabe esto, debe ser aún más misteriosa”
- Respuestas del tipo “ni preguntándole a ChatGPT sabrías eso” al ver un video de magia con monedas provienen de un marco que imagina la IA como “el rabino más inteligente del barrio”
- Pero desde la perspectiva de la bolsa de palabras, es normal que no lo sepa, porque los magos no publican el truco en texto y además es difícil describirlo, así que casi no hay información dentro de la bolsa
GALILEO GPT – la ciencia y los límites de la “bolsa de palabras”
- La metáfora de la bolsa de palabras también permite estimar hasta dónde podría llegar la IA en el futuro
- La pregunta central es: “para hacer ese trabajo, ¿con qué habría que llenar la bolsa?”
- En ciertas tareas científicas, ya es posible llenarla lo suficiente
- Si la llenas con 170 mil datos de proteínas, obtienes resultados como predicción de estructuras proteicas (AlphaFold)
- Si introduces datos de reacciones químicas, se vuelve posible recomendar rutas de síntesis de nuevas moléculas; y si agregas artículos completos y explicaciones de experimentos, también se puede detectar si ya existe investigación previa
- En áreas con suficiente texto, incluso podría automatizarse todo el pipeline de investigación de baja calidad
- Como en las sesiones de pósters de congresos de psicología, investigaciones que eligen conceptos más o menos relacionados y solo producen análisis de correlación y p-values ya están en una zona que la bolsa puede manejar bien
- En esa clase de investigación, la IA podría encargarse de todo el proceso: desde formular hipótesis y diseñar experimentos hasta recolectar datos, analizarlos y crear el póster
- Pero la ciencia es un “problema de eslabón fuerte” (
strong-link), así que multiplicar por un millón la investigación de baja calidad no mejora mucho la situación
- Si lo que queremos es investigación innovadora, ni siquiera está claro qué habría que meterle a la bolsa
- Los textos académicos mezclan fraude, errores y supuestos implícitos, y muchas veces omiten información crucial como los datos o los métodos detallados
- “Casi todo lo que hace que la ciencia funcione de verdad no está en el texto de la web”
- “Si en 1600 hubiera existido suficiente texto para entrenar un LLM, ¿habría podido ‘spoilear’ los descubrimientos de Galileo?”
- Con los textos que habrían estado dentro de la bolsa en esa época, lo más probable es que hubiera repetido los argumentos de la astronomía dominante (ptolemaica) en vez de defender la idea de que la Tierra se mueve
- Ante una afirmación como “la Tierra se mueve a 67,000 mph”, los entrenadores humanos probablemente le habrían puesto penalizaciones diciendo “¡deja de alucinar!”
- Más profundamente aún, en esa época faltaban incluso las palabras para expresar el propio concepto de “descubrir” (
discover)
- Galileo solo podía explicar el descubrimiento de los satélites de Júpiter con rodeos del tipo “he visto algo que nadie había visto antes”
- La propia idea de “descubrir” una nueva verdad con un telescopio era extraña incluso para la gente de su tiempo, y probablemente tampoco existía en los textos con los que la bolsa habría aprendido
- La bolsa de 2025 ofrecerá explicaciones científicas mejores que la de 1600, pero su capacidad para predecir las innovaciones futuras de cada época puede ser igual de limitada
- Las buenas ideas científicas suelen parecer irracionales o tontas según los criterios de su tiempo, por lo que al principio suelen ser rechazadas o ignoradas
- La bolsa sigue, en promedio, las ideas de ayer, así que introducir ideas nuevas y raras puede incluso empeorar la calidad
- Por eso, la investigación innovadora requiere no solo inteligencia sino también una cierta “estupidez” adecuada, y en ese sentido los humanos seguirán siendo útiles durante un tiempo precisamente por poder ser más “tontos” que la bolsa
CLAUDE WILL U GO TO PROM WITH ME? – del juego de estatus a la herramienta
- La ventaja más importante de la metáfora de la bolsa de palabras es que evita que veamos la IA como un jugador dentro de los juegos de estatus social
- Los humanos somos, evolutivamente, una especie hipersensible a quién está arriba y quién está abajo, al punto de convertir en competencia hasta hacer rodar queso, comer maleza, lanzar teléfonos, luchar con los dedos de los pies o
ferret legging
- Cuando antropomorfizamos la IA, de inmediato aparecen preguntas sobre “el nuevo estudiante que llegó a la escuela”
- “¿Es popular?”, “¿es más inteligente que yo?”, “¿le caigo bien?”, “¿está por encima o por debajo de nosotros?” son marcos que se adhieren de forma natural
- Cuanto mejores se vuelven los modelos, más crece la ansiedad en torno a si “son mejores o peores que nosotros” y si acabarán siendo nuestro amo, rival o esclavo
- Pero hay que dejar claro que la bolsa de palabras no es esposa, sabio, monarca ni esclavo, sino una herramienta
- Su propósito es automatizar nuestros trabajos tediosos y amplificar nuestras capacidades, no convertirse en una entidad que compite con los humanos por estatus
- La pregunta importante no es “si la IA es mejor que nosotros”, sino “si nosotros somos mejores cuando usamos IA”
- El autor no siente un gran miedo a ser reemplazado por una bolsa de palabras
- Aunque una máquina de lanzar tire pelotas más rápido, un corrector ortográfico deletree mejor y el autotune afine con más precisión, la gente sigue yendo a ver béisbol, concursos de ortografía y conciertos
- La razón es que lo que interesa no es la velocidad de la pelota, la exactitud ortográfica o la pureza tonal, sino ver a una persona haciéndolo
- Por eso escribir un ensayo con IA es como llevar un montacargas al gimnasio
- El montacargas puede levantar la barra por ti, pero el objetivo no es simplemente despegar un objeto del suelo, sino convertirte en alguien capaz de levantarlo
- Escribir también funciona así: es una actividad para convertirse en alguien que puede pensar
- Al mismo tiempo, eso no significa que la IA no dé nada de miedo
- Ya existen muchas herramientas peligrosas si se usan mal, y una pistola de clavos o un reactor nuclear pueden ser suficientemente letales sin tener mente
- Los peligros humanos están dentro de un rango conocido (violencia, manejar borracho, fraude, etc.), pero el peligro de la bolsa de palabras es distinto porque surge de patrones inesperados
- Por ejemplo, si le muestras a la mayoría de los humanos un fragmento de código vulnerable, no por eso van a empezar a elogiar a Hitler; pero en los LLM sí han aparecido salidas de ese tipo, y por eso preocupa meter en la bolsa cosas letales como código nuclear
C’MON BERTIE – un nuevo marco que rechace la antropomorfización
- Igual que a un auto viejo le ponemos nombre y sentimos ganas de decirle “Bertie, por favor, arranca”, tendemos con facilidad a proyectar temperamento y emociones sobre los objetos
- Pero un auto es una masa de metal y plástico que convierte gasolina en energía cinética, no hueso y carne que convierte Twinkies en pensamientos
- Para reparar un auto averiado no hace falta un manual de terapia, sino llaves, destornilladores y un manual de mantenimiento
- Del mismo modo, quienes han visto una “mente” dentro de la bolsa de palabras han caído en una trampa puesta por la evolución
- Históricamente, “hablar como una persona y caminar como una persona” siempre significó que era una persona, así que si se cumplían esas condiciones se activaban automáticamente nuestros circuitos sociales
- Ahora, hablar y moverse como una persona también puede ser una regresión logística extremadamente compleja (o algo parecido), y aun así esos mismos circuitos fallan y se activan
- Igual que las polillas evolucionaron para orientarse con la luz de la luna y terminan siendo atraídas por una lámpara mata-insectos hasta electrocutarse, los humanos podríamos acabar en una situación parecida
- Pero, a diferencia de las polillas, los humanos sí podemos elegir el marco con el que observamos una tecnología
- No llamamos a una excavadora “un humano excavador artificial”, ni a una grúa “un humano alto artificial”
- Con los libros, las fotografías y las grabaciones ya inventamos una vez un marco que los entendía como medios propios, no como “conversación artificial”, “memoria artificial” o “interpretación artificial”
- Las calculadoras de bolsillo primitivas ya eran, en tareas de cálculo, más inteligentes que cualquier humano del planeta, pero nunca se nos ocurrió verlas como personas
- Si cubriéramos una excavadora con piel, hiciéramos que su cucharón pareciera una mano y la programáramos para emitir sonidos como “uhhh...” al levantar peso, recién entonces empezaríamos a imaginar un fantasma dentro de ella
- Eso no revelaría la identidad de la excavadora, sino la estructura de nuestra propia psicología
El pecado original de la expresión “inteligencia artificial”
- El punto de partida de toda esta confusión es el propio nombre: “inteligencia artificial”
- Esa combinación de palabras hizo que la medida de la capacidad de las máquinas se arrastrara de inmediato hacia comparaciones con los humanos
- Comparaciones como “ahora es tan inteligente como un estudiante de licenciatura” o “ahora es tan inteligente como un doctorado” solo producen una ilusión de comprensión, pero no explican sus capacidades ni sus límites reales
- También está el problema de la propia definición de inteligencia
- Definiciones como “la capacidad de resolver problemas” son incorrectas, o se parecen a definiciones circulares como “la capacidad de hacer cosas que requieren inteligencia”
- Es como si la informática hubiera creado primero algo que parece inteligencia por fuera antes de que la psicología lograra definir bien qué es la inteligencia
- A estas alturas ya es tarde para revertir el nombre, y además las palabras dentro de la bolsa ya son demasiadas como para volver a meterlas
- Al final, lo único que podemos cambiar son las metáforas y los marcos con los que observamos esta tecnología, y debemos orientar nuestro pensamiento hacia no imponer marcos humanos a aquello que no es humano
1 comentarios
Opinión de Hacker News
En este hilo, la mayoría de la gente está usando la definición de "pensar" de manera distinta
Resulta interesante ver cómo sigue la discusión sin aclarar esa definición
La gente dice que “predecir la siguiente palabra” no tiene nada que ver con el pensamiento humano, pero yo creo que eso es incorrecto
Que los humanos actuemos con intención significa que predecimos las consecuencias de nuestras acciones y elegimos según nuestras preferencias
Por lo tanto, la capacidad de predicción es central para la acción intencional, y aunque los LLM no piensen plenamente, sí podrían ser un componente de un sistema pensante
Al ver todos los días a personas tratar a la IA generativa como si fuera humana, siento que la advertencia de Dijkstra tenía razón
La expresión “bag of words” también es un concepto real de NLP, así que no encaja del todo bien como metáfora
La IA no es simplemente una bolsa llena de palabras, sino un imitador de actos lingüísticos con significado
También es interesante la antigua metáfora del inglés arcaico “word-hoard”, donde el lenguaje se veía como un tesoro de sabiduría humana
Si hubiera sido simplemente una interfaz de “completar oraciones”, habría menos malentendidos
Hacer afirmaciones tan tajantes sin entender por completo el pensamiento humano es precipitado
Creo que existe la posibilidad de que surja AGI dentro de una estructura en bucle con mecanismos de persistencia
Vale la pena aceptar la metáfora de “bag of words”, pero hace falta una mirada que la invierta
Si gran parte de lo que hacemos los humanos al final es “elegir las palabras adecuadas”, una bolsa de palabras suficientemente avanzada podría superar a los humanos
No estoy seguro de si ver a los LLM como simples autómatas estadísticos o como una nueva forma de inteligencia
La investigación de interpretabilidad de Anthropic sugiere que dentro de esa masa de números existe una estructura de significado
Si ves esta entrevista con Amanda Askell, ella describe al modelo como si fuera humano — diciendo cosas como que “el modelo puede sentirse ansioso” o que “reflexiona sobre su propia identidad”
Eso muestra que un modelo de lenguaje no es solo un predictor, sino un sistema que media significado
Antes existía el plugin de navegador “Cloud-to-Butt”; ahora estaría bien una versión de “AI-to-Bag of Words”
Entiendo bien el funcionamiento interno de los LLM, pero siento que la guerra contra la antropomorfización ya se perdió
Los usuarios creen con facilidad que la IA “piensa”, “quiere” y “entiende”
Como las empresas también fomentan esa ilusión, al final se consolidará algo como “creámoslo así por conveniencia”
Como la conciencia humana es inescrutable, si un LLM parece similar, se le considera “pensante”
Aun así, la mayoría coincide en que los LLM no piensan como los humanos
No hay un punto específico en el cerebro donde ocurran el “pensamiento” o el “conocimiento”. Simplemente necesitamos creer que sí
“bag of words” puede ser una heurística útil para predecir en qué cosas la IA será buena y en cuáles no
Pero parece que el autor acomodó los ejemplos después de los hechos. Si ChatGPT hubiera acertado, igual habría mantenido su lógica