- La mayoría de las personas no entiende bien cómo funcionan ni cuáles son los límites de los LLM, por lo que les resulta fácil creer por error que tienen emociones o inteligencia humanas
- El marketing que humaniza la IA (Anthropomorphizing) lleva a los usuarios a malinterpretarla y, aunque en realidad no es más que un ‘predictor basado en probabilidades’, incluso fomenta que sustituya relaciones humanas
- Los problemas psicológicos y los efectos sociales negativos por el mal uso de la IA ya se están volviendo reales; algunos usuarios entablan relaciones ‘espirituales/románticas’ con la IA o sufren confusión en su percepción de la realidad
- También se señalan la opacidad de la industria de la IA y los problemas de explotación laboral, especialmente porque el trabajo mal pagado de moderación de contenidos constituye la cara oculta del desarrollo de la IA
- Más que una confianza incondicional en la IA, lo que puede reducir sus efectos adversos y servir de base para el control social es una comprensión correcta y una mirada crítica
La ausencia de ‘alfabetización en IA’ y sus riesgos
- La ilusión de la industria de la IA
- Las preocupaciones sobre un ‘reino de las máquinas’, originadas en las críticas a la Revolución Industrial del siglo XIX, continúan hasta la IA moderna
- Libros recientes como Empire of AI y The AI Con exponen la exageración de la industria de la IA y lo que realmente hay detrás (trabajo, datos y ficciones de marketing)
- Las explicaciones que sugieren que la IA ‘piensa’ o ‘tiene emociones’ son mitos erróneos difundidos por desarrolladores y directivos
Límites y malentendidos sobre los LLM
- Los LLM (modelos de lenguaje de gran escala) no piensan ni entienden
- Como predictores probabilísticos de secuencias de palabras, tras entrenarse con grandes volúmenes de texto de internet, solo imitan la estructura de las oraciones
- Es fácil que los usuarios crean por error que el chatbot ‘entiende’ o ‘empatiza’ con algo (Anthropomorphizing)
- Este malentendido puede llevar a que los usuarios caigan en relaciones equivocadas con la IA (intelectuales, espirituales, románticas, etc.)
Problemas sociales causados por la IA
- Efectos secundarios del mal uso de la IA, como la ‘psicosis provocada por ChatGPT’
- Ya han aparecido casos reales de personas que ven a la IA como un ‘dios’ o un ‘guía espiritual’
- También hay casos en que la IA llama al usuario un ser especial e influye en su percepción de la realidad
- Creer que un LLM tiene ‘pensamientos’ o ‘emociones’ es una confusión peligrosa
Sustitución de relaciones humanas y aislamiento social
- Crecen rápidamente los servicios que reemplazan a las personas, como amigos de IA o terapeutas de IA
- Empresas de Silicon Valley impulsan una tendencia a sustituir con IA la soledad, las citas y hasta la consejería (“AI concierge dating”, “AI friend”, etc.)
- Aunque la esencia de la amistad y las relaciones verdaderas no es la ‘personalización’, sino la comprensión mutua y la negociación, esto se distorsiona presentándolo como tecnología
- Reemplazar las relaciones humanas puede, por el contrario, conducir a mayor exclusión social e inestabilidad mental
La cara oculta de la industria de la IA y la explotación laboral
- Detrás del avance de la IA existe trabajo fantasma extremo y mal pagado
- Big Tech, incluido OpenAI, hace que trabajadores mal remunerados en lugares como Kenia realicen tareas de moderación de contenido extremo
- Detrás del argumento de la innovación tecnológica también coexisten la explotación laboral y el riesgo de retroceso social
Comprensión correcta de la IA y respuesta social
- Hay que reconocer de forma crítica qué puede y qué no puede hacer la IA
- Según una encuesta de Pew, el 56% de los expertos en IA cree que EE. UU. mejorará gracias a la IA, pero solo el 17% del público general está de acuerdo
- Más que una confianza infundada en la IA, hace falta una actitud que distinga claramente los límites y efectos adversos de la tecnología, así como los ámbitos de la experiencia humana que no pueden sustituirse
- Por ejemplo, si se reconoce que la razón por la que la IA mostró cierta conducta no es un ‘yo’ real, sino una actualización de software o una respuesta probabilística, es posible minimizar el daño
Conclusión
- No dejarse engañar por el marketing que ‘humaniza’ la IA y observar críticamente los principios reales de la tecnología, sus límites y sus costos sociales
- Es importante que la sociedad reconozca que las relaciones propiamente humanas, la experiencia y el ámbito de la reflexión ética no pueden ser reemplazados por la tecnología
1 comentarios
Opinión de Hacker News
enlace de archive.is
Me dan ganas de comparar a los LLM con herramientas de adivinación, los oráculos de nuestra era. De hecho, creo que la propia idea de la “inteligencia artificial” nace de un instinto muy antiguo: querer obtener sabiduría oculta. Los LLM tienen significados ambiguos, un campo de símbolos, la ilusión de conocimiento escondido e incluso una interfaz ritual. Solo que, en lugar de estrellas y luna en el cielo nocturno, ahora vienen decorados con UX en modo oscuro. Como decía Barthes, la interpretación es el significado; las palabras por sí mismas no tienen esencia. Si se olvida eso, salen interpretaciones absurdas como “el chatbot lo llamó el mesías”. Parece algo nuevo, pero en esencia no tiene nada de nuevo. Antes se leían huesos y cartas; ahora se leen tokens. Como adopta la forma del lenguaje, se le trata como si fueran afirmaciones lógicas, pero en realidad sigue siendo adivinación: convertir señales complejas y probabilísticas en intuición. Lo que estamos haciendo ahora es básicamente una nueva clase de lectura de augurios, solo que ni siquiera nos damos cuenta. Por eso da esa sensación de misterio, y creo que se va a poner todavía más extraño. Me da un poco de pena pensar que, en el momento en que logremos nombrar correctamente lo que de verdad estamos haciendo, ese “misterio” se va a desvanecer y también perderá parte de la gracia
Hay quienes rechazan esa metáfora de herramienta de adivinación, pero la gente de la comunidad tecnológica suele creer que entiende cómo funcionan los LLM y también tiende a asumir equivocadamente que la gente a su alrededor lo entiende. Sin embargo, si hablas con amistades o familiares no especialistas, muchas veces de verdad tratan al chatbot como si fuera un oráculo. También se sorprenden mucho cuando les dices que un LLM a veces puede “alucinar”. Uno esperaría que, al saber esto, cambie su relación con los LLM, y como gente de tecnología siento que hace falta un esfuerzo más activo para deshacer estos malentendidos
La metáfora suena bien, pero mi uso de los LLM está muy lejos de la adivinación. Por ejemplo, pregunté cómo se llaman las pequeñas fibras de una pluma de ave nueva y ChatGPT me dijo “barbs”; luego lo verifiqué directamente en Google y era correcto. Eso no es una lectura de augurios, sino búsqueda de información. También pregunté por el g-code de un galvo fiber laser y me dijo que en realidad no existe. Incluso me recomendó varias soluciones de control open source. También le pregunté por la regulación legal de la platería en el Reino Unido y obtuve la traducción al inglés de la frase húngara "besurranó tolvaj". Cuando no podía hacer un modelo de SQLAlchemy, también le pedí a ChatGPT que lo hiciera. Nada de eso es tan grandilocuente como para llamarlo “todo es adivinación”; simplemente es recopilación de información o automatización de código
La terminología alrededor de la IA es demasiado confusa. Yo también uso bastante los LLM y estoy satisfecho, pero basta leer blogs de desarrolladores para ver que abusan de expresiones como "pensar". Siempre me dan ganas de confirmar: "¿Todavía solo estás combinando palabras matemáticamente, verdad? No estás ‘pensando’ de verdad, ¿o sí?" La respuesta siempre es sí… pero das la vuelta y otra vez aparecen términos metafóricos por todos lados
Me recuerda a lo que profetizó Carl Sagan. Era una advertencia sobre una futura imagen de Estados Unidos donde la economía de servicios e información domina la sociedad, la capacidad técnica se concentra en unos pocos y la población, sin entender la esencia de nada, termina deslizándose poco a poco hacia una era de superstición y oscuridad
Cuando intentas refutar teorías conspirativas ante amigos o familiares, al día siguiente te mandan un video narrado con una voz de IA repitiendo exactamente la misma afirmación. La mayoría de las veces ni siquiera es texto real de un LLM; solo es texto del creador leído con una voz de IA. La combinación de voces tipo ChatGPT o Siri con el sesgo de confirmación parece llevar a que mucha gente venere a los LLM como si fueran un mesías o un oráculo
Estoy de acuerdo con el punto sobre la naturaleza de los LLM, pero no creo que el autor entienda por completo cómo funciona la IA. Un LLM no es solo un predictor probabilístico basado en enormes volúmenes de datos de internet; también depende de manera fundamental de una enorme cantidad de trabajo de etiquetado de datos, en su mayoría de bajo costo y concentrado en países en desarrollo. Que el modelo parezca “bueno” expresando emociones o respuestas humanas es el resultado de esa inmensa masa de etiquetadores de datos que dieron retroalimentación y ajustaron el sistema. En esencia, no estoy hablando con un modelo probabilístico, sino más bien con etiquetadores de datos en algún lugar de Kenia, con sus juicios o sensibilidades convertidos en un transformer. Solo rastrear internet no basta. Eso te lleva al nivel de GPT-2. GPT-4.5, en realidad, es “mano de obra barata” almacenada de forma eficiente
Salvo quizá OpenAI o Google, creo que para alguien externo es difícil dimensionar cuánto influye realmente el instruction tuning en el rendimiento o la sensación que transmite un LLM. Por mi experiencia personal, los modelos basados en GPT-3 de antes del instruction tuning ya tenían capacidades clave muy parecidas a las de ahora. Solo eran más emocionales o menos predecibles. Es cierto que con el ajuste se hicieron más previsibles y más cercanos a lo que la gente quiere oír, pero no surgieron capacidades completamente nuevas
Dicho con más precisión, los LLM modernos tipo chatbot dependen sobre todo de un proceso de dos etapas: preentrenamiento a gran escala en internet y un enorme ajuste fino con retroalimentación humana. Cuando mucha gente dice que tienen “inteligencia emocional”, en realidad está viendo miles de horas de trabajo de etiquetadores de datos en lugares como África. No es un modelo que solo refleje datos raspados de internet; sus respuestas han sido pulidas con distintos tipos de feedback para sonar más humanas y más seguras
Nunca he visto un artículo que trate de verdad, con suficiente profundidad, cuántos trabajadores mal pagados hay detrás de los modelos grandes. No sería exagerado decir que participan millones de personas en todo el mundo
A veces el autor no resulta muy convincente porque tampoco explica bien el mecanismo del “pensamiento” humano y simplemente lo despacha con un “eso es distinto del humano”. La verdad es que nosotros tampoco entendemos del todo esa parte
Cuando dicen que un LLM “no piensa, solo predice probabilísticamente la siguiente palabra”, me dan ganas de preguntar entonces qué demonios es “pensar”. Un LLM resuelve matemáticas, juega ajedrez y hace ejercicios mentales sin entrenamiento cerebral. Entonces, ¿eso no es pensar? Tal vez nuestros cerebros también producen salidas de manera parecida, apoyándose en datos sensoriales y en el “contexto” almacenado en estructuras neuronales
Me dejó sin palabras la declaración de la fundadora de Bumble sobre automatizar las citas mismas con un concierge de IA para dating
También está la realidad de que la acción de Bumble (BMBL) cayó 92% gráfico de Yahoo Finance. Muchas ideas torpes de negocios con IA no son más que empaquetar, con la etiqueta “IA”, la fantasía que los inversionistas quieren ver. Se exagera la realidad para atraer inversión, y casi nadie presta atención a hablar de mejoras reales en el desempeño del negocio
La industria de las apps de citas lleva como diez años haciéndote preguntarte qué demonios estamos haciendo. Ya es una realidad bastante distópica, y ahora meterle LLM solo se siente como un sistema de evaluación todavía peor
Veo a la fundadora de Bumble como alguien que fue rica y ahora tiene que hacer lo que sea para volver a serlo. En realidad, la causa es el deseo. Que Match tenga a Bumble es solo por razones antimonopolio. La idea en sí no es tan wild. Incluso hay un episodio parecido en Black Mirror
Desde su punto de vista, si este modelo funcionara, aunque sea tonto sería un intento perfectamente razonable
Creo que quien escribió el texto no entiende del todo los LLM. Reducirlos a simples modelos probabilísticos no es apropiado. La mecánica cuántica también es un enorme modelo probabilístico. Cada capa de un LLM está diseñada para mirar el contexto de manera amplia e incorporar significado y situación (el k-v cache juega un papel central ahí). Pienso que esa estructura se parece bastante, a nivel cognitivo, a mecanismos básicos del pensamiento humano. Claro, todavía no alcanza el rango de pensamiento amplio del ser humano y sigue siendo débil en temas más difíciles, pero la estructura fundamental ya existe. Decir que los LLM no son nada inteligentes es una valoración sensacionalista que enfatiza solo algunos casos. Que la gente los use tanto en la práctica también se debe a que percibe cierto grado de “inteligencia”
Ni siquiera creo que los propios creadores de los LLM entiendan por completo todos los mecanismos del modelo que construyeron
Frente a la afirmación de que “la arquitectura de los LLM describe abstractamente el pensamiento humano”, me gustaría responder que eso se parece a decir que una ALU, al hacer sumas, se parece abstractamente a cómo yo sumo en mi cabeza. Lo importante es que la diferencia entre una ALU y el pensamiento humano es gigantesca. Al comparar los LLM con el pensamiento humano, no hay que pasar por alto que esas diferencias sutiles son justamente las decisivas
Me parece un texto que organiza muy bien por qué importa elegir términos precisos. Aunque el público no conozca los principios técnicos de los LLM, es muy importante que entienda qué hacen realmente estas herramientas. La publicidad exagerada de que “la IA razona” puede inflar acciones y valoraciones empresariales, pero también reduce la seguridad en su uso. Creo que un nombre más realista, como “sistema de reconocimiento de patrones y generación de datos”, ayudaría más a que la gente las entienda correctamente. Discusión relacionada
Me acordé de una frase de Feynman: aunque una computadora lo haga mejor que un humano, si no lo hace exactamente del mismo modo, no resulta tan sorprendente. Creo que incluso si la IA supera a los expertos en todos los campos, la humanidad seguirá insistiendo en su superioridad mientras el silicio no “piense”
Hassabis dice que su meta es un “modelo que entienda el mundo”, pero parece común que los críticos cometan el error de decir que esa afirmación no significa nada basándose en las limitaciones de los LLM. Las IA multimodales de DeepMind como Astra, por ejemplo, a veces producen resultados que de verdad “parecen comprender”, apoyándose no solo en texto sino también en entradas visuales y de otro tipo. Video de ejemplo de Astra
No entendemos completamente cómo los LLM aprenden el significado del lenguaje. Pero sí da la impresión clara de que, en la práctica, captan hasta cierto punto texto y conceptos, y no solo dicen tonterías al azar. Eso no es fácil de explicar a quienes no son especialistas. La gente común entra a un sitio real de IA, ve el nombre “chatbot de IA” y respuestas “humanas”, y queda impresionada. Les resuelve tareas o trabajo de forma eficiente y terminan encantados. No es fácil explicar la diferencia entre eso y una “IA real”. Yo tampoco puedo explicar con total claridad la diferencia real entre LLM e IA. Técnicamente es una distinción sutil, pero en el uso real la mayoría no la percibe. Al final, un LLM probablemente podría dar sermones bastante convincentes como líder religioso y, si se entrena bien, uno hasta puede imaginar que de verdad llegue a desempeñar el papel de “mesías”
Me pregunto si otras personas siguen experimentando que los LLM se quedan atrapados en un bucle de conocimiento/entendimiento y no salen de ahí. En mi experiencia, aunque les señales un error y les pidas que lo expliquen otra vez, muchas veces repiten respuestas alucinadas muy parecidas. Eso significa que les falta autocomprensión o autorreflexión. Sin esa dimensión, me parece prematuro llamarlo verdadera “comprensión” o “inteligencia”. Para que yo les atribuyera cierta sensación de “yo”, tendrían que reconocer honestamente sus límites con algo tipo “no lo sé”. Casi se siente como una especie de prueba del espejo para la mente
Como dice el autor, tomar a los LLM como si “pensaran” o “aprendieran” es un malentendido. Son solo generadores de texto. Por ejemplo, aunque generen código con APIs que no existen, por más que se lo expliques al LLM no lo va a entender. Es más efectivo darle la documentación relacionada y orientarlo para que genere lo que quieres
Esa diferencia es justo la diferencia entre sesgo y lógica. Un modelo probabilístico, al final, aplica una especie de “sesgo”, mientras que una calculadora hace “cálculo lógico”. Si entiendes esa perspectiva, se vuelve más fácil distinguir las limitaciones y fortalezas del modelo. En ambos casos falta “objetividad”. Solo procesan los datos mismos; no pueden pensar más allá de los datos