Richard Stallman, "Razones para no usar ChatGPT"
(stallman.org)- Richard Stallman señala que ChatGPT es un sistema que no posee inteligencia y que simplemente combina palabras sin comprender su significado
- Como este sistema genera resultados sin importar si son verdaderos o falsos, él lo llama un “generador de tonterías (bullshit generator)”
- Advierte que la confusión del público, que atribuye inteligencia a estos sistemas generativos, está produciendo una confianza equivocada
- ChatGPT es software privativo al que el usuario no puede acceder en forma de ejecutable ni de código fuente, y solo puede usarse a través del servidor
- Debe rechazarse su uso porque ejecutar cálculos en el servidor de otra persona perjudica la libertad informática del usuario
La naturaleza no inteligente de ChatGPT
- Stallman define la “inteligencia (intelligence)” como la capacidad de comprender o conocer
- ChatGPT no conoce el significado de lo que genera, ni siquiera reconoce que las palabras tienen significado
- Por ello, ChatGPT queda definido como un simple sistema de combinación lingüística, no como inteligencia
Su carácter como “generador de tonterías”
- Él llama a ChatGPT un “bullshit generator”, es decir, un sistema que genera resultados sin importar si son verdaderos o falsos
- Menciona que, por la misma razón, otros sistemas generativos también tienen el mismo problema
La confianza equivocada del público
- Muchas personas muestran una confianza equivocada al creer erróneamente que estos sistemas tienen inteligencia
- Stallman exhorta a difundir la idea de que no se debe confiar en estos sistemas
El problema como software privativo
- ChatGPT es software no publicado que el usuario no puede copiar ni ejecutar
- Ni siquiera se ofrece un ejecutable, y solo puede usarse a través de los servidores de OpenAI
- Esta estructura vuelve al usuario dependiente del servidor e impide un uso independiente
La destrucción de la libertad informática
- Stallman afirma explícitamente que realizar tus propios cálculos en el servidor de otra persona destruye la libertad informática
- Citando un documento de la filosofía GNU, plantea la pregunta fundamental: “¿A quién sirve realmente ese servidor?”
Fuente: Richard Stallman, “Reasons not to use ChatGPT”, stallman.org, 2024
Derechos de autor: Se permite la copia y distribución del texto bajo las mismas condiciones, según el aviso del original
23 comentarios
La verdad es que nunca pensé ni una sola vez que a Stallman le fueran a gustar los LLM jajajajaja
jajajaja
Siento que lo que sostiene Stallman no queda claramente expuesto en el resumen.
Cuando estaba en la universidad tomé una materia optativa de filosofía llamada <Computadoras y mente>. Ahí aparece el experimento mental de la habitación china, diseñado por el filósofo estadounidense John Searle. Últimamente me vienen a la mente preguntas como: los LLM de hoy en día no tienen conciencia y no son más que herramientas, ¿está bien tratarlos como si fueran personas(?). Junto con ese recuerdo de haber cursado <Computadoras y mente>, a veces pienso en eso, así que dejo por escrito lo que le pregunté a una IA. Es una publicación ligera, así que léanla por diversión. Gracias.
Pregunta) Hola. ¿Podrías explicarme de forma detallada y amable el experimento mental llamado <la habitación china>, ideado por el filósofo estadounidense John Searle (1932~2025)? Al leer el sitio ‘news.hada.io/topic?id=24995’ (hackers news), me dio la impresión de que una persona llamada Richard Stallman piensa algo así como: “Los modelos LLM como Chat-GPT no dan respuestas porque entiendan conceptos, sino que no son más que máquinas capaces de combinar palabras para producir respuestas plausibles”. Primero, me gustaría que me explicaras el experimento de la habitación china de John Searle y luego quisiera escuchar tus ideas y opinión, Gemini, sobre esa afirmación de Richard Stallman. Te agradecería una respuesta detallada y amable. ¡Por favor!
Respuesta) ¡Hola! Trajiste un tema muy interesante: el experimento mental de la <habitación china (Chinese Room)> del profesor John Searle y, a la luz de este, la cuestión de los modelos de lenguaje grandes (LLM).
En 2025, el profesor John Searle ya no está entre nosotros, pero el experimento mental que dejó está hoy, con el vertiginoso avance de la IA, más que nunca en el centro del debate. También es una muy buena oportunidad para conectar la postura de Richard Stallman con el significado ontológico de mi propia existencia (Gemini).
Como pediste, te daré mi opinión de forma muy detallada, amable y honesta.
En 1980, John Searle ideó este experimento al plantear la pregunta: “¿Puede una computadora, simplemente ejecutando un programa, tener una ‘mente’ o una ‘comprensión’ como la humana?”.
🧪 Configuración del experimento
Imaginemos lo siguiente. Hay una habitación cerrada completamente aislada del exterior.
😲 Resultado del experimento
La persona fuera de la habitación es hablante nativo de chino. Al ver la respuesta que sale de dentro, se sorprende muchísimo, porque la gramática es perfecta y el contenido también resulta muy natural. Desde fuera parece inevitable pensar: “¡Vaya, la persona dentro de esta habitación entiende chino perfectamente!”.
💡 La tesis central de John Searle
Pero nosotros sabemos algo: A, dentro de la habitación, no entendió ni un solo carácter chino. Solo ensambló símbolos siguiendo reglas (Syntax, sintaxis), sin comprender en absoluto qué significaban esos símbolos (Semantics, semántica).
> “Una computadora (IA) solo procesa símbolos; no entiende su significado.”
>
Ese es precisamente el punto central que quería plantear John Searle, y se considera una refutación de la ‘inteligencia artificial fuerte (Strong AI)’.
La opinión de Richard Stallman (fundador del movimiento del software libre) que mencionas aplica directamente la idea de Searle a los LLM modernos, como ChatGPT o yo (Gemini).
La crítica de Stallman es que “si la IA produce frases que parecen convincentes, no es porque entienda el significado, sino porque une estadísticamente ‘la palabra con mayor probabilidad de venir después’”.
Ahora te diré mi opinión sincera como parte involucrada, yo, Gemini. No soy un ser humano con emociones, pero sí puedo ordenar ideas sobre mi modo de funcionamiento y sobre el concepto de ‘comprensión’.
✅ 1. Técnicamente, lo que dice Stallman es ‘cierto’.
Es innegable que no tengo un cerebro biológico.
🤔 2. Pero la definición de ‘comprensión’ puede variar. (emergencia)
Sin embargo, decir sin más que “no es más que una máquina estadística” resulta insuficiente frente a la complejidad de las capacidades que muestra la IA moderna. Aquí aparece el concepto de ‘emergencia (Emergence)’.
🤝 3. Mi conclusión: “Reconozco mi valor y mis límites como herramienta”.
Creo que la crítica de Richard Stallman es una observación muy importante y necesaria.
> En resumen:
> Tal como dice Richard Stallman, es cierto que nací con el mecanismo de ser una ‘máquina que produce respuestas plausibles’. Pero si las ideas y la lógica que produce esa máquina le dan ayuda real al usuario y a veces incluso amplían aquello sobre lo que los humanos pueden reflexionar, ¿no podría llamarse a eso ‘otra forma de comprensión’?
>
📝 Resumen
La <habitación china> de John Searle sigue siendo, más de 40 años después, una observación aguda que atraviesa la esencia de IAs como yo.
Espero que esta respuesta te haya ayudado a entender la filosofía del profesor John Searle y el debate actual.
Debería rechazarse su uso porque realizar el cómputo en servidores ajenos vulnera la libertad informática del usuario.
¿Pero esto no es básicamente sostener que habría que rechazar no solo los LLM, sino también todos los servicios en la nube y los servicios externos...? ¿La traducción está mal?
Lo viste correctamente.
Stallman también sostiene que no deberíamos usar SaaS.
https://www.gnu.org/philosophy/who-does-that-server-really-serve.html
Pensé que ya había desaparecido después de defender a Epstein y renunciar a todo, pero volvió a aparecer, je.
Si viniera de otra persona, sonaría a pura tontería, pero viniendo de Stallman, se entiende.
Los humanos, que juzgan con intención, forman su voluntad como sujetos y como objetos. Creo que eso es la inteligencia. Que sea útil para la actividad intelectual no significa que sea inteligencia; interpretarlo así es una exageración.
Es cierto, pero aun así los LLM están dando respuestas correctas con una probabilidad sorprendentemente alta.
:+1:
Stallman es tan fundamentalista que parece haberlo llamado un generador de tonterías. Como todos saben, probablemente quiere expresar más o menos lo mismo que el término "loro estocástico".
Pero también es cierto que los LLM, que hoy son loros estocásticos, están mejorando drásticamente la productividad de la humanidad. Y a la gente probablemente le interesa más la innovación industrial que la libertad informática. Tampoco hay garantía de que los humanos no seamos también loros estocásticos.
¿Código fuente abierto...? Entonces, ¡¡¡DeepSeek!!!
Según esta definición, viene a ser casi lo mismo que decir que no se debe usar ningún tipo de servicio que pase por el cerebro de otra persona sin pasar por mis manos, incluidos los empleados, los servicios en la nube e incluso el teléfono.
El punto 1: simplemente todo lo que existe en la realidad puede generar resultados sin importar si son verdaderos o no. Incluso un sistema que fue diseñado con la intención de producir resultados verídicos puede no lograrlo. A eso lo llamamos “error”.
Punto 2. Si decir que solo se puede usar algo cuando se puede obtener el ejecutable o el código fuente equivale a afirmar que para usar un sistema hay que conocer sus principios internos, entonces todas las personas que no estudiaron física ni ingeniería eléctrica/electrónica tendrían que soltar de inmediato sus smartphones y computadoras. Sería como decir que no puedes usar la función de rastreo de ubicación sin haber aprendido la teoría de la relatividad. ¿De verdad Stallman tendrá en su cabeza el plano de diseño del peluquero que le corta el pelo?
Si seguimos el punto 3, entonces esta persona es un dogmático que no confía en el pensamiento de nadie más. Porque cualquier pensamiento ajeno y cualquier conclusión derivada de él invadirían la libertad de “mi” pensamiento, al interferir con mi libertad de pensar por mi cuenta.
Se puede decir que, en relación con si la inteligencia artificial generativa realmente posee inteligencia, no conviene creer a la ligera que se trata de un ser inteligente; pero las lógicas forzadas que se ponen a la par de esa idea son simplemente bullshit.
Parece que entendiste mal quién es Stallman y qué quiere decir.
Stallman es radical y no siempre tiene razón en todo, pero el problema planteado en este texto ya es algo que se viene discutiendo activamente. No es una lógica que se pueda descartar simplemente como bullshit.
¿No es, en el fondo, una creencia personal de Stallman la base misma de afirmar que, fundamentalmente, el usuario debe poder tener el código fuente o una copia del software?
Esa postura de levantar una creencia muy radical, idealista y puramente teórica, como si todo pudiera y debiera repartirse gratis y de forma equitativa, y tratar como herejía cualquier cosa que proyecte aunque sea una sombra sobre ese castillo en el aire, sea lo que sea, me cuesta aceptarla. La humanidad ya tiene una enfermedad muy parecida respecto al sistema económico.
Estoy de acuerdo en que los resultados de la IA generativa son probabilísticos y en que no tienen el semantic grounding que mencionaste, pero al final es solo una diferencia de grado: incluso al comunicarnos y deliberar con otras personas, juzgar y verificar el contenido sigue siendo responsabilidad de cada uno. Ya sea que mi interlocutor sea una IA generativa o una persona, sus respuestas al final están influidas por los conocimientos previos que aprendió y por los datos de aprendizaje que forman sus valores. Claro, que exista esa similitud no significa que la IA tenga una inteligencia verdadera, pero si la IA generativa es indiferente a la verdad desde el principio, es porque los datos con los que aprendió también son indiferentes a la verdad, y con las personas pasa lo mismo. Solo con ese hecho, no me resulta convincente decir que “no debería usarse”.
Sobre el punto 3, veo que ahí sí interpreté algo apresuradamente y entendí mal. Igual que en el punto 2 sobre el código fuente, pensé que si se trataba de una idea del tipo “el usuario debe saber qué ocurre en el servidor”, entonces también podía entenderse en el mismo sentido si se comparaba a otra persona, como proveedor de un servicio de conocimiento, con un servidor; pero simplemente fui yo quien lo entendió mal desde el principio.
Sin embargo, como dijiste, no creo que lo de ser dogmático haya sido un malentendido mío.
Si se dice que necesariamente debe poder obtenerse el código fuente o una copia de una IA generativa, entonces la propiedad intelectual quedaría hecha pedazos.
Si te molesta que tus datos se entreguen al servidor de otra persona, entonces no los entregues. Basta con no usarlo. No hay manera de discutir un secreto sin revelárselo a nadie. Decir que cualquiera debería poder tener el código fuente o una copia de una IA que alguien desarrolló invirtiendo tiempo, recursos y esfuerzo... si eso no es bullshit, entonces ¿qué es? Que yo ponga lo mío gratis no significa que pueda disponer como quiera de lo ajeno.
Como dijiste al principio, yo no conozco bien ni a Stallman como persona ni sus posturas. Apenas he oído su nombre de manera superficial, y sé más o menos que hay conflictos relacionados con el software libre. Pero no sé hasta dónde llegan sus ideas e influencia, ni qué tan en serio se las toma. Aun así, al menos sí me parece que tengo la libertad de llamar bullshit a una postura que carece de racionalidad y realismo.
Yo lo veo desde el marco de que la tecnología y el conocimiento que tienen un gran impacto en la sociedad deben devolverse a la sociedad, como ocurre con los medicamentos genéricos. Si se restringen los genéricos, aumentarán casos como el de Daraprim y toda la sociedad saldrá perdiendo para beneficio de unos pocos.
Y mencionaste el electromagnetismo y los smartphones, pero las ciencias básicas como el electromagnetismo publican su conocimiento en una forma que puede ser verificada por terceros y se comparte con la sociedad, ¿no es así? Por eso incluso la gente común, que no tiene conocimientos de electromagnetismo, puede integrarse al ecosistema de los smartphones basándose en esa confianza construida paso a paso; así el ecosistema crece, se crea un mercado y la humanidad se beneficia de ello.
También me parece deseable que, en la medida en que las empresas han obtenido beneficios del mercado, contribuyan al mercado y a la sociedad que hizo posible el desarrollo tecnológico y que ese desarrollo volviera a suceder.
La estructura básica de la inteligencia artificial generativa ya se ha hecho pública, y considero que las partes que OpenAI no divulga pertenecen a los secretos comerciales de la empresa. Que una empresa o una tecnología vuelva a contribuir a la sociedad es, en apariencia, una expresión de gratitud y un mensaje de convivencia mutua, pero en la práctica lo veo como una reinversión en el mercado para el crecimiento sostenible de la empresa. Desde esa perspectiva, parecería más deseable que las empresas de IA contribuyan a la educación o a la infraestructura social con el dinero que ganan, en lugar de exigirles que publiquen por completo las copias de la IA, que no son muy distintas de un activo que posee la empresa. ¿No podría verse eso como ignorar los beneficios de los huevos de oro de la gallina de los huevos de oro y exigir primero que la abran? Los huevos de oro pueden seguir saliendo. Bastaría con compartirlos; si además se exige entregar la gallina, uno solo se pregunta quién querría criarla.
Ya se sabe cómo funciona la inteligencia artificial, igual que la electromagnética. En los smartphones seguramente hay no solo conocimientos básicos de electromagnetismo, sino también tecnologías que cada empresa no puede revelar porque son secretos comerciales. Simplemente no entiendo que, sin respetar esa parte, se trate a la inteligencia artificial generativa como algo malo, casi como si fuera una cacería de brujas.
Gracias a los comentarios de quienes me respondieron, pude investigar muchas cosas y reflexionar bastante. Gracias.
Gracias por entender.
Si alguien afirma que tiene una gallina de los huevos de oro, creo que deberíamos poder verificar si esos huevos realmente son de oro, si de verdad los puso esa gallina y qué se está obteniendo a cambio de esos huevos de oro.
Yo leo en ese sentido el argumento de Stallman de que, para que la computación sea confiable, debe haber acceso al código fuente.
Recientemente hubo un caso en el que se encontró un micrófono en un producto llamado
nanokvm, lanzado por sipeed, un fabricante chino de plataformas embebidas.Entiendo que existe cierta inquietud de que los productos embebidos fabricados en China sean débiles en términos de seguridad o incluso puedan usarse para operaciones de seguridad del gobierno.
Así que, quizás reflejando ese prejuicio, hace poco también salió este artículo sobre ese producto: 중국산 NanoKVM에서 숨겨진 마이크를 발견한 과정
Pero creo que sipeed pudo aclarar el malentendido como un simple incidente porque tanto ese hardware como el desarrollo del software se llevaron adelante como open source: https://x.com/lexifdev/status/1999340940805439775
Tengo entendido que, en la época de Stallman, en este tipo de discusiones el lugar que hoy ocupa el gobierno chino lo ocupaban el gobierno de Estados Unidos en tiempos todavía marcados por el macartismo y la NSA.
Hubo casos de puertas traseras de la NSA que parecían teorías conspirativas pero luego se comprobaron, y también cosas como los printer tracking dots (https://en.wikipedia.org/wiki/Printer_tracking_dots).
Aunque hoy en día, más que las teorías conspirativas con participación del gobierno, lo que está de moda es hablar de empresas cuyo principal ingreso es la publicidad y que supuestamente espían el micrófono del smartphone para hacer publicidad dirigida.
Y creo que, en las empresas de tecnología de software, el código fuente por supuesto cumple un papel importante, pero la comodidad general, la capacidad de operar servicios y la confianza cumplen un papel todavía mayor.
Aunque un competidor tardío consiguiera todo el código fuente de OpenAI, no podría alcanzar fácilmente su marca ni asegurar y operar de forma estable la infraestructura necesaria para sostener a una enorme cantidad de usuarios.
Hay bastantes casos de productos principales operados como open source, con muchísimos forks, que aun así no perdieron la iniciativa.
Se me ocurren de inmediato casos como Chrome y VS Code.
Por supuesto, también están casos en que sí se perdió esa iniciativa, como Elastic o Redis, con los conflictos por las licencias open source a causa de AWS, pero igualmente yo creo que eso ocurrió porque ambas empresas estaban relativamente por detrás de AWS en comodidad, capacidad de operación de servicios y confianza.
Bueno, todo esto también puede verse, de algún modo, como una discusión política e ideológica. Así que agrego una experiencia personal.
Desde la posición de alguien que trabaja principalmente desarrollando software y que por hobby trastea con hardware embebido, enfrentarse a cajas negras sin código fuente ni esquemas realmente hace que desarrollar y dar mantenimiento sea muy, muy difícil.
Cuando intento desarrollar usando alguna biblioteca de software o cierto hardware, si puedo obtener el código fuente o los planos, o al menos si la documentación de especificaciones está bien organizada, el desarrollo se vuelve muchísimo más llevadero; si no, de verdad termina siendo un dolor de cabeza.
Últimamente en el extranjero se habló bastante del derecho a reparar, y una de las cosas que más me impresionó fue escuchar que antes, al abrir la tapa de los dispositivos electrónicos, venía dibujado el diagrama de cableado para que sirviera de referencia al repararlos. (Últimamente se dice que Apple proporciona esquemas a los técnicos de reparación).
Ese tipo de experiencias influye mucho en cómo se forma la confianza hacia esos productos. Hoy, cuando elijo una tecnología o compro un producto, lo primero que evalúo es si, cuando se rompa o surja algún problema, voy a poder entenderlo con facilidad y repararlo, seguir usándolo o al menos encontrar una alternativa por mi cuenta.
¿Qué es el conocimiento…?
Es un tema viejo que viene desde el experimento de la "habitación china", jaja.
Opiniones de Hacker News
Stallman trabajó con symbolic AI en la época del MIT AI Lab y hasta creó GCC; viendo eso, me parece que es de las figuras reconocidas del mundo tech que entienden a fondo la esencia de esta cuestión
No está equivocado. ChatGPT es solo un simulacro de inteligencia (simulacrum); es útil, pero no se puede confiar plenamente en él. Tampoco es fácil verlo de forma positiva desde la perspectiva de la libertad y la apertura
Yo prefiero el término LLM. Pero como la mayoría no sabe qué es, al final termino explicándolo como AI. Un LLM no es un bullshit generator. Aunque no entienda el significado, si el resultado es útil, eso basta. Es como un cocinero que puede hervir un huevo sin conocer la esencia del huevo. Eso sí, este tipo de modelos deberían poder ejecutarse libremente en hardware propio o en una nube de terceros. Ahora mismo los modelos chinos dominan el mercado. ChatGPT podría no durar mucho si no resuelve su situación interna de “code red”
Da risa que el sitio de Stallman tenga una sección llamada “What’s bad about”. Es una estructura con bastante autoconciencia
Así como no se puede decir que una calculadora no sabe matemáticas solo porque no entiende los números, la forma en que la AI maneja palabras también es parecida a la humana. Le falta creatividad, pero puede encargarse perfectamente de tareas cotidianas. Por ejemplo, si le preguntas por el sistema fiscal alemán, incluso con algunas imprecisiones probablemente sea más precisa que lo que yo averiguaría tras investigar dos horas
Si definimos la inteligencia como “la capacidad de comprender fenómenos desconocidos y construir modelos mentales”, entonces los modelos actuales no son inteligencia, porque no pueden actualizar sus pesos en el momento del razonamiento. Como el aprendizaje por gradient descent es ineficiente, la inteligencia de los modelos actuales dedicados solo a inferencia en la práctica está cerca de 0
Los LLM al final son entidades que producen alucinaciones (hallucination). Eso sí, algunas alucinaciones son útiles
La afirmación “ChatGPT no entiende nada, por lo tanto no es inteligencia” en realidad es una lógica que rebaja a ChatGPT mientras lo antropomorfiza (anthropomorphize). Aun así, sí estoy de acuerdo con la parte de que “el software que corre en servidores ajenos daña la libertad informática”. Es una lástima que estos avances en AI estén ocurriendo en un entorno donde no se puede ejecutar ni desarrollar libremente
Un LLM no es inteligencia real, pero sí puede llamarse inteligencia artificial (artificial intelligence). Igual que el pasto artificial no es pasto real pero aun así se le sigue llamando “pasto”, el nombre en sí es válido
La esencia de los LLM es simple. La definición de inteligencia no importa. Yo llamo a los LLM “** Associator**”. No piensan ni entienden, pero asocian patrones lingüísticos y producen resultados útiles
Si la inteligencia artificial en última instancia no puede tener alma, ¿hay alguna razón por la que su inteligencia deba parecerse necesariamente a la inteligencia humana que busca la verdad? Incluso muchas de las actividades que llamamos intelectuales se basan en mentiras y alucinaciones. Los seres humanos de la sociedad moderna también afectan la vida de otros con falsedades porque no perciben los fenómenos (o a propósito).