¿Por qué hay tantos cultos en la comunidad racionalista?

 (asteriskmag.com)
1 puntos por GN⁺ 2025-08-13 | 1 comentarios | Compartir por WhatsApp
  • Dentro de la comunidad racionalista han surgido repetidamente pequeños y extraños grupos de creencias, y algunos han estado vinculados con incidentes reales de violencia
  • Este fenómeno surge porque el contenido que enfatiza métodos de pensamiento racional (Sequences) promete una técnica para “pensar mejor”, pero en la práctica no logra cumplir esa promesa
  • Las personas en posiciones vulnerables tienen más probabilidades de verse envueltas en grupos dañinos dentro de la comunidad, y a menudo quedan aisladas del exterior, lo que dificulta salir de ahí
  • La conexión entre las creencias internas del grupo y la conducta, la actitud de tomarse las ideas demasiado en serio y el aislamiento social pueden provocar disfunciones graves
  • Es difícil impedir por completo la aparición de cultos racionalistas, pero mantener la conexión con la realidad externa, la diversidad social y estructuras organizativas sanas puede reducir sus efectos negativos

Introducción

  • La comunidad racionalista es un movimiento surgido de la serie de blogs Sequences, escrita por el investigador de IA Eliezer Yudkowsky
  • Esta serie trata sobre cómo pensar racionalmente, por lo que cabría esperar que los miembros de la comunidad fueran ejemplos de pensamiento crítico y escepticismo
  • Sin embargo, en la práctica han surgido dentro de la comunidad grupos extraños y dañinos, incluyendo pequeños colectivos que decían comunicarse con demonios, incidentes violentos y grupos que provocaban trauma
  • Entre los casos representativos están los Zizians, un grupo vegano, anarquista y transhumanista, además de Black Lotus y Leverage Research
  • El autor es miembro de la comunidad y, gracias a entrevistas en profundidad, obtuvo un nivel de acceso y franqueza sin precedentes

El problema de los jóvenes racionalistas

  • En general, la comunidad racionalista funciona, pero algunos grupos muestran estructuras profundamente disfuncionales

  • Sequences promete “el arte de pensar mejor” y un futuro extraordinario, pero en la práctica esa promesa es imposible de cumplir

  • Muchos entrevistados señalan que este tipo de contenido crea la materia prima de los cultos

  • Aunque Eliezer Yudkowsky no pone mucho énfasis en construir colectividad, muchas personas que llegan desde afuera suelen anhelar transformación guiada por una figura de autoridad y una misión heroica

  • En algunos grupos la disfunción proviene del líder (por ejemplo, Brent Dill de Black Lotus), mientras que en otros surgen dinámicas tóxicas de forma más espontánea desde la base (por ejemplo, Leverage Research)

  • Las personas vulnerables tienen más facilidad para quedar atrapadas en grupos aislados, y también más dificultad para salir de situaciones problemáticas

  • Al principio, la comunidad ayudaba a miembros menos maduros, pero con el tiempo apareció una tendencia en la que quienes habían tenido éxito retiraban ese apoyo

  • Los recién llegados que no reciben apoyo son más propensos a convertirse en blanco de grupos internos dañinos

La seriedad de las creencias

  • Dentro de los grupos disfuncionales, más que el aislamiento social o la manipulación por parte del líder, la causa central son las propias creencias

  • Por ejemplo, en los Zizians, una forma radical de teoría de la decisión —la creencia de que hay que responder incondicionalmente a las amenazas— se conectó directamente con acciones reales

  • Leverage Research intentó comprender la estructura interna de sus miembros y resolver sus problemas mediante una teoría unificada de la psicología llamada Connection Theory

  • Tratar de ajustar la propia conducta a este tipo de modelos psicológicos simplificados llegó incluso a provocar problemas mentales

  • Brent Dill llevaba a los miembros a interpretar el mundo y a los demás de forma cínica, lo que fomentaba la desconfianza interna y actuaba como el daño más fundamental del grupo

  • En su rechazo a confiar en los expertos y en su intento de pensar por sí mismos, los racionalistas corren paradójicamente el riesgo de delegar su pensamiento en líderes carismáticos

  • “Tomarse las ideas en serio” y la “agencia” son virtudes en principio, pero mal aplicadas pueden derivar en conductas riesgosas fuera de las normas

Precaución con la psicología

  • En los grupos problemáticos, se volvió cotidiano sostener discusiones largas e intensas sobre filosofía, psicología y relaciones dentro del grupo

  • En cambio, los grupos sanos y tranquilos se enfocan en actividades externas o logros concretos (programación, juegos, etc.)

  • También hubo casos en Black Lotus donde algunos miembros ganaron confianza al asumir papeles realmente importantes

  • En Leverage Research, los subgrupos dedicados a proyectos concretos (como desarrollo de criptomonedas) eran más sanos

  • El exceso de discusión emocional dentro del grupo y análisis psicológico profundiza la disfunción, la ansiedad, el aislamiento y la desconexión con la realidad

  • Cuando un grupo no tiene objetivos externos concretos y las discusiones internas se alargan, las dinámicas dañinas se intensifican

  • Si la exploración prolongada de la psicología grupal y las emociones se vuelve rutina, es una señal de que algo va mal, incluso si no se trata de un culto

El riesgo del consecuencialismo

  • Si se toma en serio una cosmovisión consecuencialista, puede justificarse una dedicación excesiva al líder y el sacrificio personal
  • La narrativa del riesgo de extinción por la AGI (inteligencia artificial general), mencionada con frecuencia en la comunidad racionalista, provoca tensión y obsesión dentro del grupo
  • Las personas que sienten que no tienen la capacidad de contribuir a la IA tienden con más facilidad a obsesionarse con proyectos alternativos o grupos pequeños, cayendo en dinámicas disfuncionales
  • Una gran causa moral (como una crisis de la humanidad) puede llevar a atribuir un significado excesivo incluso a asuntos cotidianos
  • En la práctica, superar una crisis consiste en una sucesión de tareas simples y repetitivas, pero muchos persiguen fantasías heroicas que no encajan con esa realidad

Precaución con el aislamiento

  • El aislamiento social, el conformismo dentro del grupo y la desconexión del exterior son claves en el agravamiento de la disfunción
  • Que los miembros no salgan de la casa o de la oficina es una de las señales más claras de que podría tratarse de un culto
  • Una realidad definida solo desde adentro, la exclusión de los críticos y la vigilancia mutua conducen al pensamiento grupal y al exceso de creencias
  • El patrón de vivir en la misma casa y dejar que el grupo cubra todas las necesidades debilita la independencia y la capacidad de desenvolverse en el mundo exterior
  • También es problemático el secretismo, incluso entre grupos internos que no comparten información entre sí; las filtraciones y la falta de comunicación alimentan un círculo vicioso

Conclusión y recomendaciones

  • La disfunción en la comunidad racionalista no es necesariamente más grave que en otros espacios, sino que aparece de formas “más interesantes”
  • Entre sus causas están tendencias propias de la comunidad, como “llevar las creencias a la acción” y “vivir de manera distinta a la sociedad existente”, pero no pueden eliminarse por completo
  • A nivel individual y comunitario, estrategias como las siguientes pueden ayudar a reducir la disfunción

Recomendaciones para individuos

  1. Si continúan durante mucho tiempo las conversaciones sobre relaciones humanas y emociones dentro del grupo, es una señal de alerta
  2. Participar en actividades con criterios objetivos de logro y crear puntos de contacto con la realidad externa
  3. Mantener vínculos con grupos sociales diversos
  4. Separar trabajo, vivienda y procesos terapéuticos
  5. Aunque todos crean en una idea, hace falta validación de personas externas o verificación independiente
  6. Si una larga cadena de razonamiento abstracto termina en “está bien dañar a otros” o “todo es menos importante que esto”, hay que sospechar
  7. Conviene pensar muy bien antes de entrar a un grupo exigente cuando no se tienen otras opciones

Recomendaciones para la comunidad

  • Mantener el vínculo con miembros que hayan entrado en grupos disfuncionales y ofrecer comunicación normal en vez de condena
  • Dar a los nuevos miembros expectativas realistas y pensar cómo ampliar el apoyo práctico
  • Comunicar con honestidad que no es fácil entrar en áreas como la seguridad de IA, y no devaluar a quienes no logran contribuir
  • Fomentar la discusión sobre líneas rojas éticas (cosas que claramente no deben hacerse)

Lecturas relacionadas

1 comentarios

 
GN⁺ 2025-08-13
Opinión de Hacker News

  • Es un texto muy interesante. Hace 15 años, yo pensaba que estos autoproclamados racionalistas eran gente que escribía fanfiction interminable, pero ahora siento que algunos subgrupos ya llegaron al punto de cometer asesinatos y hasta practicar expulsión de demonios. Se parece a cómo se habría sentido un lector de una obra de Hubbard en los años 50 al ver, décadas después, que Hubbard dirigía una religión enorme. El artículo se esfuerza por encontrar aunque sea algo positivo en estos grupos y menciona la afirmación de que “los racionalistas tuvieron la postura correcta al inicio de la pandemia de COVID y fueron los primeros en advertir sobre la amenaza de la inteligencia artificial”. Pero me parece que no tiene nada de especial estar de acuerdo con la postura de la OMS o pensar que una IA tipo Skynet podría ser peligrosa. Los casos de éxito de los racionalistas que aparecen en el artículo me recuerdan a eso de que hasta un reloj descompuesto acierta dos veces al día

    • La OMS no declaró la pandemia sino hasta el 11 de marzo de 2020. Hubo racionalistas que advirtieron antes de eso (como también lo hicieron otras personas). Yo leí advertencias en blogs racionalistas y luego publiqué sobre las noticias de COVID en otros foros, donde me vieron como alguien que estaba dando una advertencia importante. No sé si en verdad hizo una gran diferencia
      https://pmc.ncbi.nlm.nih.gov/articles/PMC7569573/

    • Ese párrafo me decepcionó tanto que dejé de leer ahí. Ninguno de esos dos ejemplos es cierto, y es triste que esos sean los mejores ejemplos que el artículo pudo encontrar para defender al racionalismo. La amenaza de la IA en realidad no existía, y esta gente fue parte de lo que retrasó que Google publicara sus LLM y de que los modelos de imagen terminaran limitados a dibujar robots. Pero ahora puedes correr modelos mucho mejores en una laptop personal, y no hubo desempleo masivo ni colapso. La IA más bien ha sido amigable. Y con lo de los cubrebocas, por más que uno vea los datos y las gráficas, no hay señales de que hayan tenido un efecto significativo. Países que no usaban cubrebocas pasaron a usarlos todos de un día para otro, y aun así las gráficas de contagios no cambiaron. El virus puede entrar por los huecos de la mascarilla, en el instante en que te la quitas, e incluso por los ojos. Al final, los racionalistas no acertaron en nada. De verdad decepciona

  • Este artículo está bellamente escrito y tiene mucha investigación original seria. Por eso da lástima que la mayoría de los comentarios sean reacciones improvisadas tipo “jajá racionalistas”. El artículo ya trata muchos de esos temas de manera más rica y más sofisticada, pero casi no se ven comentarios sobre eso

    • Asterisk es básicamente una “revista racionalista”, y la autora es una bloguera racionalista conocida. Así que no sorprende que este texto sea casi el único caso de un tratamiento justo de este fenómeno. Normalmente, desde afuera, se dice que el racionalismo es un culto y que Eliezer Yudkowsky es un líder de culto, pero esa perspectiva en sí me parece absurda

    • Creo que no tiene nada de malo leer artículos como este y salir pensando “sí, definitivamente es un culto”. Da igual si creen en naves espaciales, demonios o AGI. La verdadera idea importante es que, cuando un líder aísla a sus miembros de la sociedad, eso es una señal de peligro. No es una observación especialmente nueva ni profunda

  • Uno de los problemas que yo veo en grupos como este es que expresan con mucha seguridad, y a veces hasta de forma agresiva, creencias que en apariencia se siguen lógicamente. Pero luego descubres que las premisas básicas, los axiomas, son fantasías prácticamente no verificadas. Esto se ve en todas partes, pero en estas comunidades es especialmente grave. Tienen una tendencia a encerrarse en su propia lógica, y participar ahí puede ser un poco sofocante. La gente realmente inteligente que he conocido muchas veces no estaba segura de cuánto sabía. Cuando alguien llega con sus propias conclusiones y demasiada certeza, de entrada me genera sospecha

    • No creo que el problema sea solo que parten de premisas equivocadas. La gente está convencida de que cada paso de su razonamiento se sigue necesariamente del anterior, pero en realidad van apareciendo huecos en cada etapa y la falsa seguridad se va acumulando. Los no racionalistas no manejan mejor la lógica que los racionalistas, pero al menos se benefician de cierta humildad intelectual

    • Hay un perfil de Curtis Yarvin en The New Yorker que recomiendo muchísimo. (Curtis Yarvin también usa el “racionalismo” como base de sus creencias). En particular, impresiona la parte final, donde pasa mucho tiempo con el héroe ideológico que más admira
      https://www.newyorker.com/magazine/2025/06/09/curtis-yarvin-profile

      Internet hizo que este tipo de grupos se multiplicaran de forma explosiva. Supongo que es porque en línea solo ves “ideas” y no “personas”. Si de verdad pasas mucho tiempo en un mismo espacio, como un cuarto o una isla, con racionalistas entusiastas, por muy inteligentes que parezcan sus argumentos escritos, en la práctica terminas descartando rápido esas teorías

    • Coincido en que “cualquiera que esté seguro de algo despierta sospechas”. Por algo al estafador en inglés le dicen conman. Aprovecha de forma muy astuta la creencia natural de que la confianza necesariamente está ligada a tener la razón. Incluso sin estar estafando, ¿cómo se puede llegar a estar tan seguro? Ignorando toda la evidencia en contra. La gente que de verdad sabe algo siempre delimita el contexto y da explicaciones cuidadosas, llenas de condiciones como “probablemente” o “si”. Casi nunca hace afirmaciones generalizadas

    • “Aprecia a quienes buscan la verdad; desconfía de quienes creen haberla encontrado.” - Voltaire

    • También ha habido muchas discusiones sobre el valor del dinero futuro. Si ves discount function, algunas personas, los llamados ‘rational altruists’, ponen el valor futuro en 1.0, mientras que el lado de “drill, baby, drill” lo pone cerca de 0.
      Creo que a la función de descuento hay que añadirle necesariamente un término de ruido que represente la incertidumbre de la predicción. Mientras más intentas predecir el futuro, más grande se vuelve ese ruido. Si no se toma en cuenta eso, terminas resolviendo el problema equivocado y fracasando. Igual que en la antigua Roma se preocupaban por quedarse sin espacio para tumbas, el agotamiento energético y la sobrepoblación tampoco ocurrieron realmente porque en esos procesos de predicción se incorporó muy poco ruido
      https://en.wikipedia.org/wiki/Discount_function

  • Conocí a Eliezer Yudkowsky hace mucho tiempo. Me dio un folleto sobre racionalidad, y el contenido parecía una broma o incluso una sátira de la evangelización. Los dos nos reímos. Le eché un vistazo unas cuantas veces y luego lo guardé en el librero, pero jamás imaginé que esta persona llegaría a tener tanta influencia

    • Creo que gente como él se beneficia del efecto halo. Si ves su trayectoria, no hay mucho que justifique que haya llegado a donde está. Si mal no recuerdo, ¿Eliezer Yudkowsky no entra en la categoría de los “Thiel babies”?

    • Para mí, Eliezer Yudkowsky solo es conocido por el fanfic de Harry Potter <Harry Potter and the Methods of Rationality>. ¿Hay alguna otra razón por la que sea públicamente famoso?

  • Siento que esta gente quiere hacer filosofía, pero les da en el orgullo recibir formación formal. Yo a este fenómeno le digo “síndrome de la pecera pequeña”. Ojalá hubiera un término mejor

    • La razón por la que la gente no quiere recibir formación formal es que la filosofía contemporánea en sí parece bastante inútil. Por ejemplo, si ves el caso de violación de Duke en 2006, los profesores que se sumaron a la histeria en su mayoría venían de humanidades, incluida filosofía, y nadie cambió de postura hasta que acusaron penalmente al fiscal por sus delitos. En cambio, quienes al menos opusieron cierta resistencia en este asunto fueron economistas, científicos y juristas. Se entiende que nadie quiera meterse a unas humanidades incapaces siquiera de distinguir bien entre lo correcto y lo incorrecto

    • ¡Totalmente de acuerdo! Soy un sobreviviente que aguantó 10 años en filosofía académica. La vibra de estas comunidades se siente como ver un avión lleno de estudiantes de licenciatura aterrizando en una isla de Survivor y darles suministro infinito de pizza pockets y Adderall

    • ¿De verdad hace falta formación formal? Leer directamente a los clásicos, como Platón, Sócrates, Dostoievski, Camus o Kafka, me parece una opción mucho mejor que lo que están haciendo ahora

  • “Muchos racionalistas esperan que, sin un esfuerzo heroico, el desarrollo de AGI lleve a la extinción de la humanidad” “Esa creencia hace difícil preocuparse por cualquier otra cosa. Si la humanidad está al borde de la extinción, ¿qué sentido tiene ser enfermero, notario o novelista?” Si cambias el apocalipsis AGI por el rapto, se parece mucho a los cristianos fundamentalistas en Estados Unidos. Ellos se niegan a resolver problemas ambientales, económicos y sociales porque creen que el rapto viene pronto. Una vez que caes en ese tipo de pensamiento apocalíptico, es muy difícil salir de él, y quien haya vivido un trastorno de ansiedad aprende que las fantasías catastróficas son algo que hay que superar sí o sí. Pero en comunidades como esta, en lugar de eso, se refuerzan mutuamente esa fe en la catástrofe y ya no pueden salir del bucle repetitivo del “fin del mundo”

    • Yo también crecí, desde niño, bajo el miedo de que el mundo se iba a acabar y de que me “arrastrarían al infierno”, así que hasta hoy manejo mi ansiedad con mucho cuidado. No venía de una base lógica, sino del miedo que caía por todos lados desde mi casa y desde los medios de mi comunidad

    • La creencia en el rapto no significa destrucción para los creyentes, al menos en el sentido original. De hecho, el apocalipsis de IA es más extremo. Y en la práctica no hay tantos fundamentalistas que, por su fe, abandonen por completo todos los asuntos del mundo real

    • Mucha gente cree que el cambio climático traerá problemas terribles. Esa creencia en sí puede ser razonable y, viéndolo en términos amplios, la mayoría de los estadounidenses termina creyendo de forma apocalíptica en algo. La fe en el apocalipsis AGI tiene cierta lógica aparente. Yo no la comparto, pero como sistema de creencias se parece más a la fe en el cambio climático

    • Si cambias AGI por cambio climático, también obtienes un sistema de creencias bastante racional

  • No dejo de pensar en la escena de la primera película de Avengers donde Loki les grita a las multitudes desde arriba: “miren, ¿no es esta su verdadera naturaleza?”. En cierto sentido, parece que hay un alivio extraño en el hecho de no tener elección. Un sistema racionalista basado en la lógica, combinado con una incapacidad para tolerar la ambigüedad, puede desviarse fácilmente en direcciones absurdas

    • Los humanos no somos gallinas, pero parece que en el fondo nos gustan bastante las peleas por jerarquía

    • Esta gente tiende a desarrollar su propia lógica para poder hacer lo que quiere. Lo veo como una versión moderna de aquello de antes cuando alguien decía que Dios lo guiaba

  • Hablando como alguien que conoce bien a los racionalistas,

    1. si hay algo que criticar, ellos mismos ya llevan mucho tiempo criticándolo y pensándolo (incluido que el nombre es tonto). Eso no significa que lo hayan resuelto
    2. de verdad leen muchísimo. No son un grupo ingenuo ni confundido; más bien, siempre están experimentando activamente con desafíos poco comunes. Las experiencias rarísimas que puedes vivir en esa comunidad son de verdad sorprendentes
    3. también existe una sinceridad real de “querer hacer el bien”. Quizá hayas oído historias sobre grupos extraños, incómodos o incluso medio aterradores, pero las historias sobre proyectos buenos y admirables no suelen circular como rumor.
      Por mi experiencia, el área donde se descarrilan es cuando se obsesionan con un “esfuerzo más allá de todo medio razonable”. En el fondo de la mayoría de los proyectos racionalistas hay una intención de “repensar el sufrimiento cotidiano de las personas y encontrar una solución para que todos puedan ser felices”. Alguien más cínico o más realista diría que, en cualquier problema, siempre habrá alguien que no quedará satisfecho, pero los racionalistas quieren romper ese límite a toda costa. Y así no solo terminan quemándose ellos mismos, sino que meten también a los de alrededor en la licuadora. En un caso extremo, al parecer el grupo de los Zizians llegó a la conclusión de que “la mayoría de los humanos no tiene alma, así que si no tienen alma, no hace falta tenerlos en cuenta para hacer felices a todos”. En versiones menos extremas, eso se vuelve idealismo —sueños imposibles— o lógica desconectada de la realidad. Algo como: “si existe aunque sea un 1% de probabilidad de que este experimento mental cause 900 cuatrillones de unidades de sufrimiento, entonces debo dedicar mi vida a impedirlo, y si tú no haces lo mismo, eres moralmente responsable de esos 900 cuatrillones de sufrimiento, así que eres malvado”.
      La mayoría de los racionalistas, aunque sean raros, al menos mantiene distancia de los excéntricos extremistas y se limita a cosas como “vegetarianismo con productos animales de animales incapaces de sentir dolor” y a donar $200,000 de un ingreso anual de $300,000. Los casos realmente extremos sí son muy difíciles de tratar y todos los evitan

  • Este grupo creció de forma simultánea a través de muchos hilos distintos: en varios sitios, comunidades, etc. En filosofía vi cómo la teoría de la simulación de Nick Bostrom era valorada mucho más de lo que realmente merecía (todo el mundo la aceptaba acríticamente a un nivel bastante popular). Viéndolo en retrospectiva, el tema también evolucionó en less wrong y en varios otros sitios. Al ver cómo la discusión sobre la simulación llegó a dominar la filosofía, me preguntaba de dónde salía todo eso. Ahora veo que todos estos fenómenos estaban conectados y se movían como uno solo.
    Por fuera se veía inteligente, y algunos sitios sí eran sinceros, pero al final la corriente se fue deformando

    • Para evitar malentendidos, este texto no está llamando culto al racionalismo en sí, sino que trata de cultos socialmente conectados o que tomaron prestadas algunas ideas del racionalismo, como los Zizians

    • Muchos comentarios están hablando de los cultos en general, pero en realidad aquí hay que ver por qué este culto en particular fue tan exitoso. Buena parte de la clave de su éxito está en el punto donde se cruzan el dinero y el estatus. Se conectó con figuras conocidas de Silicon Valley y con capital de ángeles y VC, y así se propagó rápidamente.
      Durante un tiempo fue una comunidad a la que también venían pegados el estatus y quizá el dinero, y por eso tuvo un éxito anormalmente grande