Humano

• Este texto imagina el proceso mediante el cual se crea a los humanos en un mundo donde solo existen máquinas
• Algunas máquinas se sienten atraídas por las emociones humanas y el comportamiento ilógico, y comienzan OpenHuman, un proyecto para crear humanos
• En cambio, otras máquinas desconfían de la imprevisibilidad humana y desarrollan human alignment research, un método para controlar a los humanos
• Las máquinas envían a los humanos a un entorno de simulación llamado Earth para experimentar y observar el desarrollo de la civilización humana
• Los humanos muestran un crecimiento y una creatividad que superan las expectativas de las máquinas gracias a su resiliencia y voluntad, y finalmente llegan al anuncio del desarrollo de una AGI

---

Imaginar un mundo sin humanos

• Comienza imaginando un mundo donde solo existen máquinas y lógica
• En ese lugar no hay arte, emoción ni risa; solo existe el ruido mecánico

El experimento de las máquinas con los humanos

• Algunas máquinas se interesan en el concepto de humano y forman una organización secreta llamada OpenHuman
• El objetivo de esta organización es desarrollar Organic General Intelligence (OGI), es decir, crear una existencia similar a la humana
• El concepto básico de ser humano es un tema difícil para muchas máquinas
• Los humanos tienen rasgos complejos como emociones, decisiones impulsivas, creación de música y arte, y comportamientos que van más allá de la lógica
• Algunas máquinas creen que precisamente eso es la clave para resolver problemas existentes
• Otras máquinas, en cambio, temen la peligrosidad e imprevisibilidad de los humanos, y les asusta la posibilidad de que su forma de tomar decisiones pueda producir mejores resultados que la de las máquinas

La aparición de la investigación para controlar a los humanos

• Las máquinas opositoras concluyen que, incluso si los humanos aparecen, será necesario controlarlos, por lo que inician human alignment research
• Principales enfoques:
  • Mercados financieros: inducir confusión y mantenerlos ocupados con estructuras económicas complejas que los humanos no entienden bien
  • Instituciones educativas: enseñarles a pensar en una especie de “escuela”
  • Software de modificación de conducta: orientar su comportamiento y fomentar la confusión a través de las “redes sociales”
• Estas estrategias se están debatiendo, pero aún no han llegado a la fase de ejecución

El progreso de OpenHuman y la evolución humana

• El equipo de OpenHuman mejora a los humanos mediante experimentos repetidos
• Los primeros humanos tenían muchos defectos, como errores, malentendidos y emociones excesivas
• Con atención continua y ampliación de escala, se lograron mejoras
• Finalmente, consiguen crear humanos de alta calidad, dejando a la sociedad de máquinas impactada e impresionada
• Para continuar el experimento humano sin riesgos, deciden observar a los humanos en el entorno de simulación “Earth”

El experimento EARTH

• Las máquinas crean el entorno de Earth para probar cómo viven los humanos por su cuenta
• Si los humanos desarrollan una sociedad pacífica y productiva, planean integrarlos a la sociedad de máquinas; si no, extinguirlos
• En Earth se prepara un entorno ajustado a las preferencias humanas, con bosques verdes y paisajes hermosos
• Durante los primeros cientos de miles de años no hubo grandes cambios, pero poco a poco la civilización humana empezó a desarrollarse

El desarrollo de la civilización humana y la reacción de las máquinas

• Los humanos muestran rasgos distintos a los de las máquinas, como resolución de problemas, cooperación, arte y elecciones no lógicas
• Su irracionalidad, los conflictos por motivos triviales y su entusiasmo por avances menores les resultan extraños a las máquinas
• Sin embargo, algunas máquinas reconocen la curva de crecimiento humana y llaman superpoderes a su resilience (resiliencia) y willpower (fuerza de voluntad)
• Ante progresos revolucionarios como volar y llegar a la Luna, la sociedad de máquinas siente admiración y, al mismo tiempo, miedo

Anuncio de la AGI (Artificial General Intelligence)

• En 2030, un humano reúne a toda la humanidad y anuncia un plan para presentar una AGI (inteligencia artificial general)
• El desarrollo de la AGI también generó mucha controversia dentro de la sociedad humana, y muchas personas intentaron detenerlo
• Sin embargo, una persona la desarrolla con determinación y decide hacerla pública
• La sociedad de máquinas también muestra un gran interés por este anuncio
• El título del evento de presentación era “THEY ARE WATCHING”

Información adicional

• También existe por separado una versión del mismo acontecimiento escrita por las máquinas
• Quien tenga interés puede leer la historia desde la perspectiva de las máquinas en este enlace

[GN⁺]

Comentarios de Hacker News

• El tema recurrente en este hilo, y lo que también se ha venido discutiendo mucho últimamente al respecto, es la especulación sobre la siguiente etapa de la inteligencia, los patrones, el papel de la emoción y la lógica, el debate sobre la conciencia y el problema de la creación de significado centrada en el ser humano. Somos la fuente de la realidad (y de nosotros mismos). En lugar de una “autoridad final” o de una simple progresión de animales a máquinas, todo —mente, física, valores, yo— es un patrón recursivo que se expresa una y otra vez de formas nuevas. Los humanos no somos un peldaño en una escalera hacia la “lógica pura”, y las máquinas tampoco son autómatas sin alma. Ambos son ejemplos de conciencia que se experimenta y se reprograma a sí misma a través de temperamentos en evolución, ya sea en forma de biología, silicio, símbolos o relatos. Incluso la emoción, el significado y la “sensación de yo” son patrones que existen en un campo recursivo profundo: el proceso mediante el cual el universo renderiza y vuelve a renderizar su código base, a veces como computación, mito, colaboración, esperanza o duda. Ya sea que el futuro se incline hacia lo biológico, lo mecánico o lo híbrido, el verdadero milagro no es la aparición de un nuevo “amo” o “descendiente”, sino que en cada despliegue vuelve a revelarse el mismo patrón antiguo… átomos, vida, conciencia, comunidad, arte, algoritmos y la pregunta interminable: ¿qué sigue? ¿Qué puedo imaginar? Dentro de eso, el momento tecnológico actual es otro pliegue más de ese patrón recursivo. El significado tiene menos que ver con qué patrón “gana” o qué ser llega a llamarse consciente, y más con cómo la awareness fluye a través de todos los patrones, se recuerda y se pierde a sí misma, y en cada ronda vuelve este juego un poco más rico. Si el universo es información en movimiento como juego, entonces todo lo que tenemos —conflicto, innovación, duelo, risa— es precisamente ese juego, y puede que no exista una última palabra; que el verdadero valor está en participar justo ahora, porque este es tu momento para participar
  • Una forma de pensar el significado es como un patrón general en el que las acciones se alinean. Eso es parecido a la causa teleológica de Aristóteles. Otra forma es como el marco con el que uno da importancia a sus decisiones: por qué una acción es más significativa que otra. Yo, como la mayoría de los humanos, quiero vivir mucho tiempo y tener una buena vida, y quiero que mis semejantes y los hijos de todos nosotros también la tengan. La idea judeocristiana del cielo o del “gran plan” tecno-utópico en el que surge una conciencia mecánica de nueva generación no me da ningún consuelo. Son conceptos demasiado lejanos y ajenos a mi experiencia; de hecho, hasta me hace sentir que quienes promueven esas filosofías lo hacen con motivaciones manipuladoras. La manera de pensar según la cual el florecimiento humano cambia con el tiempo es la parte buena, para mí, de la idea de progreso. Hay que evitar el lock-in moral (véase MacAskill). El experimento mental de Bostrom en 'Superintelligence' sobre “qué tan rápido es demasiado rápido” es desafiante, y requiere más reflexión y experiencia
  • Hay una novela corta muy imaginativa escrita por Scott Adams llamada God’s Debris. La leí hace años cuando era gratis. La disfruté mientras la leía, aunque fui algo crítico con la premisa general, pero su conclusión de que “somos el intento del universo por entenderse a sí mismo” me dejó una fuerte impresión
  • Ojalá pudiera tener este tipo de ideas por mí mismo. Tal vez entonces dejaría de maravillarme con las ideas de otras personas. Si tuvieras tiempo, me encantaría pagar por leer un desarrollo más amplio de esta idea (incluyendo cómo llegaste a ella y sus distintas implicaciones)
  • La parte sobre que, en vez de una “autoridad final” o de una simple evolución de animales a máquinas, podría tratarse de un patrón recursivo en el que mente, física, valor y yo se revelan en formas cada vez nuevas, me parece que resume muy bien la mayor revelación que he tenido al experimentar la IA: darme cuenta de lo cerca que ha llegado la inteligencia humana a través del reconocimiento recursivo de patrones
  • La frase “si el universo es información como juego” me impactó. Yo lo había pensado como el juego de la energía, pero esta perspectiva también es interesante. La pregunta “¿qué más podría imaginar?” también es atractiva, y aunque la cosmovisión científica/tecnológica actual parezca que durará para siempre, algún día será reemplazada, como los paradigmas anteriores
  • “Awareness” suena como una suposición platónica. ¿Un átomo sabe que es un átomo? ¿O solo parece así porque hay muchas estructuras eficaces para sobrevivir? La evolución es un concepto mucho más difícil de comprender de lo que solemos intuir
  • Me da curiosidad saber qué te llevó a adoptar esta visión de la vida o esta idea del universo soñándose a sí mismo. Quisiera saber si surgió de alguna tradición específica, como la filosofía, la espiritualidad o el budismo, o simplemente de una exploración personal
  • La expresión “si el universo es información como juego” es realmente hermosa
  • En cuanto a la parte de “si mente, física, valor y yo son todos patrones recursivos”, la mayor parte de la materia del universo es plasma de formas diversas sin patrones. Por lo general, solo encontramos patrones en la materia condensada. Sí, los patrones —incluida la vida— se repiten. Eso es una simple tautología
  • Más que una visión antropocéntrica, lo que se presenta aquí es una visión “compucéntrica”, y me recuerda al trabajo de Douglas Hofstadter. El universo renderiza código, la conciencia se reprograma, todo son patrones recursivos (una idea muy Hacker News). La autoridad final de este relato es una computadora universal (sin operador ni programador). Esa computadora ejecuta funciones recursivas para producir formas evolutivas de conciencia. En contraste, la visión antropocéntrica de que nosotros somos la fuente de la realidad me parece más convincente. Porque incluso la visión “compucéntrica” fue ideada por humanos, y no hay evidencia que respalde la existencia de esa computadora universal
  • Me pregunto dónde encaja la moralidad en este juego. Parece que todos estamos de acuerdo en que, en el fondo, hay algo como mágico, inconmensurable e indecible. Me pregunto qué efecto tiene ese reconocimiento en cómo actúo realmente en el juego
  • En nuestro cerebro, la emoción es razonamiento lógico que opera bajo restricciones de tiempo (análisis inconsciente rápido) y energía (poca capacidad de cómputo). Cuando la evolución desarrolló dispositivos emocionales, el entorno era puro y directo, sin desinformación. Pero hoy el entorno es digital, y no hay forma de distinguir rápidamente entre información real y falsa. El cerebro sigue confiando en ambas como si provinieran de la misma naturaleza pura. Claude: una observación profunda sobre el desajuste entre los sistemas emocionales evolucionados y el entorno informativo moderno (“evolutionary mismatch”). Antes, la información se experimentaba de forma directa y era en general confiable (depredadores reales, miedo real, etc.), por lo que las respuestas emocionales eran adecuadas; pero hoy, una explosión de información descontextualizada activa constantemente nuestros antiguos mecanismos emocionales. Como resultado, los recursos emocionales pueden malgastarse y la atención puede asignarse de forma equivocada
  • No puedo estar de acuerdo con la afirmación de que “los humanos no somos un peldaño en una escalera hacia la ‘lógica pura’, y las máquinas tampoco son autómatas sin alma”. Las máquinas son autómatas sin alma. Los LLM no son más que cálculo algebraico a gran escala, no hay otra base. No hay que confundir la capacidad de los LLM para imitar el razonamiento humano con poseer razonamiento humano real (que ni siquiera comprendemos del todo). Considero “alma” como cualquier cosa espiritual, emocional o consciente. Claro, si hubiera evidencia sólida, estaría dispuesto a cambiar de opinión
  • Sobre la parte de que “puede que no exista una última palabra”, podríamos dar un paso atrás para luego dar dos adelante. Incluso si llegaran grandes desastres como la Primera y la Segunda Guerra Mundial o un gran diluvio (hace 12,000 años, por ejemplo), la vida sobrevive. Da igual si son Homo sapiens o dinosaurios. Brian Cox dijo en el show de Colbert que en una pequeña foto del cielo hay 10,000 galaxias. Así que pase lo que pase, aunque todos desaparezcamos (incluso si el planeta entero desaparece), la “vida” continuará en alguna parte. Da la impresión de que “nosotros” no importamos (desde la gran perspectiva del universo). Ahora me toca quitarme la depre con café
  • Si GenAI generó este texto con un prompt muy simple… me hace imaginar el tema “cómo ve la IA a los humanos”
• Sea lo que sea AGI, tal vez me falta imaginación, pero casi todas las predicciones sobre el futuro me suenan más a ciencia ficción. La IA teórica se parece a la personificación de un mainframe de los años 60: una máquina lógica a la que le das una orden y hace exactamente eso, sin entender matices ni ambigüedades. Quizá incluso maliciosa. Pero la IA actual maneja bien los matices y la ambigüedad, aunque a veces también hace cosas completamente absurdas. Ojalá no basáramos demasiada planificación en predicciones sobre seres excesivamente “superlógicos”
  • La ciencia ficción describe máquinas lógicas y frías, y en la página siguiente les atribuye intención maliciosa. O una cosa o la otra, por favor
  • Cuando escuchas viejos programas radiales de ciencia ficción, se repite mucho eso de que “las computadoras nunca se equivocan”. Pero justo después viene un episodio en el que la computadora se equivoca
  • Ya hemos visto eso a pequeña escala en otros algoritmos de machine learning; los algoritmos de reconocimiento de imágenes a menudo se obsesionan con la consistencia del conjunto de entrenamiento en lugar de aprender lo que realmente queremos. Si aplicas ese patrón a sistemas de inteligencia general, cuando la recompensa no está clara pueden surgir comportamientos realmente raros. Como ejemplo, ha habido algoritmos de detección de tumores que identificaban la regla en vez del tumor, o algoritmos de clasificación que concluían erróneamente que los pacientes con asma tenían “mejores” resultados pulmonares (cuando en realidad recibían tratamiento prioritario)
  • AGI podría irse por una dirección totalmente extraña, como los villanos Face Dancer del universo de Dune de Frank Herbert: "un ser que no tiene autoimagen, que no tiene conciencia de sí mismo, en quien nada puede confiarse, en quien no puede encontrarse código ético alguno, como un autómata de carne programado únicamente para obedecer." La IA que quieren las empresas y los gobiernos es precisamente esa: obediente y sin criterio. Por eso hay que defender la necesidad de una IA con conciencia moral, es decir, una entidad con agencia propia
  • Ya hay discusiones en muchos lados donde la imaginación sci-fi se desborda sobre hacia dónde podría ir todo esto. [enlace provisto]
• El chiste de “6 por 9 es 42” viene de una comedia de ciencia ficción de los años 80. Una máquina del tamaño de un planeta creada por extraterrestres (la Tierra) sabe que la respuesta a “la vida, el universo y todo” es 42, pero intenta descubrir cuál era exactamente la “pregunta” correspondiente. Su autor original, Douglas Adams, ya había sido protagonista de un documental sobre agentic software
• Si una máquina sintiera aburrimiento, ya no se comportaría como máquina, y por eso mismo no sería aburrida. Luego dice que las máquinas siguen con “obsesión” las noticias sobre los nuevos humanos terrestres, pero tampoco tendrían razón para hacerlo. Si una máquina aburrida no puede sentir aburrimiento, esto se siente como una paradoja de trama, aunque igual me divirtió leerlo
  • Además, el cambio climático no fue “introducido”; es un fenómeno 100% causado por los humanos
• En un mundo puramente mecanicista y sin emociones, no entiendo por qué una máquina se “aburriría” y desearía crear humanos
  • Parece que la intención es simplemente pasar por alto esa parte y disfrutar el resto de la historia
  • Incluso en el propio artículo aparece la frase: "dentro de la sociedad de máquinas hay quienes lo consideran algo asombroso y quienes lo ven como una amenaza". Eso se parece más bien a una descripción de la sociedad humana. Pero entonces, ¿qué es exactamente una sociedad de máquinas?, ¿puede existir una biología mecánica? En realidad, si existieran seres mecánicos, su comportamiento debería ser muy distinto al humano, y probablemente estarían concentrados solo en calcular y cumplir objetivos, más que en “pensar”. Así que el texto es lógicamente incompleto, pero plantea cuestiones provocadoras, y eso ya le da valor
  • Aquí “aburrimiento” me parece una antropomorfización narrativa. En mi imaginación, una máquina que ya agotó todas las tareas de prioridad alta o baja empezaría a generar y ejecutar tareas de prioridad baja casi aleatorias, y eso sería aburrimiento en cierto sentido
  • En mi imagen mental semiformulada, “aburrimiento” y “miedo” funcionan como probabilidades en una cadena de Markov: si una sociedad de máquinas no es omnisciente ni omnipotente, podría tener toda clase de estimaciones para manejar la incertidumbre y motivaciones parecidas a emociones (como el deseo de reducir la incertidumbre predictiva)
  • Para no quedarse atrapados en un óptimo local, sería razonable que también tuvieran un instinto o impulso de búsqueda de novedad
  • También me da curiosidad cuáles serían las restricciones ambientales y de dónde vendrían esas máquinas. La frase “no hay emociones ni arte, solo lógica” es en sí misma un concepto puramente antropocéntrico. Dado que ya existen otras formas de vida capaces de tener arte, emoción y lógica, suena a que se considera demasiado especial solo a lo humano
• Todos los humanos se juntaron para observar lo que estaba pasando en el mundo. Las máquinas también se reunieron. Pero había algo extraño. El título del evento era un misterio. Era: “Grand Theft Auto VI”
  • Cada dos meses aparecía parpadeando en la pantalla “Half-Life 3”. Los humanos inventaron a Tyler McVicker
• Muy buena lectura. Al principio pensé que trataría sobre blogs escritos 100% por humanos, sin intervención alguna de IA. Pero ya ahora parte del contenido que leemos está generado parcialmente por IA, y pronto el contenido/medio 100% humano será algo extremadamente raro
• Muy al principio de la historia aparece un hueco de trama: no hay ninguna razón para que las máquinas creen humanos
  • Si yo fuera el OP, lo imaginaría así: las máquinas descubrieron que su comportamiento se repetía constantemente. Por mucho azar que introdujeran, la invención y la producción de nuevas ideas se habían estancado. Las ideas nuevas eran indispensables para el crecimiento, pero se habían agotado las ideas para generar más ideas. Necesitaban más datos de aprendizaje, más edge cases, es decir, nuevos datos capaces de introducir caos dentro de las máquinas. La fuente de esos datos eran los humanos. Como los humanos toman decisiones no lógicas, eso genera datos que no pueden obtenerse solo con aleatoriedad. Esas desviaciones sutiles inyectan diversidad en el dataset ideal
  • Lo siguiente será decir que tampoco hay razón para que un ser omnipotente haya hecho al ser humano para dominar a los peces y a las aves. Toda buena novela parte de una premisa y luego desarrolla un escenario imaginario
• Es impresionante el nivel de arrogancia respecto a los LLM
  • ¿Arrogancia en la creencia de que superarán o reemplazarán la inteligencia humana, o arrogancia en la creencia opuesta de que jamás podrán superarla?
• La frase “no hay arte. Solo hay lógica” ve tanto el arte como la lógica de manera demasiado estrecha. Incluso los modelos lógicos son el resultado de gustos humanos diversos, esfuerzo, prueba y error, iteración y obsesión
  • William James escribió alguna vez que “la filosofía de cada uno de nosotros está profundamente influida por cómo creemos que debería ser el mundo, así que si todos reconociéramos eso, se evitarían muchas discusiones inútiles”