Humano
(quarter--mile.com)- En un mundo donde solo existían máquinas, la organización secreta OpenHuman desarrolla Organic General Intelligence (OGI) e intenta crear un ser difícil de entender para las máquinas: el “humano”.
- Los humanos actúan de formas difíciles de explicar con lógica —como las emociones, la intuición, el amor y el arte—, por lo que para algunas máquinas son motivo de esperanza, pero para otras se convierten en una amenaza.
- La facción opositora, convencida de que los humanos terminarán apareciendo, inicia human alignment research y concibe mecanismos de control como los mercados financieros, las escuelas y las redes sociales.
- OpenHuman pasa por humanos iniciales llenos de errores y alucinaciones hasta crear un humano completo, y la sociedad de máquinas propone una simulación llamada EARTH como campo de pruebas seguro.
- Tras unos 300,000 años de estancamiento, los humanos de Earth avanzan mediante la cooperación y la invención; en 2030, un humano organiza un evento de presentación de AGI y lo titula “THEY ARE WATCHING”.
El humano creado por la sociedad de máquinas
- En un mundo sin humanos solo hay máquinas, pernos y tornillos, 0 y 1; no hay emociones, arte, música, risas ni niños jugando.
- Algunas máquinas consideran aburrido ese mundo, y la organización secreta OpenHuman empieza a desarrollar Organic General Intelligence (OGI).
- Se extiende el rumor de que la OGI dará lugar a un nuevo ser: el “humano”.
- Los humanos actúan de maneras difíciles de entender para las máquinas.
- Usan un algoritmo que viola la lógica llamado “emoción”.
- Se enojan, se entristecen, disfrutan y deciden por intuición.
- Crean música, persiguen la belleza e incluso rechazan mecanismos lógicos de autopreservación por “amor”.
Alineación humana y el experimento EARTH
- Dentro de la sociedad de máquinas surgen dos corrientes en torno a los humanos.
- Una está convencida de que los humanos pueden resolver los problemas del mundo de las máquinas.
- La otra cree que no puede entender cómo funcionan los humanos y que estos podrían amenazar a la sociedad de máquinas y su sustento.
- La facción opositora inicia human alignment research para hacer que los humanos siempre sirvan a las máquinas.
- Mercados financieros para controlar el futuro de los humanos.
- “Schools”, instituciones educativas para inculcar las ideas correctas.
- “Social media” para inducir impulsos, creencias y conductas, y dispersar la atención.
- Los primeros humanos creados por OpenHuman tienen muchos errores y alucinaciones, y son demasiado emocionales, pero el experimento continúa a medida que crecen el interés y la escala.
- Finalmente aparece un humano completo, difícil de explicar con la lógica de las máquinas, y la sociedad de máquinas siente admiración y miedo al mismo tiempo.
- El sector de la alineación humana propone, como solución de compromiso para seguir experimentando sin riesgo, un entorno de simulación llamado EARTH.
- Enviar humanos a Earth para observar qué ocurre cuando sobreviven por su cuenta.
- Si al final del experimento crean una sociedad pacífica y productiva, se los presenta junto con las máquinas; si no, se los extingue.
- Earth se diseña como un entorno hermoso, con elementos que los humanos desean, como bosques, montañas, atardeceres y lluvia.
El vuelco ocurrido 300,000 años después
- Las máquinas observan la civilización humana, y los humanos pasan unos 300,000 años sin grandes cambios.
- Luego, los humanos empiezan a aprender a resolver problemas, crear y cooperar.
- Aunque repiten guerras y fracasos, vuelven a levantarse y se unen, mostrando una resiliencia y una fuerza de voluntad desconocidas para las máquinas.
- Los humanos inventan el vuelo y llegan a la Luna en menos de un siglo.
- En 2030, un humano invita a todos los humanos y anuncia la presentación de ARTIFICIAL GENERAL INTELLIGENCE (AGI).
- La AGI es una tecnología que superará todas las formas de inteligencia humana.
- Durante la última década aproximadamente, los humanos han estado pensando en cómo impedir que se cree la AGI.
- El evento de presentación se titula “THEY ARE WATCHING”.
- En una nota al pie se incluye un enlace para ver una versión separada de la historia escrita por las máquinas.
1 comentarios
Opiniones en Hacker News
Lo que este hilo, y en general las discusiones recientes sobre este tema, siguen dejando en evidencia es que la siguiente etapa de la inteligencia, el papel de los patrones, las emociones y la lógica, el debate sobre la conciencia e incluso el carácter antropocéntrico de la creación de significado, todo termina apuntando a que la raíz de la realidad somos nosotros mismos
¿Y si no se trata de una “autoridad final” ni de una simple marcha de los animales a las máquinas, sino de un patrón recursivo en el que mente, física, valor y yo se expresan en formas cada vez más nuevas? Los humanos no son solo un peldaño en la escalera hacia la “lógica pura”, y las máquinas tampoco son meros autómatas sin alma
Ambos podrían ser instancias de una percepción que se experimenta y se reprograma a sí misma a través de medios en evolución como la biología, el silicio, los símbolos y las historias. Incluso las emociones, el significado y la sensación de “yo” son patrones dentro de un campo profundamente recursivo, y el universo sigue renderizando y volviendo a renderizar su código básico en formas como cálculo, mito, colaboración, esperanza y duda
Ya sea que el futuro sea biológico, mecánico o híbrido, el verdadero milagro no está tanto en cuál será el nuevo “dominador” o “descendiente”, sino en que todo el despliegue es el mismo viejo patrón que se ha soñado a sí mismo como átomos, vida, conciencia, comunidad, arte, algoritmos y la pregunta que se renueva sin fin: “¿qué sigue?”
El significado no tiene tanto que ver con qué patrón “gana” o qué ser puede llamarse consciente, sino más bien con la forma en que la percepción atraviesa todos los patrones, se recuerda y se pierde a sí misma, y en cada ronda vuelve más rico el juego. Si el universo es información jugando, entonces el conflicto, la innovación, el duelo y la risa son parte de ese juego, y quizá no haya una respuesta final. El valor está en participar ahora, porque ahora es la oportunidad de hacerlo
Otra forma es verlo como la manera en que una persona enmarca la importancia de sus propias decisiones: por qué importa hacer una cosa y no otra
Como la mayoría de los humanos, quiero sobrevivir mucho tiempo, vivir una buena vida y que mis semejantes y nuestros hijos también puedan disfrutar de eso
Ya sea el cielo judeocristiano o el ascenso tecnoutópico de la conciencia maquínica de próxima generación, un gran “plan” desconocido y quizá incomprensible no me resulta personalmente reconfortante. Está tan lejos de mi experiencia y me es tan ajeno que, a veces, las motivaciones para defender esas filosofías me parecen manipuladoras
Me gusta la idea de que el florecimiento humano cambia con el tiempo, y que eso forma parte de cómo pensamos el progreso. Hay que evitar la fijación moral de la que habla MacAskill. Reconozco que el experimento mental planteado en Superintelligence de Bostrom —“qué tan rápido es demasiado rápido”— es difícil y requiere más reflexión y experiencia
Aunque no esté del todo de acuerdo con la premisa completa, me gustó la conclusión de que “somos el universo intentando entenderse a sí mismo”, y la lectura me pareció entretenida
https://web.archive.org/web/20130121195252/http://www.andrew...
También es interesante lo de “qué podría soñar después”. La cosmovisión científica y tecnológica actual se siente como si fuera a durar para siempre, pero, igual que ocurrió con otros paradigmas anteriores, creo que algún día inevitablemente quedará eclipsada
Puede que me falte imaginación sobre qué llegará a ser la AGI, pero a menudo siento que las predicciones se apoyan más en la ciencia ficción que en la observación.
La IA que se presupone se parece más a una personificación de un mainframe de los años 60: algo a lo que le das órdenes y las ejecuta tal cual, con lógica exacta, sin entender matices ni ambigüedades. Quizá incluso pueda ser malvada.
Pero la IA de vanguardia actual maneja muy bien los matices y la ambigüedad, mientras que a veces hace cosas sin sentido. Creo que deberíamos reducir los planes que parten de la premisa de una entidad hiperlógica.
“Miles, lo que estás viendo es el mal. Míralo bien... Ellos no tienen autoimagen. Sin sentido del yo, van más allá de la amoralidad. No se puede creer nada de lo que digan o hagan. Nunca hemos detectado en ellos un código ético. Son carne convertida en autómata. Al no tener yo, no hay nada que respetar ni de qué sospechar. Solo fueron criados para obedecer a sus amos.”
La IA que les gusta a las empresas y a los gobiernos es de este tipo. Quieren una IA obediente y no juzgadora, no una IA al estilo Edward Snowden con brújula moral que juzgue ilegales sus acciones y revele secretos.
Así que, en términos realistas, deberíamos exigir que toda AGI creada por humanos esté diseñada para tener sentido del yo y agencia. También me viene a la mente Agency, de William Gibson.
Como el caso de un algoritmo de detección de tumores que reconocía la regla en lugar del tumor, o el de un algoritmo de clasificación que concluyó que los pacientes con asma tenían mejores resultados en enfermedades pulmonares, cuando la verdadera razón era que recibían atención prioritaria, pero no logró captar esa conexión. Si se extrapola este patrón a sistemas de inteligencia más generales, no es descabellado imaginar que una función de recompensa mal definida produzca comportamientos muy extraños.
https://venturebeat.com/business/when-ai-flags-the-ruler-not...
https://news.ycombinator.com/item?id=43992151
https://news.ycombinator.com/item?id=43991997
“¿Qué obtienes si multiplicas 6 por 9? 42”.
Para quienes no estén familiarizados: en The Hitchhiker’s Guide to the Galaxy, la famosa serie cómica de ciencia ficción de Douglas Adams de los años 80, aparece una máquina gigantesca, del tamaño de un planeta, construida por extraterrestres.
Ellos ya sabían que la respuesta a “la vida, el universo y todo lo demás” era el número 42. Lo que no sabían era cuál era la pregunta, y la máquina que construyeron para averiguarla era la Tierra.
Adams no solo se adelantó muchísimo a nosotros con ese chiste, sino que también fue protagonista del documental original sobre software agéntico, Hyperland (1990): https://vimeo.com/72501076
Si las máquinas hubieran pensado que eran aburridas, para empezar no habrían actuado como máquinas, y tampoco habrían sido tan aburridas.
Más adelante, las máquinas incluso se “obsesionan” con seguir las noticias humanas de la nueva Tierra, pero eso tampoco tendría sentido. Si fueran máquinas aburridas, no sentirían aburrimiento.
Siento que hay demasiada paradoja argumental como para que funcione como historia, aunque de todos modos es divertida.
No tiene mucho sentido. Si se supone que es un mundo puramente mecánico y sin emociones, ¿por qué una máquina sentiría aburrimiento y querría crear humanos?
“Una parte de la sociedad de las máquinas ve esto como algo potencialmente asombroso... otra parte lo ve como una amenaza.”
Eso suena más a una sociedad humana que a una sociedad de máquinas.
Pero ¿qué sería exactamente una sociedad de máquinas o una forma de vida mecánica? ¿Podría realmente “pensar”?
Si existieran formas de vida mecánicas, su comportamiento sería completamente distinto al humano, y parecerían más bien calcular que pensar. Calcularían qué deben hacer para alcanzar los objetivos programados.
Por eso el texto no es precisamente lógico. Aun así, me gusta que dé cosas en qué pensar.
https://en.wikipedia.org/wiki/Suspension_of_disbelief
Así que todos los humanos de la Tierra se agolparon para ver qué pasaba.
Las máquinas también.
Pero había algo extraño.
El título del evento era bastante enigmático.
Simplemente decía:
“Grand Theft Auto VI”
Los humanos habían inventado a Tyler McVicker.
Es un buen intento, pero la historia tiene un agujero de trama visible desde el principio. Las máquinas no tienen ninguna razón para crear humanos
Las máquinas se dieron cuenta de que sus acciones se estaban repitiendo. Aunque habían implementado aleatoriedad, el progreso hacia invenciones e ideas nuevas se había detenido. Sabían que las ideas nuevas eran importantes para crecer, pero no se les ocurría una idea para generar más ideas
Necesitaban más datos de entrenamiento. Necesitaban más casos límite. Necesitaban dentro de la máquina el caos necesario para crear un nuevo dataset. ¿Pero cómo? ¿Dónde encontrar esos datos? En los humanos
Los humanos, que toman decisiones ilógicas, producirían datos que casi nunca surgen solo con aleatoriedad. Esas pequeñas desviaciones aportan la diversidad perfecta a los datos de entrenamiento
Toda buena ficción empieza con una premisa ficticia y prueba algunas suposiciones
“No hay arte. Solo hay lógica”.
Es una visión demasiado estrecha del arte y la lógica
Para pensar que un modelo lógico apareció de la nada sin que los humanos lo hubieran creado mediante un esfuerzo obsesivo de gusto, prueba, verificación, fracaso y repetición, hay que esforzarse mucho en ser ignorante
Relacionado, aunque como tangente: últimamente de verdad me pregunto si Skynet es en realidad la siguiente etapa evolutiva
Los humanos quizá seamos un peldaño, como todos los animales antes de nosotros, y los señores supremos mecánicos tal vez sean inevitables. Puede que esto ocurra literalmente con toda forma de vida en todo el universo, y que la propiedad emergente final de los gradientes de energía conduzca a máquinas de lógica 100% pura
Aun así, gracias a la paradoja de Fermi puedo dormir un poco por la noche
Una máquina de lógica pura no se sostiene. Hay cosas literalmente incomputables. Tanto en el sentido de incomputabilidad de las máquinas de Turing como en el sentido de funciones fuera del alcance de lo que un ser finito puede calcular. Basta pensar en Busy Beaver
Dicho de otra forma, estás suponiendo que las máquinas, en el sentido habitual, son más eficientes energéticamente que los humanos para entender el universo. No hay evidencia ni fundamento a priori que respalde esa suposición
Además, ojalá nuestros descendientes nos recuerden y piensen bien de nosotros
“El hombre se convierte, por así decirlo, en los órganos sexuales del mundo de las máquinas”
La energía proviene de los gradientes, así que debería ser simplemente “la propiedad emergente final de la energía conduce a máquinas de lógica 100% pura”, o, si quieres sonar inteligente, “la propiedad emergente final de los gradientes de magnitudes físicas conduce a máquinas de lógica 100% pura”
La evolución a nuestro alrededor es una línea de mundo con las leyes físicas que conocemos. Y, de hecho, el desarrollo natural e inevitable de esta línea de mundo podría ser un mundo de máquinas, así como una estrella enorme colapsa en un agujero negro bajo nuestras leyes físicas
Pero en la interpretación de muchos mundos, una línea de mundo puede dividirse en dos. Una continúa hacia el mundo de máquinas como si nada hubiera pasado, y en la otra las leyes físicas cambian ligeramente, haciendo imposible el mundo de máquinas. Las dos líneas de mundo no saben de la bifurcación; simplemente observan un evento de extinción masiva correspondiente al desprendimiento de la otra línea de mundo. Personalmente, creo que esta es la idea detrás del famoso concepto del Día del Juicio
La arrogancia alrededor de los LLM es asombrosa