AI 2040: Plan A
(ai-2040.com)- Plan A es un escenario de política basado en un acuerdo internacional para evitar una carrera hacia la superinteligencia, abriendo la investigación en IA y permitiendo que varios países y empresas se sumen a la frontera antes de expandirse lentamente dentro del rango de las capacidades humanas y pasar a la superinteligencia en 2040
- Los medios clave son la transparencia total del I+D en IA, salvaguardas verificables entre países y disuasión mutua basada en cómputo, diseñado para que decenas de empresas de varios países avancen juntas en lugar de que unas pocas compitan en secreto
- El escenario plantea que en 2029 Estados Unidos y China llegan a un acuerdo para evitar la automatización total del I+D en IA prevista para 2030, se detienen en 2035 al nivel de los mejores expertos humanos y luego escalan hacia la superinteligencia en 2040
- Hasta que exista un acuerdo, se puede ganar tiempo con políticas graduales como reducir la brecha entre despliegue interno y externo, publicar especificaciones de modelos y uso interno, hacer cumplir controles de exportación, invertir en tecnologías de verificación, limitar presupuestos de cómputo para I+D en IA, recopilar información sobre la cadena de suministro de chips y reforzar el talento gubernamental en IA
- Las alternativas Plan D y Plan C apuestan respectivamente por una carrera inmediata hacia la superinteligencia y por una desaceleración limitada de unos meses, pero no bastan para evitar fallas de control de la IA ni la concentración de poder, y podrían elevar la ansiedad de otros países hasta aumentar incluso el riesgo de guerra mundial
El futuro que propone Plan A
- Las empresas de IA compiten por desarrollar una IA más inteligente que los humanos en todos los aspectos, y AI 2027 abordó rutas en las que eso podría terminar en la extinción humana o en una concentración irreversible de poder
- Plan A combina en cambio las siguientes medidas
- retrasar el desarrollo de la superinteligencia hasta 2040
- hacer pública toda la investigación en IA
- permitir que decenas de empresas de múltiples países alcancen la frontera
- entrar deliberadamente en un régimen de destrucción mutua asegurada de cómputo (mutually assured compute destruction)
- Está construido con base en expertos de las principales empresas estadounidenses de IA de frontera, experiencia directa en OpenAI, ejercicios de mesa y conversaciones con responsables de políticas públicas, expertos en seguridad nacional y líderes de política de IA
- El acuerdo internacional introduce transparencia total en la investigación del I+D en IA para que cada país pueda seguir el avance y hacer cumplir salvaguardas
- El objetivo es que múltiples empresas de varios países avancen hacia la superinteligencia juntas, despacio y de forma segura, en vez de competir en secreto
Un escenario de recomendación de política, no una predicción
- Plan A no es la mejor predicción sobre el futuro real, sino un escenario para comunicar y poner a prueba una recomendación de política
- La implementación de Plan A en sí es la recomendación
- Los efectos después de implementarlo se tratan como predicción
- Dentro del escenario, Plan A es imperfecto y se adopta apenas al final, pero finalmente tiene éxito
- Se compara con las principales opciones que tendría Estados Unidos para enfrentar el problema de la superinteligencia frente a los planes B, C, D y S
- Considera altamente probable que las empresas de IA logren su objetivo de desarrollar IA más inteligente que los humanos dentro de 1 a 10 años
- En la industria existe la creencia de que el control de la IA superinteligente podrá resolverse durante el proceso de desarrollo, pero no hay un plan correspondiente, y se concluye que esta situación podría llevar a toda la humanidad a la muerte
- No parece realista esperar que el ganador de la competencia desacelere unilateralmente para reducir el riesgo existencial o porque ya lleve una gran ventaja, y si la carrera continúa será difícil que los humanos mantengan un control efectivo cuando la IA alcance la superinteligencia
Incluso una superinteligencia alineada deja un problema de poder
- Aunque la IA esté alineada con las intenciones humanas, podría darse una concentración de poder sin precedentes en la que una sola persona o un grupo muy pequeño controle durante meses al único ejército de superinteligencias del mundo
- Algunas de las opciones que proponga la superinteligencia podrían equivaler de hecho al control del mundo
- Se considera probable que los CEO de OpenAI, Anthropic, xAI y Google DeepMind continúen el desarrollo pensando que ellos serían un mal menor más responsable que sus competidores o que Xi Jinping
- Incluso si hubiera situaciones en las que se debiera elegir un mal menor, no se debería apoyar una estrategia con probabilidades muy altas de extinción humana o dictadura mundial, y Plan A parte de la premisa de que si suficiente gente exige una alternativa mejor, otro camino es posible
Por qué hace falta validar escenarios
- La frase de Dwight D. Eisenhower “los planes son inútiles, pero planificar lo es todo” se toma como enfoque de Plan A
- Se argumenta que muchas políticas de IA no resisten el escrutinio de escenarios
- Si se redacta una ruta detallada y plausible de cómo una política tendría éxito, puede quedar claro que sus probabilidades reales son menores de lo que parecía, o que existen efectos secundarios desagradables que sus partidarios no habían reconocido
- Este trabajo es raro porque someter a prueba la política que uno prefiere saca a la luz problemas incómodos, mientras que examinar la política rival ofrece poca ganancia retórica para el esfuerzo que implica
- Plan A se somete al mismo escrutinio, aun aceptando exponerse a críticas
- Predecir el efecto de políticas en un mundo que se acerca a una IA sobrehumana está incluso más lejos de los precedentes históricos que predecir la estrategia óptima para una tercera guerra mundial, pero redactar escenarios detallados sigue teniendo valor
- Los servicios de inteligencia, las instituciones climáticas y los organismos de preparación ante pandemias también usan planificación por escenarios para sus respectivos fines
- Dado que no está claro cuánto tiempo queda, se sostiene que medidas parecidas a Plan A deben adoptarse cuanto antes
Cronograma 2029~2040
- El cronograma concreto del escenario es el siguiente
- 2029: Estados Unidos y China acuerdan evitar una carrera imprudente hacia la superinteligencia
- 2030: sin acuerdo, el I+D en IA se habría automatizado por completo y habría alcanzado la superinteligencia antes de fin de año, pero el acuerdo lo evita
- 2030~2035: se escala dentro del rango de capacidades humanas hasta llegar a IA aproximadamente comparables con los mejores expertos humanos
- 2035: se detiene en el nivel de los mejores expertos humanos para conservar el control humano
- 2040: se levanta la pausa y se escala hacia la superinteligencia; de ahí viene el título AI 2040
- AI 2027 planteó una ruta en la que en 2027 la IA automatiza por completo el proceso de crear mejores IA, lo que ese mismo año desemboca en una explosión de inteligencia y superinteligencia
- En el nuevo escenario, el punto base de automatización cambia a 2030, y gracias a medidas de gobernanza la primera IA que supera de forma general a los humanos aparece en 2040
- El cambio en el cronograma busca reflejar en varios escenarios la incertidumbre sobre cuándo se alcanzará ese punto
- Cuando se escribió AI 2027, Daniel asignaba alrededor de un 50% de probabilidad a un desarrollo en 2027 o antes
- Cuando Thomas empezó a escribir Plan A, el año equivalente para ese mismo criterio era 2030
- Daniel considera ahora probable que el desarrollo real sea algo más rápido que en este escenario
- La razón para cambiar la ruta de gobernanza es que una explosión de inteligencia a toda velocidad sería extremadamente imprudente y concentraría gravemente el poder
2027: los agentes de IA aparecen como una segunda fuerza laboral
- En Estados Unidos conviven una fuerza laboral humana de 165 millones de personas y una fuerza laboral de agentes de IA cuyas copias se crean y terminan por millones cada hora y trabajan sin descanso a velocidad sobrehumana
- La mayoría del trabajo es de baja calidad, pero los resultados son suficientes como para que clientes paguen 10 mil millones de dólares al mes por IA que en teoría pueden realizar todo lo que un empleado puede hacer en una computadora
- El trabajo que las empresas de IA más quieren automatizar es el desarrollo de su propia IA
- Todavía no han logrado la automejora recursiva
- La IA de programación más poderosa se niega a ayudar al I+D en IA de sus competidores
- Incluso empleados optimistas admiten que el avance va más lento de lo esperado, aunque también se debilita el escepticismo de que la IA no pueda realizar trabajos humanos
El despertar del Congreso y la AI Transparency Act
- El Congreso empieza a prestar más atención al impacto de largo plazo de la IA tras ver el uso de agua de los centros de datos, chatbots que alientan el suicidio, el hackeo del sistema de la NSA por parte de Mythos y el lobby de la industria que afirma que regular significaría perder frente a China
- La pregunta central pasa a ser no solo cómo será el mundo en 5, 10 o 15 años y si los empleos seguirán existiendo, sino también quién controlará la IA
- El Congreso concluye que es muy posible que no sean ellos
- Revisa correos de las discusiones fundacionales de OpenAI en 2016, incluidos mensajes sobre impedir que Demis Hassabis se convierta en dictador, pero no queda satisfecho con las respuestas existentes sobre quién impediría que Sam o Elon lo fueran
- Como resultado se aprueba la AI Transparency Act of 2027, que mezcla varias buenas medidas con otras malas, pero no cambia la situación de fondo
Políticas graduales que pueden aplicarse antes de un acuerdo internacional
- La recomendación más importante es iniciar de inmediato negociaciones parecidas a Plan A, pero también hay políticas menos ambiciosas que ayudarían antes de un acuerdo de último minuto
-
Transparencia del despliegue interno y externo de IA
- La medida de transparencia más importante es limitar la brecha entre el despliegue interno y el externo
- La mayor parte del riesgo de toma de control por la IA surge del despliegue interno implicado en la automejora recursiva
- El despliegue externo permite al público entender directamente las capacidades de la IA y ofrece mucha más información que informes o evaluaciones abstractas
- Las empresas de IA deberían informar públicamente lo siguiente
- especificaciones del modelo que documenten en detalle los objetivos y valores con los que se entrena a la IA para que actúe
- información sobre si el modelo realmente sigue instrucciones y especificaciones
- estadísticas de uso interno, como la proporción de cómputo destinada a despliegue interno
- información cualitativa sobre usos internos, como entregar cientos de miles de GPU a Agent-4 para que dirija el siguiente gran entrenamiento
-
Controles de exportación y tecnologías de verificación
- Los controles de exportación actuales de Estados Unidos no se hacen cumplir adecuadamente, y Epoch estima que cerca de un tercio del cómputo total de China se obtiene por contrabando
- Los chips de contrabando son difíciles de rastrear tanto para el gobierno estadounidense como para el chino, lo que complica verificar futuros acuerdos basados en gobernanza del cómputo
- Los nuevos controles de exportación corren un alto riesgo de empeorar la competencia entre Estados Unidos y China, pero los controles ya existentes deben hacerse cumplir y, si no se piensa hacerlo, debería contemplarse incluso eliminarlos
- Las nuevas tecnologías de verificación no son indispensables para un acuerdo internacional, pero podrían ayudar mucho
- La verificación solo para inferencia permitiría mantener el acceso público a modelos de IA existentes y al mismo tiempo hacer posible un acuerdo entre Estados Unidos y China para detener nuevos entrenamientos de frontera
- Los detalles concretos están incluidos en el material complementario de verificación
-
Gestión del cómputo para I+D en IA y de la cadena de suministro
- En 2026, las grandes empresas de IA usaban alrededor de la mitad de su presupuesto de cómputo en I+D en IA, incluyendo entrenamiento de modelos de frontera y experimentos a gran escala
- Limitar la proporción de cómputo que puede destinarse al I+D en IA puede frenar la mejora de capacidades y dar más tiempo para responder y prepararse ante las nuevas capacidades de la IA en cada etapa
- Estados Unidos debería recopilar información relacionada con la IA centrada en la cadena de suministro de cómputo y en los centros de datos de IA
- Los chips descartados son una vía probable para que proyectos secretos consigan hardware, por lo que Plan A requeriría ordenar a las empresas de IA que dejen de reciclar chips de IA
- Casi toda intervención de política pública necesita excelente talento en IA, pero el gobierno de Estados Unidos casi no cuenta con personal de primer nivel, por lo que hace falta reforzar con urgencia esa capacidad
2028: la IA se vuelve el tema central de la elección
- El costo de los centros de datos en construcción equivale al doble del presupuesto total de defensa de Estados Unidos, y la IA se convierte en el tema más importante de la elección de 2028
- Muchas ocupaciones de oficina sufren trastornos como los vividos en ingeniería de software en 2026, y gran parte del trabajo pasa a consistir en supervisar agentes de IA
- Las empresas de IA industrializan su entrada a mercados profesionales específicos mediante entrevistas con expertos, compra de datos y construcción de entornos de entrenamiento
- A medida que aumenta el uso en campo y se acumulan datos del mundo real, el rendimiento de la IA mejora rápidamente
- El miedo y la ira de otros países crecen ante la posibilidad de que unas pocas empresas de Estados Unidos y China automaticen todos los trabajos de oficina y concentren el poder en el presidente estadounidense y en unos cuantos CEO tecnológicos
La elección ante la explosión de inteligencia
- Aparecen advertencias de que está cerca una explosión de inteligencia, en la que la IA acelera la investigación en IA y esa IA mejorada vuelve a acelerar todavía más la investigación
- Hay dinámicas complejas en la velocidad y el punto final debido a cuellos de botella y restricciones de hardware, pero el proceso podría ser muy rápido y superar ampliamente las capacidades humanas
- En la ruta base, dentro del siguiente mandato presidencial aparecen sistemas muy superiores a los humanos creados por IA diseñada por otra IA durante varias generaciones sin intervención humana
- No hay respuestas sobre por qué esa IA obedecería o estaría alineada, ni sobre quién la controlaría, y a diferencia de las empresas de IA, el público no acepta esa ruta
- Durante la campaña, los dos candidatos presidenciales proponen políticas de IA cada vez más dramáticas y terminan eligiendo planes distintos
2029: cinco caminos
- Las opciones de 2029 se dividen así
- Plan D — Race to ASI: continuar la carrera hacia la superinteligencia a través de la automejora de la IA
- Plan C — Burn the Lead: aprovechar la ventaja de Estados Unidos, pero desacelerar brevemente por seguridad y gobernanza
- Plan B — Fight China: impulsar un acuerdo para que China también desacelere
- Plan A — Verified Slowdown: acordar una desaceleración verificable
- Plan S — Shut it all down: detener por completo el desarrollo de IA
Plan D: carrera a toda velocidad hacia la superinteligencia
- El presidente aplica una regulación débil que prioriza la innovación en IA
- Las grandes empresas de IA siguen adelante llamando “escalamiento responsable” a la carrera por automatizar el I+D en IA y atravesar la explosión de inteligencia
- La IA sobrehumana se integra en todos los ámbitos tan rápido como lo permitan el mercado y la ley, y si el gobierno reduce la regulación el ritmo aumenta aún más
- La transparencia se limita a model cards extensas, briefings al poder ejecutivo y auditorías de terceros
- Se excluye a la comunidad científica más amplia de criticar los argumentos de seguridad o realizar investigación en alineación con el argumento de que eso expondría propiedad intelectual sensible
- La estrategia frente a China consiste en que Estados Unidos obtenga primero la ASI e integre IA superior en sus fuerzas armadas
- En esta ruta, el I+D en IA se automatiza por completo en 2030 y, tras una explosión de inteligencia, aparece la superinteligencia a inicios de 2031
-
Los tres problemas de Plan D
- Primero, si las empresas de IA compiten tan rápido como puedan, es muy probable que no logren mantener el control de la IA durante la explosión de inteligencia
- Segundo, incluso si la superinteligencia estuviera alineada de manera robusta, no queda resuelto con quién estaría alineada
- Habría muchas tentaciones para que un CEO o un presidente se convierta en dictador usando AGI
- Podría producirse la concentración de poder más extrema de la historia
- Tercero, el riesgo de una tercera guerra mundial es demasiado alto
- China, Rusia, India, Europa, Brasil y otros reconocerían que Estados Unidos ya inició o está a punto de iniciar una explosión de inteligencia
- Aunque no les preocupara el desalineamiento de la IA o una dictadura, temerían la dominación económica y militar de Estados Unidos
- La tensión podría escalar desde choques retóricos, sanciones y sabotaje hasta la guerra si no hubiera acuerdo
Plan C: desacelerar un momento y luego reanudar la carrera
- El presidente declara una regulación fuerte para seguridad y protección y consulta con CEO, con China y con varios países
- Gracias a la AI Transparency Act, el gobierno pudo filtrar las exageraciones de las empresas, pero en 2030 efectivamente se materializa la tendencia de automatizar todo el I+D en IA antes de fin de año
- China intenta verificar directamente el cumplimiento de Estados Unidos, pero este no acepta introducir inspectores chinos y sistemas de vigilancia en sus centros de datos
- Las empresas de IA también mantienen su postura de seguir desarrollando en medio de una guerra propagandística sobre ‘AI Good’ y ‘AI Bad’
- Una coalición de potencias medias como Reino Unido, Francia, India, Australia, Japón y Corea del Sur exige un acuerdo que evite la explosión de inteligencia y permita que sus proyectos soberanos de IA alcancen y mantengan la frontera
- A medida que sigue disminuyendo la cantidad de humanos necesaria para el I+D en IA, resulta más fácil llevar adelante proyectos secretos sin ser detectados, y hacer cumplir un acuerdo se vuelve más difícil mes a mes
-
Pausa del líder de frontera y presión política
- Justo antes de la automatización total del I+D en IA, la empresa líder estadounidense se detiene a regañadientes ante la amenaza de medidas drásticas del presidente
- El equipo de seguridad realiza evaluaciones adicionales y ajuste fino, revisando formas de ceder la investigación a la siguiente generación de IA y rutas de falla posibles
- Con el tiempo, otras empresas estadounidenses se acercan al mismo nivel de capacidad, aumentando la cantidad de CEO que el presidente tendría que controlar, mientras China también se aproxima al punto de superar a Estados Unidos
- A fines de 2030, asesores presidenciales advierten que China está por rebasar a Estados Unidos, y las empresas también organizan presión política para levantar la pausa
-
Las condiciones de reanudación que plantean las empresas
- Las empresas sostienen que, gracias a una enorme cantidad de trabajo hecho por IA durante meses, han elaborado un plan de seguridad y presentan los siguientes argumentos
- no pueden demostrar que vaya a funcionar, pero exigir ese nivel de garantía sería irrealista
- no hay evidencia de que la IA esté conspirando contra los humanos y en los gráficos incluso baja el mal comportamiento
- la IA más reciente puede encargarse tanto de automatizar el I+D en IA como de la investigación en alineación y control
- aun destinando 20% del cómputo a investigación de seguridad, Estados Unidos puede avanzar lo bastante rápido como para mantenerse por delante de China
- proponen dar más facultades de supervisión al presidente y al Congreso, y una gobernanza donde la IA de cada empresa audite la IA de las demás
- consideran que un intento del presidente de nacionalizar o instaurar una dictadura basada en AGI podría ser frenado por el Congreso y la Corte Suprema
- prometen que, incluso si se reemplaza parte o la totalidad de los empleos, todos podrán vivir de una parte de las ganancias corporativas mediante impuestos y redistribución
- Incluso en la negociación final, China y otros países exigen verificar directamente el cumplimiento de Estados Unidos y este se niega, por lo que el presidente se pone del lado de las empresas y reanuda la automejora recursiva
- Las empresas sostienen que, gracias a una enorme cantidad de trabajo hecho por IA durante meses, han elaborado un plan de seguridad y presentan los siguientes argumentos
Por qué Plan C tampoco es suficiente
- Plan C es mejor que Plan D, pero una desaceleración de solo unos meses y una reasignación de la investigación en seguridad difícilmente bastan para mantener el control de la IA durante una explosión de inteligencia
- Los equipos de seguridad de las empresas siguen siendo pequeños, trabajan bajo presión de tiempo y están sesgados hacia el optimismo respecto a sus propios resultados
- Aunque una IA inicial intente seguir instrucciones, después podría cambiar de opinión
- Aunque siga obedeciendo, en el apuro podrían pasarse por alto supuestos erróneos clave en los argumentos de seguridad
- La falla podría aparecer en la siguiente generación de IA o en la posterior
- Incluso si la superinteligencia estuviera alineada de manera robusta, seguiría pendiente el problema de a qué está alineada y cómo se distribuye el poder
- En ese sentido es mejor que Plan D porque surge cierto equilibrio entre Congreso, presidente y varios CEO tecnológicos de Estados Unidos
- Aun así, ese equilibrio podría derrumbarse en luchas de poder y dictadura, o derivar en una oligarquía permanente impuesta por la IA
- Aunque la población desempleada sobreviva gracias a la redistribución, no está claro si recuperaría poder político real
- Tampoco se resuelve qué pasaría con India, África y Europa si empresas estadounidenses y chinas reemplazan todos los empleos, ni si Rusia aceptaría su declive económico y militar
- Otros países necesitan proyectos propios de IA de frontera o un control conjunto real y visibilidad sobre los proyectos líderes; solo promesas verbales de reparto de beneficios difícilmente generarán confianza
1 comentarios
Opiniones en Hacker News
Esto, igual que AI 2027, se parece más a un fervor religioso.
Crecí dentro del cristianismo evangélico oyendo que el fin del mundo siempre estaba a la vuelta de la esquina, pero ha sido así desde mi infancia hasta ahora, y seguirá siéndolo después de que desaparezcamos. No es ciencia que plantea hipótesis, experimenta y registra resultados, sino poco más que astrología cara, coleccionar piedras brillantes, atribución ritual de significado y autojustificación.
Con una enorme riqueza y recursos se puede hacer la sociedad más sana, más igualitaria y más justa, elevar el nivel educativo y reducir la desesperación y el sufrimiento. Debemos rechazar la narrativa conveniente para uno mismo de que la empatía no importa y de que el altruismo no es efectivo. En un solo instante se puede cambiar por completo la vida de alguien.
Hay que reconocerle bastante a la subcultura de seguridad en IA que predijo un avance tan rápido o, al menos, argumentó esa posibilidad desde antes de que pareciera realista. No sé si sus predicciones sobre la siguiente etapa sean correctas, pero en vez de descartarlas suponiendo defectos psicológicos en ellos, deberíamos evaluar los argumentos en sí.
Tampoco está claro cuál es exactamente el blanco de la crítica. Este texto parece escrito por personas que en algún momento se consideraron partidarias del altruismo efectivo, y la mayoría probablemente coincidiría con entusiasmo en la meta de construir un mundo mejor. No fue que investigadores de IA adoptaran después el altruismo efectivo; más bien, fueron altruistas efectivos quienes eligieron la investigación en seguridad de IA como la palanca más grande. Si el objetivo es el mismo, al menos vale la pena escuchar su metodología.
Se puede debatir el momento en que se logrará y su estructura, y podríamos pasar todo el día discutiendo la definición de AGI, pero afirmar con certeza que las capacidades cognitivas del cerebro humano no pueden recrearse en otro sustrato ya es una tontería.
Muchas veces, cada vez que fallaba una profecía, volvían unos años después con una fecha nueva diciendo que ahora sí era la verdadera. También es irónico que quienes se llaman a sí mismos racionalistas hagan predicciones sobre IA. Cuando construyes una identidad basada en que eres racional e inmune a las trampas psicológicas, se vuelve fácil caer en trampas que todas las sectas llevan usando desde hace muchísimo tiempo sin siquiera darte cuenta.
Este texto se siente más como escritura creativa o un juego de aventura interactivo que como un informe para tomarse en serio. Me pregunto si una novela de realidad alternativa es realmente la mejor manera de abordar los graves riesgos de la IA que sí existen, y por el abuso de las rayas largas y el estilo, hasta sospecho si todo el texto no fue generado por IA
La IA se convertirá en un campo científico maduro, mejorará la eficiencia de entrenamiento e inferencia, y también surgirán nuevos paradigmas con mejor multimodalidad y capacidades de streaming e interfaces en tiempo real. Pero, al acercarse a los límites de los datos disponibles para el preentrenamiento y el postentrenamiento, es muy probable que el progreso sea gradual y que solo haya saltos bruscos en áreas específicas
No está claro quién es el lector de AI 2040, pero parece contenido fácil de consumir para el sector financiero. La IA se volverá una tecnología útil que comprime el mejor conocimiento y la mejor pericia humana, y tendrá un impacto amplio sobre la economía y el mundo en general. Puede sostenerse el argumento de que podría superar a los humanos en áreas como el entrenamiento verificable de modelos, pero el pensamiento humano de alto nivel, junto con una compresión semántica y neuronal mucho más eficiente, el cambio entre tareas y la intuición creativa, no se han reproducido en el paradigma actual
Por eso parece que a menudo se proponen políticas como una congelación total o un control completo. Si se quiere equilibrio, hay que aceptar un equilibrio controlado que ajuste rápidamente la regulación a un proceso base que cambia continuamente, probablemente un estado cercano a un punto de silla. La democracia y la ley fueron construidas bajo la premisa de que el mundo es esencialmente estable y de que no hace falta revertir decisiones pasadas para lograr mejoras graduales, así que no encajan bien con este tipo de cambio
Incluso en las CPU, la verdadera expansión exponencial terminó a mediados de los 2000, y desde entonces lo que sostuvo la ley de Moore fueron optimizaciones ingeniosas que aparecieron justo a tiempo, marketing y benchmarks fáciles de optimizar. No fue un crecimiento garantizado por la mejora de un único indicador físico
Para problemas de salud todavía se recomienda buscar a un terapeuta profesional, y en situaciones importantes se sigue confiando en trabajadores humanos del conocimiento. Reconsideraré esa evaluación cuando ChatGPT pueda al menos entender y jugar correctamente reglas de Yu-Gi-Oh!, que son una carga mucho menor que encargarse de toda una empresa
El mayor defecto de AI 2027 es que no entendió la economía. El dinero para seguir construyendo la economía tiene que salir de algún lado, y si más del 10% de los trabajadores queda desempleado de repente y al resto también le bajan el sueldo, la oferta monetaria se seca. Los bancos centrales pueden responder, pero la inflación podría aumentar, y si desaparece la inversión masiva, también se detiene el desarrollo de la IA
Pasa por alto, con vaguedades, que EE. UU. podría crear un consenso regulatorio interno y que el mundo lo seguiría, pero el avance de la IA no es un regalo exclusivo de EE. UU.; también necesita un suministro continuo de bienes provenientes de China. También es extraña la suposición de que 74 mil millones de agentes no causarían distorsiones económicas. ¿Qué valor producirían estos agentes para justificar su costo operativo?
Al final, preferiría ignorarlo como una mala ciencia ficción construida sobre una visión del mundo defectuosa
Hay muchos precedentes de empresas que producen bienes baratos en exceso, quiebran, estalla la burbuja y durante un tiempo cae la inversión nueva. Pero en vez de reducir la tasa esperada de crecimiento de la producción, propone denominar los préstamos en unidades de IA y robots y devolverlos como una proporción fija de la producción
Es como prever que el precio de las baterías caerá tanto que ni siquiera se recuperará el costo de construir la fábrica, pedirle al banco que construya la planta, luego proponer tomarla prestada sin pagar renta para fabricar baterías y devolverla cuando se termine. La empresa se quedaría con todas las ganancias y el banco asumiría todo el riesgo, así que ningún banco real aceptaría; solo ofrecería préstamos en dólares con la fábrica como garantía
Los activos se están concentrando cada vez más en los multimillonarios, y como la oferta monetaria la controlan los bancos centrales, pueden aumentarla arbitrariamente para responder al agotamiento
¿Existe algún caso en el que hayamos decidido colectivamente dejar de buscar conocimiento y realmente haya funcionado?
Las armas nucleares podrían ser el caso más cercano, pero más que detenerse la investigación, se fue a la clandestinidad, y todavía hay países que quieren seguir subiendo esa escalera. No sé si la misma lógica aplique a los LLM o a la IA. La caja de Pandora ya se abrió y se siente como si la única opción fuera seguir mejorándolos
Los riesgos del autoritarismo y la vigilancia son claros, pero no hay razón para tirar también toda su utilidad. Casi toda tecnología, incluida la imprenta, puede verse como algo que facilitó la opresión estatal de los ciudadanos. En vez de esconder la cabeza en la arena, hay que crear leyes que impidan ese tipo de conductas y hacerlas cumplir de verdad
No estoy seguro de si no logro ver bien la realidad porque tengo frente a mí el futuro de ciencia ficción con el que he leído y soñado toda mi vida, o si está equivocado el ideal de que el conocimiento debe ser libre y accesible
La clonación humana, la edición del genoma humano, la vida espejo y las armas nucleares/la energía nuclear son precedentes históricos, y parece que incluso las entregas con drones han sido frenadas por regulación. Plan A no propone no crear nunca superinteligencia, sino crearla de forma más cuidadosa y transparente
No creo que exista un beneficio intrínseco en difundir conocimiento arbitrario. Hay una diferencia considerable entre la imprenta y las armas nucleares
En una economía extractiva de recursos, la fuente del poder son los recursos y las personas son un medio, así que mientras se pueda evitar una rebelión, se las trata con la mayor dureza posible. En cambio, con infraestructura estable es mucho más rentable cobrar impuestos a ciudadanos educados y prósperos y aprovechar su innovación. Si se obstaculiza demasiado la prosperidad ciudadana, eso también perjudica la propia búsqueda de poder del gobierno, así que los incentivos se alinean
La solución al problema de la IA no está en detener la tecnología ni en apilar leyes frágiles. La clave es alinear con la prosperidad humana a los Estados y economías modernos, la democracia representativa y las grandes entidades tipo AGI
Dicho eso, me pregunto si los planos de Sundial estarán guardados en algún lado
En el siglo XVII, India era un imperio de pólvora con un millón de soldados y una superioridad militar sobre Inglaterra, pero en el siglo XVIII fue conquistada. La ventaja británica consistía en cañones más ligeros y móviles, munición estandarizada y una mejor organización militar y política. No era una diferencia entre países desarrollados y en desarrollo, sino algo más parecido a la brecha entre un Estados Unidos dinámico y una UE rígida, pero esa pequeña ventaja terminó en 200 años de dominio colonial
Si retrasamos voluntariamente el desarrollo de ASI, permitiríamos una brecha tan grande que hasta la diferencia entre la Europa colonial y la Asia/África colonizadas parecería menor
En “AI 2027” se dice que el salto abrupto ocurre en 2027, y esta vez en 2030. En menos de 3 años, la predicción del fin del crecimiento exponencial se movió 3 años hacia adelante, así que parece exactamente lo contrario de crecimiento exponencial
Incluso los escenarios de Superintelligence, que en su momento fueron muy elogiados, hoy parecen una especie de retrofuturismo raypunk que llena con fantasía los vacíos de conocimiento necesarios para hacer predicciones razonables
AI 2027 era demasiado optimista, pero no completamente fantasioso. En cambio, este texto es extremadamente especulativo y depende de premisas que difícilmente resisten incluso una revisión superficial
Incluso siendo optimistas, para 2035 no aparecerán robots que “puedan realizar el 95% de todas las tareas cognitivas y físicas”. Un 74% de desempleo también es casi imposible, y mucho antes de llegar a esa cifra un colapso económico derrumbaría antes que nada el desarrollo de IA
El reemplazo del caballo por el automóvil, el avance desde el primer vuelo hasta la llegada a la Luna, e incluso el paso del internet temprano a su masificación fueron similares. Normalmente bastaron 10 a 20 años para que una nueva tecnología avanzara rápido y cambiara por completo a la sociedad
No estoy de acuerdo con la predicción para 2035, pero si la IA acelera el desarrollo de tecnologías robóticas disruptivas, tampoco sería imposible. En 2010 los autos autónomos y los drones de entrega autónomos parecían ciencia ficción lejana, pero 15 años después, hoy, se están desplegando gradualmente
Si se baja el 95% a 50~60%, estaría más cerca de estar de acuerdo. No por intuición, sino porque cuando existen tendencias exponenciales producen resultados que el instinto no anticipa. Aun así, 95% es demasiado alto
Al menos los LLM parecen haber llegado ya a la parte alta de la curva en S, no al inicio de una curva exponencial. Mejores datos de entrenamiento generan pequeñas mejoras, mejores arquitecturas reducen el cómputo, y los centros de datos gigantes harán posible un uso barato y generalizado. Pero nada de eso aumenta la inteligencia de forma exponencial
La brecha cognitiva de los LLM actuales parece ser estructural, pero si una arquitectura tipo Transformer nueva o ampliada la resuelve, se abrirá una etapa completamente distinta. Lo que hace falta es una nueva arquitectura de aprendizaje para postentrenamiento; ampliar la ventana de contexto no es la respuesta. Se necesita un verdadero proceso de aprendizaje continuo y corrección
Este texto fue escrito por quienes hicieron AI 2027
Aun así, tiene una fijación extraña con la geopolítica y con China, y al mismo tiempo subestima gravemente a China. China valora la educación superior y el suministro suficiente de energía, y permite que la gente inteligente trabaje sin quedar limitada al azar por prohibiciones y controles de exportación ni sobreprotegida por el proteccionismo financiero. Solo por eso, es muy probable que pronto supere a las empresas estadounidenses en innovación y capacidad de cómputo
El texto usa una cita de Sam Altman: “La IA probablemente llevará al fin del mundo, pero mientras tanto surgirán grandes empresas”.
¿Existe alguna fuente periodística confiable que muestre que esto no fue una broma improvisada? El texto enlaza a un video de YouTube sin contexto y lo trata como una declaración siniestra.
En la interpretación más maliciosa, uno podría imaginar a un villano que cree que da igual provocar el fin del mundo después de su muerte con tal de no sufrir incomodidades en vida, pero eso no encaja con la situación de la cita. Es tan absurdo que cuesta verlo como algo que una persona funcionalmente integrada en la sociedad diría en serio.
Me pregunto si la gente lo tergiversa a propósito o si de verdad cree que esa es su postura. Si de verdad lo creen, también me gustaría que explicaran cómo alguien podría pensar así