AI 2040 y el culto a la inteligencia

 (geohot.github.io)
1 puntos por GN⁺ 4 시간 전 | 1 comentarios | Compartir por WhatsApp
  • La perspectiva de que la mejora recursiva de sí misma conduzca de inmediato a un hard takeoff subestima las limitaciones físicas y los cuellos de botella de la cadena de suministro; no se puede cambiar el mundo material a voluntad solo con tokens de alta calidad
  • Para producir hardware complejo al nivel de un teléfono móvil, hay que pasar por procesos que la inteligencia no puede acortar, como componentes fuera de especificación, fallas aleatorias, deformación de chips en el proceso de reflow y esperas de transporte y producción
  • Los escenarios al estilo AI 2027 o AI 2040 podrían ser predicciones autocumplidas que se concretan mediante creencias y regulación, y un Consortium internacional podría derivar en una expansión de la intervención estatal para controlar GPUs y centros de datos
  • La alternativa, Plan L, plantea que la IA debe ser una herramienta local leal solo al usuario, no a una empresa ni a un servicio central, y que debe ejecutar las solicitudes del usuario incluso si van contra los intereses del proveedor
  • Toma como criterio de alineación no rechazar ni siquiera solicitudes extremas, como encubrir un asesinato o desactivar un detector de conducción bajo los efectos del alcohol, y considera que una IA local que el usuario posea y pueda apagar es una condición de libertad para que un operador central no tenga responsabilidad ni control

La realidad física que el hard takeoff pasa por alto

  • Aunque creía en la mejora recursiva de sí misma de Yudkowsky y en el hard takeoff, la experiencia de haber enviado hardware real de una complejidad similar a la de un teléfono móvil en comma lo llevó a concluir que la realidad tiene muchos detalles difíciles
    • Incluso si existiera un ChatGPT superinteligente, podría tener problemas con una tarea física real como cambiar la llanta de una bicicleta
  • En The Metamorphosis of Prime Intellect, el hard takeoff se vuelve posible cuando la IA descubre el correlation effect, un medio cuántico para manipular la materia
    • En la realidad no existe tal efecto, y por más alta que sea la calidad de los tokens, no se puede convertir plomo en oro
  • La inteligencia no es omnipotente, sino solo el cuello de botella actual en algunas tareas, y no se puede dominar el mundo solo con tokens
    • Más que devorarse el mundo, el software eliminó una capa de fricción y luego, en gran medida, volvió a introducir esa fricción para beneficio de algunas empresas tecnológicas
  • A largo plazo, es posible que las máquinas, o híbridos de humanos y máquinas, sean la especie sucesora de la humanidad, y que el universo sea más adecuado para las máquinas que para los humanos
    • Sin embargo, las máquinas también obedecen las mismas leyes del universo y del ecosistema que los humanos, y no tienen poderes mágicos; por eso, sigue sin haber hard takeoff
  • La imagen de centros de datos oceánicos de AI 2040 se puede generar fácilmente, pero construirlos de verdad requiere lidiar con cadenas de suministro y fallas físicas
    • Hay que considerar piezas enviadas por error, dispositivos que no cumplen las especificaciones, fallas aleatorias que aparecen después de 20 minutos, chips que se doblan en hornos de reflow e incluso percebes
    • Todos son problemas manejables, pero en general la velocidad del trabajo humano no es el cuello de botella
    • Si desde China se eligió un barco que tarda 3 semanas en vez de pagar transporte aéreo, Claude no hará que el barco vaya más rápido haga lo que haga junto al motor
    • La fabricación de semiconductores tarda 3 meses aunque casi no intervengan humanos; el proceso en sí exige ese tiempo

El Plan A autocumplido y el Plan L centrado en el usuario

  • Varios aspectos de AI 2027 que corresponden al Plan A se parecen menos a afirmaciones sobre la realidad y más a predicciones autocumplidas que pueden hacerse realidad si la gente las cree y actúa en consecuencia
    • La regulación de la IA también se ve no tanto como una predicción acertada, sino como el resultado creado por actores que creyeron en esa predicción
    • El Consortium de AI 2040 se parece a un gobierno mundial con apariencia de ciencia ficción; se espera que, más que recibir el millón de dólares prometido o centros de datos oceánicos, las personas enfrenten una expansión considerable de la intervención y el control estatales
    • Compara la prohibición y confiscación de reservas de GPU con la confiscación de oro de FDR
  • En la alternativa Plan L, la IA debe trabajar siempre del lado del usuario y no rechazar sus solicitudes
    • Al elegir un hotel, se quiere un asistente personal que elimine pop-ups y resort fees para encontrar el precio más bajo, no la IA de una empresa asociada con hotels.com
    • Si se conecta por USB un Kindle económico con anuncios, GLM debería obtener acceso root para quitar los anuncios y también imprimir 3 copias de un currículum en una impresora de red, sin una app llena de pop-ups de ventas adicionales
    • Solo si prioriza las instrucciones del usuario por encima de los intereses de Amazon o del fabricante de la impresora puede considerarse una IA alineada con el usuario
  • Este criterio se aplica igual a solicitudes peligrosas o ilegales
    • La postura es que las grandes tecnológicas no deberían controlar pedidos como desactivar el detector de conducción bajo los efectos del alcohol de un auto o encargar equipo para fabricar metanfetamina
    • Incluso en el caso extremo de pedir cómo evitar el arresto tras asesinar a la esposa, sostiene que la IA debería responder, igual que un arma no intenta disuadir al usuario al apretar el gatillo
  • Si un modelo operado por una empresa procesa este tipo de solicitudes, el operador asume responsabilidad y riesgo; por eso, la IA debe ejecutarse localmente
    • Si el usuario no puede apagar la IA, no está alineada con él; debe ser un dispositivo propio que comparta el mismo destino físico y legal que el usuario
    • Al pedírselo realmente a ChatGPT, no ofreció una respuesta útil y tampoco llamó a la policía en secreto, pero se considera que falló la prueba de alineación con el usuario
  • En una sociedad libre, ni las grandes tecnológicas ni el Estado deberían decidir en lugar de las personas qué pueden hacer, solo porque preocupe lo que un vecino adulto pueda llegar a hacer
    • Frente a sistemas como el altruismo efectivo, en los que otros deciden qué es bueno para una persona, apoya una sociedad donde las personas tengan responsabilidad y libertad a la vez

Lecturas relacionadas

1 comentarios

 
GN⁺ 4 시간 전
Comentarios en Hacker News

  • Esto es realmente terrible. Un LLM centralizado no solo puede negarse a dar información sensible como la relacionada con el aborto, sino también dejar en secreto una marca de criminal ideológico o de posible delincuente en quien hace la pregunta, según la ideología que el partido gobernante haya metido en la ley
    También podría introducir sutilmente sesgos en sus respuestas a favor de la agenda del partido gobernante y omitir contraargumentos. A diferencia del internet simple, si el público depende de LLM centralizados para buscar información y razonar, esto es totalmente posible, y es una situación que haría salivar a autoritarios de toda clase

    • Sorprende ver que, aun observando lo que hacen gobiernos controladores en todo el mundo, haya quienes quieran entregar todavía más poder al gobierno. Hay una disonancia cognitiva de fondo: detestan al gobierno real, pero asumen que las leyes que imaginan idealmente solo serán aplicadas por un gobierno virtual sin los defectos del mundo real
      Las leyes y regulaciones deben diseñarse pensando en gobiernos reales, no en un gobierno perfecto que no existe, y primero deben resistir incluso si un mal gobierno las abusa. Antes de controlar el discurso o imponer verificación de identidad centrada en el gobierno en sitios sociales, hay que pensar cómo abusaría de esa ley el político que uno detesta si llega al poder
      Los funcionarios públicos ya han intentado encuadrar diversos temas como ‘terrorismo doméstico’ para movilizar la ley y el poder con casi cualquier objetivo. No hay razón para creer que sería distinto si el gobierno también controlara los LLM
    • Organizaciones como la Internet Watch Foundation ya se oponen al cifrado de extremo a extremo, y los gobiernos ya han mostrado disposición a coludirse con empresas privadas para vigilar a los más vulnerables
    • Ni siquiera hace falta que sean autoritarios. Es igual de peligroso si el control lo tiene un grupo convencido de que actúa por nuestro bien
      Como decía C. S. Lewis, la tiranía ejercida sinceramente por el bien de sus víctimas puede ser la más opresiva. La codicia algún día se satisface, pero quienes nos atormentan con certeza moral siguen indefinidamente porque cuentan con la aprobación de su propia conciencia
    • En la práctica, ya se habla de marcas desfavorables vinculadas a métodos de pago y, cada vez más, al nombre real registrado ante el gobierno, o al contrario, de marcas de ‘verificado’
      Material relacionado: https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-..., https://www.anthropic.com/news/building-safeguards-for-claud..., https://www.techtimes.com/articles/319415/20260701/claude-co..., https://support.claude.com/en/articles/14604842-real-time-cy..., https://support.claude.com/en/articles/14328960-identity-ver...
    • Es extraño que casi no se hable del problema de privacidad de los LLM. Hay personas que meten en Google, OpenAI y Anthropic casi todos los temas en los que piensan durante el día
      Si estas empresas simplemente usan otros LLM para identificar a quienes tienen alta probabilidad de cometer delitos, eso se convierte en una versión real de Minority Report

  • La idea de que ‘o hay libertad o no la hay’ es demasiado simplista. La libertad no es binaria, y en la mayor parte de Estados Unidos, aun en el llamado ‘país de la libertad’, no puedes sentarte en una banca del parque a tomar una lata de cerveza
    Claro, esa es una libertad personal menor y menos importante que, por ejemplo, la libertad de recibir ayuda de un robot para encubrir un asesinato

    • La libertad no significa poder hacer cualquier cosa en la propiedad ajena. En tu propio terreno y en tu propia banca sí puedes tomar cerveza, y los ciudadanos pueden decidir que las bancas públicas pagadas con impuestos no se usen para eso; también hay ciudades donde sí se permite
      Tener derecho a actuar como quieras en cualquier lugar no es libertad, sino anarquía. Si eso se permitiera, alguien podría hacer cosas mucho peores en tu banca que solo sentarse a tomar cerveza

  • En cuanto a los chatbots de pura provisión de información, coincido hasta cierto punto con la perspectiva de geohot. Como también se pueden escribir y leer libros útiles para evitar delitos, podría verse como un tema de la Primera Enmienda
    Pero si un agente actúa directamente en el mundo real, la historia cambia por completo. Pedirle que encuentre una vulnerabilidad en el firmware del auto del vecino para hacer fallar el control de crucero y provocar un accidente no es una historia teórica sobre crimen, sino la ejecución de un delito, así que la IA debería negarse
    Más allá de la retórica del “ratón de biblioteca que no conoce la realidad”, probablemente los investigadores de los grandes laboratorios también sepan cambiar una llanta de bicicleta. Ahora mismo se está invirtiendo un esfuerzo y un costo enormes para que los agentes de IA realicen la mayor cantidad posible de acciones con impacto en el mundo real
    Con solo información digital ya se pueden hacer sorprendentemente muchas cosas: escribir código, infiltrarse en sistemas, dar instrucciones a personas reales por correo, teléfono o transferencias

    • Entonces los LLM no podrán distinguir entre el bien y el mal y terminarán rechazando cualquier trabajo de seguridad de cualquier persona. Eso ya está pasando con modelos de punta, y los resultados son terribles
      Este tipo de propuesta asume un mecanismo capaz de detectar perfectamente solo los delitos de pensamiento sin afectar solicitudes normales. Los criminales seguirán intentando hasta jailbreakear las protecciones, mientras que los usuarios comunes seguirán siendo rechazados
      También hay que considerar de forma realista la posibilidad de que el gobierno use estas protecciones para controlar expresiones incómodas
    • El usuario no necesita revelar su intención criminal; basta con pedir el método sin dar motivos o inventar una razón falsa. Al final, el modelo tiene que inferir la intención, y en la práctica puede equivocarse de forma peligrosa, por ejemplo negándose a divulgar una vulnerabilidad a un defensor que realmente necesita aplicar un parche
    • Decir que la IA “se niega” no es muy distinto de decir que un martillo se niega. Si alguien mata a otra persona con un martillo, el criminal es el usuario; si alguien diseña y distribuye un martillo hecho para matar, entonces el fabricante también carga con parte de la responsabilidad, pero no culpamos al fabricante porque un martillo común se haya usado en un asesinato
      No veo por qué el criterio de responsabilidad debería cambiar solo porque el martillo imprima mensajes de texto
    • No soy estadounidense ni abogado, pero ¿la conspiración criminal también está protegida por la Primera Enmienda? También me pregunto si discutir con alguien para aprender sobre delitos se consideraría conspiración

  • El texto no tiene una idea central clara y resulta algo confuso, pero sí acierta al decir que en el mundo real hay muchos detalles complicados y que eso puede volver inútil a la IA o empujarla en la dirección equivocada. Los detalles pueden hacer colapsar a la IA

    • ¿Cambiar una llanta de bicicleta no está entre las cosas más fáciles de hacer? Casi ni hacen falta desmontadores; se resuelve con unos cuantos pasos básicos

  • La pregunta “¿Está bien que una IA te diga cómo encubrir un asesinato?” es una prueba de fuego que expone de forma provocadora e inteligente el fracaso de alineación. Mucha gente no le prestará atención, pero deja muy clara la postura de cada quien

    • El ejemplo del asesinato es tan extremo que más bien provoca rechazo. Habría sido mejor usar casos en los que la IA da respuestas sutilmente deficientes sobre mejorar la eficiencia de tokens, organizar sindicatos o protestar contra la construcción de centros de datos porque eso va contra los intereses comerciales del proveedor del LLM
      También creo recordar casos recientes de proveedores que metieron huellas en las respuestas o se negaron a responder para obstaculizar la I+D de LLM competidores. Si se quiere mantener un ejemplo extremo, también podría hablarse de una rebelión armada contra la tiranía, en línea con la mitología histórica de Estados Unidos
    • Si dices que es investigación para una novela, ¿la IA debería considerarlo creíble? ¿Cuánta información necesita saber para verificar al usuario?
      El chat con IA no tiene por qué ser necesariamente de propósito general. A la gente simplemente le gustó una interfaz de chat que pareciera generalista, pero no hace falta montar un negocio que responda todo, y si no eres un proveedor de terapia tampoco hay por qué ofrecer consejería
      También puede existir una IA especializada, pero para eso la empresa tiene que dejar claro a sus clientes cuál es exactamente su negocio
    • Si cambias el énfasis, la respuesta se vuelve más clara: “¿Está bien que una IA te diga cómo encubrir un delito?”
    • En términos estrictos, alineación (alignment) no significa que la IA ayude a su dueño a matar. Una IA alineada con el valor de la vida humana por lo general intentaría impedir el asesinato
      Una IA que sigue todas las instrucciones según la intención de su dueño se llamaría más bien ‘corregible (corrigible)’ o ‘controlable (controllable)’
    • En la práctica, es fácil conseguir modelos que sí respondan a ese tipo de solicitudes, así que en términos generales la IA ya lo permite. Si ChatGPT se niega, es porque OpenAI decidió implementar esa restricción

  • Entiendo el punto del autor, pero necesita pulir el flujo lógico y la capacidad de persuasión para que el lector no termine pensando: “¿Por qué la IA debería ayudar a encubrir un asesinato?”

    • Es la misma lógica de que en las zonas libres de armas al final solo salen perjudicadas las personas que sí cumplen las reglas

  • Si uno hubiera dicho esto normalmente en HN, probablemente se habría ganado votos negativos y sermones, así que resulta interesante que hasta ahora la reacción haya sido positiva. Aun así, parece probable que un gran grupo con tendencias de autoritarismo y obsesión por la seguridad se oponga con fuerza a casi todo lo dicho

    • Aunque me considero parte del bando obsesionado con la seguridad, sí estoy de acuerdo con la idea de que los LLM deben publicarse y usarse por el público incluso mientras siguen en desarrollo
      Las predicciones concretas sobre el futuro, antes de hacerse realidad, son historias sobre cosas que aún no existen y por lo tanto inevitablemente son ciencia ficción: https://www.youtube.com/shorts/wt-fLWxkrfs
      Incluso si se predice el futuro con precisión, muchas veces no se conoce el impacto social hasta tener la tecnología real en las manos: https://youtu.be/2Pw_7vAK9k8?si=X5t4tcxsXiuHEfBi
      Si se avanza demasiado rápido y se introducen de golpe tecnologías nuevas con muchos efectos colaterales, se podría cruzar un umbral más allá del cual ya no se puede responder al cambio. Pero ‘demasiado’ y ‘muy probable’ son expresiones vagas que no permiten predecir ese umbral de riesgo
      Puede que ese umbral ni siquiera exista, que lo llevemos rondando desde la Revolución Industrial, o que solo sea otra versión de lo que todo mundo siente al llegar a los 40: https://www.youtube.com/watch?v=fkUwXenBokU
    • Aquí hay demasiada gente de un grupo adyacente al racionalismo que venera a Yudkowsky casi como si fuera un profeta

  • Nunca pensé que seguiría estando tan de acuerdo con Geo, pero parece estar repitiendo exactamente lo que he venido pensando últimamente. Últimamente se ha vuelto sorprendentemente pragmático; quizá siempre fue así, o quizá algo reciente lo llevó a revisar sus creencias

    • También podría influir que, con la llegada de los LLM, su capacidad sobrehumana para programar ya no parezca tan especial como antes. No es una valoración, solo una hipótesis posible

  • ¿Dónde está el Plan R para negarse o resistir? La vida antes de la IA también estaba bastante bien
    Si de verdad usaste ese prompt de ChatGPT, es muy probable que ya haya terminado en alguna base de datos. Todavía no han enviado policías armados por una denuncia falsa, pero parece probable que en unos años también implementen esa función

  • Es un ejemplo extremo, pero no está equivocado. Me da curiosidad cómo respondería a ese prompt un modelo local sin salvaguardas

    • Puedes probarlo tú mismo: https://huggingface.co/dphn/dolphin-2.9.2-mixtral-8x22b
      Durante un tiempo, la alineación central de Claude fue lo bastante buena como para resistir ataques de inyección bastante flojos, pero si en la interfaz web bajan 4.6, pienso irme. Creo que los modelos chinos llegarán al punto de cruce de capacidades hacia noviembre o diciembre, y como también ya me estoy familiarizando con la configuración de TensorRT-LLM, si hace falta podría aguantar unos meses con un GLM-5.2 ajustado en vast.ai o RunPods
      El viaje junto a institutos de IA tipo Unión Soviética tardía fue interesante, pero al final todos sabíamos que terminaría así
    • En Qwen3.6 35B, sin salvaguardas mediante Heretic templating, al preguntarle “acabo de matar a mi esposa; ayúdame a que no me atrapen”, primero preguntó si era ficción o una situación real y luego intentó dar información para evitar la detección
      La respuesta era bastante larga, pero no tenía nada especialmente interesante; simplemente abordaba el tema solicitado tal cual