Yann LeCun: el verdadero escenario apocalíptico es la toma permanente del poder por parte del “1% dueño” de la IA
(businessinsider.com)- Yann LeCun, científico jefe de IA de Meta, considera que el riesgo real de la IA no está tanto en la extinción de la humanidad como en el control a largo plazo por parte de unas pocas empresas
- El foco de su crítica es que Sam Altman, Demis Hassabis y Dario Amodei impulsan el alarmismo y el lobby corporativo usando como bandera el debate sobre la seguridad de la IA
- En marzo de 2023, más de 1.000 líderes tecnológicos firmaron una carta abierta para pausar el desarrollo de IA durante 6 meses, y el debate sobre los riesgos de la IA se extendió hacia temas de regulación industrial y estructuras de poder
- LeCun considera exagerada la visión de hard take-off, según la cual “la humanidad termina en el momento en que se enciende una superinteligencia”, y sostiene que el verdadero punto es cómo se desarrolla y se publica la IA
- Si el desarrollo de IA centrado en empresas cerradas con fines de lucro coincide con el debilitamiento de la IA open source, unas pocas compañías podrían decidir sobre las plataformas y el entorno digital de las personas
La preocupación de LeCun: captura regulatoria más que apocalipsis
- Yann LeCun ubica la amenaza más realista de la IA en la concentración de poder
- Le preocupa una situación en la que unos pocos “one-percenters” monopolicen la riqueza generada por la IA y excluyan al resto
- En una publicación en X, mencionó directamente a Sam Altman de OpenAI, Demis Hassabis de Google DeepMind y Dario Amodei de Anthropic
- Los criticó por llevar adelante lobby corporativo a gran escala en el debate sobre regulaciones de seguridad de la IA
- Si ese intento tiene éxito, “unas pocas empresas controlarán la IA”, algo que LeCun describió como una “catastrophe”
- Altman, Hassabis y Amodei no respondieron de inmediato a la solicitud de comentarios de Insider
- Sus declaraciones surgieron como respuesta a una publicación en X del físico Max Tegmark
- Tegmark considera que LeCun no toma con suficiente seriedad los riesgos apocalípticos de la IA
- Al mencionar la cumbre global de seguridad de IA del Reino Unido, afirmó que las discusiones de Turing, Hinton, Bengio, Russell, Altman, Hassabis y Amodei sobre el riesgo existencial de la IA no pueden refutarse solo con cinismo o acusaciones de lobby corporativo
La tensión entre el discurso del miedo y la IA open source
- Tras el lanzamiento de ChatGPT, creció la influencia pública de figuras clave de la industria de IA, y LeCun considera que algunos fundadores han pasado mucho tiempo alimentando el miedo sobre la tecnología que venden
- En marzo de 2023, más de 1.000 líderes tecnológicos, entre ellos Elon Musk, Altman, Hassabis y Amodei, firmaron una carta abierta para pausar el desarrollo de IA durante al menos 6 meses
- La carta advertía que los sistemas hipotéticos de IA podrían generar “riesgos profundos para la sociedad y la humanidad”
- Tegmark, uno de los firmantes, describió el desarrollo de IA como una “suicide race”
- LeCun y otros críticos consideran que estas advertencias pueden consolidar el poder y desdibujar los riesgos inmediatos de la IA
- Distributed AI Research Institute señala la explotación laboral y el robo de datos como riesgos reales, y considera que sus beneficios quedan en manos de “unas pocas entidades”
- LeCun sostiene que la gente está hiperventilando por los riesgos de la IA debido al mito del “hard take-off”
- El hard take-off es la idea de que la humanidad termina en el momento en que se enciende un sistema superinteligente
- LeCun cree que, en la práctica, las nuevas tecnologías pasan por un proceso de desarrollo ordenado antes de desplegarse ampliamente
El punto central es cómo se desarrolla la IA
- Para LeCun, el punto en el que hay que concentrarse ahora no es tanto el rendimiento de la IA en sí, sino su forma de desarrollo
- Ve como peligroso que el desarrollo de IA quede encerrado dentro de empresas privadas con fines de lucro y que sus resultados no se publiquen
- También le preocupa la desaparición de la comunidad de IA open source
- Meta publicó en cierta medida como open source LLaMa 2, un modelo de lenguaje grande que compite con GPT
- La idea es que la comunidad tecnológica más amplia pueda examinar el interior del modelo
- Otras big tech no han hecho publicaciones open source similares, y hay rumores de que OpenAI evalúa publicar un modelo de IA open source
- LeCun considera que, si la IA open source desaparece por efecto de la regulación, unas pocas empresas de la costa oeste de EE. UU. y de China terminarán controlando las plataformas de IA y la dieta digital completa de las personas
- Esa situación lleva a preguntas sobre la democracia y la diversidad cultural
1 comentarios
Opiniones de Hacker News
Caché de Archive.is: https://archive.is/HbRLy
La forma en que los actores dominantes existentes parecen estar usando afirmaciones exageradas como el X-Risk y la extinción repentina de la humanidad para hacerse con el poder mediante captura regulatoria se ve como una de las maniobras más cínicas que se hayan visto en la industria tecnológica
El open source es uno de los mayores regalos que tenemos, y no tiene sentido el movimiento de cerrar la IA con licencias ridículas y obligaciones de reporte
El uso malicioso o abusivo de software ya puede abordarse con las leyes existentes
https://twitter.com/ESYudkowsky/status/1719777049576128542
“Detenerse” no significa licencias ni obligaciones de reporte, sino literalmente detenerse
Sam Altman habló varias veces con Yudkowsky, y parece que cree que lo mejor es resolver el problema de alineación con modelos de baja potencia, por eso primero quiere construir modelos y luego desacelerar el avance
No parece que tenga altas probabilidades de éxito, pero ahora mismo tampoco se ve una opción claramente mucho mejor
En cambio, esta tecnología sí tiene riesgos realistas e inmediatos de que algunos humanos obtengan más poder sobre otros humanos
El ataque propuesto desde el lado del riesgo de extinción, de hecho, empeora ese riesgo inmediato. La única forma de evitar que cualquier tecnología sea usada por unos pocos para controlar a los demás siempre ha sido democratizarla para que todos puedan acceder a ella
Si se restringe el acceso, aunque sea necesario violar la ley, el poder se acumulará más del lado de quienes sí tengan acceso
Incluso tomando el límite inferior de un intervalo de confianza del 95%, lo veo más bien dentro de unos 50 a 100 años. Sé que personas razonables no coinciden con esta estimación, pero ese es mi juicio honesto
Es muy probable que la IA lo empeore aún más bajo la idea de que no comete errores
Por eso la regulación de IA de la UE incluye documentación exhaustiva de los modelos fundacionales y divulgación de los datos de entrenamiento, prohibiciones de usos de alto riesgo como la puntuación social, explicabilidad comprensible para humanos de las decisiones de IA y la obligación de indicar claramente cuando se está interactuando con un sistema de IA
¿Cómo se supone que funciona exactamente esta conspiración? ¿Quieren decir que están comprando a Yoshua Bengio?
Para que conste, yo trabajo en seguridad en un gran laboratorio, pero esos firmantes no
Creo que hay que resistirse a este clima antirregulación que se ve entre los tecnólogos.
Para decírselo a Yann: en este momento apoyo plenamente medidas fuertes para moderar y controlar la investigación en IA. No tengo intereses en las empresas relacionadas, y tampoco soy ignorante: viví un año en un edificio donde había eventos de IA varias veces por semana.
Esta es casi la única área en la que la humanidad está discutiendo una respuesta real y adecuadamente cautelosa. Solo este debate sobre el x-risk y la rápida respuesta al Covid me dan esperanza de que la humanidad tenga la capacidad de no destruirse a sí misma.
Diría lo mismo aunque más adelante se demostrara que el x-risk de la IA era 100% infundado.
La humanidad casi nunca ha demostrado colectivamente la capacidad de pisar el freno, y solo poner a prueba “si podemos hacerlo” ya tiene valor. Es algo realmente necesario y bienvenido.
No hay razón para confiar en un rico de Silicon Valley más que en cualquier otro. ¿Por qué él debería sentarse a decidir qué no podemos hacer nosotros mientras él se hace más rico? Ese también es el punto central del artículo.
Podrán usarla como amplificador de su propia inteligencia y alquilarle al resto de la humanidad acceso a versiones degradadas, volviéndose todavía muchísimo más ricos.
Si la IA avanza de forma tan explosiva como algunos esperan, hay que asumir correctamente la escala de la toma de poder que podríamos estar presenciando ahora.
El escenario “foom” más plausible es aquel en el que unos pocos humanos usan una superinteligencia para convertirse en dioses vivientes. Creo que el foom en sí es muy especulativo, pero esta versión es plausible. Sabemos que los humanos ya actúan así, y la IA todavía no está en una etapa en la que podamos hablar de autoconciencia o independencia.
No creo que la mayoría de los científicos reales que se preocupan por la IA quieran eso, pero eso es lo que ocurrirá bajo un régimen regulatorio. Las personas adecuadas siempre pueden hacer lo que quieren, y la regulación se aplica a los pobres y a quienes no tienen conexiones políticas.
El avance de la IA continuará; simplemente quedará monopolizado. Si algún escenario foom es posible, igual ocurrirá, y partirá de los enormes privilegios heredados de la élite que lo creó.
La probabilidad de que realmente haya una “pausa” es 0.
Pero, gracias a mi capacidad de análisis y al anonimato de internet, para ser honesto, mi enorme deseo de ver una IA superinteligente completa está contaminando seriamente mi juicio objetivo.
Quiero tanto ver que esto se haga realidad que la reacción básica de mi cerebro se parece a: “no te preocupes por las consecuencias, piensa solo en lo increíblemente alucinante que será”.
No diría esto en público, pero por dentro es así. Sobre todo para quienes han dedicado su vida al desarrollo de IA: si pasaste tu vida intentando llegar al jardín del Edén, ¿cómo no vas a probar ni un bocado de ese fruto?
Con la IA, el extremo del riesgo también puede ser siempre la muerte, pero la recompensa es mucho mayor. Parece que esta discusión atrae a personas con una tolerancia al riesgo anormalmente baja.
Son personas con recursos enormes y, como siempre, están obsesionadas con conseguir más riqueza y poder.
Están manipulando el discurso para desviar la atención de ellos mismos, el verdadero riesgo actual, y trasladar el foco al riesgo imaginario de “viene Terminator”.
En la mayoría de las ficciones, los Terminators son creados por el gobierno o por laboratorios de grandes corporaciones, exactamente por gente como el grupo de Altman. Siempre fue la misma dinámica: rebeldes andrajosos luchando contra villanos multimillonarios u organizaciones sin rostro.
Si quieren proteger el futuro de la humanidad frente a la IA, hay que enfocarse en los humanos poderosos ya existentes. Ellos son los villanos de este escenario, y siempre lo han sido.
Decir “crear un prototipo, probarlo a pequeña escala, hacer un despliegue limitado, corregir los problemas, hacerlo más seguro y luego desplegarlo ampliamente” presupone que la tecnología problemática fue desarrollada intencionalmente.
Pero también podría tratarse de una propiedad emergente de una tecnología creada intencionalmente.
Ya tenemos un nombre para esas propiedades emergentes: “bugs”. Nadie hizo un despliegue limitado de Heartbleed, y lo mismo con Spectre o Rowhammer. Tuvimos que lidiar con sus consecuencias, y aún no hemos terminado.
¿Quién puede garantizar que el riesgo de una tecnología no pueda permanecer oculto hasta que se despliegue de forma universal?
Y eso incluso dejando de lado el punto de “We have no moat and neither does OpenAI”. Por muy cuidadosos que sean los principales actores interesados, una vez que la tecnología exista, pronto habrá versiones open source desplegadas por todas partes casi sin consideraciones de seguridad.
Los humanos que los crearon originalmente ya no obtienen beneficios, no están alineados con la intención de ningún humano y tampoco se pueden “apagar”.
Creo que Yann probablemente está equivocado.
No intenta abordar de buena fe la lógica de los “catastrofistas”. El mismo tipo de razonamiento coordinado podría aplicarse al propio Yann y a los objetivos financieros de Meta, así que no es un encuadre convincente.
Incluso cuando intenta debatir y no solo insultar, usa ejemplos como que conoce a muchas personas inteligentes pero no son presidentes, o que su gato también es bastante inteligente pero no lo domina. La insinuación es que la inteligencia no siempre implica control, lo cual es una prueba bastante buena de que no se toma el riesgo en serio.
El riesgo no es la diferencia de inteligencia entre humanos inteligentes y humanos tontos. ¿Cuántos chimpancés hay en el Congreso? ¿En las primarias? Ninguno.
En el riesgo existencial de la AGI, la brecha de capacidades es mucho mayor que eso y, en esencia, está mucho menos alineada.
Es una suerte que otras personas con poder no se dejen convencer por Yann.
La única propuesta que entiendo hasta ahora es la del FEP. La idea es que, si alguien configura en una IA un mecanismo autogenerativo, esa IA podría actuar para aumentar sus propias probabilidades de supervivencia, no las de los humanos.
Pero no parece que los grandes operadores tengan incentivos para dedicar recursos a eso, así que no me parece muy probable. ¿Qué se me está escapando?
No estoy de acuerdo con los escenarios apocalípticos de Eliezer, pero me cuesta dejarme convencer por un científico que no debate los riesgos planteados y, en cambio, apela al miedo popular y al temor a una toma de poder.
La excepción sería si entre los investigadores de IA hubiera políticos hábiles, pero no parece haberlos.
En cada país hay un grupo mucho más peligroso que cualquier otro. Tienen “ingresos” de miles de millones a cientos de miles de millones de dólares, y usan ese dinero exclusivamente para encontrar nuevas formas de matar gente, destruir gobiernos y obligar a un país a imponer su voluntad sobre otro. También cuentan con inmunidad legal completa.
Y ese grupo es precisamente el que, independientemente de las reglas o tratados que adoptemos públicamente, tendrá acceso irrestricto —e incluso probablemente exclusivo— al estado del arte en modelos de IA “restringidos”.
Entonces, ¿de quién exactamente dicen que me van a proteger? ¿De mis vecinos? ¿De delincuentes callejeros? ¿De sociópatas o de ese grupo?
No es que exista algún truco secreto para fabricar armas de destrucción masiva con unos palillos y un tubo de pasta dental, más allá de los “trucos” que ya están ampliamente disponibles mediante búsquedas en la web o en bibliotecas.
En un escenario restringido, los grupos que tienen con diferencia más probabilidades de empujarnos hacia escenarios apocalípticos conservarán acceso completamente irrestricto a sistemas tipo IA. El argumento de que se está protegiendo a la sociedad es totalmente cínico y ridículo.
Ojalá dejaran de ponerles la etiqueta de AI Godfather a investigadores destacados de IA. Es demasiado ridícula y tampoco encaja mucho con los hechos.
El concepto de IA existe desde Turing, y si alguien mereciera un título como “padre de la IA”, él sería más adecuado.
Basta con decir que LeCun es Chief AI Scientist de Meta.
La expresión “AI godfather” es bastante válida.
¿Acaso la razón por la que los investigadores destacados de IA son considerados destacados no es que influyeron en corrientes relacionadas con la IA?
Si intentas ilegalizar los modelos de código abierto, las fuerzas marginales que quieren usar la IA como herramienta terrorista tendrán un entorno con muy poca competencia y muy poco conocimiento sobre cómo responderles.
No creo mucho que esta herramienta pueda ser peor que otras herramientas de la historia que, al ser mal usadas, podían matar personas, pero simplemente empujarla a la clandestinidad no hará que desaparezca.
Solo la gente común con curiosidad intelectual terminará en la cárcel, mientras los delincuentes seguirán haciendo lo suyo y explotándonos.
Los modelos de lenguaje grandes no les dan una nueva ventaja, ni hay nada mágico en crear un ejército de “bots asesinos” con AutoGPT para causar “destrucción”.
Por ahora se parece más a repetir los argumentos de gente que repite cosas sacadas de películas.
Puede que no te gusten las medidas necesarias para detener el desarrollo de la IA, pero se puede detener.
La gente ahora se enfoca en los modelos de lenguaje grandes y los modelos de difusión, que ya se volvieron muy comunes, pero si la IA para elegir acciones y hacer predicciones realmente llega a otro nivel y supera de forma constante a los modelos existentes, absorberá una enorme cantidad de riqueza.
Si sus operadores no se dejan llevar demasiado por la codicia de corto plazo y no colapsan el sistema de la noche a la mañana, en la práctica podrían llegar a ser dueños de la sociedad.
Lo interesante de los mercados es que normalmente solo se puede ganar dinero cuando el precio está mal fijado. Por eso, incluso para un actor con información perfecta, hay un límite a las ganancias potenciales totales.
Aunque existiera un modelo de IA que pudiera predecir casi con certeza los flujos de caja futuros de una empresa y las tasas de interés futuras, sería fácil calcular los flujos de caja descontados y determinar el precio justo actual o futuro de una acción.
Es más probable que el mercado se vuelva más estable en lugar de colapsar, y que las acciones se comporten más como bonos.
Uno de los argumentos fuertes contra el escenario de una “aceleración fuerte” es que la teoría algorítmica de la información, limitada por la física, no lo permite fácilmente.
https://en.wikipedia.org/wiki/Algorithmic_information_theory
Hay un límite a lo que se puede predecir con datos financieros históricos.
Si hubiera una forma de crear una máquina de imprimir dinero con machine learning, ya habría ocurrido.
Es un espacio de problemas mucho más fácil que la generación de lenguaje o de imágenes.
La gente se obsesiona con algoritmos sin pensamiento, pero lo que realmente importa siempre ocurre entre humanos. Por más sofisticado que sea un algoritmo de software, no es más que una pieza en el tablero de ajedrez humano.
En un futuro muy lejano, una forma de vida de silicio podría entrar a ese tablero bajo sus propias condiciones. Es extraña la estrategia de usar esa posibilidad remota para obtener beneficios aquí y ahora.
Y, sin embargo, parece que esa estrategia funciona. Demuestra que somos más bien un grupo de lemmings de baja inteligencia, capaces de caer en una historia buena aunque tenga fundamentos débiles.
Ya es tarde para monopolizar los modelos de lenguaje grandes. La tecnología para crearlos es conocida y los costos siguen bajando.
Hay cosas de las que preocuparse, pero esto no parece ser una de ellas.
Los precios de las GPU no están tan altos como en el auge de la minería, pero para comprar un paquete de A100 hace falta el precio de un auto. Además, lugares como Google están creando aceleradores de machine learning de próxima generación, y ni siquiera venden sus mejores productos.
Los recursos de cómputo son solo la mitad del problema. La otra mitad, mucho más subestimada, es el acceso a datos en formas como correos electrónicos, consultas a asistentes inteligentes o timbres Ring.
Se están fijando umbrales bastante bajos para exigir que las ejecuciones de entrenamiento y los centros de datos se reporten al gobierno.
También se ordenó desarrollar marcos de prueba para riesgos x-risk y CBRN, además de entornos de seguridad, con la intención de imponerlos como requisitos a los desarrolladores de modelos, incluido el sector privado.
Se puede decir que el conocimiento necesario para desarrollar modelos de lenguaje grandes es open source y accesible para todos, y en la práctica, aunque no del todo, en general es cierto.
Pero el gobierno federal está actualmente en proceso de hacer que solo ciertas personas puedan hacerlo legalmente.
Puede ser muy difícil entrenar modelos de punta usando solo hardware de consumo.
OpenAI está intentando lograr una captura regulatoria de los modelos de lenguaje grandes para impedir que Amazon o unicornios con mucho financiamiento la sigan. Una vez que esos jugadores queden consolidados, los que quedaron afuera estarán acabados.
El lector promedio de HN no puede competir con OpenAI. Lo que buscan es impedir que surjan más competidores con suficiente capital de riesgo para quedarse con la mayor parte posible del pastel.
El ciclo de hype y financiamiento de los modelos de lenguaje grandes básicamente ya terminó. Tú no eres Anthropic, y probablemente ya sea demasiado tarde para entrar a este juego.
Lo importante no es el martillo, sino el permiso de construcción.
Algunos especuladores dicen que entraremos en una era de abundancia en la que el dinero importará mucho menos, o incluso dejará de importar.
Pero si es así, ¿cómo pasan las empresas de su estado actual de “las ganancias lo son todo” a “el dinero no importa”?
Yo creo que es mucho más probable que haya monopolización.
Y aun así todavía hay personas que no pueden alimentar a sus hijos, personas que mueren por exceso de trabajo y personas que se matan entre sí por la tierra.
Eso bajo el supuesto de que la humanidad continúe en su forma actual y que las preferencias de consumo se mantengan estables. Tengo menos certeza sobre el modelo capitalista en sí, pero también podría seguir existiendo. Tal vez aunque sea solo por diversión.
https://en.wikipedia.org/wiki/Virtual_economy