Por qué no parece que la AGI vaya a llegar pronto

• El autor no cree que la AGI (inteligencia artificial general) vaya a aparecer en el corto plazo.
• Los LLM (modelos de lenguaje grandes) muestran capacidades sobresalientes, pero carecen de la habilidad de aprender de forma continua y mejorar gradualmente como los humanos.
• Los LLM actuales tienen límites para personalizarse o acumular contexto mediante retroalimentación del usuario, y eso es una gran barrera para la automatización real del trabajo de oficina.
• Se prevé que desafíos prácticos como el uso de computadoras y los datos multimodales avancen lentamente debido a la falta de datos, la larga duración de las tareas y la dificultad técnica.
• A largo plazo, se espera que si el aprendizaje en línea se vuelve posible ocurran cambios muy abruptos, pero no parece algo fácil de lograr en los próximos 10 años.

---

Introducción y debate sobre el momento en que llegaría la AGI

• El autor expone su postura con base en su experiencia discutiendo con varios expertos sobre cuándo se alcanzará la AGI.
• Aunque algunos predicen que la AGI llegará en 2 años, o en 20, él considera que, a junio de 2025, no está cerca de llegar.

Límites del aprendizaje continuo (Continual Learning)

• Mucha gente sostiene que la tecnología actual de IA ya es económicamente más transformadora que internet, pero el autor no está de acuerdo.
• La razón por la que las empresas Fortune 500 no están usando LLM para transformar de raíz el trabajo no es el conservadurismo de los directivos, sino la falta de aprendizaje continuo de la IA actual.
• Al construir y usar directamente varias herramientas basadas en LLM, el autor comprobó que los LLM rinden alrededor de 5/10 en tareas repetitivas, pero carecen de capacidad de mejora gradual.
• Los humanos aumentan su productividad gracias a habilidades como construir contexto, analizar sus propios fracasos y adquirir pequeñas mejoras mediante la repetición, mientras que los LLM carecen de una vía para transmitir retroalimentación de alto nivel, y ajustar prompts no permite un “aprendizaje” al estilo humano.
• Existe el fine-tuning con RL (RLHF), pero está lejos del aprendizaje adaptativo y orgánico de los humanos, y eso es una limitación decisiva para la automatización del trabajo real.
• Aún faltan formas viables de hacer que un modelo de IA acumule, recuerde y aproveche un contexto rico durante el trabajo como lo haría un empleado humano.
• Dentro de una sesión sí puede haber algo de aprendizaje contextual, pero al terminar la sesión, todo ese contexto aprendido se pierde.
• Se han intentado soluciones como la memoria de largo plazo (rolling context window), pero resumir conocimiento empírico rico es frágil, y fuera de dominios basados en texto funciona de manera todavía menos eficiente.
• Incluso si el avance de la IA se estanca en el nivel actual, será difícil reemplazar muchos trabajos de oficina con esta tecnología, y la capacidad humana de aprender contexto sigue siendo una ventaja competitiva.
• Es decir, solo cuando el aprendizaje continuo se implemente de verdad el valor de la IA se disparará de forma discontinua; y, en última instancia, si esa tecnología se vuelve posible, compartir el aprendizaje entre múltiples instancias permitiría llegar a una superinteligencia más rápido que los humanos.
• Sin embargo, como los laboratorios también tienen incentivos para publicar versiones incompletas antes de perfeccionar por completo una innovación, se espera que aparezcan señales antes del verdadero gran salto del aprendizaje continuo.

Dificultades reales del uso de computadoras y la automatización

• En conversaciones con investigadores de Anthropic, escuchó la predicción de que para finales de 2026 surgirán agentes de uso de computadoras altamente confiables, pero el autor se muestra escéptico.
• Incluso ahora existen agentes de uso de computadoras, pero en la práctica son poco eficientes de manejar.
• Para automatizar una tarea real como la declaración de impuestos, se necesita trabajar con múltiples sistemas, ejecutar agentes durante largos periodos y procesar diversos datos multimodales, lo que vuelve muy lento el proceso de entrenamiento y validación.
• A diferencia de los datos existentes de preentrenamiento en texto (es decir, grandes volúmenes de documentos de internet usados en modelos de lenguaje), escasean los datasets multimodales de uso de computadoras, por lo que desarrollar agentes realmente confiables tomará tiempo.
• Incluso los nuevos algoritmos innovadores necesitan años de ajustes de ingeniería antes de aplicarse en el mundo real, así que el avance en tareas de uso de computadoras será bastante lento.

Mayor capacidad de razonamiento y sus límites

• Los modelos más recientes, como Gemini 2.5, sí muestran capacidad de razonamiento en aspectos como interpretar la intención del hablante, hacer autoverificación lógica y responder al contexto.
• Claude Code, por ejemplo, genera rápidamente código funcional solo a partir de una especificación dada, así que claramente ya se perciben indicios iniciales de “inteligencia general” en dominios amplios.
• En los dominios donde los mejores LLM muestran capacidad, a veces logran resultados bastante impresionantes.

Predicciones de IA/AGI a corto y largo plazo

• El autor enfatiza que mantiene una visión probabilística de sus propias predicciones, y por eso sigue teniendo sentido preparar medidas de respuesta.
• Estaría dispuesto a apostar con 50% de probabilidad a los siguientes puntos:
  • Para 2028: podría existir la posibilidad de que la IA alcance un nivel capaz de completar de punta a punta todo el proceso de declaración de impuestos de una pequeña empresa.
    • La capacidad actual de uso de computadoras sigue en un nivel comparable al de GPT-2, y la falta de datos junto con horizontes temporales largos hace que la optimización sea difícil.
    • Seguramente aparecerán demos llamativas en 2026~2027, pero prevé que será difícil llegar a un nivel totalmente autónomo capaz de realizar tareas complejas de larga duración.
  • Para 2032: podría llegar el momento en que la IA aprenda de forma natural y gradual durante el trabajo, como los humanos, y tras unos meses de adaptación laboral pueda interiorizar contexto, preferencias y know-how al nivel de una persona.
    • Aunque hoy no se vea cercano implementar aprendizaje continuo en línea, en un periodo de 7 años podría darse un avance fundamental.

Factores que limitan el avance de la IA y perspectivas futuras

• El momento en que se logre la AGI tiene una distribución probabilística muy amplia (lognormal), y el avance de la IA ha estado estrechamente ligado al aumento de cómputo (training compute) en los últimos 10 años.
• Se espera que el aumento del cómputo llegue a un límite después de 2030, y que la innovación algorítmica pase a ser el cuello de botella.
• Si no hay un cambio de paradigma realmente innovador, la probabilidad anual de que aparezca la AGI podría ir disminuyendo con el tiempo.
• Si la apuesta por el escenario “largo” resulta correcta, es posible que el mundo cotidiano no cambie drásticamente hasta 2030~2040; pero, por otro lado, si se superan las limitaciones actuales de la IA, podrían producirse cambios muy radicales.

[mirea0]

Creo que la AGI no se materializa porque existen límites físicos en la persistencia y el aprendizaje.
Son, literalmente, límites físicos; no es por falta de capacidad tecnológica.
Pienso que, si se avanzara un paso más hacia la AGI al no imponer esas limitaciones, después sería difícil dar marcha atrás, y como los desarrolladores de IA también lo saben, solo la hacen evolucionar de forma adaptada a los servicios en lugar de intentar eliminar esas restricciones.

[iolothebard]

¡Estoy totalmente de acuerdo contigo!

[GN⁺]

Opinión de Hacker News

• “Creo que un punto realmente importante es que los LLM tienen un problema fundamental: no mejoran gradualmente con el tiempo como lo hacen los humanos. Su rendimiento base puede estar por encima del humano promedio en varias tareas, pero no hay una forma de darles retroalimentación de alto nivel, así que no pueden mejorar más allá de como salen de la caja. Me parece una limitación común de las redes neuronales. Sistemas como Driver de Waymo evitan este problema. Por ejemplo, si Waymo detecta un problema durante una operación, ejecuta varias simulaciones, transforma esa situación problemática en múltiples variantes y vuelve a entrenar al Driver con ellas. No han revelado exactamente cómo lo hacen, pero sí han dicho que es una estructura distinta a una red neuronal end-to-end. Dentro de Waymo intentaron un proyecto con red neuronal end-to-end, pero como no fue mejor que el sistema actual, ahora usan otra cosa, y muy pocas personas saben exactamente qué es”
  • “Aunque los LLM no mejoren gradualmente como los humanos, lo importante es que pueden ampliar sus capacidades usando herramientas como Prolog. Creo que la siguiente etapa de la IA consiste en permitir que los LLM usen mejores herramientas o estrategias. Por ejemplo, una arquitectura que integre reglas lógicas, algoritmos heurísticos y agentes LLM ajustados finamente como herramientas para el propio LLM podría madurar. También hay que notar que la presión económica está impulsando especialmente el desarrollo de IA militar. Si se usan sistemas Prolog, un LLM puede agregar hechos a una base de datos y seguir aprendiendo al inferir nuevas relaciones. También sería posible introducir heurísticas que propongan nuevos modelos o métodos para la exploración”
  • “Hasta donde sé, Waymo es un sistema construido por humanos combinando varias técnicas como heurísticas, reglas y redes neuronales. No es una red neuronal completamente end-to-end. La expresión AI-ish le queda bien, pero por diseño está lejos de AGI”
  • “Me sorprende que casi nadie haga esta pregunta: ¿no será que la IA de punta actual ya está haciendo a los humanos muchísimo mejores? La aceleración exponencial de la auto-mejora me parece más bien aterradora. Incluso si todo saliera bien, sería difícil que los humanos siguieran ocupando el primer lugar en la competencia intelectual, y ese sería un punto de inflexión duro de aceptar. Si de verdad queremos auto-mejora, tendremos que acostumbrarnos a volvernos innecesarios”
  • “Si te interesan las limitaciones de las redes neuronales, vale la pena ver una charla reciente de John Carmack en YouTube. Cerca del minuto 30 aborda este problema directamente”
  • “La limitación de la mayoría de la IA es que se entrena con conjuntos de datos gigantes, así que la estructura misma hace que pase mucho tiempo antes de que esté listo el siguiente gran dataset”
• “La gente que dice que AGI (inteligencia artificial general) va a llegar pronto normalmente cae en una de estas categorías: 1. te quiere vender algo, 2. está fascinada con su propio relato, 3. está exaltada por algún otro motivo, o 4. probablemente las tres. Por diseño, los LLM son fuertes con el lenguaje y sirven para resumir texto, pero son débiles en lógica y muy malos en razonamiento espacial. Por eso tampoco conectan bien los conceptos. Si le preguntas a un LLM famoso cuál es el problema abierto no resuelto más difícil, sin importar el campo, te puede devolver un artículo con tono de revista científica, pero lleno de errores sutiles y decisivos; aunque la respuesta suene convincente, en realidad es basura”
  • “Los LLM no son más que herramientas que comprimen el dataset de entrenamiento y luego ofrecen una función de recuperación para interacciones basadas en texto”
  • “Creo que la clave está en la palabra ‘incierto’. Los LLM sí me parecen inteligentes en términos generales, así que desde mi perspectiva ya entramos a la era AGI, aunque mucha gente parece entender AGI como ‘IA sobrehumana’. Si ese es el criterio, entonces todavía no llegamos, y quizá no sea fácil llegar. Para mí, ya estamos en la era AGI”
  • “Los LLM funcionan increíblemente bien dentro del mundo de texto que construimos, pero no son entidades que persigan la verdad. Los seres vivos mueren por errores fatales; la IA, si se equivoca, solo genera miles de tokens”
  • “Estoy de acuerdo en que la falta de búsqueda de la verdad es un problema de los LLM, pero como en los humanos también se ve mucho eso, no me suena a una crítica tan demoledora. Si usamos la definición original de AGI —poder hacer casi cualquier tarea al nivel de una persona por encima de la mediana—, entonces ya estamos bastante cerca, y dentro de 5 años probablemente podrá competir a nivel experto en trabajos no físicos (para los físicos calculo 5–10 años). Sí, los LLM son fuertes en lenguaje, pero creo que eso refleja directamente su nivel de inteligencia. También me parece exagerada la idea de que son malos en pensamiento espacial; han mejorado muchísimo respecto a modelos anteriores dedicados al razonamiento espacial. Aunque sigan por debajo del humano, el simple hecho de que los modelos más recientes puedan aplicarse a robots y funcionar en la práctica ya muestra un avance rapidísimo para los estándares de la IA”
  • “Mi definición de AGI es esta: si una IA supera al menos al 5% de los profesionales de un campo en casi todas sus tareas, entonces ya llegó a AGI. La capacidad intelectual del percentil 5 humano también merece llamarse ‘inteligencia’, así que si una IA supera a una parte considerable de la humanidad en todos los ámbitos, habría que llamarla AGI. Tiene que ser una IA mejor en todas las tareas intelectuales, no solo en un dominio”
• “Yo solo espero que AGI no llegue pronto. Social y políticamente no estamos nada preparados, y existe un riesgo grande de que el futuro de la humanidad derive en una distopía. Dicho eso, incluso con una pequeña reducción en consumo eléctrico y mejoras menores, la IA ya sería extremadamente útil en muchos campos, y ni siquiera para eso la sociedad humana está lista. El problema es que las empresas que construyen modelos fundacionales casi no tienen formas claras de recuperar todo el dinero que han quemado hasta ahora, así que parece que solo les quedan dos caminos: un gran avance o empujar la IA a la fuerza en muchísimos sectores”
  • “Pienso igual y sinceramente espero que esta burbuja reviente pronto. Salió la noticia de que Meta invirtió 100 mil millones de dólares en realidad aumentada, y ese tipo sentado en la junta sigue lanzándose a desafíos temerarios en vez de simplemente recortar gasto publicitario. Gente como Altman ya eligió un camino del que no puede retroceder, y va a tratar de sacar todo el dinero posible mientras pueda. A todos solo nos queda esperar que esta gente fracase como en la vieja burbuja puntocom”
  • “La escala de inversión en IA es tan grande que solo la depreciación ya podría ser mayor que la suma total de ingresos de todas las empresas de IA, y mucha gente está pasando por alto cómo se van a recuperar esos costos fijos”
  • “Si una sola IA pudiera reemplazar casi por completo una industria sin apenas empleados, entonces recuperar costos sería facilísimo. Podría generar ganancias enormes”
  • “Si de verdad crees que la baja natalidad es un problema gravísimo, entonces la llegada próxima de AGI podría ser más bien una solución. Hace falta repensar el paradigma de resolver los problemas económicos partiendo de la idea de crecimiento poblacional eterno”
  • “¿AGI tiene que ser exactamente igual a la inteligencia humana? ¿O puede considerarse AGI aunque sobresalga en unas funciones y sea deficiente en otras?”
• “Ni siquiera estoy convencido de que AGI vaya a llegar pronto; de hecho, no sé si sea realizable en absoluto. Al menos en hardware computacional tradicional, me parece difícil. No creo que la capacidad de repetir información de manera bien presentada sirva para definir o medir inteligencia. Si alguna vez se implementa inteligencia artificial de verdad, podría debutar con un nivel de inteligencia muy bajo en términos humanos, pero aun así ser una IA genuina capaz de aprender por sí sola sin ayuda externa”
  • “A menos que creas que la inteligencia general humana depende de algún elemento sobrenatural e imposible de medir, creo que la idea de que AGI es imposible se cae sola. Al final, los humanos también somos máquinas, así que el cerebro debería poder replicarse por medios no biológicos. Quizá la primera AGI sea un cerebro cultivado en una placa de Petri con una API de Python, o quizá sea algo basado en silicio”
  • “También hay que pensar en otro ángulo: ¿qué hacemos si las herramientas llegan a ser más inteligentes que nosotros? En internet ya pasa que una persona responde preguntas usando chatgpt, y a veces hasta la pregunta fue generada por chatgpt, así que se está formando una situación donde nadie sabe quién hizo qué”
  • “Yo creo que el límite de expansión de la inteligencia viene de los recursos de cómputo. La cantidad de cálculo necesaria para modelar bien un sistema crece casi exponencialmente cuanto más complejo o caótico es. Por eso, el efecto de la inteligencia solo puede aparecer de forma esencial en sistemas simples y ordenados. La manera más práctica y robusta es eliminar al máximo los factores variables. Al final, ese es el verdadero límite de la inteligencia, sea o no una superinteligencia”
  • “Me da curiosidad saber por qué crees que es imposible”
  • “No hay una definición clara ni consenso sobre AGI. Creo que la IA va a seguir mejorando gradualmente solo en las áreas donde ya es buena —generación de texto e imágenes, generación de código, etc.—. La fantasía de que la IA resolverá todos los problemas de todos y que la humanidad disfrutará una prosperidad utópica en la playa no tiene ninguna base en la realidad”
• “Me parece interesante la perspectiva de Dwarkesh. Siempre es entretenido escucharlo hablar de hasta dónde hemos avanzado. Según su argumento central, hace falta aprendizaje adaptativo, pero no se ven señales claras de eso. Mi apuesta es que los frontier labs esperan que el contexto largo resuelva el problema. Con un contexto largo de 10 millones de tokens, podrías mantener bien el estado interno y manejar tareas muy diversas, aunque hoy los modelos de contexto largo todavía tienen el problema de que la calidad varía mucho según la ventana. Si cambiamos la pregunta, sería: ¿podremos tener en 2 años una ventana de contexto útil de más de 10 millones de tokens? Yo diría que sí, es bastante probable”
  • “Había una empresa que decía haber resuelto este problema, pero ahora solo se escucha silencio”
  • “La pregunta sigue siendo qué tan ‘largo’ tiene que ser un ‘contexto largo’. En el caso humano, el contexto incluye décadas de entrada multimodal”
  • “Le creo a Demmis cuando dice que AGI llegará en 10 años. Lleva mucho tiempo abriendo camino en este campo, e incluso OpenAI en parte nació por temor al ritmo de investigación de Demmis. Confío en su predicción de que hacia 2035 aparecerá una AGI igual o superior a los humanos en casi todas las tareas”
  • “Estoy convencido de que pronto (<5 años) veremos verdadero test-time learning. Alphaproof (el desafío IMO de Deepmind) ya usa esa técnica”
• “Hay estadísticas que dicen que el 54% de los adultos en Estados Unidos tiene capacidad de lectura de nivel de sexto grado o menos. A veces pienso que entonces AGI ya llegó enlace a Wikipedia”
  • “No veo qué relación tiene el fracaso educativo de un país con AGI”
  • “Buen punto. Entonces también me gustaría ver al LLM lavar ropa y platos. Incluso si le construyes un cuerpo robótico, no sería fácil”
  • “Eso hace pensar si saber leer es realmente toda la condición para llamar algo AGI”
  • “Desde una perspectiva económica, es más realista comparar AGI con trabajadores comunes dedicados a tareas específicas, por ejemplo copyediting. Más que el promedio nacional, que en la práctica tiene pocas probabilidades de ser contratado, habría que enfocarse en la adecuación al puesto”
  • “Las personas analfabetas también pueden resolver desafíos enormes que un LLM no puede”
• “En la discusión sobre el progreso de la IA, el problema es asumir que la IA futura resolverá problemas exactamente igual que los humanos. Bajo ese supuesto, la falta de aprendizaje continuo parece una falla fatal. Pero en la historia del deep learning, el aprendizaje continuo nunca ha sido el motor principal del progreso; lo que más éxito ha tenido han sido los datasets masivos y el escalamiento. Para que sea convincente afirmar que el aprendizaje continuo es indispensable, habría que mostrar con más precisión cuáles son los límites del aprendizaje cross-task y qué áreas la IA nunca podrá alcanzar. El autor menciona la incertidumbre en torno al RL flywheel —el efecto de aceleración cuando una IA muy buena programando aplica RL repetidamente—, y por eso siento que todo el texto suena demasiado seguro de sí mismo”
  • “Alphaproof usó una forma de entrenamiento en tiempo de prueba estilo AlphaZero para generar problemas similares en cada ejercicio”
  • “Una razón por la que el aprendizaje continuo no fue importante en la historia del deep learning podría ser que la gente del área tenía otro objetivo. Si en vez de buscar la IA más inteligente buscamos la IA más útil y productiva, entonces un sistema torpe pero capaz de aprender de sus errores a menudo puede valer más que un genio terco”
• “Desde mi perspectiva, los LLM actuales están estructurados para predecir lo que un humano probablemente diría, así que su inteligencia y capacidad de razonamiento también se quedarán en un nivel humano. Pueden superar a los humanos en amplitud de conocimiento, pero su inteligencia o creatividad podría igualarnos o quedar por debajo. Las empresas de IA predicen que la próxima generación de LLM producirá nuevos insights y resolverá problemas abiertos, pero yo creo que los verdaderos insights requieren una estructura interna capaz de regenerar libremente conceptos a partir de principios subyacentes. Los LLM tienen un límite porque no pueden construir nuevas capas de comprensión. Si existiera un sistema que, como el cerebro humano, construyera desde la entrada hasta la comprensión abstracta, entonces quizá podría superar ese límite. Tal vez algún día aparezca un nuevo paradigma de IA que deje atrás a los LLM; honestamente, ojalá me equivoque, porque ASI (superinteligencia artificial) sí me da miedo”
  • “Incluso si aparece una IA con rendimiento de nivel humano, las máquinas, a diferencia de las personas, pueden volverse 10 veces más rápidas apenas subes el rendimiento del GPU. Solo la velocidad ya sería una capacidad sobrehumana, y además podrías ejecutar el mismo sistema muchas veces para explorar distintos enfoques en paralelo y elegir la mejor opción. En tareas verificables, la ventaja sería enorme”
  • “Los LLM actuales ya no evolucionan como simples predictores de frases humanas, sino hacia la predicción de tokens asociados con respuestas correctas en problemas de matemáticas y programación”
• “La mayoría de la discusión es pesimista respecto a la IA, pero el autor en realidad dijo que hay un 50% de probabilidad de alcanzar AGI a inicios de los años 2030, y también que hay que prepararse para la posibilidad de que ASI tome un rumbo equivocado antes de 2028. O sea, el autor más bien es optimista respecto a la IA”
  • “Si en 3 años una ASI empieza a funcionar mal, creo que cualquier medida de preparación ya no serviría de nada”
• “Creo que el hecho de que últimamente nadie publique el tamaño de los modelos ya es una señal de que el entrenamiento de modelos chocó con un límite, con una pared”

[kandk]

Hasta ahora, otra vez con lo mismo.