21 puntos por GN⁺ 2025-02-24 | 2 comentarios | Compartir por WhatsApp
  • En los últimos años, el debate sobre la AGI (Artificial General Intelligence, inteligencia artificial general) se ha disparado
  • La definición exacta de AGI es poco clara y muy debatida, y establecer una línea de tiempo para la AGI se ha vuelto una forma común de discusión
    • "Línea de tiempo larga": la postura de que la AGI llegará en 10 a 20 años
    • "Línea de tiempo corta": la afirmación de que la AGI aparecerá pronto
  • Pero debatir el avance de la IA de esta manera es ineficiente
    • Es más apropiado verlo no como un trayecto hacia un destino llamado AGI, sino como un proceso en el que aumenta la productividad de la IA
    • La IA está avanzando para poder realizar más trabajo con cada vez menos intervención humana
      • Ejemplos: etiquetado de datos, escritura de código, resolución de problemas matemáticos, conducción autónoma, vuelo automático, etc.
    • Sin embargo, no está claro si la IA llegará a un punto en el que pueda operar para siempre sin intervención humana
    • Debemos medir cuánto valor puede generar la IA en relación con el input que recibe
  • El avance de la IA puede entenderse como el aumento del valor económico que produce la IA en comparación con el esfuerzo humano invertido
  • La pregunta importante es:
    • ¿Podrá la IA seguir mejorando indefinidamente hasta crear valor económico sin intervención humana?
    • ¿O llegará a cierto punto a un límite técnico?
  • Si la IA pudiera generar valor económico completamente sin intervención humana, eso también podría ser un resultado bastante peligroso

Ya hemos visto este fenómeno antes (autos autónomos)

  • En la industria de la IA, antes del boom de los modelos de lenguaje, hubo una fiebre por los autos autónomos alrededor de 2017
    • En ese momento, varias empresas declaraban que lanzarían autos con Full Self-Driving (FSD) en menos de un año y atraían inversiones de miles de millones de dólares
    • Se recorrieron millones de millas y se fundaron muchas empresas, aunque algunas terminaron quebrando
  • El FSD completo sigue sin hacerse realidad
    • Tesla todavía no logra una conducción totalmente autónoma, y Waymo solo puede operar parcialmente en zonas específicas previamente mapeadas
    • Sigue siendo necesaria intervención humana ocasional
      > Predicción de Elon Musk, CEO de Tesla, en 2016:
      > "Este año, un Tesla conducirá de Los Ángeles a Nueva York de forma completamente autónoma".
      > → Pero hasta 2024 eso sigue sin cumplirse (Tesla todavía vende la opción de suscripción "Full Self-Driving")
  • Ahora, en lugar de discutir si la conducción autónoma será completamente posible, un enfoque más realista es medir las "millas por intervención" (miles-per-intervention)
    • Es decir, medir qué tan lejos puede avanzar un auto sin una sola intervención humana
  • Según reportes recientes, Tesla requiere en promedio una intervención humana cada 13 millas
    • Con modelos de IA más grandes, mayor velocidad de inferencia, más datos y mejor ingeniería, es probable que este número aumente
    • Pero no está claro si, con la tecnología actual, ese número puede crecer hasta el infinito
  • Es decir, todavía no sabemos si los modelos de conducción autónoma mejorarán indefinidamente hasta volver totalmente innecesaria la intervención humana, o si llegarán a un límite en cierto nivel

Por qué Yann LeCun estaba equivocado (parcialmente)

  • Yann LeCun, chief AI scientist de Meta, sostuvo en el pasado que los modelos de lenguaje no podían alcanzar inteligencia de nivel humano
  • Su motivo era que los modelos de lenguaje generan salidas token por token, y en cada token existe una probabilidad de error; si esos errores se acumulan, tarde o temprano el desempeño se degradará
  • Veía este problema de acumulación de errores como una limitación fatal de los modelos de lenguaje, y sostenía que para resolverlo había que abandonar el enfoque actual autoregresivo (autoregressive)
  • Pero la realidad resultó distinta
    • Los sistemas de IA más recientes (OpenAI o1/o3, DeepSeek R1, etc.) contradicen frontalmente esa hipótesis
    • Siguen siendo autoregresivos, pero su desempeño mejora cuanto más largas son sus salidas
    • En la investigación sobre DeepSeek R1, aparece un patrón en el que cuanto más tiempo piensa el modelo, mayor es la probabilidad de acertar
      > En la gráfica del reporte de DeepSeek R1, el desempeño mejora a medida que el modelo genera salidas más largas → choca de frente con la hipótesis de Yann LeCun
  • Cómo corrigen sus propios errores los modelos
    • La lógica anterior partía de la suposición de que los errores inevitablemente se acumulaban token por token
    • Pero en investigaciones recientes, los modelos muestran mecanismos para corregir sus propios errores
    • Por ejemplo, al generar ciertos patrones de tokens, se ha observado una tendencia probabilística a encontrar una mejor respuesta a mitad del proceso
      > Ejemplo de DeepSeek R1: el proceso por el cual el modelo encuentra una "mejor respuesta" en cierto punto → justo lo que Yann LeCun afirmaba que era imposible
  • Actualmente, algunos investigadores están analizando estos mecanismos de autocorrección (self-correction) y estudiando cómo inducirlos de forma más efectiva
  • Aun así, todavía no está claro si este enfoque solo aplica a ciertos tipos de problemas, como programación o matemáticas

Por qué Yann LeCun tenía razón (parcialmente)

  • La hipótesis de Yann LeCun no estaba completamente equivocada
  • Aunque las investigaciones recientes contradicen su hipótesis de la "acumulación de errores", sigue siendo cierto que los modelos de lenguaje no pueden generar salidas infinitamente precisas
  • Es decir, la IA no puede funcionar de manera independiente para siempre
  • Los límites de un agente totalmente autónomo (FAA)
    • Muchos investigadores intentan desarrollar agentes de IA capaces de ejecutar tareas durante largos periodos
    • Pero esto presenta un problema similar al de desarrollar autos con Full Self-Driving (FSD)
    • Es decir, con el stack tecnológico actual, podría ser imposible construir sistemas de IA completamente autónomos
  • La importancia del input humano
    • La información más confiable proviene de prompts ingresados directamente por humanos
    • A través de algunas herramientas (por ejemplo, consulta de vuelos, revisión del clima, etc.), la IA puede obtener datos adicionales, pero generar salidas largas sin más no hace que la probabilidad de una respuesta correcta aumente infinitamente
    • Es poco probable que la IA pueda generar resultados infinitamente útiles sin intervención humana

Por qué conviene evitar el debate sobre la AGI en la investigación en IA

  • Medir el avance de los modelos de lenguaje mediante una línea de tiempo hacia la AGI es un enfoque equivocado
  • La mejor pregunta debería ser: "¿Cuánto tiempo puede trabajar eficazmente la IA sin intervención humana?"
  • Igual que en la conducción autónoma se mide la "cantidad de intervenciones humanas por milla", con los modelos de lenguaje también sería más práctico medir cuánto tiempo pueden generar salidas correctas sin intervención humana
  • En lugar de esperar una IA que funcione completamente sin intervención humana (FAA, Fully Autonomous Agent), es importante reconocer el proceso continuo actual de "aumento del volumen de trabajo útil que la IA puede realizar"
  • Incluso sin una AGI completa, el valor económico que ofrece la tecnología actual ya es suficientemente significativo
  • Por lo tanto, más que discutir cuándo llegará la AGI, es preferible enfocarse en mejorar la productividad real de la IA

2 comentarios

 
princox 2025-02-27

"La IA no puede funcionar de manera independiente para siempre"

Esa parte me parece impresionante.

 
GN⁺ 2025-02-24
Opinión de Hacker News
  • Satya Nadella habló sobre la AGI

    • Más importante que los ingresos de Microsoft es moderar las expectativas excesivas sobre la AGI
    • La tasa de crecimiento económico de los países desarrollados es de apenas 2%, y al considerar la inflación es casi 0%
    • En 2025 habrá desafíos para el crecimiento económico
    • Se necesita lograr un crecimiento como el de la Revolución Industrial
    • Los ganadores serán las industrias que aprovechen la AGI, no las empresas tecnológicas
    • Cuando aumente la productividad y la economía crezca rápidamente, las industrias también se desarrollarán
    • No tiene sentido presumir los logros de la AGI; el verdadero criterio es que la economía mundial crezca 10%
  • Es importante encontrar maneras de dar trabajo a la gente

    • El cambio de marketing de AGI a ASI es una trampa
    • A pesar de las críticas a la economía "gig", muchas personas viven mejor gracias a Uber o DoorDash
    • Uber y DoorDash tienen valor en la vida cotidiana
    • Se les da propina a los repartidores para que puedan ganar más que el salario mínimo
    • No todo el mundo puede convertirse en ingeniero de software o emprendedor por autoaprendizaje
    • Es importante dar trabajo a la gente
  • Crece el escepticismo sobre el "razonamiento" de los LLM

    • A través de los resultados de DeepSeek y Grok se pudieron ver los límites de los LLM
    • Hay casos en los que el modelo cae en rutas ineficientes o equivocadas
    • Por ejemplo, Grok 3 pasó 10 minutos verificando repetidamente el nombre de una carta específica
    • Hay casos en los que el modelo cae en comportamientos improductivos auto-reforzados
  • Discusión sobre los autos autónomos

    • Tesla todavía no puede lograr conducción completamente autónoma, y Waymo solo puede hacerlo en regiones específicas
    • Algunos sistemas de IA mejoran al generar salidas más largas
    • Sin embargo, una salida larga no hace mejor al modelo
    • El argumento de LeCun señala el problema de acumulación de errores en los modelos de lenguaje
  • Expectativas exageradas sobre la AGI y los robots humanoides

    • Hay que enfocarse en los beneficios económicos más que en la AGI
    • El objetivo de la AGI es superar al 99.99% de los humanos
  • Expectativas de la gente sobre la AGI

    • La gente quiere algo distinto de la AGI
    • Si la AGI tiene autonomía, se vuelve imposible de controlar
    • La gente quiere expertos técnicamente sobresalientes, pero que sigan instrucciones
  • Éxito de los modelos de difusión de lenguaje

    • Usan una estrategia de re-enmascaramiento para resolver el problema de acumulación de errores
    • Han tenido éxito al predecir varios tokens al mismo tiempo
  • Preguntas sobre el valor económico de la IA

    • Cuando la IA aumente la productividad humana, ¿a quién se transferirá ese valor económico?
    • Si disminuye el empleo humano, hará falta un plan para la distribución del valor económico
  • Comparación entre la IA y los sueños humanos

    • La forma en que la IA genera y expande escenarios basados en un modelo de la realidad podría ser similar a los sueños
    • Surge la duda de si se podría "despertar" a un LLM añadiéndole entrada en tiempo real