AGI está todavía a 10 años de distancia: la realidad de los agentes de IA según Andrej Karpathy

El exdirector de IA de OpenAI y Tesla, Andrej Karpathy, presentó recientemente en el pódcast de Dwarkesh Patel un diagnóstico realista sobre el futuro de los agentes de IA y la cronología de la AGI. Mientras la industria grita el “año de los agentes”, explicó con claridad por qué eso debería ser “la década de los agentes”, y reveló cuál es el problema fundamental del aprendizaje por refuerzo en la actualidad.

Puntos clave:

• “Chupando supervisión con una pajita”: la debilidad crítica del aprendizaje por refuerzo – El enfoque actual de RL que evalúa todo el proceso con una única señal de recompensa correcta después de cientos de intentos es intrínsecamente ineficiente y ruidoso.
• La capacidad real de la IA para programar: lo que mostró el proyecto nanochat – En la construcción de un clon de ChatGPT de 8,000 líneas, el agente de IA mostró serias fallas para escribir código original; lo más que logró fue comportarse como un autocompletador.
• El dilema del colapso del modelo: la trampa oculta de los datos sintéticos – Todas las muestras que genera un LLM tienen una distribución de “colapso silencioso”, y por eso, cuando pides chistes a ChatGPT, termina repitiendo solo alrededor de tres veces.