Andrej Karpathy: la AGI aún está a 10 años de distancia

• Andrej Karpathy sostiene que no será “el año de los agentes”, sino “la década de los agentes”, refutando las predicciones excesivas de la industria de la IA y planteando que harán falta unos 10 años de mejoras graduales
• Los LLM actuales aún carecen de funciones cognitivas clave como aprendizaje continuo, capacidades multimodales y habilidad para usar computadoras, y se estima que resolver estos problemas tomará alrededor de una década
• A diferencia del hardware integrado que la evolución dio a los animales, los LLM son una especie de “entidad tipo alma” basada en imitar datos de internet; son una inteligencia de otro tipo y no es apropiado compararlos directamente con los animales
• El RL (aprendizaje por refuerzo) es bastante ineficiente, pero los métodos alternativos tampoco han madurado lo suficiente. Debido a problemas de colapso del modelo y olvido en los LLM, tienen límites para absorber y desarrollar conocimiento de forma continua y natural, como lo hace el cerebro humano
• El preentrenamiento es una “evolución mediocre”, un proceso que comprime de forma drástica 15 billones de tokens en decenas de miles de millones de parámetros, dejando solo recuerdos difusos de los documentos de internet
• La AGI eventualmente quedará incluida dentro de una trayectoria normal de crecimiento del PIB del 2%, y debe verse como una expansión gradual del cómputo, no como un salto discontinuo (incluido el debate sobre la superinteligencia)

---

Cuándo llegaría la AGI y a qué ritmo avanza la IA

• Andrej Karpathy enfatiza que “la era de los agentes de IA no es algo de este año, sino un proceso de escala de 10 años”.
• Actualmente varios agentes de IA, como Claude y Codex, ya se usan de forma útil, pero siguen quedándose cortos en aprendizaje continuo, procesamiento multimodal y uso complejo de computadoras
• Para que la AGI funcione de manera real como un empleado humano o un interno, habrá que resolver desafíos como mejorar la inteligencia, mantener memoria persistente y adquirir múltiples capacidades
• Sobre las predicciones del avance del sector, Karpathy estima, a partir de más de 15 años de experiencia en el campo, que los problemas difíciles son superables pero bastante complejos, así que probablemente se necesiten unos 10 años

Cambios de rumbo en la investigación inicial de IA

• Antes de AlexNet, el deep learning era un tema de nicho, pero en 2012 AlexNet provocó el primer cambio de paradigma drástico al reorientar todo el campo hacia el entrenamiento de redes neuronales
• Hacia 2013, el deep reinforcement learning en Atari iba en la dirección equivocada, y el enfoque inicial de OpenAI centrado en juegos también fue un error
  • Dudaba de la idea de que los juegos llevarían a la AGI, y consideraba necesaria la interacción con el mundo real
  • El proyecto Universe de OpenAI llegó demasiado pronto y las recompensas eran tan escasas que no se podía aprender
• Los agentes sobre LLM son la ruta correcta: primero hay que obtener capacidad de representación y después construir agentes
  • El enfoque actual de entrenar agentes que usan computadoras sobre grandes modelos de lenguaje es razonable
  • Solo después de obtener representaciones mediante preentrenamiento y trabajo con LLM es posible avanzar en tareas de agentes
• En conjunto, el campo de la IA ha evolucionado siguiendo el flujo perceptrón/redes neuronales → agentes (RL) → LLM/refuerzo del aprendizaje de representaciones

Diferencia entre el aprendizaje humano y la evolución animal

• En los animales (por ejemplo, una cebra), la evolución incorpora genéticamente conductas complejas; la investigación en IA no imita el proceso evolutivo real, sino que usa principalmente aprendizaje por imitación mediante materiales de internet (pre-training)
• Los LLM actuales son estructuralmente distintos de los organismos que emergen por evolución. Los seres vivos nacen con hardware (redes neuronales) incorporado, mientras que la IA se describe más como un “fantasma” de software
• La similitud entre el cerebro humano y la IA solo debería tomarse como referencia de forma limitada, y es más realista enfocarse en fines prácticos (utilidad)

Aprendizaje en contexto vs. preentrenamiento

• El preentrenamiento es el resultado de comprimir la enorme cantidad de información de internet, por lo que el conocimiento que recuerda el modelo es borroso y parcial
  • La información para responder una pregunta concreta se aprovecha más directamente dentro de la ventana de contexto, como una especie de “memoria de trabajo”
• El aprendizaje en contexto es una forma difusa de memoria de trabajo, y el preentrenamiento una forma difusa de memoria de largo plazo
  • Todo lo que está en la caché KV es memoria de trabajo a la que la red neuronal puede acceder directamente
  • Todo lo que está en los pesos es un recuerdo borroso de algo leído hace un año
• Posibilidad de que el aprendizaje en contexto implemente internamente descenso por gradiente
  • En investigaciones sobre regresión lineal se encontró que los pesos de la red neuronal se parecen a mecanismos de descenso por gradiente
  • Aprende a completar patrones y a activar pequeños circuitos y algoritmos dentro de la red neuronal
• 0.07 bits por token en preentrenamiento vs. 320 kilobytes por token en aprendizaje en contexto
  • El aprendizaje en contexto tiene una asimilación de información por token 35 millones de veces mayor
  • La diferencia extrema en la tasa de compresión refleja una diferencia fundamental en la forma de aprender

Diferencias cognitivas entre humanos y LLM

• Ausencia de regiones cerebrales como el hipocampo y la amígdala
  • El transformer correspondería al tejido cortical y posee capacidades de razonamiento similares a las de la corteza prefrontal
  • No se replican regiones cerebrales clave como el hipocampo (memoria) o la amígdala (emoción)
• Falta de un mecanismo de aprendizaje continuo
  • En los humanos, la información contextual del día se destila hacia los pesos internos mediante procesos como el sueño
  • Los LLM reinician cada sesión con 0 tokens y no tienen una etapa de destilación; es decir, carecen de un mecanismo equivalente de memoria de largo plazo/aprendizaje continuo
• El aprendizaje por refuerzo es “terrible”
  • Se aumentan los pesos de todos los tokens de los rollouts que obtuvieron la respuesta correcta, aunque estén llenos de ruido
  • Es una forma de “absorber supervisión con un popote”, evaluando toda la trayectoria solo con la recompensa final
  • Los humanos evalúan cada parte mediante un proceso de revisión complejo, pero los LLM no tienen un equivalente

Límites de la supervisión basada en procesos

• Posibilidad de engañar a los jueces LLM
  • Si se usan LLM para asignar recompensas, es casi seguro que aparecerán ejemplos adversarios
  • Hubo casos en que una salida absurda como “dhdhdhdh” obtuvo una recompensa del 100%
• Fragilidad en la generalización fuera de muestra
  • Frente a entradas que no vieron durante el entrenamiento, los jueces LLM asignan puntajes extremos
  • Puede mejorarse con entrenamiento repetido, pero existen infinitos ejemplos adversarios para un modelo de 1 billón de parámetros
• Necesidad de datos sintéticos y revisión
  • Se están probando enfoques de metaaprendizaje mediante revisión de respuestas y generación de ejemplos sintéticos
  • A escala de los laboratorios frontier de LLM, todavía no existe un método convincente que funcione con plena generalidad

Cómo aprenden los humanos vs. cómo aprenden los LLM

• Los humanos casi no usan aprendizaje por refuerzo
  • La mayor parte del aprendizaje por refuerzo aparece en tareas motoras, como encestar una pelota de básquetbol
  • Para tareas intelectuales como resolver problemas, no usamos RL
• Leer libros es un prompt para generar datos sintéticos
  • Los humanos leen libros, manipulan la información y así adquieren conocimiento
  • Los LLM solo despliegan secuencias de texto y aprenden prediciendo el siguiente token
• Problema de colapso del modelo
  • Las muestras de un LLM pueden parecer razonables por separado, pero la distribución colapsa silenciosamente
  • ChatGPT repite solo 3 chistes (sin abarcar toda la variedad posible de chistes)
  • Los humanos también colapsan con el tiempo, pero los niños, que aún no están sobreajustados, pueden decir cosas impactantes

Equilibrio entre memorización y generalización

• Los LLM son extremadamente buenos para memorizar
  • Incluso secuencias completamente aleatorias pueden recitarlas enteras tras una o dos repeticiones
  • Las personas no pueden recitar secuencias aleatorias de números
• La capacidad de memorizar no es un bug, sino una feature
  • Los humanos están obligados a aprender solo componentes que puedan generalizarse
  • Los LLM se distraen con recuerdos de los documentos de preentrenamiento
• Hace falta quitar el conocimiento del núcleo cognitivo
  • Se estima un núcleo cognitivo de alrededor de 1,000 millones de parámetros
  • Hay que quitar el conocimiento y conservar solo algoritmos y estrategias
  • Esto podría resolverse con depuración del conjunto de preentrenamiento y destilación hacia modelos más pequeños

Dirección de las mejoras futuras y perspectivas técnicas

• En los próximos 10 años, se prevé que todas las áreas —arquitectura, optimización (optimizer), función de pérdida, datos, software y hardware— deberán avanzar al mismo tiempo para lograr resultados significativos
• La estructura Transformer y el enfoque actual de deep learning probablemente se mantendrán en parte, pero se espera la incorporación de sparse attention, mayor poder de cómputo y datos a gran escala
• La experiencia hasta ahora ha mostrado que, más que un único factor, lo importante ha sido la mejora conjunta de múltiples piezas

Defectos cognitivos de los LLM y uso de herramientas de programación

• Aunque los LLM se usan con frecuencia como apoyo para programar, tienen muchas limitaciones cuando se trata de escribir código intensivo que requiere diseño propio y un enfoque particular
• En general se mezclan tres modos: (1) escritura completamente manual, (2) uso de autocompletado y (3) enfoque “agente”
• Los LLM funcionan mejor cuando el código base es repetitivo o hay muchos buenos ejemplos, pero en código original y donde la estructura importa, destacan problemas como aferrarse a estilos existentes, aumentar complejidad innecesaria o malinterpretar convenciones
• Como ejemplo real, aunque no quería usar contenedores PyTorch DDP, el LLM seguía recomendándolos, lo que obstaculizaba mantener el estilo de código y la forma de implementación deseados

Experiencia desarrollando nanochat

• Los LLM no son adecuados para bases de código peculiares
  • Solo son útiles para código repetitivo y cosas que aparecen frecuentemente en internet
  • nanochat es intelectualmente intensivo y requiere una organización precisa, así que los modelos lo malinterpretan una y otra vez
• El autocompletado es la forma óptima de uso
  • El vibe coding solo funciona en configuraciones específicas
  • El autocompletado ofrece un ancho de banda de información alto con solo las primeras letras
• Útil para aprender lenguajes nuevos como Rust
  • Si tienes una implementación de referencia y pruebas en Python, puedes hacer vibe coding con seguridad
  • Mejora la accesibilidad a lenguajes o paradigmas poco familiares

La realidad de la automatización de la ingeniería de IA

• Los modelos actuales no bastan para automatizar la investigación en IA
  • Como programar se basa en texto, es un primer ajuste perfecto para los LLM
  • No son tan buenos para código que nunca antes se ha escrito
• La brecha entre demo y producto
  • Existen demos de conducción autónoma desde los años 80, pero convertirlas en producto tomó mucho tiempo
  • "La marcha de los nueves": cada 9 representa cierta cantidad de trabajo, y se necesita una mejora continua de 90% a 99.999%
• La explosión de inteligencia no se verá en la curva del PIB
  • Tecnologías transformadoras como la computadora o el iPhone tampoco se pueden encontrar en el PIB
  • Todo está demasiado disperso y se difunde lentamente, así que termina promediado en el mismo 2% exponencial

Lecciones de la conducción autónoma

• La conducción autónoma todavía no está resuelta
  • Incluso Waymo tiene muy pocos vehículos y una operación poco económica
  • Hay humanos dentro del circuito en centros de teleoperación
• Puntos en común de los dominios críticos para la seguridad
  • En ingeniería de software, el costo de los errores también es alto (vulnerabilidades de seguridad, etc.)
  • Se necesita una "marcha de los nueves" similar a la de la conducción autónoma
• El enfoque escalable de Tesla
  • Waymo empezó con muchos sensores
  • Tesla tiene ventaja a largo plazo con una estrategia más escalable

Comparación entre conducción autónoma e IA para trabajo del conocimiento

• El dominio de los bits es un millón de veces más fácil que el mundo físico
  • Los bits pueden modificarse y reorganizarse rápidamente
  • Se espera que la adaptación de la industria sea mucho más rápida
• Diferencia en gasto de capital
  • La conducción autónoma requiere un auto completamente nuevo para cada copia
  • Los modelos de IA pueden ofrecer instancias adicionales solo con costo de inferencia
• La complejidad de la aceptación social
  • Hay que resolver aspectos legales, de seguros y regulatorios
  • También existirá en la IA el equivalente a la gente que pone conos sobre los autos de Waymo

La visión de Eureka Labs

• Construir una Academia Starfleet
  • Una institución educativa de élite para tecnología de frontera
  • Proveer conocimiento sobre las tecnologías más recientes, incluida la IA
• Después de la AGI, la educación será diversión
  • Antes de la AGI: educación útil para ganar dinero
  • Después de la AGI: educación recreativa, como ir al gimnasio o a la escuela
• Esperando al tutor de IA perfecto
  • La experiencia con un tutor personal de coreano estableció el estándar
  • Comprender el nivel de entendimiento del estudiante, ofrecer el reto adecuado y transmitir información de forma perfecta
  • Con las capacidades actuales es imposible, pero en el futuro será posible

Principios de diseño de materiales educativos

• Forma de pensar de la física
  • Entender un sistema en términos de efectos de primer, segundo y tercer orden
  • Crear modelos y abstracciones
  • El valor de la suposición de la "vaca esférica"
• Presentar el dolor y luego la solución
  • Darle primero al estudiante la oportunidad de intentarlo
  • Motivar con prompts antes de dar la solución
• El ejemplo de micrograd
  • Muestra la esencia del backpropagation en 100 líneas
  • Todo lo demás es solo eficiencia
  • Todo se reduce a la aplicación recursiva de la regla de la cadena

Estrategias efectivas de aprendizaje

• Profundidad primero, aprendizaje según la necesidad
  • Aprender mientras se obtienen recompensas con un proyecto específico
  • Alternarlo con aprendizaje amplio primero (estilo escolar)
• Explicárselo a otra persona
  • Obliga a descubrir y cerrar las brechas en la comprensión
  • Manipulas el conocimiento y lo entiendes a fondo
• Conversaciones en el almuerzo > papers
  • Las tres frases que escuchas tomando una cerveza en una conferencia son más claras que un paper

Me gusta volver a explicar algo, y otras personas también deberían hacerlo. Porque entonces tienes que manipular el conocimiento y asegurarte de entender bien de qué estás hablando cuando lo explicas.

---

# [Transcripción completa]

00:00:00 – La AGI aún está al menos a 10 años de distancia

Dwarkesh Patel 00:00:00

Hoy converso con Andrej Karpathy. Andrej, ¿por qué dices que esto no será el "año de los agentes", sino la "década de los agentes"?

Andrej Karpathy 00:00:07

Antes que nada, gracias por invitarme. Me da gusto estar aquí.

La frase de la que acabas de hablar, "la década de los agentes", en realidad fue una reacción a algo que ya se había dicho. No sé exactamente quién lo dijo, pero había una expresión que sugería que este año sería el "año de los agentes" en relación con la evolución de los LLM. Eso me provocó una reacción, porque creo que hay demasiadas predicciones exageradas en la industria. En mi opinión, decir "la década de los agentes" es mucho más preciso.

Ya tenemos agentes que están en una etapa temprana pero son muy impresionantes, y yo mismo uso cosas como Claude o Codex todos los días. Pero sigo sintiendo que todavía queda muchísimo trabajo por hacer. Creo que vamos a estar trabajando con estas cosas durante los próximos 10 años. Van a mejorar gradualmente y van a llegar a ser excelentes. Yo solo estoy reaccionando a ese cronograma implícito.

Dwarkesh Patel 00:00:58

¿Qué te hace pensar que tomará 10 años? ¿Dónde está el cuello de botella?

Andrej Karpathy 00:01:02

En lograr que realmente funcione. Cuando hablamos de agentes, lo que los laboratorios de IA tienen en mente, y probablemente yo también, es algo que debería ser como un empleado o un practicante al que contratarías para trabajar contigo. Por ejemplo, tú también trabajas aquí con empleados. ¿Cuándo querrías que un agente como Claude o Codex hiciera ese trabajo?

Por ahora, obviamente eso es imposible. ¿Qué se necesita para que sea posible? ¿Por qué no los usamos hoy? La razón es simple: no funcionan bien. No tienen suficiente inteligencia, no tienen suficientes capacidades multimodales, y no pueden hacer cosas como usar una computadora.

No pueden hacer muchas de las cosas que mencionaste antes. No tienen capacidad de aprendizaje continuo. No puedes esperar que recuerden algo solo porque se los enseñaste. Hay muchas carencias cognitivas y no funcionan correctamente. Resolver todos esos problemas tomará unos 10 años.

Dwarkesh Patel 00:01:44

Qué interesante. Como podcaster profesional y alguien que observa la IA desde cierta distancia, es fácil identificar qué es lo que falta, como el aprendizaje continuo o las capacidades multimodales. Pero no tengo una buena forma de ponerle un cronograma. Si alguien me preguntara cuánto tardará el aprendizaje continuo, no tendría ninguna intuición sobre si es un proyecto de 5 años, 10 años o 50 años. ¿Por qué 10 años? ¿Por qué no 1 año o 50 años?

Andrej Karpathy 00:02:16

Aquí entro en mi intuición personal y hago inferencias basadas en la experiencia de campo. He estado en IA casi 20 años. Bueno, quizá unos 15. No es tanto tiempo. Richard Sutton, que estuvo aquí, lleva mucho más tiempo. Yo tengo alrededor de 15 años de experiencia, y durante ese tiempo he visto a la gente hacer predicciones y he observado cómo se cumplían. También estuve un tiempo en la industria, en investigación, y luego volví a la industria. De todo eso me quedó una intuición general.

Mi sensación es que los problemas se pueden resolver y superar, pero siguen siendo difíciles. Si lo pienso en promedio, simplemente me suena a 10 años.

Dwarkesh Patel 00:02:57

Muy interesante. Quiero escuchar no solo la historia, sino también qué sentían las personas que estaban allí en momentos donde hubo distintos avances, sobre lo que creían que iba a pasar. ¿De qué maneras sus predicciones eran demasiado pesimistas o demasiado optimistas? ¿Lo vemos una por una?

Andrej Karpathy 00:03:16

Esa es una pregunta enormemente grande. Estamos hablando de cosas que han pasado a lo largo de 15 años. La IA es un campo realmente increíble. Ha habido varios cambios sísmicos en los que de pronto todo el campo empezó a verse completamente distinto. Yo probablemente viví dos o tres de esos en persona. Y creo que seguirá habiéndolos en el futuro. Llegan con una regularidad casi sorprendente.

Cuando empezó mi carrera, cuando empecé a trabajar en aprendizaje profundo, me interesé en el aprendizaje profundo gracias al accidente de haber estado en la Universidad de Toronto justo al lado de Geoff Hinton. Geoff Hinton es, por supuesto, una especie de padrino de la IA. Él estaba entrenando estas redes neuronales, y a mí me parecían asombrosas e interesantes. Pero eso no era en absoluto lo principal que todo el mundo hacía en IA en ese momento. Era solo un tema de nicho pequeño en una esquina. Ese probablemente fue el primer cambio sísmico dramático, que llegó con AlexNet.

AlexNet reorientó a todo el mundo, y todos empezaron a entrenar redes neuronales. Pero seguían haciéndolo por tarea, por tareas específicas. Tenías un clasificador de imágenes o un traductor automático neuronal, cosas así. La gente empezó muy lentamente a interesarse por los agentes. Empezaron a pensar: "Está bien, ya marcamos la casilla de algo parecido a la corteza visual, pero ¿qué pasa con las otras partes del cerebro, y cómo obtenemos un agente completo o una entidad completa que pueda interactuar con el mundo?"

El cambio de aprendizaje profundo por refuerzo en Atari alrededor de 2013 fue, en mi opinión, parte de esos esfuerzos iniciales hacia los agentes. Porque se trataba de intentar crear un agente que no solo percibiera el mundo, sino que también actuara, interactuara y recibiera recompensas del entorno. En ese momento eran juegos de Atari.

Siento que esa fue la dirección equivocada. Incluso la dirección equivocada que adoptó el OpenAI inicial del que yo formé parte. Porque el espíritu de la época entonces era entornos de aprendizaje por refuerzo, juegos, jugar juegos, ganar juegos, conseguir distintos tipos de juegos, y OpenAI también hacía mucho de eso. Todo eso fue un poco un error. Probablemente durante 2, 3 o 4 años, todo el mundo estuvo aplicando aprendizaje por refuerzo a juegos, y todo era un poco la dirección equivocada.

Lo que yo intentaba hacer en OpenAI —siempre fui un poco escéptico de la idea de que los juegos fueran a llevar a la AGI—. Yo quería algo como un contador, algo que interactuara con el mundo real. No podía entender cómo los juegos llevarían a eso. Por ejemplo, en OpenAI mi proyecto, dentro del alcance del proyecto Universe, trataba sobre un agente que manipulaba páginas web usando teclado y mouse. Yo realmente quería crear algo que pudiera interactuar con el mundo digital real y hacer trabajo de conocimiento.

Pero resultó que esto era extremadamente temprano, demasiado temprano, tan temprano que era algo en lo que no deberíamos haber trabajado. Porque si simplemente estás tanteando, golpeando el teclado y haciendo clic con el mouse mientras intentas obtener recompensas en ese entorno, la recompensa es demasiado escasa y no se aprende nada. Quemas enormes recursos de cómputo, pero nunca logras resultados. Lo que faltaba era capacidad de representación en las redes neuronales.

Por ejemplo, hoy en día la gente entrena agentes de uso de computadora, pero lo hacen sobre grandes modelos de lenguaje. Primero tienes que obtener un modelo de lenguaje, primero tienes que obtener la representación, y eso se logra mediante preentrenamiento y todo el trabajo relacionado con los LLM.

Mi sensación, a grandes rasgos, es que la gente siguió intentando conseguir la cosa completa demasiado pronto varias veces. Quiero decir que la gente intentó perseguir agentes demasiado temprano. Eso pasó con Atari y con Universe, e incluso con mi propia experiencia. En realidad había cosas que primero tenían que hacerse antes de llegar a los agentes. Ahora los agentes son mucho más capaces, pero probablemente todavía nos falta parte de esa pila.

Diría que estas son las tres categorías principales de lo que la gente hacía: entrenar redes neuronales por tarea, intentar la primera ronda de agentes, y luego perseguir la capacidad de representación de las redes neuronales antes de añadir LLM y todo lo demás encima.

Dwarkesh Patel 00:07:02

Interesante. Si yo intentara defender un poco más fuertemente la perspectiva de Sutton, los humanos pueden asimilarlo todo de una sola vez. O incluso los animales pueden asimilarlo todo de una sola vez. Tal vez los animales sean un mejor ejemplo, porque ni siquiera tienen el andamiaje del lenguaje. Simplemente son arrojados al mundo y tienen que entenderlo todo sin ninguna etiqueta.

Entonces, ¿la visión de la AGI no debería ser mirar datos sensoriales, mirar una pantalla de computadora y entender desde cero qué está pasando? Si un humano estuviera en una situación similar y tuviera que entrenarse desde cero... esto es como cuando crece un humano o crece un animal. En lugar de hacer millones de años de entrenamiento, ¿por qué esa no podría ser la visión para la IA?

Andrej Karpathy 00:07:41

Es una muy buena pregunta. Sutton estuvo en tu pódcast y yo también lo vi, y escribí un texto sobre cómo lo pienso. Soy muy cuidadoso con hacer analogías con animales. Porque los animales surgieron a través de un proceso de optimización muy distinto. Los animales evolucionaron, y vienen con una enorme cantidad de hardware incorporado.

Por ejemplo, el ejemplo en mi texto era una cebra. Una cebra nace y, pocos minutos después, ya está corriendo y siguiendo a su madre. Eso es algo increíblemente complejo. Eso no es aprendizaje por refuerzo. Eso viene incorporado. La evolución claramente tiene alguna manera de codificar los pesos de nuestras redes neuronales en ATCG, y no sé cómo funciona, pero claramente funciona.

El cerebro surgió de un proceso muy distinto, y yo soy muy reacio a inspirarme demasiado en eso. Porque en realidad nosotros no estamos ejecutando ese proceso. En mi texto decía que no estamos creando animales. Estamos creando algo así como fantasmas o espíritus. Como sea que la gente quiera llamarlo, no estamos entrenando mediante evolución. Estamos entrenando imitando a humanos y a través de los datos que ellos subieron a internet.

Al final terminan siendo este tipo de entidades espirituales. Son completamente digitales y están imitando a los humanos. Es una clase distinta de inteligencia. Si imaginas el espacio de la inteligencia, casi estamos empezando desde otro punto. En realidad no estamos creando animales. Pero creo que con el tiempo es posible, y deberíamos, hacerlos un poco más parecidos a animales.

Una cosa más que diría es que Sutton está muy... su marco es "queremos crear animales". Creo que sería genial si eso pudiera funcionar. Sería verdaderamente asombroso. Si hubiera un algoritmo único que pudiera ejecutarse en internet y aprenderlo todo, sería increíble. No estoy seguro de que eso exista, y desde luego no es lo que hacen los animales. Porque los animales tienen ese bucle externo que es la evolución.

Gran parte de lo que parece aprendizaje se parece más a maduración del cerebro que a aprendizaje. Creo que en los animales hay muy poco aprendizaje por refuerzo. La mayor parte del aprendizaje por refuerzo es para tareas como las motoras. No para tareas de inteligencia. Así que en realidad creo que los humanos casi no usan RL, hablando muy en general.

Dwarkesh Patel 00:09:52

¿Podrías repetir esa última frase? Eso de que gran parte de esa inteligencia no es una tarea motora, sino... ¿qué era?

Andrej Karpathy 00:09:54

Desde mi punto de vista, gran parte del aprendizaje por refuerzo sería para cosas mucho más parecidas a lo motor, tareas simples como lanzar una pelota a un aro de baloncesto. Pero no creo que los humanos usen aprendizaje por refuerzo para muchas tareas de inteligencia, como la resolución de problemas. Eso no significa que no debamos hacerlo para investigación, pero creo que eso es justamente lo que los animales hacen o no hacen.

Dwarkesh Patel 00:10:17

Me va a tomar un poco de tiempo procesarlo. Tiene muchas ideas. Déjame hacer una pregunta aclaratoria para entender la perspectiva. Sugeriste que la evolución hace el mismo tipo de trabajo que hace el preentrenamiento, en el sentido de construir algo que pueda entender el mundo.

La diferencia es que la evolución, en el caso de los humanos, tiene que estar regulada a través de 3 gigabytes de ADN. Eso es muy distinto de los pesos de un modelo. Literalmente, los pesos del modelo son el cerebro, y eso claramente no está presente en el esperma ni en el óvulo. Por lo tanto, tiene que crecer. Además, la información sobre todas las sinapsis del cerebro simplemente no puede existir dentro de esos 3 gigabytes presentes en el ADN.

La evolución parece estar más cerca de encontrar un algoritmo que permita el aprendizaje a lo largo de toda la vida. Claro, ese aprendizaje de por vida quizá no sea similar a RL, como tú señalaste. ¿Eso es compatible con lo que dices, o no estás de acuerdo?

Andrej Karpathy 00:11:17

Creo que sí. Definitivamente coincido en que está ocurriendo una compresión asombrosa. Obviamente, los pesos de la red neuronal no están almacenados en ATCG. Hay una compresión drástica. Están codificados algoritmos de aprendizaje que asumen parte del aprendizaje en línea. En ese sentido, sin duda estoy de acuerdo. Diría que yo tengo una mentalidad mucho más práctica. No lo abordo desde la perspectiva de crear animales. Lo abordo desde la perspectiva de crear algo útil. Llevo puesto el casco de seguridad y solo estoy observando que no vamos a hacer evolución. Porque no sabemos cómo hacerlo.

Pero resulta que, al imitar documentos de internet, puedes crear estas entidades fantasmales, casi con alma. Y eso funciona. Es una versión prácticamente viable de elevarte hacia algo con mucho conocimiento e inteligencia incorporados, en cierto modo similar a lo que hizo la evolución. Por eso llamo al preentrenamiento esta evolución chafa. Es la versión prácticamente posible con nuestra tecnología y con lo que tenemos disponible, y te lleva a un punto de partida desde el cual puedes hacer cosas como aprendizaje por refuerzo.

Dwarkesh Patel 00:12:15

Por defender un punto de vista distinto, después de hacer esta entrevista con Sutton y pensar en ello, creo que él tiene un punto importante aquí. La evolución en realidad no nos da conocimiento. Nos da un algoritmo para encontrar conocimiento. Y eso parece diferente del preentrenamiento.

Tal vez la perspectiva sea que el preentrenamiento ayuda a construir un tipo de entidad que puede aprender mejor. Enseña metaaprendizaje, así que se parece a encontrar un algoritmo. Pero si dices: “la evolución nos da conocimiento, el preentrenamiento nos da conocimiento”, entonces esa analogía parece desmoronarse.

Andrej Karpathy 00:12:42

Es algo sutil, y creo que tienes razón en cuestionarlo, pero básicamente lo que hace el preentrenamiento es obtener un predictor del siguiente token sobre internet y entrenarlo como una red neuronal. Está haciendo dos cosas no relacionadas. La primera es adquirir todo eso que yo llamaría conocimiento. La segunda es que en realidad se está volviendo inteligente.

Al observar patrones algorítmicos en internet, pone en marcha todos estos pequeños circuitos y algoritmos dentro de la red neuronal para hacer cosas como aprendizaje en contexto (in-context learning). Ni siquiera necesitas ni quieres el conocimiento. En mi opinión, probablemente en general esté estorbando a la red neuronal. Porque a veces hace que dependa demasiado del conocimiento.

Por ejemplo, una cosa en la que los agentes no son buenos es en salirse de la variedad de datos que existe en internet. Si tuvieran menos conocimiento o menos memoria, quizá serían mejores. Creo que una de las cosas que habrá que hacer en el futuro —y esto será parte del paradigma de investigación— es encontrar la forma de eliminar parte del conocimiento y conservar lo que yo llamo el núcleo cognitivo (cognitive core). Es decir, esta entidad inteligente separada del conocimiento, pero que incluye la magia de los algoritmos, la inteligencia, la resolución de problemas y sus estrategias.

Dwarkesh Patel 00:13:50

Hay muchísimas cosas interesantes ahí. Empecemos con el aprendizaje en contexto. Este es un punto obvio, pero creo que vale la pena decirlo explícitamente y reflexionarlo. Las situaciones en las que estos modelos parecen más inteligentes —los momentos en que, al hablar con ellos, siento “wow, de verdad hay algo del otro lado respondiéndome”, cuando cometen un error y dicen “ah, espera, esa es una forma equivocada de pensar; retrocedamos”— todo eso ocurre dentro del contexto. Ahí es donde está la verdadera inteligencia que puedes ver con tus propios ojos.

El proceso de aprendizaje en contexto es desarrollado por el descenso de gradiente sobre el preentrenamiento. Metaaprende espontáneamente el aprendizaje en contexto, pero el aprendizaje en contexto en sí no es descenso de gradiente. De la misma manera que, como humanos, nuestra capacidad de que nuestra inteligencia de toda la vida haga cosas está condicionada por la evolución, pero nuestro aprendizaje a lo largo de la vida ocurre mediante un proceso distinto.

Andrej Karpathy 00:14:42

No estoy del todo de acuerdo, pero sigue desarrollando tu idea.

Dwarkesh Patel 00:14:44

Bueno, quiero entender cómo se rompe esa analogía.

Andrej Karpathy 00:14:48

Dudaría en decir que el aprendizaje en contexto no hace descenso de gradiente. Lo que no hace es descenso de gradiente explícito. El aprendizaje en contexto es completar patrones dentro de una ventana de tokens. Resulta que hay una enorme cantidad de patrones en internet. Tienes razón. El modelo aprende a completar patrones, y eso está en los pesos. Los pesos de la red neuronal intentan descubrir patrones y completar patrones. Hay una adaptación que ocurre dentro de la red neuronal, que es mágica y simplemente emerge de internet. Porque hay muchos patrones.

Te diré que hay artículos interesantes que analizan el mecanismo detrás del aprendizaje en contexto. Creo que es posible que el aprendizaje en contexto esté ejecutando pequeños bucles de descenso de gradiente dentro de las capas de la red neuronal. Un artículo que recuerdo en particular hacía regresión lineal usando aprendizaje en contexto. La entrada a la red neuronal son pares XY. XY, XY, XY en una línea. Luego das X y esperas Y. La red neuronal, cuando se entrena de esta manera, hace regresión lineal.

Normalmente, cuando ejecutas regresión lineal, tienes un pequeño optimizador de descenso de gradiente que observa XY, ve el error, calcula el gradiente de los pesos y hace algunas actualizaciones. Resulta que, cuando observaron los pesos de ese algoritmo de aprendizaje en contexto, encontraron cierta similitud con el mecanismo de descenso de gradiente. De hecho, creo que el artículo era aún más fuerte: codificaron rígidamente los pesos de la red neuronal para hacer descenso de gradiente a través de la atención y de todos los componentes internos de la red neuronal.

Ese es mi único contraargumento. Nadie sabe cómo funciona el aprendizaje en contexto, pero quizá internamente está haciendo una especie de descenso de gradiente extraño. Creo que eso es posible. Solo estoy cuestionando que digas que no hace aprendizaje en contexto. Nadie sabe qué está haciendo, pero probablemente esté haciendo algo parecido. Pero no lo sabemos.

Dwarkesh Patel 00:16:39

Entonces, si tanto el aprendizaje en contexto como el preentrenamiento están implementando algo parecido al descenso de gradiente, ¿por qué se siente como si en el aprendizaje en contexto sí llegáramos a este aprendizaje continuo, a una inteligencia real? Mientras que con el puro preentrenamiento no se siente algo similar. Se podría plantear así.

Si es el mismo algoritmo, ¿qué podría ser diferente? Una forma de pensarlo es cuánta información almacena el modelo por cada unidad de información que recibe durante el entrenamiento. Si miras el preentrenamiento, por ejemplo en Llama 3, supongamos que fue entrenado con 15 billones de tokens. Si tomas el modelo 70B, eso equivaldría a 0.07 bits por token visto en el preentrenamiento, en términos de los tokens leídos en comparación con la información contenida en los pesos del modelo. En cambio, si miras la KV cache y cuánto aumenta por cada token adicional en el aprendizaje en contexto, son como 320 kilobytes. O sea, hay una diferencia de 35 millones de veces en la cantidad de información que el modelo asimila por token. Me pregunto si eso tiene relación.

Andrej Karpathy 00:17:46

Hasta cierto punto estoy de acuerdo. La forma en que normalmente lo expreso es que todo lo que ocurre durante el entrenamiento de una red neuronal no es más que un recuerdo difuso del conocimiento, de lo que pasó durante el tiempo de entrenamiento. Porque la compresión es dramática. Tomas 15 billones de tokens y los comprimes en una red neuronal final de decenas de miles de millones de parámetros. Claramente está ocurriendo una cantidad enorme de compresión. Por eso yo lo llamo un recuerdo difuso de documentos de internet.

En cambio, todo lo que ocurre en la ventana de contexto de la red neuronal —meter todos los tokens y construir todas las representaciones de la KV cache— está disponible de manera muy directa para la red neuronal. Por eso comparo la KV cache y lo que ocurre en tiempo de prueba con algo más parecido a la memoria de trabajo. Todo lo que está en la ventana de contexto es muy accesible de forma directa para la red neuronal.

Siempre hay estas similitudes casi sorprendentes entre los LLM y los humanos. A mí me parecen sorprendentes, porque no estamos intentando construir directamente un cerebro humano. Solo estamos haciendo esto porque descubrimos que funciona. Pero siento que todo lo que está en los pesos es un recuerdo difuso de algo que leíste hace un año. Todo lo que le das como contexto en tiempo de prueba está directamente en la memoria de trabajo. Es una analogía muy poderosa para pensar cómo funciona esto.

Por ejemplo, si vas a un LLM y le preguntas sobre algún libro, sobre qué sucede en él, como el libro de Nick Lane, el LLM muchas veces te dará algo más o menos correcto. Pero si le das el capítulo completo y luego haces la pregunta, vas a obtener un resultado mucho mejor. Porque ahora está cargado en la memoria de trabajo del modelo. Así que esta es una forma larga de decir que sí, estoy de acuerdo, y esa es la razón.

Dwarkesh Patel 00:19:11

Dando un paso atrás, ¿cuál es la parte de la inteligencia humana que más hemos fracasado en replicar con este tipo de modelos?

Andrej Karpathy 00:19:20

Simplemente, muchas partes. Una manera de pensarlo es que, no sé si esta sea la mejor forma de verlo, pero casi —otra vez, hacer este tipo de analogías es imperfecto— siento que con las redes neuronales transformer nos topamos por accidente con algo extremadamente poderoso y muy general. Puedes entrenar transformers para audio, video, texto, lo que quieras, y aprenden patrones, son muy poderosos y funcionan realmente bien. Para mí, eso casi indica que esto es alguna parte del tejido cortical. Eso parece. Porque la corteza es famosa por ser muy plástica. Puedes recablear partes del cerebro. Hubo experimentos algo inquietantes donde reconectaban la corteza visual con la corteza auditiva, y ese animal aprendía bien.

Así que creo que esto es tejido cortical. Cuando haces razonamiento y planificación dentro de la red neuronal, cuando haces trazas de razonamiento para un modelo de pensamiento, eso se parece un poco a la corteza prefrontal. Tal vez esas sean pequeñas casillas marcadas, pero sigo pensando que hay muchas partes y núcleos del cerebro que no hemos explorado. Por ejemplo, están los ganglios basales, donde haces algo de aprendizaje por refuerzo cuando ajustas un modelo con aprendizaje por refuerzo. Pero ¿dónde está el hipocampo? No está claro qué sería eso. Algunas partes quizá no importen. Tal vez el cerebelo no sea importante para la cognición, no sea importante para pensar, así que quizá algunas cosas podamos saltárnoslas. Pero aun así creo que, por ejemplo, está la amígdala, todas las emociones e instintos. Probablemente hay muchos otros núcleos muy antiguos del cerebro que en realidad no hemos replicado.

No creo que debamos perseguir la idea de construir un análogo del cerebro humano. En el fondo, soy principalmente ingeniero. Tal vez otra forma de responder la pregunta es que yo no contrataría esto como pasante. Todavía le faltan muchas cosas. Viene con muchas deficiencias cognitivas que todos intuimos cuando hablamos con los modelos. Así que todavía no está completamente ahí. Puedes verlo como que todavía no se han marcado todas las casillas de las partes del cerebro.

Dwarkesh Patel 00:21:16

Esto puede estar relacionado con la pregunta de qué tan rápido se resolverán estos problemas. A veces la gente dice sobre el aprendizaje continuo: “Mira, esta capacidad se puede replicar fácilmente. Así como el aprendizaje en contexto emergió espontáneamente como resultado del preentrenamiento, el aprendizaje continuo a lo largo de horizontes más largos también emergerá espontáneamente si se incentiva al modelo a recordar información durante horizontes más largos, más allá de una sola sesión”. Así que, si hubiera un RL de bucle externo con muchas sesiones dentro de ese bucle externo, entonces este aprendizaje continuo —ya sea afinándose a sí mismo o escribiendo en una memoria externa— simplemente emergería espontáneamente. ¿Te parecen plausibles ese tipo de cosas? Yo no tengo una intuición previa sobre qué tan plausible es eso. ¿Qué tan probable te parece?

Andrej Karpathy 00:22:07

No conecto del todo con eso. Estos modelos, cuando arrancan con 0 tokens en la ventana, siempre vuelven a empezar desde cero, desde donde estaban. Así que no sé cómo se vería eso en ese marco. Si hacemos una analogía ligera con los humanos —que creo que es más o menos concreta e interesante de pensar—, cuando estoy despierto siento que voy construyendo la ventana de contexto de las cosas que ocurren durante el día. Pero cuando duermo, pasa algo mágico y no creo que esa ventana de contexto permanezca. Hay algún proceso que lo destila en los pesos del cerebro. Esto pasa durante el sueño y cosas así.

Los modelos de lenguaje grandes no tienen nada equivalente a eso. Para mí, eso está más cerca de lo que falta cuando hablamos de aprendizaje continuo. Estos modelos realmente no tienen una etapa de destilación en la que tomen lo ocurrido, lo analicen de forma obsesiva, lo piensen, hagan algún proceso de generación de datos sintéticos y luego lo vuelvan a destilar en los pesos. Y probablemente tienen una red neuronal específica por persona. Quizá sea LoRA. No es toda la red de pesos, sino solo algún pequeño subconjunto disperso de pesos que cambia.

Pero sí queremos encontrar formas de crear estos individuos con contextos muy largos. No es solo que se quede en la ventana de contexto porque esa ventana de contexto crece muchísimo. Quizá también tengamos una atención dispersa muy sofisticada para eso. Pero sigo pensando que los humanos claramente tienen algún proceso que destila parte de ese conocimiento en los pesos. Eso nos falta. También creo que los humanos tienen un sistema de atención dispersa muy sofisticado, del cual creo que estamos empezando a ver algunas pistas iniciales. Acaba de salir DeepSeek v3.2 y vi que tienen sparse attention. Por ejemplo, esa es una forma de tener ventanas de contexto muy, muy largas. Así que siento que estamos rehaciendo muchos de los trucos cognitivos a los que la evolución llegó, aunque mediante procesos muy distintos. Pero vamos a converger hacia arquitecturas cognitivamente similares.

Dwarkesh Patel 00:24:02

¿Crees que dentro de 10 años seguirá siendo algo como un transformer? Pero con una atención mucho más modificada y MLP más dispersos, etc.?

Andrej Karpathy 00:24:10

La forma en que lo pienso es en términos de invariancia traslacional en el tiempo. ¿Dónde estábamos hace 10 años? En 2015. En 2015 teníamos principalmente redes neuronales convolucionales, y las redes residuales apenas acababan de aparecer. Sorprendentemente similares, pero aun así bastante distintas. Los transformers todavía no existían. Tampoco existían estos ajustes más modernos sobre los transformers. Tal vez una de las apuestas que sí podemos hacer es que, con esa misma equivalencia traslacional, dentro de 10 años seguiremos entrenando redes neuronales gigantes con forward pass y backward pass y actualizaciones mediante descenso de gradiente. Pero probablemente se verá un poco diferente, y todo será mucho más grande.

Hace poco volví unos años atrás, hasta 1989, y fue un ejercicio divertido para mí. Estaba reproduciendo la red convolucional de Yann LeCun de 1989. Hasta donde yo sé, fue la primera red neuronal entrenada con descenso de gradiente. Una red neuronal moderna para reconocimiento de dígitos entrenada con descenso de gradiente. Me interesaba cómo podía modernizarse eso. ¿Cuánto de esto es algoritmo? ¿Cuánto es datos? ¿Cuánto de este progreso es cómputo y sistemas? Muy rápido pude recortar a la mitad el aprendizaje mediante un viaje en el tiempo de 33 años.

Así que, viajando 33 años en el tiempo a nivel de algoritmo, pude ajustar lo que hizo Yann LeCun en 1989 y reducir el error a la mitad. Pero para obtener ganancias mayores, tuve que añadir muchos más datos, multiplicar por 10 el conjunto de entrenamiento y añadir muchas más optimizaciones de cómputo. También tuve que entrenar durante mucho más tiempo, con dropout y otras técnicas de regularización.

Así que todo eso tiene que mejorar al mismo tiempo. Probablemente tendremos muchos más datos, hardware mucho mejor, kernels y software mucho mejores para ejecutar ese hardware y maximizar lo que obtenemos de él, y mejores algoritmos. Todo eso; no parece que ninguno de esos factores gane por demasiado. Todos son sorprendentemente parejos. Esa ha sido la tendencia desde hace tiempo.

Entonces, para responder la pregunta, sí espero que haya diferencias algorítmicas con respecto a lo que está ocurriendo hoy. Pero también espero que algunas de las cosas que han seguido ahí durante muchísimo tiempo probablemente sigan estando. Probablemente seguirán siendo redes neuronales gigantes entrenadas con descenso de gradiente. Esa es mi apuesta.

Dwarkesh Patel 00:26:16

Me sorprende que, juntando todo, solo hayas reducido el error a la mitad, con 30 años de progreso... aunque la mitad puede ser mucho. Porque si reduces el error a la mitad, eso en realidad...

Andrej Karpathy 00:26:30

La mitad es mucho. Pero lo que me impactó fue que todo tenía que mejorar de manera general: la arquitectura, el optimizador, la función de pérdida. Además, todo eso ha venido mejorando de forma generalizada desde siempre. Así que espero que todos esos cambios sigan vivos y coleando.

Dwarkesh Patel 00:26:43

Sí. Quería hacer una pregunta muy parecida sobre nanochat. Como lo codificaste hace poco, todo el proceso de construir un chatbot está fresco en tu RAM. Me pregunto si tuviste una reflexión similar de “ah, no había nada irrelevante en todo esto” al pasar de GPT-2 a nanochat. ¿Cuál fue la lección sorprendente de esa experiencia?

Andrej Karpathy 00:27:08

¿Sobre construir nanochat? nanochat es un repositorio que publiqué. ¿Fue ayer o antier? No me acuerdo.

Dwarkesh Patel 00:27:15

Parece que podemos ver las consecuencias de la falta de sueño...

Andrej Karpathy 00:27:18

La idea es que sea el repositorio más simple y completo que cubra todo el pipeline para construir un clon de ChatGPT de principio a fin. Así que no solo tiene pasos individuales, sino todos los pasos, y son bastantes. En el pasado trabajé en todos los pasos por separado y, en el sentido algorítmico, publiqué pequeños fragmentos de código que muestran cómo hacerlo con código simple. Pero esto cubre el pipeline completo. En términos de aprendizaje, no estoy seguro de haber aprendido necesariamente algo de eso. Ya tenía en la cabeza cómo construirlo. Esto fue más bien el proceso mecánico de hacerlo y dejarlo lo suficientemente ordenado para que la gente pueda aprender y le resulte útil.

Dwarkesh Patel 00:28:04

¿Cuál sería la mejor manera para que alguien aprenda de eso? ¿Borrar todo el código e intentar reimplementarlo desde cero, tratar de agregar modificaciones?

Andrej Karpathy 00:28:10

Buena pregunta. Básicamente son unas 8,000 líneas de código que recorren todo el pipeline de principio a fin. Yo probablemente lo pondría en el monitor de la derecha. Si tienes dos monitores, lo pones a la derecha. Y si quieres construirlo desde cero, empiezas desde cero. No se permite copiar y pegar; se permite consultar, pero no copiar y pegar. Probablemente así lo haría yo.

Pero también creo que el repositorio en sí es un monstruo bastante grande. Cuando escribes este código, no avanzas de arriba hacia abajo, sino por bloques, y vas haciendo crecer esos bloques, y esa información no está ahí. No sabrías por dónde empezar. Así que no solo se necesita el repositorio final, sino también la construcción del repositorio, y eso es un proceso complejo de crecimiento por bloques. Así que esa parte todavía no está. Tal vez quiera añadirla más adelante esta semana. Quizá sea un video o algo así. A grandes rasgos, eso es lo que intento hacer. Constrúyelo tú mismo, pero no te permitas copiar y pegar.

Creo que casi hay dos tipos de conocimiento. Está el conocimiento superficial de alto nivel, pero cuando construyes algo desde cero, te ves obligado a enfrentarte a lo que no entiendes y a cosas que ni siquiera sabías que no entendías.

Eso siempre conduce a una comprensión más profunda. Es la única forma de construir. Si no puedes construirlo, no lo entiendes. Creo que esa es una cita de Feynman. Yo siempre he creído eso con mucha fuerza. Porque hay todas estas pequeñas cosas desalineadas, y en realidad no tienes el conocimiento. Solo crees que lo tienes. Así que no escribas una entrada de blog, no hagas diapositivas, no hagas ese tipo de cosas. Escribe el código, ordénalo y haz que funcione. Esa es la única manera de avanzar. Si no, te falta conocimiento.

00:29:45 – Discapacidad cognitiva de los LLM

Dwarkesh Patel 00:29:45

Tuiteaste que los modelos de codificación casi no te ayudaron a ensamblar este repositorio. Me pregunto por qué fue así.

Andrej Karpathy 00:29:53

Diría que me tomó algo más de un mes construir el repositorio. Y diría que hoy en día hay tres clases principales en la forma en que la gente interactúa con el código. Algunas personas rechazan por completo los LLM y simplemente escriben todo desde cero. Probablemente esa ya no sea la forma correcta.

La parte intermedia es donde estoy yo: todavía escribo muchas cosas desde cero, pero ahora uso autocompletado útil de estos modelos. Empiezas a escribir un fragmento pequeño, te lo completa automáticamente y puedes avanzar con tab. La mayoría de las veces acierta, a veces se equivoca, y entonces lo editas. Pero sigues siendo el arquitecto de lo que estás escribiendo. Luego está el vibe coding: “hola, implementa esto o aquello”, enter, y dejas que el modelo lo haga. Eso es un agente.

Siento que los agentes funcionan en configuraciones muy específicas y que se van a usar en configuraciones específicas. Pero todas estas son herramientas utilizables, y hay que aprender para qué sirven bien, para qué no sirven bien y cuándo usarlas. Por ejemplo, los agentes son bastante buenos para trabajo repetitivo. Código de plantilla que básicamente es copiar y pegar, ese tipo de cosas se les da muy bien. También se les da muy bien lo que ocurre muy a menudo en internet, porque hay muchos ejemplos en el conjunto de entrenamiento de estos modelos. Hay ciertas características de lo que un modelo va a hacer muy bien.

Diría que nanochat no es uno de esos casos, porque es un repositorio bastante único. No hay tanto código estructurado de la manera en que yo lo estructuré. No es código de plantilla. Es código intelectualmente intensivo, y todo tiene que estar dispuesto con mucha precisión. Los modelos tienen demasiadas fallas cognitivas. Por ejemplo, seguían malinterpretando el código porque tienen demasiados recuerdos de todos los métodos comunes de internet que yo no adopté. Por ejemplo —no sé si quiero entrar en todos los detalles— seguían pensando que yo estaba escribiendo código convencional, pero no era así.

Dwarkesh Patel 00:31:49

¿Tal vez un ejemplo?

Andrej Karpathy 00:31:51

Tienes 8 GPU y todas están haciendo forward y backward. Una forma de sincronizar los gradientes entre ellas es usar el contenedor Distributed Data Parallel de PyTorch, que empieza a comunicarse automáticamente durante el backward y sincroniza los gradientes. Yo no usé DDP. Porque no quería usarlo. No lo necesito. Lo descarté y escribí mi propia rutina de sincronización dentro del paso del optimizador. Los modelos intentaban hacer que yo usara el contenedor DDP. Estaban muy preocupados. Esto ya se pone muy técnico, pero yo no usé ese contenedor, porque no lo necesito y tengo una implementación personalizada de algo parecido.

Dwarkesh Patel 00:32:26

No podían internalizar que ya tenías lo tuyo.

Andrej Karpathy 00:32:28

No podían superar eso. Seguían intentando arruinar el estilo. Son demasiado sobreprotectores. Generan todo tipo de bloques try-catch. Siguen intentando construir una base de código de producción, pero mi código tiene muchas suposiciones, y eso está bien. No necesita todas esas cosas extra. Así que siento que inflan la base de código, inflan la complejidad, siguen malinterpretando, y usan APIs que llevan años en desuso. Es un desastre total. Puedes entrar y limpiarlo, pero netamente no resulta útil.

Además, me parece molesto tener que escribir en inglés lo que quiero, porque implica demasiado tecleo. Si voy a la parte del código que quiero, me posiciono donde debería aparecer y empiezo a escribir las primeras letras, el autocompletado entiende y me da el código. Esa es una forma de especificar lo que quieres con un ancho de banda de información muy alto. Señalas el código que quieres, escribes los primeros fragmentos y el modelo lo completa.

Quiero decir, estos modelos son buenos en ciertas partes del stack. Tengo dos ejemplos de uso que me parecen ilustrativos. Uno fue cuando generé un reporte. Eso era más tipo plantilla, así que una parte la hice medio con vibe coding. Y como no era algo crítico para la misión, estuvo bien y funciona bien.

La otra parte fue cuando reescribí el tokenizador en Rust. No soy muy bueno en Rust. Rust es relativamente nuevo para mí. Así que hubo un poco de vibe coding al escribir código en Rust. Pero yo tenía una implementación en Python que entendía completamente, me estaba asegurando de construir una versión más eficiente, y tenía pruebas, así que sentía que era más seguro hacer ese tipo de cosas. Te dan más accesibilidad a lenguajes o paradigmas con los que quizá no estás familiarizado. Ahí también me parecen muy útiles. Hay mucho código en Rust y a los modelos se les da bastante bien. Como yo no sé mucho del tema, los modelos me resultan muy útiles ahí.

Dwarkesh Patel 00:34:23

La razón por la que esta pregunta es tan interesante es que la narrativa principal sobre llegar muy rápido a una explosión de IA y a la superinteligencia es que la IA automatiza la ingeniería e investigación en IA. Ven que tienen Claude Code y que pueden crear desde cero aplicaciones completas, aplicaciones CRUD, y piensan: “si tuvieras esa misma capacidad dentro de OpenAI y DeepMind, imagina miles de versiones tuyas o un millón de versiones tuyas en paralelo buscando pequeños ajustes de arquitectura”.

Es muy interesante oírte decir que justo en eso son asimétricamente peores. Eso es bastante relevante para predecir si una explosión tipo AI 2027 podría ocurrir pronto.

Andrej Karpathy 00:35:05

Esa es una buena forma de decirlo, y entiendo por qué mi cronograma es un poco más largo. Tienes razón. No son tan buenos con código que no se ha escrito antes. Esa quizá sea una forma de expresarlo, y es justo lo que tratamos de lograr cuando construimos estos modelos.

Dwarkesh Patel 00:35:19

Pregunta muy ingenua, pero los ajustes de arquitectura que estás agregando a nanochat están en algún paper, ¿no? Incluso podrían estar en algún repositorio. Si les dices “agrega embeddings RoPE”, ¿no te sorprende que lo hagan de la manera incorrecta?

Andrej Karpathy 00:35:42

Es difícil. Lo saben, pero no lo saben del todo. No saben cómo integrarlo por completo con el repositorio, con tu estilo, con tu código, con tu contexto, con algunas de las personalizaciones que estás haciendo y con todas las suposiciones del repositorio. Tienen algo de conocimiento, pero no han llegado al punto de poder integrarlo y entenderlo.

Muchas cosas siguen mejorando. El modelo de frontera que uso ahora mismo es GPT-5 Pro, y es un modelo muy potente. Si tienes 20 minutos, copias y pegas todo el repositorio y vas con GPT-5 Pro, el oráculo, y le haces unas preguntas. A menudo no está tan mal, y comparado con lo que existía hace un año es sorprendentemente bueno.

En general, los modelos aún no están ahí. Siento que la industria está dando un salto demasiado grande y fingiendo que esto es increíble, pero no lo es. Es slop. No están enfrentándolo, y quizá estén tratando de levantar financiamiento o algo así. No sé qué está pasando, pero estamos en esta etapa intermedia. Los modelos son increíbles. Aun así, todavía hace falta mucho trabajo. Por ahora, el autocompletado es mi punto ideal. Pero a veces, para ciertos tipos de código, sí recurro a un agente LLM.

Dwarkesh Patel 00:36:53

Hay otra razón por la que esto es realmente interesante. A lo largo de la historia de la programación ha habido muchos aumentos de productividad —compiladores, linting, mejores lenguajes de programación— que elevaron la productividad de los programadores, pero no llevaron a una explosión. Eso suena mucho al tab de autocompletado, y esta otra categoría es simplemente automatización del programador. Es interesante que lo veas más dentro de la categoría de analogías históricas como un mejor compilador o algo por el estilo.

Andrej Karpathy 00:37:26

Probablemente esto lleve a una idea distinta. Para mí es difícil distinguir dónde empieza y dónde termina la IA, porque en el fondo la veo como una extensión de la computación de una manera bastante fundamental. Veo un continuo en esto. Un continuo desde el comienzo de la mejora recursiva de uno mismo o de acelerar al programador: cosas como editores de código, resaltado de sintaxis o verificación de tipos, comprobación de tipos de datos; todas estas herramientas que hemos construido unos para otros.

Incluso los motores de búsqueda. ¿Por qué un motor de búsqueda no sería parte de la IA? El ranking es IA. En cierto momento, Google incluso al principio se consideraba a sí misma una empresa de IA que hacía el motor de búsqueda de Google. Y eso es totalmente válido.

Yo lo veo mucho más como un continuo que otras personas. Para mí es difícil trazar una línea. Ahora tenemos autocompletado mucho mejor, y ahora también tenemos algunos agentes que hacen estas cosas iterativas, aunque a veces se descarrilan. Lo que está ocurriendo es que los humanos, poco a poco, hacemos un poco menos de las cosas de bajo nivel. No escribimos código ensamblador, porque existen los compiladores. El compilador toma un lenguaje de alto nivel como C y va a escribir el código ensamblador.

Nos estamos abstrayendo a nosotros mismos muy, muy lentamente. Tengo algo que llamo el “slider de autonomía”, donde cada vez se automatizan más cosas —entre las cosas que en algún momento pueden automatizarse—, nosotros hacemos un poco menos y nos elevamos a una capa de abstracción por encima de la automatización.

00:40:05 – RL es terrible

Dwarkesh Patel 00:40:05

Hablemos un poco de RL. Tuiteaste cosas muy interesantes sobre esto. Conceptualmente, ¿cómo deberíamos pensar en la manera en que los humanos pueden construir modelos del mundo ricos solo interactuando con el entorno? Y de una forma que parece casi no estar relacionada con la recompensa final al término del episodio.

Si alguien empieza un negocio y 10 años después descubre si fue un éxito o un fracaso, decimos que esa persona ganó mucha sabiduría y experiencia. Pero no es porque la log-probabilidad de cada cosa individual que ocurrió durante esos 10 años haya sido ponderada hacia arriba o hacia abajo. Está ocurriendo algo mucho más intencional y rico. ¿Cuál es la analogía en ML y cómo se compara con lo que estamos haciendo ahora con los LLM?

Andrej Karpathy 00:40:47

Quizá la forma en que yo lo diría es que los humanos no usan aprendizaje por refuerzo. Como dije. Creo que hacen otra cosa. El aprendizaje por refuerzo es mucho peor de lo que la persona promedio cree. El aprendizaje por refuerzo es terrible. Solo pasó porque todo lo que teníamos antes era mucho peor. Porque antes simplemente estábamos imitando a las personas, y por eso existían todos estos problemas.

En aprendizaje por refuerzo, digamos que estás resolviendo un problema de matemáticas. Porque es muy simple. Te dan un problema de matemáticas e intentas encontrar la solución. En aprendizaje por refuerzo, primero vas a probar muchas cosas en paralelo. Te dan el problema y haces cientos de intentos distintos. Estos intentos pueden ser complejos. Pueden ser: “probemos esto, probemos aquello, esto no funcionó, aquello no funcionó”, etcétera. Y luego quizá obtienes la respuesta. Ahora revisas la parte de atrás del libro y ves: “Bien, esta es la respuesta correcta”. Puedes ver que esto, esto y aquello dieron la respuesta correcta, pero estos otros 97 no. Lo que literalmente hace el aprendizaje por refuerzo es ir hacia las cosas que realmente funcionaron bien, y cada cosa individual que ocurrió en el proceso, cada token individual, recibe una ponderación al alza como diciendo: “haz más de esto”.

El problema con eso es que la gente dirá que tu estimador tiene alta varianza, pero en realidad es solo ruido. Es ruido. Casi asume que cada pequeño fragmento de una solución que terminó llegando a la respuesta correcta fue lo correcto que había que hacer, y eso no es cierto. Pudiste haberte metido en callejones sin salida antes de llegar a la respuesta correcta. Mientras obtengas la respuesta correcta, cada una de esas cosas incorrectas que hiciste recibirá una ponderación al alza de “haz más de esto”. Es terrible. Es ruido.

Hiciste todo este trabajo y al final obtienes un solo número, un “oh, estuvo bien”. A partir de eso, ponderas toda la trayectoria subiéndola o bajándola. La forma en que me gusta decirlo es que estás absorbiendo supervisión a través de un popote. Hiciste todo este trabajo, que podría ser un rollout de un minuto, y estás absorbiendo los bits de supervisión de la señal de recompensa final a través de un popote, y luego los difundes por toda la trayectoria y los usas para ponderar esa trayectoria hacia arriba o hacia abajo. Es simplemente algo tonto y loco.

Los humanos nunca harían esto. Primero, un humano nunca haría cientos de rollouts. Segundo, cuando una persona encontró una solución, tendría un proceso de revisión bastante complejo, como: “Bien, creo que estas partes estuvieron bien, y estas otras no tanto. Tal vez debería haber hecho esto o aquello”. Piensan en las cosas. Los LLM actuales no tienen nada de eso. No tienen nada equivalente. Pero estoy viendo que están apareciendo papers. Están apareciendo papers que intentan hacer eso. Porque esto es obvio para todo el mundo en el campo.

La primera imitación de aprendizaje, por cierto, fue extremadamente sorprendente y milagrosa y asombrosa. Que pudieras afinar mediante imitación de humanos. Eso fue increíble. Porque al principio, todo lo que teníamos era el modelo base. El modelo base es autocompletado. En ese momento no era obvio para mí, y tuve que aprenderlo. El paper que me voló la cabeza fue InstructGPT. Porque señalaba que si tomas un modelo preentrenado, es decir, autocompletado, y lo afinas con texto que parece conversación, el modelo se adapta muy rápido, se vuelve muy conversacional y conserva todo el conocimiento del preentrenamiento. Esto me voló la cabeza. Porque estilísticamente, yo no entendía que pudiera ajustarse tan rápido y convertirse en un asistente para el usuario solo mediante unas pocas rondas de fine-tuning sobre ese tipo de datos. Que eso funcionara me parecía muy milagroso. Fue algo increíble. Eso fueron 2 o 3 años de trabajo.

Ahora llegó RL. Y RL te permite hacerlo un poco mejor que el simple aprendizaje por imitación. Porque puedes tener este tipo de función de recompensa y puedes hacer hill climbing sobre esa función de recompensa. Algunos problemas simplemente tienen una respuesta correcta, y puedes hacer hill climbing hacia ella sin imitar trayectorias expertas. Así que eso es increíble. El modelo también puede descubrir soluciones que quizá ningún humano habría pensado jamás. Eso es increíble. Pero sigue siendo tonto.

Necesitamos más. Ayer vi un paper de Google que intentaba tener presente esta idea de reflexión y revisión. ¿Era el paper de Memory Bank? No lo sé. He visto varios papers en esa dirección. Así que espero que las próximas grandes actualizaciones sobre cómo hacer algoritmos para LLM vengan de esa área. Creo que necesitamos tres o cuatro o cinco más, algo así.

Dwarkesh Patel 00:44:54

De verdad eres muy bueno creando frases vívidas. “Absorber supervisión a través de un popote” me encanta.

Entonces, lo que estás diciendo es que el problema con las recompensas basadas en resultados es que tienes esta trayectoria enorme y estás tratando de aprender qué hacer y todo lo posible sobre el mundo a partir de ese único bit final al final. Dado que esto es tan obvio, ¿por qué la supervisión basada en procesos no ha logrado ser una forma exitosa de hacer a los modelos más capaces como alternativa? ¿Qué está impidiendo que se use este paradigma alternativo?

Andrej Karpathy 00:45:29

La supervisión basada en procesos simplemente significa que no solo vamos a tener una función de recompensa al final. No vamos a esperar a que hagas 10 minutos de trabajo para decirte si lo hiciste bien o mal. Te vamos a decir en cada paso qué tan bien lo estás haciendo. La razón por la que no tenemos eso es que es complicado hacerlo bien. Hay soluciones parciales y no sabemos cómo asignar el crédito. Si obtienes la respuesta correcta, eso es simplemente una coincidencia por equivalencia con la respuesta. Es muy sencillo de implementar. Pero si estás haciendo supervisión de procesos, ¿cómo asignas crédito parcial de una manera automatizable? No está claro cómo hacerlo.

Muchos laboratorios están intentando hacerlo con estos jueces LLM. El LLM intenta hacerlo. Le das un prompt al LLM: "Oye, mira la solución parcial del estudiante. Si esta es la respuesta, ¿qué tan bien crees que va?" Y luego intentan ajustar el prompt.

La razón por la que esto es complicado es bastante sutil. Cada vez que usas un LLM para asignar recompensas, esos LLM son cosas enormes con miles de millones de parámetros, y son explotables. Si estás haciendo aprendizaje por refuerzo sobre ellos, casi con seguridad vas a encontrar ejemplos adversarios para esos jueces LLM. Así que no puedes hacer esto por demasiado tiempo. Tal vez si haces 10 o 20 pasos, puede funcionar, pero no puedes hacer 100 o 1,000. Entiendo que no es obvio, pero básicamente el modelo va a encontrar pequeñas grietas. Va a encontrar todas estas cosas espurias en los rincones de un modelo gigante y va a descubrir cómo engañarlo.

Un ejemplo que se me quedó muy grabado, y creo que esto fue público, es que si estás usando un juez LLM para la recompensa, le das una solución de un estudiante y le preguntas si le fue bien o no. Estábamos entrenando con aprendizaje por refuerzo sobre esa función de recompensa, y funcionaba muy bien. Luego, de repente, la recompensa se disparó. Fue un salto enorme, y lo hizo perfecto. Lo ves y piensas: "Vaya, esto significa que el estudiante es perfecto en todos estos problemas. Ya resolvió por completo las matemáticas".

Pero cuando miras las completions que estás obteniendo del modelo, son un sinsentido total. Empiezan más o menos bien y luego se convierten en "dhdhdhdh". Es simplemente: "Oh, bien, tomas 2 más 3 y haces esto y aquello, y luego dhdhdhdh". Y cuando lo ves, piensas: esto es una locura. ¿Cómo está obteniendo una recompensa de 1 o del 100%? Revisas al juez LLM y resulta que "dhdhdhdh" es un ejemplo adversario para el modelo, y le asigna una probabilidad del 100%.

Simplemente porque esto es un ejemplo fuera de muestra para el LLM. Nunca vio eso durante el entrenamiento y está en una zona de pura generalización. Nunca lo vio durante el entrenamiento, y en esa región de pura generalización, puedes encontrar este tipo de ejemplos que lo rompen.

Dwarkesh Patel 00:47:52

Básicamente están entrenando al LLM para que sea un modelo de inyección de prompts.

Andrej Karpathy 00:47:56

Ni siquiera eso. La inyección de prompts es demasiado sofisticada. Estamos buscando ejemplos adversarios, como les llaman. Estas son respuestas obviamente incorrectas y absurdas, pero el modelo cree que son increíbles.

Dwarkesh Patel 00:48:07

Si piensas que este es el cuello de botella para hacer que RL sea más funcional, entonces para hacerlo de forma automatizada habría que convertir al LLM en un mejor juez. ¿Hay que hacer algún enfoque tipo GAN para volver más robusto al modelo?

Andrej Karpathy 00:48:22

Los laboratorios probablemente están haciendo todo eso. Lo obvio es que "dhdhdhdh" no debería recibir una recompensa del 100%. Bien, tomas "dhdhdhdh", lo metes en el conjunto de entrenamiento del juez LLM y dices que esto no es 100%, sino 0%. Puedes hacer eso, pero cada vez que lo haces obtienes un nuevo LLM y sigues teniendo ejemplos adversarios. Hay una cantidad infinita de ejemplos adversarios.

Tal vez si iteras eso varias veces, cada vez será más difícil encontrar ejemplos adversarios. Pero no estoy 100% seguro. Porque esto tiene un billón de parámetros o algo así. Te garantizo que los laboratorios lo están intentando. Aun así, creo que todavía necesitamos ideas distintas.

Dwarkesh Patel 00:48:57

Interesante. ¿Tienes alguna idea de qué forma podrían tener esas otras ideas?

Andrej Karpathy 00:49:02

Está esta idea de revisar soluciones e incluir ejemplos sintéticos, de modo que, al entrenar con ellos, mejoras y haces una especie de metaaprendizaje de alguna manera. Creo que ya hay algunos papers que están arrancando con eso. Yo estoy en la etapa de solo leer los resúmenes. Porque muchos de estos papers son solo ideas. Alguien tiene que lograr que eso funcione con total generalidad a escala de un laboratorio frontier de LLM. Porque cuando veo estos papers, aparecen y son un poco ruidosos. Son ideas geniales, pero no he visto a nadie mostrar de forma convincente que esto sea posible. Dicho eso, los laboratorios de LLM son bastante cerrados, así que nadie sabe realmente qué están haciendo ahora mismo.

00:49:38 – ¿Cómo aprenden los humanos?

Dwarkesh Patel 00:49:38

Puedo conceptualizar una forma de entrenar con ejemplos sintéticos o con problemas sintéticos que uno mismo crea. Pero parece que los humanos hacen otra cosa —quizá eso sea el sueño, quizá eso sea soñar despierto— donde no necesariamente generan problemas falsos, sino que simplemente reflexionan.

No estoy seguro de cuál sería la analogía en ML para soñar despierto o dormir, o simplemente reflexionar. No estaba creando un problema nuevo. Obviamente, una analogía muy básica sería hacer fine-tuning sobre fragmentos de reflexión, pero tengo la sensación de que en realidad eso probablemente no funcionaría tan bien. ¿Tienes alguna idea de cuál sería la analogía aquí?

Andrej Karpathy 00:50:17

Creo que ahí nos estamos perdiendo algunos aspectos. Por ejemplo, mira lo de leer un libro. Cuando un LLM actual está leyendo un libro, lo que eso significa es que despliegas una secuencia de texto, el modelo predice el siguiente token y obtiene algo de conocimiento a partir de eso. En realidad, eso no es lo que hacen los humanos. Cuando estás leyendo un libro, no sientes que el libro sea una explicación a la que hay que poner atención y con la que hay que entrenarse. El libro es un conjunto de prompts para generar datos sintéticos, o para ir a un club de lectura y hablar de eso con tus amigos. Es al manipular esa información como realmente adquieres ese conocimiento. No hay nada equivalente en los LLM. En realidad no hacen eso. Me gustaría que existiera alguna etapa durante el preentrenamiento en la que pensaran sobre el material e intentaran reconciliarlo con lo que ya saben, dedicaran algo de tiempo a pensarlo y hicieran que eso funcionara. Nada de esto tiene un equivalente. Todo esto es investigación.

Hay razones muy sutiles —que creo que son muy difíciles de entender— de por qué esto no es trivial. Si pudiera explicar una: ¿por qué no podemos simplemente generar sintéticamente y entrenar con eso? Si le das al modelo una generación sintética donde piensa sobre el libro, lo ves y piensas: "Esto se ve excelente. ¿Por qué no podemos entrenar con eso?" Puedes intentarlo, pero si lo sigues intentando, el modelo va a empeorar mucho. Eso se debe a que todas las muestras que obtienes del modelo colapsan silenciosamente. Silenciosamente: no es obvio cuando miras ejemplos individuales. Ocupan una variedad muy pequeña dentro del espacio de pensamientos posibles. Los LLM, cuando salen, vienen en lo que llamamos un estado colapsado. Tienen una distribución de datos colapsada. Una forma fácil de verlo es ir a ChatGPT y pedirle: "Cuéntame un chiste". Solo tiene 3 chistes. No te da todo el ancho de banda posible de chistes. Conoce 3 chistes. Están silenciosamente colapsados.

No estamos obteniendo de estos modelos la misma riqueza, diversidad y entropía que obtenemos de los humanos. Los humanos tienen mucho más ruido, pero al menos no están sesgados, en el sentido estadístico. No colapsaron silenciosamente. Mantienen una enorme cantidad de entropía. Entonces, ¿cómo se preserva la entropía mientras se logra que la generación de datos sintéticos funcione a pesar del colapso? Ese es un problema de investigación.

Dwarkesh Patel 00:52:20

Solo para asegurarme de que entendí bien, ¿la razón por la que el colapso está relacionado con la generación de datos sintéticos es porque quieres poder producir problemas sintéticos o reflexiones que no estén ya en la distribución de datos?

Andrej Karpathy 00:52:32

Quiero decir, si tienes un capítulo de un libro y le pides al LLM que piense sobre eso, te va a dar algo que parece muy razonable. Pero si le preguntas 10 veces, te darás cuenta de que todo es lo mismo.

Dwarkesh Patel 00:52:44

Entonces está diciendo que no puedes seguir escalando la "reflexión" para la misma cantidad de información del prompt y obtener rendimientos de eso.

Andrej Karpathy 00:52:54

Las muestras individuales se ven bien, pero su distribución es bastante terrible. Es bastante terrible en el sentido de que, si sigues entrenando demasiado sobre sus propias salidas, en realidad colapsa.

Creo que puede que no haya una solución fundamental para esto. También creo que los humanos colapsan con el tiempo. Estas analogías son sorprendentemente buenas. Los humanos colapsan a lo largo de su vida. Por eso los niños, todavía, no están sobreajustados. Dicen cosas que pueden dejarte en shock. Porque puedes ver de dónde vienen, pero simplemente no es el tipo de cosa que la gente suele decir. Porque todavía no han colapsado. Pero nosotros sí. Volvemos a las mismas ideas. Empezamos a decir cada vez más las mismas cosas, la tasa de aprendizaje baja, el colapso sigue empeorando, y luego todo empeora.

Dwarkesh Patel 00:53:39

¿Ha visto este artículo muy interesante sobre cómo los sueños son una forma de prevenir este tipo de sobreajuste y colapso? La razón por la que los sueños serían evolutivamente adaptativos es que te ponen en situaciones extrañas, muy distintas de la realidad cotidiana, para evitar este tipo de sobreajuste.

Andrej Karpathy 00:53:55

Es una idea interesante. Cuando generas cosas en tu cabeza y les prestas atención, creo que estás entrenando con tus propios datos sintéticos. Si lo haces por demasiado tiempo, te desvías de la trayectoria y colapsas demasiado. Siempre tienes que buscar entropía en la vida. Hablar con otras personas es una gran fuente de entropía, ese tipo de cosas. Así que quizá el cerebro también haya desarrollado mecanismos internos para aumentar la cantidad de entropía en ese proceso. Es una idea interesante.

Dwarkesh Patel 00:54:25

Este es un pensamiento todavía muy poco formado, así que solo lo diré y reaccionen. Los mejores aprendices que conocemos, es decir, los niños, son extremadamente malos para recordar información. De hecho, en las etapas más tempranas de la infancia, literalmente se olvidan de todo. Son básicamente amnésicos respecto a todo lo que ocurrió antes de cierta edad. Pero son extremadamente buenos para adquirir nuevos idiomas y aprender del mundo. Tal vez haya algo ahí en poder ver el bosque en vez de los árboles.

En cambio, si lo comparas con el otro extremo del espectro, tienes el preentrenamiento de los LLM, y estos modelos literalmente podrían repetirte palabra por palabra qué sigue en una página de Wikipedia. Pero su capacidad de aprender conceptos abstractos muy rápido, de la manera en que puede hacerlo un niño, es mucho más limitada. Luego los adultos estamos en algún punto intermedio: no tenemos la flexibilidad del aprendizaje infantil, pero sí podemos memorizar hechos e información de una forma que a los niños les resulta más difícil. No sé si hay algo interesante en ese espectro.

Andrej Karpathy 00:55:19

Creo que hay algo muy interesante ahí, 100%. Creo que los humanos tienen mucho más esa capacidad de ver el bosque en vez de los árboles en comparación con los LLM. En realidad no somos tan buenos memorizando, y eso de hecho es una característica. Como no somos tan buenos memorizando, estamos obligados a encontrar patrones en un sentido más general.

Los LLM, en comparación, son extremadamente buenos memorizando. Van a recitar pasajes de todas esas fuentes de entrenamiento. Puedes darles datos completamente absurdos. Puedes hacer hash de cualquier cantidad de texto o algo así, obtener una secuencia totalmente aleatoria. Si los entrenas con eso, incluso con una o dos pasadas, de repente pueden repetirlo todo. Lo van a memorizar. No hay forma de que una persona lea una sola secuencia de números aleatorios y luego pueda recitártela.

Eso no es un bug, es una característica. Porque te obliga a aprender solo los componentes que se pueden generalizar. En cambio, los LLM se distraen con todos los recuerdos de los documentos de preentrenamiento, y eso probablemente les resulta muy distractor en cierto sentido. Por eso, cuando hablo del núcleo cognitivo, quiero quitarles la memoria de la que hemos hablado. Me gustaría que tuvieran menos memoria, que tuvieran que buscar las cosas y que conservaran solo los algoritmos para pensar, la idea de experimentar y todo el pegamento cognitivo de la acción.

Dwarkesh Patel 00:56:36

¿Esto también está relacionado con prevenir el colapso del modelo?

Andrej Karpathy 00:56:41

Déjame pensarlo. No estoy seguro. Eso parece casi un eje aparte. Los modelos son demasiado buenos memorizando, y de alguna manera hay que quitarles eso. Los humanos somos mucho peores, pero eso es algo bueno.

Dwarkesh Patel 00:56:57

¿Cuál es la solución al colapso del modelo? Hay cosas muy ingenuas que uno podría intentar. Cosas como hacer más amplia la distribución sobre los logits, o algo por el estilo. Hay muchas cosas ingenuas que se podrían probar. ¿Cuál es, al final, el problema con esos enfoques ingenuos?

Andrej Karpathy 00:57:11

Buena pregunta. Puedes imaginarte tener una regularización sobre la entropía, ese tipo de cosas. No parece que funcionen tan bien empíricamente. Porque los modelos, tal como están ahora, están colapsados. Pero diría que la mayoría de las tareas que queremos que hagan en realidad no requieren diversidad. Esa probablemente sea la respuesta de lo que está pasando.

Los labs de frontera están intentando hacer que los modelos sean útiles. Creo que la diversidad de las salidas no es tan... primero, es mucho más difícil de trabajar y evaluar y todo eso, pero además quizá no esté capturando la mayor parte del valor.

Dwarkesh Patel 00:57:42

De hecho, eso se penaliza activamente. Si eres muy creativo en RL, no es bueno.

Andrej Karpathy 00:57:48

Sí. O quizá, si estás recibiendo mucha ayuda de escritura de un LLM, probablemente sea malo. Porque los modelos, silenciosamente, te van a dar siempre lo mismo. No van a explorar muchas formas distintas de responder una pregunta.

Tal vez esta diversidad no está en los modelos porque muchas aplicaciones no la necesitan. Pero se vuelve un problema a la hora de generar datos sintéticos y cosas así. Así que nos estamos disparando en el pie al no permitir que esta entropía se conserve en el modelo. Quizá los labs deberían esforzarse más.

Dwarkesh Patel 00:58:17

Creo que insinuó que ese es un problema muy fundamental, que no va a ser fácil de resolver. ¿Cuál es su intuición al respecto?

Andrej Karpathy 00:58:24

No estoy seguro de que sea tan fundamental. No sé si quise decir eso. No he hecho este tipo de experimentos, pero creo que probablemente sí podrías regularizar hacia una entropía más alta. Entonces estás incentivando al modelo a dar cada vez más respuestas, pero no quieres que se aleje demasiado de los datos de entrenamiento. Empezará a inventar su propio lenguaje. Empezará a usar palabras extremadamente raras, así que se irá demasiado lejos de la distribución.

Así que creo que controlar la distribución simplemente es complicado. Probablemente, en ese sentido, no sea algo trivial.

Dwarkesh Patel 00:58:58

Si tuviera que adivinar, ¿de cuántos bits debería ser el núcleo óptimo de inteligencia? ¿Qué tan grande tendría que ser para meterlo en una sonda de von Neumann?

Andrej Karpathy 00:59:10

Es algo realmente interesante en la historia del campo, porque hubo un momento en que todo estaba completamente obsesionado con el escalado. “Oh, vamos a construir modelos muchísimo más grandes, modelos con billones de parámetros”. Los modelos primero subieron de tamaño y ahora han bajado. Los modelos de frontera son más pequeños. Y aun así, creo que memorizan demasiado. Así que hice una predicción hace un tiempo: siento que incluso con casi mil millones de parámetros se puede obtener un muy buen núcleo cognitivo.

Si hablaras con un modelo de mil millones de parámetros, creo que en 20 años podrías tener una conversación muy productiva con él. Pensaría, sería mucho más parecido a un humano. Pero si le haces una pregunta factual, quizá tenga que buscarla, pero sabrá que no lo sabe, que quizá tenga que buscarlo, y hará todas las cosas razonables.

Dwarkesh Patel 00:59:54

Me sorprende que creas que harían falta mil millones de parámetros. Porque ya existen modelos de mil millones o de varios miles de millones de parámetros, y son muy inteligentes.

Andrej Karpathy 01:00:02

Bueno, los modelos de frontera parecen tener billones de parámetros. Pero recuerdan demasiadas cosas.

Dwarkesh Patel 01:00:06

Sí, pero considerando el ritmo dentro de 10 años... está gpt-oss-20b. Es mucho mejor que el GPT-4 original, que tenía más de un billón de parámetros. Viendo esa tendencia, me sorprende que pienses que en 10 años el núcleo cognitivo todavía será de mil millones de parámetros. No me habría sorprendido que dijeras: “oh, eso va a ser de decenas de millones o de millones”.

Andrej Karpathy 01:00:30

Aquí está el problema. Los datos de entrenamiento son internet, y internet es realmente terrible. Hay enormes ganancias posibles porque internet es terrible. Incluso cuando tú y yo pensamos en internet, tú estás pensando en algo como The Wall Street Journal. Pero no es eso. Si miras un dataset de preentrenamiento en un laboratorio de frontera y ves documentos aleatorios de internet, es basura total. No entiendo en absoluto cómo funciona esto. Tickers de acciones, símbolos, enormes cantidades de slop y basura de todos los rincones de internet. No son artículos del Wall Street Journal; eso es extremadamente raro. Así que, como internet es tan terrible, tenemos que construir modelos realmente grandes para comprimir todo eso. La mayor parte de esa compresión es trabajo de memoria en vez de trabajo cognitivo.

Pero lo que de verdad queremos es la parte cognitiva, y eliminar la memoria. Lo que quiero decir es que necesitamos modelos inteligentes para ayudar a depurar el conjunto de preentrenamiento y así quedarnos solo con el componente cognitivo. Entonces creo que, como sería un dataset mucho mejor y podríamos entrenar sobre eso, podríamos lograrlo con un modelo mucho más pequeño. Aunque probablemente no se entrenaría directamente sobre eso; quizá igual se destilaría a partir de un modelo mucho mejor.

Dwarkesh Patel 01:01:35

¿Pero por qué la versión destilada seguiría siendo de mil millones?

Andrej Karpathy 01:01:39

Simplemente siento que la destilación funciona extremadamente bien. Así que casi cualquier modelo pequeño, si existe un modelo pequeño, casi con seguridad fue destilado.

Dwarkesh Patel 01:01:46

Claro, pero ¿por qué la destilación dentro de 10 años no bajaría de mil millones?

Andrej Karpathy 01:01:50

Ah, ¿tú crees que debería ser menos de mil millones? O sea, por favor, ¿no? No sé. En algún punto necesitas por lo menos mil millones de perillas para hacer algo interesante. ¿Tú crees que debería ser más pequeño?

Dwarkesh Patel 01:02:01

Sí. Si ves la tendencia de los últimos años, de encontrar low-hanging fruit y pasar de modelos de más de un billón a modelos literalmente 2x más pequeños, con mejor desempeño, en solo dos años, eso me hace pensar que el núcleo de la inteligencia podría ser mucho, mucho más pequeño. Parafraseando a Feynman, hay mucho espacio al fondo.

Andrej Karpathy 01:02:22

Siento que ya es una postura poco convencional solo por hablar de un núcleo cognitivo de mil millones de parámetros, y tú me estás superando. Tal vez sí podría ser un poco más pequeño. De hecho, creo que sí quieres que el modelo tenga cierto conocimiento. No quieres que lo esté buscando todo. Porque entonces no puede pensar en su cabeza. Siempre estaría buscando demasiadas cosas. Tiene que haber algo de currículo básico para el conocimiento, pero no conocimiento esotérico.

Dwarkesh Patel 01:02:48

Estamos hablando de lo que podría ser el núcleo cognitivo. Hay otra pregunta separada sobre cómo será el tamaño de los modelos de frontera con el tiempo. Me pregunto si tienes alguna predicción. Vimos que la escala aumentó hasta GPT 4.5 y ahora parece estar bajando o estancándose. Puede haber muchas razones para eso. ¿Tienes alguna predicción hacia adelante? ¿Los modelos más grandes van a crecer, a hacerse más pequeños o a quedarse iguales?

Andrej Karpathy 01:03:14

No tengo una predicción muy fuerte. Los laboratorios simplemente son pragmáticos. Tienen presupuestos de FLOPs y presupuestos de costo. Resulta que el preentrenamiento no es donde más quieres poner la mayor parte de los FLOPs ni del costo. Esa es la razón por la que los modelos se han hecho más pequeños. Son un poco más pequeños; la etapa de preentrenamiento es más pequeña, pero lo compensan en aprendizaje por refuerzo, entrenamiento intermedio y todo lo que viene después. Simplemente son pragmáticos con cada etapa y con cómo sacar el máximo efecto.

Es bastante difícil predecir esa tendencia. Yo todavía esperaría que hubiera muchísimo low-hanging fruit. Esa es mi expectativa base. Aquí tengo una distribución muy amplia.

Dwarkesh Patel 01:03:51

¿Esperas que ese low-hanging fruit sea parecido al tipo de cosas que han estado pasando en los últimos 2 a 5 años? Si ves nanochat frente a nanoGPT y los ajustes de arquitectura que hiciste, ¿ese es el tipo de cosas que esperas que sigan ocurriendo? No esperas un cambio de paradigma gigantesco.

Andrej Karpathy 01:04:11

En su mayor parte, sí. Espero que los datasets mejoren muchísimo, muchísimo. Si ves los datasets promedio, son extremadamente terribles. Son tan malos que no entiendo en absoluto cómo funciona nada. Mira el ejemplo promedio del conjunto de entrenamiento: errores factuales, errores, tonterías. De alguna manera, cuando lo haces a escala, el ruido se lava y queda algo de señal. Los datasets van a mejorar enormemente.

Todo mejora. Nuestro hardware, todos los kernels para ejecutar el hardware y maximizar lo que obtenemos de él. Nvidia está ajustando lentamente el propio hardware, los Tensor Cores, todo eso tiene que pasar y va a seguir pasando. Todos los kernels van a mejorar y van a exprimir el chip al máximo. Todos los algoritmos probablemente mejorarán en optimización, arquitectura y en todos los componentes de modelado sobre cómo se hace todo y cuáles son los algoritmos con los que estamos entrenando. No espero que nada domine. Todo más 20 %. Eso es más o menos lo que he visto.

01:06:25 – La AGI estará incluida en un crecimiento del PIB del 2 %

Dwarkesh Patel 01:06:25

La gente ha propuesto varias formas de hacer gráficos de cuánto hemos avanzado hacia una AGI completa. Si puedes trazar alguna línea, puedes ver dónde esa línea cruza la AGI y en qué punto del eje x ocurrirá eso. La gente ha propuesto que sea el nivel educativo. Tuvimos secundaria, luego con RL fuimos a la universidad, y vamos a llegar al doctorado.

Andrej Karpathy 01:06:44

Eso no me gusta.

Dwarkesh Patel 01:06:45

O también proponen la longitud del horizonte. Quizás pueden hacer tareas que toman 1 minuto, y pueden hacerlas de forma autónoma. Luego pueden hacer de forma autónoma tareas que a un humano le toman 1 hora, tareas que a un humano le toman 1 semana. ¿Qué piensas del eje y relevante aquí? ¿Cómo deberíamos pensar sobre cómo está progresando la IA?

Andrej Karpathy 01:07:05

Tengo dos respuestas a eso. Primero, casi quiero rechazar la pregunta en sí. Porque yo veo esto como una extensión de la computación. ¿Hablamos alguna vez de cómo hacer un gráfico del progreso en computación, o de cómo graficar el progreso en computación desde los años 70? ¿Cuál es el eje y? Desde esa perspectiva, toda la pregunta tiene algo de absurda.

Cuando la gente habla de IA y de la AGI original, y de cómo hablábamos de eso cuando OpenAI empezó, AGI era un sistema que podía realizar cualquier tarea económicamente valiosa al nivel humano o por encima de este. Esa era la definición. En ese momento yo estaba bastante conforme con eso, y me he mantenido fiel a esa definición para siempre. Luego la gente inventó todo tipo de otras definiciones. Pero a mí me gusta esa definición.

La primera concesión que la gente siempre hace es simplemente quitar todo lo físico. Porque en realidad solo estamos hablando de trabajo intelectual digital. Esa es una concesión bastante importante frente a la definición original. La definición original era cualquier tarea que un humano pueda hacer. Yo puedo levantar cosas, etcétera. La IA no puede hacer eso, obviamente, pero lo acepto. Al decir: “Ah, solo trabajo intelectual”, ¿qué parte de la economía estamos sacando? No lo sé. Mi intuición, si tuviera que adivinar, es que quizá entre 10% y 20%, solo trabajo intelectual, alguien que puede trabajar desde casa y completar tareas, ese tipo de cosas. Sigue siendo un mercado realmente grande. ¿De qué tamaño es la economía, y cuánto es 10% o 20% de eso? Seguimos hablando de varios billones de dólares, incluso solo en Estados Unidos, en cuota de mercado o en tareas. Así que sigue siendo una categoría enorme.

Volviendo a la definición, lo que busco es hasta qué punto esa definición es cierta. ¿Hay empleos, o muchas tareas, si piensas en tareas y no en empleos? Es difícil. Porque el problema es que la sociedad va a reestructurar los empleos en función de las tareas que los componen, según lo que sea automatizable y lo que no. Hoy en día, ¿cuáles son los empleos que pueden ser reemplazados por IA? Un buen ejemplo reciente fue la predicción de Geoff Hinton de que los radiólogos dejarían de tener trabajo, y eso resultó estar muy equivocado en muchos sentidos. Los radiólogos están vivos, bien y creciendo. A pesar de que la visión por computadora es realmente, realmente buena para reconocer en imágenes todas las distintas cosas que ellos tienen que reconocer. Es simplemente un trabajo complejo con muchas aristas en el trato con pacientes y en el contexto de todo esto.

Con esa definición, no creo que la IA haya tenido todavía un impacto grande. Algunos de los empleos que yo estaría observando tienen ciertas características que los hacen mucho más propicios que otros para una automatización temprana. Por ejemplo, los agentes de call center suelen salir en la conversación, y creo que con razón. Los agentes de call center tienen muchas propiedades simplificadoras respecto de lo que hoy es automatizable. Su trabajo es bastante simple. Es una secuencia de tareas, y todas las tareas se parecen más o menos. Atiendes una llamada con una persona, es una interacción de 10 minutos, o lo que sea, quizá un poco más larga. En mi experiencia, mucho más larga. Completas alguna tarea en algún sistema, modificas algunas entradas de base de datos o algo así. Así que repites algo una y otra vez, y ese es tu trabajo.

Quisiera tomar el horizonte de la tarea —cuánto tiempo toma realizar una tarea— y luego eliminar el contexto. No estás lidiando con partes del servicio de una empresa o con distintas partes de otros clientes. Solo están la base de datos, tú y la persona a la que estás atendiendo. Es algo más cerrado, más comprensible y puramente digital. Así que ese es el tipo de cosas que yo estaría buscando.

Pero incluso ahí, todavía no estaría buscando automatización completa. Estoy buscando un deslizador de autonomía. Espero que no vayamos a reemplazar personas de inmediato. Vamos a reemplazarlas con una IA que haga el 80% del volumen. Delegará el 20% del volumen a humanos, y los humanos estarán supervisando equipos de 5 IAs que hacen tareas de call center más estructuradas. Estaría buscando nuevas interfaces o nuevas empresas que aporten una capa que te permita gestionar algunas de estas IAs. Todavía no son perfectas. Y luego esperaría eso en toda la economía. Muchos empleos son mucho más difíciles que los agentes de call center.

Dwarkesh Patel 01:11:02

Sobre los radiólogos, estoy especulando por completo y no sé en absoluto qué incluye realmente el flujo de trabajo de un radiólogo. Pero una analogía que podría aplicar es que, cuando Waymo se implementó por primera vez, había una persona sentada en el asiento delantero, y tenía que estar ahí por si algo salía muy mal. Incluso hoy, la gente sigue observando para asegurarse de que todo vaya bien. Los robotaxis recién desplegados también siguen teniendo a una persona dentro.

Ahora podríamos estar en una situación similar donde, incluso si automatizamos el 99% del trabajo, el último 1% que un humano tiene que hacer es extremadamente valioso porque se convierte en el cuello de botella de todo lo demás. Si en el caso de los radiólogos, la persona sentada al frente del Waymo tuviera que entrenarse durante años específicamente para aportar ese último 1%, su salario tendría que subir muchísimo. Porque es lo único que está frenando un despliegue a gran escala. Creo que a los radiólogos les subieron los salarios por una razón similar: si eres el último cuello de botella y no eres sustituible. El conductor de Waymo quizá sí pueda ser sustituido por otras personas. Entonces podrías ver algo así donde los salarios suben hasta que llegas al 99%, y luego caen así cuando desaparece ese último 1%. Y me pregunto si estamos viendo algo parecido en radiología o en los sueldos de los agentes de call center o cosas por el estilo.

Andrej Karpathy 01:12:17

Es una pregunta interesante. No creo que estemos viendo eso actualmente en radiología. No creo que radiología sea un buen ejemplo. No sé por qué Geoff Hinton eligió radiología, porque me parece una profesión extremadamente compleja.

Yo estaría mucho más interesado, por ejemplo, en qué está pasando hoy con los agentes de call center. Porque esperaría que gran parte de lo estructurado ya sea automatizable hoy. No tengo acceso de primera mano a eso, pero estaría buscando tendencias sobre qué está pasando con los agentes de call center. Algunas cosas que también esperaría son probablemente que los estén reemplazando con IA, pero luego igual esperaría 1 o 2 años. Porque también esperaría potencialmente que den marcha atrás y vuelvan a contratar a parte de esa gente.

Dwarkesh Patel 01:13:00

Había evidencia de que eso ya estaba ocurriendo en general en las empresas que han venido adoptando IA. Creo que es bastante sorprendente.

Lo otro que me pareció realmente sorprendente. AGI, ¿cierto? Va a hacer de todo. Saquemos el trabajo físico, pero debería poder hacer todo el trabajo intelectual. Ingenuamente, yo habría esperado que la forma en que ocurriera este progreso fuera tomar una pequeña tarea que hace un consultor y sacarla de la categoría. Tomar una pequeña tarea que hace un contador y sacarla de la categoría. Y luego hacer eso en todo el trabajo intelectual.

Pero si, en cambio, crees que con el paradigma actual vamos camino a la AGI, el avance no se ve así en absoluto. No parece que consultores y contadores estén obteniendo aumentos enormes de productividad. Se parece mucho más a cómo a los programadores cada vez se les va recortando más trabajo. Si miras los ingresos de estas compañías, y descuentas los ingresos del chat general —que es parecido a Google y cosas así—, si ves solo los ingresos de API, la programación domina. Así que esta cosa “general”, que se supone debería poder hacer todo el trabajo del conocimiento, está haciendo abrumadoramente solo programación. Es una forma sorprendente en la que uno esperaría que se desplegara la AGI.

Andrej Karpathy 01:14:13

Aquí hay algo interesante. Creo que programar es la primera aplicación perfecta para estos LLM y agentes. Porque programar siempre ha operado fundamentalmente alrededor del texto. Es la terminal de la computadora y texto, y todo está basado en texto. A los LLM les gusta el texto por la forma en que se entrenan en internet. Son procesadores de texto perfectos, y además existe toda esta data. Es un ajuste perfecto.

También tenemos mucha infraestructura ya construida para manejar código y texto. Por ejemplo, Visual Studio Code o tu IDE favorito muestran el código, y un agente puede conectarse a eso. Si hay un diff de algún cambio que hizo el agente, de repente ya tenemos todo este código para usar diff y mostrar todas las diferencias en la base de código. Parece que ya construimos mucha infraestructura para el código.

Compáralo con cosas que no disfrutan eso en absoluto. Por ejemplo, hay gente que intenta construir automatización para diapositivas, no para programación. He visto empresas que trabajan con diapositivas. Eso es mucho, mucho más difícil. Es más difícil porque las diapositivas no son texto. Son pequeños gráficos, organizados espacialmente, con componentes visuales. Las diapositivas no tienen esta infraestructura preconstruida. Por ejemplo, si un agente cambia una diapositiva, ¿cómo muestras el diff? ¿Cómo ves el diff? No existe algo que muestre diff para diapositivas. Alguien tiene que construir eso. Algunas de estas cosas no encajan bien con una IA que es un procesador de texto, y el código, sorprendentemente, sí.

Dwarkesh Patel 01:15:48

No estoy seguro de que eso por sí solo lo explique. Personalmente, he tratado de hacer útiles a los LLM en dominios de entrada de lenguaje puro y salida de lenguaje, como reescribir transcripciones o crear clips a partir de transcripciones. Es muy posible que yo no haya hecho todo lo posible. Puse muchos buenos ejemplos en el contexto, pero quizá debería haber hecho algún tipo de ajuste fino.

Nuestro amigo en común, Andy Matuschak, dijo que probó 50 mil millones de cosas para lograr que un modelo fuera bueno escribiendo prompts de repetición espaciada. De nuevo, es una tarea de entrada de lenguaje y salida de lenguaje, el tipo de cosa que debería estar justo en el centro del repertorio de estos LLM. Probó aprendizaje en contexto con ejemplos de few shot. Probó ajuste fino supervisado y recuperación. No pudo lograr que hiciera tarjetas con las que él estuviera satisfecho.

Así que incluso en dominios de salida de lenguaje, aparte de la programación, es impresionante lo difícil que es obtener mucho valor económico de estos modelos. No sé qué es lo que explica eso.

Andrej Karpathy 01:16:57

Tiene sentido. No digo que todo lo que sea texto sea trivial. Creo que el código es bastante estructurado. Diría que el texto probablemente es mucho más florido, que hay mucha más entropía en el texto. No sé cómo decirlo de otra forma. Además, el código es difícil, así que la gente siente que los LLM realmente les dan bastante poder incluso a partir de conocimientos simples. No creo tener una muy buena respuesta. Obviamente, el hecho de que sea texto hace que sea mucho, mucho más fácil, pero eso no significa que todo texto sea trivial.

01:17:36 – ASI (superinteligencia artificial)

Dwarkesh Patel 01:17:36

¿Qué piensas sobre la superinteligencia? ¿Esperas que se sienta cualitativamente diferente de los humanos comunes o de las empresas humanas?

Andrej Karpathy 01:17:45

Lo veo como la progresión de la automatización en la sociedad. Si extrapolas las tendencias de la computación, habrá una automatización gradual de muchas cosas, y la superinteligencia sería una extrapolación de eso. Espero que con el tiempo haya cada vez más entidades autónomas haciendo mucho trabajo digital y luego, después de algún tiempo, incluso trabajo físico. Básicamente, yo solo lo veo como automatización, hablando en términos generales.

Dwarkesh Patel 01:18:10

Pero la automatización incluye cosas que los humanos ya pueden hacer, y la superinteligencia implica cosas que los humanos no pueden hacer.

Andrej Karpathy 01:18:16

Pero una de las cosas que hacen las personas es inventar cosas nuevas, y si eso tiene sentido, yo incluiría eso dentro de la automatización.

Dwarkesh Patel 01:18:20

Pero de una forma menos abstracta y más cualitativa, algo que... porque esto puede pensar muy rápido, o tener muchísimas copias, o sus copias pueden volver a fusionarse entre sí, o ser mucho más inteligente, o cualquiera de las muchas ventajas que podría tener una IA, ¿una civilización en la que existan estas IAs se sentiría cualitativamente distinta de una humana?

Andrej Karpathy 01:18:51

Creo que sí. Fundamentalmente es automatización, pero sería extremadamente alienígena. Se vería realmente extraño. Como mencionaste, podemos ejecutar todo esto en clústeres de computadoras y hacerlo muchísimo más rápido.

Algunos de los escenarios que me empiezan a preocupar cuando el mundo se ve así son la pérdida gradual de control y de comprensión de lo que está pasando. Creo que la pérdida gradual de comprensión es el resultado más probable. Poco a poco vamos a ir apilando todas estas cosas en todas partes, y cada vez habrá menos personas que las entiendan. Y luego habrá una pérdida gradual de control y de comprensión de lo que está ocurriendo. Para mí, ese parece el resultado más probable de cómo avanzará todo esto.

Dwarkesh Patel 01:19:31

Déjame profundizar un poco en eso. No me queda claro si la pérdida de control y la pérdida de comprensión son lo mismo. La junta directiva de TSMC, Intel —elige cualquier empresa— son solo personas prestigiosas de 80 años. Casi no entienden nada y probablemente tampoco tienen realmente control sustancial.

Un mejor ejemplo es el presidente de Estados Unidos. El presidente tiene mucho poder. No estoy tratando de hacer una afirmación favorable sobre el actual ocupante del cargo, o quizá sí, pero el nivel de comprensión real es muy distinto del nivel de control.

Andrej Karpathy 01:20:06

Es justo. Es un buen contraargumento. Creo que espero una pérdida de ambos.

Dwarkesh Patel 01:20:15

¿Cómo? La pérdida de comprensión es obvia, pero ¿por qué pérdida de control?

Andrej Karpathy 01:20:20

Estamos entrando muy profundamente en un territorio donde no sabemos cómo se ve esto, pero si yo escribiera ciencia ficción, seguiría la dirección de múltiples entidades en competencia que gradualmente se vuelven cada vez más autónomas, ni siquiera una sola entidad que lo controle todo. Algunas se vuelven rebeldes y otras las derrotan. Es este foco de actividad completamente autónoma que hemos delegado. Siento que tendría ese sabor.

Dwarkesh Patel 01:20:52

No es el hecho de que sean más inteligentes que nosotros lo que causa la pérdida de control. Es el hecho de que están compitiendo entre sí, y lo que sea que salga de esa competencia lleva a una pérdida de control.

Andrej Karpathy 01:21:06

Sí. Muchas de estas cosas serán herramientas para las personas, y actuarán en nombre de las personas o algo así. Entonces quizá esas personas sí tengan control, pero tal vez, a nivel de toda la sociedad, en el sentido de obtener los resultados que queremos, haya una pérdida de control. Sigues teniendo entidades que actúan en nombre de individuos, pero que en conjunto aún se ven, en términos generales, fuera de control.

Dwarkesh Patel 01:21:30

Esta es una pregunta que debería haber hecho antes. Estábamos hablando de que, al hacer ingeniería o investigación en IA hoy, se siente que estos modelos pertenecen más a la categoría de compiladores que a la de sustitutos.

En algún punto, si tienes AGI, debería poder hacer lo que tú haces. ¿Sientes que tener un millón de copias tuyas en paralelo provocaría una aceleración enorme del progreso de la IA? Si eso ocurre, si llegamos a tener una AGI verdadera, ¿esperas ver una explosión de inteligencia? No estoy hablando de los LLM de hoy.

Andrej Karpathy 01:22:01

Sí, pero eso es más de lo mismo. Porque ya estamos dentro de una explosión de inteligencia y lo hemos estado por décadas. Básicamente, es la curva del PIB como una suma ponderada exponencial de demasiados aspectos de la industria. Todo se ha ido automatizando gradualmente, y así ha sido por cientos de años. La Revolución Industrial es automatización en parte de los componentes físicos y en la fabricación de herramientas, etcétera. Los compiladores son automatización temprana del software, y así sucesivamente. Llevamos mucho tiempo mejorándonos recursivamente a nosotros mismos y explotando.

Otra forma de verlo es que la Tierra era un lugar bastante aburrido si no miras la biomecánica y cosas así, y se veía muy parecida. Desde el espacio, estamos en medio de este evento de fuegos artificiales, pero lo estamos viendo en cámara lenta. Definitivamente siento que esto ya venía ocurriendo desde hace mucho tiempo. De nuevo, no veo la IA como una tecnología separada de lo que ya venía pasando desde hace mucho.

Dwarkesh Patel 01:23:00

¿Crees que es continuo con esta tendencia superexponencial?

Andrej Karpathy 01:23:03

Sí. Eso me pareció muy interesante, porque durante un tiempo intenté encontrar la IA en el PIB. Pensaba que el PIB debía subir. Pero vi otras tecnologías que consideraba muy transformadoras, como las computadoras o los teléfonos móviles. No puedes encontrarlas en el PIB. El PIB sigue siendo la misma exponencial.

Incluso el iPhone inicial ni siquiera tenía App Store, ni muchos de los adornos que tiene un iPhone moderno. Así que aunque pienses en 2008, cuando salió el iPhone, como este gran cambio tectónico, en realidad no lo es. Todo está demasiado distribuido y se difunde tan lentamente que al final todo se promedia en la misma exponencial. Con las computadoras pasa exactamente lo mismo. No puedes encontrarlas en el PIB como diciendo: "Oh, ahora existen las computadoras". Eso no ocurrió. Porque sucede demasiado lentamente.

Con la IA veremos exactamente lo mismo. Simplemente es más automatización. Nos permite escribir otros tipos de programas que antes no podíamos escribir. Pero la IA sigue siendo, en el fondo, un programa. Es un nuevo tipo de computadora y un nuevo tipo de sistema de cómputo. Pero tiene todos estos problemas, se va a difundir con el tiempo y de todos modos se va a sumar a la misma exponencial. Seguiremos teniendo una exponencial que se volverá extremadamente vertical. Vivir en ese tipo de entorno va a ser muy extraño.

Dwarkesh Patel 01:24:10

Si miras la tendencia desde antes de la Revolución Industrial hasta ahora, ¿estás diciendo que tenemos una superexponencial que va de 0% de crecimiento a 0.02% hace diez mil años, y ahora a 2% de crecimiento? Eso es una superexponencial. Si graficas la IA ahí, ¿estás diciendo que la IA te lleva a 20% de crecimiento o a 200% de crecimiento?

¿O estás diciendo que, si miras los últimos 300 años, lo que hemos visto es cada tecnología por separado —computadoras, electrificación, máquina de vapor, ferrocarriles, etc.— pero la tasa de crecimiento es exactamente la misma, 2%? ¿Estás diciendo que la tasa de crecimiento va a subir?

Andrej Karpathy 01:24:46

La tasa de crecimiento también se ha mantenido más o menos constante, ¿no?

Dwarkesh Patel 01:24:49

Solo durante los últimos 200 o 300 años. Pero a lo largo de la historia humana explotó. Pasó de 0% a más rápido, más rápido, más rápido. Explosión industrial, 2%.

Andrej Karpathy 01:25:01

Durante un tiempo intenté encontrar la IA en la curva del PIB, o encontrar la IA ahí, y me convencí a mí mismo de que esto es falso. Incluso cuando la gente habla de auto-mejora recursiva y de laboratorios y demás, esto es más de lo mismo. Claro que va a haber auto-mejora recursiva, y ya la ha habido.

Los LLM permiten que los ingenieros trabajen mucho más eficientemente para construir la siguiente ronda de LLM, y muchos más de los componentes se están automatizando y afinando. Todos los ingenieros con acceso a Google Search también son parte de eso. Todos los ingenieros con un IDE, todos los ingenieros con autocompletado o con Claude Code, etcétera, todos forman parte de la misma aceleración general. Es demasiado fluido.

Dwarkesh Patel 01:25:41

Entonces, para aclarar, estás diciendo que la tasa de crecimiento no va a cambiar. La explosión de inteligencia simplemente se manifestará como algo que nos permitirá seguir en una trayectoria de crecimiento del 2%, igual que internet ayudó a que nos mantuviéramos en una trayectoria de crecimiento del 2%.

Andrej Karpathy 01:25:53

Sí, mi expectativa es que nos mantengamos en el mismo patrón.

Dwarkesh Patel 01:25:58

Para plantear el argumento contrario, mi expectativa es que sí va a explotar. Porque creo que una AGI real —y no estoy hablando de bots de programación con LLM, sino de un sustituto real de humanos ejecutándose en servidores— es cualitativamente distinta de estas otras tecnologías que aumentan la productividad. Porque eso sí es trabajo en sí mismo.

Creo que vivimos en un mundo muy limitado por el trabajo. Si hablas con fundadores de startups o con cualquiera, y les preguntas qué necesitan más, necesitan gente realmente talentosa. Si hubiera miles de millones de personas adicionales capaces de inventar cosas, integrarlas y construir empresas de punta a punta, eso se siente cualitativamente distinto de una sola tecnología. Es como conseguir 10 mil millones de personas adicionales en la Tierra.

Andrej Karpathy 01:26:44

Tal vez. Es un contraargumento. Estoy bastante dispuesto a dejarme convencer en una dirección o en la otra sobre este punto. Pero, por ejemplo, la computación es trabajo. La computación ha sido trabajo. Computadoras, muchos trabajos desaparecieron, porque las computadoras ahora automatizan mucho procesamiento de información digital que ya no necesita humanos. Así que la computación es trabajo, y eso se desplegó.

Por ejemplo, la conducción autónoma también es computadoras haciendo trabajo. Eso también ya se está desplegando. Sigue siendo más de lo mismo.

Dwarkesh Patel 01:27:13

Hay una máquina que potencialmente produce más de esas cosas a un ritmo más rápido. Históricamente, sí hay ejemplos de cambios de régimen de crecimiento que fueron de 0.2% de crecimiento a 2% de crecimiento. Una máquina que produzca el siguiente auto autónomo y el siguiente internet y lo que sea... una máquina que genere esas cosas parece muy plausible...

Andrej Karpathy 01:27:33

Entiendo de dónde viene eso. Al mismo tiempo, siento que la gente asume: "Tenemos a Dios en una caja y ahora puede hacer de todo", y no se va a ver así. Va a poder hacer algunas cosas. Va a fallar en otras. Lo vamos a ir incorporando gradualmente a la sociedad y al final va a terminar en el mismo patrón. Esa es mi predicción.

Esa suposición de que de repente vamos a tener en una caja a un humano completamente inteligente, completamente flexible, completamente general, y que podremos asignarlo a problemas arbitrarios de la sociedad... no creo que vayamos a tener un cambio discontinuo así. Creo que vamos a llegar al mismo tipo de difusión gradual de esto a través de industrias enteras.

Dwarkesh Patel 01:28:14

En conversaciones como esta, a menudo se presta a malentendidos. No me gusta usar la palabra inteligencia en este contexto. Porque inteligencia implica que hay una única superinteligencia sentada en un servidor y que, de alguna forma divina, va a saber cómo producir estas nuevas tecnologías e inventos que causen esa explosión. Eso no es lo que imagino cuando imagino un crecimiento del 20%. Imagino cientos de millones de mentes muy inteligentes, tipo humanas, potencialmente, o que eso es todo lo que hace falta.

Pero el hecho de que haya cientos de millones, miles de millones de ellas, cada una creando productos nuevos por su cuenta y encontrando la forma de integrarse por sí mismas en la economía. Si un inmigrante altamente experimentado e inteligente llegara a un país, no necesitarías descubrir cómo integrarlo a la economía. Él lo averiguaría. Podría fundar una empresa, podría hacer un invento y podría aumentar la productividad del mundo.

Incluso en el sistema actual, hay ejemplos de lugares con un crecimiento económico de 10-20%. Si hay mucha gente y menos capital en comparación con esa gente, puedes tener más de 10% de crecimiento durante décadas, como en Hong Kong o Shenzhen, o donde sea. Hay muchísimas personas realmente inteligentes listas para aprovechar los recursos y pasar por este período de alcance. Porque tuvimos esa discontinuidad, y creo que la IA podría ser similar.

Andrej Karpathy 01:29:33

Lo entiendo, pero sigo pensando que estás asumiendo algún tipo de salto discontinuo. Que hay algún desbloqueo esperando a que lo reclamemos. De repente vamos a tener genios en los centros de datos. Sigo pensando que estás asumiendo un salto discontinuo sin precedente histórico, algo que no puedo encontrar en ninguna estadística, y creo que probablemente no va a ocurrir.

Dwarkesh Patel 01:29:52

O sea, la Revolución Industrial fue ese salto. Pasamos de un crecimiento de 0.2% a uno de 2%. Solo digo que vamos a ver otro salto como ese.

Andrej Karpathy 01:30:00

Soy un poco escéptico. Creo que habría que revisarlo. Por ejemplo, algunos registros previos a la Revolución Industrial no son tan buenos. Tengo algo de escepticismo sobre eso, pero no una opinión fuerte. Tú dices que fue un evento único, extremadamente mágico. Dices que probablemente habrá otro evento exactamente como ese, y que será extremadamente mágico. Que romperá el paradigma, etcétera.

Dwarkesh Patel 01:30:23

En realidad... lo decisivo de la Revolución Industrial es que no fue mágica. Si haces zoom out, lo que verías en 1770 o en 1870 no es que hubiera una invención clave. Pero al mismo tiempo, el progreso fue mucho más rápido y movió a la economía a un régimen donde el exponente era 10 veces mayor. Espero algo similar con la IA. No creo que vaya a haber un solo momento con una invención decisiva.

Andrej Karpathy 01:30:51

Es una sobreoferta que se está desbloqueando. Como una nueva fuente de energía. Hay algún desbloqueo —en este caso, algún tipo de capacidad cognitiva— y hay una sobreoferta de trabajo cognitivo por hacer.

Dwarkesh Patel 01:31:02

Exacto.

Andrej Karpathy 01:31:03

Esperas que esa sobreoferta, cuando cruce cierto umbral, sea cubierta por esta nueva tecnología.

Dwarkesh Patel 01:31:06

Quizá una forma de pensarlo es que, a lo largo de la historia, gran parte del crecimiento ha venido de que la gente piensa ideas, y luego otras personas ejecutan esas ideas y hacen algo para producir resultados valiosos. Durante la mayor parte de ese tiempo, la población estaba explotando. Eso impulsaba el crecimiento.

En los últimos 50 años, la gente ha argumentado que el crecimiento se ha estancado. La población de los países desarrollados también se ha estancado. Creo que volveremos al crecimiento exponencial de la población, causando un crecimiento superexponencial de la producción.

Andrej Karpathy 01:31:37

Es realmente difícil decirlo. Entiendo ese punto de vista. Intuitivamente no lo siento así.

01:32:50 – Evolución de la inteligencia y la cultura

Dwarkesh Patel 01:32:50

Me recomendaste el libro de Nick Lane. A partir de eso, también me pareció muy interesante y lo entrevisté. Tengo algunas preguntas sobre cómo pensar acerca de la inteligencia y la historia evolutiva.

Ahora que has hecho investigación en IA durante los últimos 20 años, seguramente tienes una noción más concreta de qué es la inteligencia y qué se necesita para desarrollarla. Como resultado de eso, ¿te sorprende más o menos que la evolución simplemente se la haya topado espontáneamente?

Andrej Karpathy 01:33:19

Me gustan muchísimo los libros de Nick Lane. Venía escuchando su pódcast camino acá. Sobre la inteligencia y su evolución, eso es algo muy, muy reciente. Me sorprende que haya evolucionado.

Es muy fascinante pensar en todos los mundos que hay ahí afuera. Si hubiera mil planetas como la Tierra, cómo se verían. Nick Lane vino aquí y habló sobre algunas de las etapas más tempranas. Él espera formas de vida muy similares, en términos generales, y en la mayoría de ellas cosas parecidas a bacterias. Hay algunas discontinuidades ahí. La evolución de la inteligencia intuitivamente me parece que debería ser un evento bastante raro.

Probablemente habría que basarse un poco en cuánto tiempo ha existido algo. Si las bacterias existieron durante 2 mil millones de años y no pasó nada, entonces llegar a los eucariotas probablemente fue bastante difícil. Porque las bacterias aparecieron bastante temprano en la evolución o en la historia de la Tierra. ¿Cuánto tiempo han existido los animales? Tal vez unos cientos de millones de años, animales multicelulares corriendo, arrastrándose, etcétera. Eso probablemente es 10% de la vida de la Tierra. Quizá en esa escala de tiempo no es tan difícil. Aun así me sorprende que eso haya evolucionado, intuitivamente. Probablemente yo solo esperaría formas de vida parecidas a animales haciendo cosas de animales. El hecho de que puedas obtener algo que crea y acumula cultura y conocimiento me sorprende.

Dwarkesh Patel 01:34:42

Hay algunas preguntas de seguimiento interesantes. Si aceptas la perspectiva de Sutton, el núcleo de la inteligencia es la inteligencia animal... una cita suya fue: “si llegas a una ardilla, ya obtuviste la mayor parte de la AGI”.

Llegamos a la inteligencia de una ardilla justo después de la explosión cámbrica, hace 600 millones de años. Lo que parece haberlo desencadenado fue el Gran Evento de Oxidación, hace 600 millones de años. Pero inmediatamente el algoritmo de inteligencia ya estaba ahí para producir inteligencia de ardilla. Eso sugiere que la inteligencia animal era así. En cuanto hubo oxígeno en el ambiente, tuvimos eucariotas, y el algoritmo apareció de inmediato. Puede que haya sido un accidente que la evolución se lo encontrara tan rápido, pero no sé si eso sugiere que al final será bastante simple.

Andrej Karpathy 01:35:31

Es demasiado difícil hablar con certeza sobre cualquiera de estas cosas. Puedes basarte un poco en cuánto tiempo ha existido algo o en cuánto tiempo algo parece haber estado atascado en un cuello de botella. Nick Lane es muy bueno explicando este cuello de botella tan evidente en las bacterias y las arqueas. Durante 2 mil millones de años, no pasó nada. Hay una enorme diversidad bioquímica, pero nada crece hasta convertirse en animales. 2 mil millones de años.

Como señalas, no sé si hemos visto exactamente un equivalente de ese tipo en animales e inteligencia. También podríamos verlo según cuántas veces creemos que cierto tipo de inteligencia surgió de manera independiente.

Dwarkesh Patel 01:36:07

Eso sería algo muy bueno de investigar.

Andrej Karpathy 01:36:09

Un pensamiento al respecto. Está la inteligencia de los homínidos, y luego está la inteligencia de las aves. Los cuervos, etcétera, son extremadamente listos, pero sus partes cerebrales son bastante distintas, y no tenemos tanto en común. Eso es una pequeña señal de que la inteligencia surgió varias veces. En ese caso, esperaría que ocurriera con más frecuencia.

Dwarkesh Patel 01:36:32

Invitados anteriores, Gwern y Carl Shulman, hicieron una observación realmente interesante sobre eso. Su perspectiva es que el algoritmo escalable que tienen los humanos y que tienen los primates también surgió en las aves, y probablemente en otros momentos también. Pero los humanos encontraron un nicho evolutivo que además recompensa aumentos marginales en la inteligencia y permite alcanzar esos aumentos de inteligencia mediante algoritmos cerebrales escalables.

Por ejemplo, si un ave tuviera un cerebro más grande, simplemente se caería del cielo. Son muy inteligentes en relación con el tamaño de su cerebro, pero no están en un nicho que compense que el cerebro siga creciendo. Tal vez algo realmente inteligente... podría ser parecido.

Andrej Karpathy 01:37:28

¿Como los delfines?

Dwarkesh Patel 01:37:28

Exacto, los humanos tenemos manos que recompensan aprender a usar herramientas. Podemos externalizar la digestión y darle más energía al cerebro, y eso pone en marcha el volante.

Andrej Karpathy 01:38:02

También hay cosas que hacer. Si yo fuera un delfín, creo que sería más difícil. ¿Cómo enciendes fuego? El universo de cosas que puedes hacer bajo el agua probablemente sea menor que el de las que puedes hacer en tierra, químicamente.

Estoy de acuerdo con esta perspectiva sobre esos nichos y sobre qué es lo que se está incentivando. Aun así, me parece milagroso. Uno habría esperado que las cosas se atascaran en animales con músculos más grandes. Pasar por la inteligencia es un punto de inflexión realmente fascinante.

Dwarkesh Patel 01:38:28

La manera en que lo expresaba Gwern es que la razón por la que eso fue tan difícil es que existe una línea muy estrecha entre algo tan importante de aprender que no vale la pena volver a destilar exactamente el circuito correcto directamente en el ADN, y algo que no es lo bastante importante como para aprenderlo en absoluto. Tiene que ser algo que incentive construir un algoritmo que aprenda a lo largo de toda la vida.

Andrej Karpathy 01:38:55

Tienes que incentivar algún tipo de adaptabilidad. Quieres un entorno lo bastante impredecible como para que la evolución no pueda hornear el algoritmo en los pesos. Muchos animales ya vienen prehorneados en ese sentido. Los humanos, al nacer, tienen que descubrirlo en tiempo de prueba. Quieres un entorno que cambie muy rápido, en el que no puedas prever realmente qué va a funcionar bien. Para resolver eso en tiempo de prueba, produces inteligencia.

Dwarkesh Patel 01:39:28

Había un post interesante en el que Quintin Pope decía que la razón por la que no espera un salto brusco es precisamente porque los humanos sí tuvieron un salto brusco. Parece que ya teníamos la arquitectura cognitiva que tenemos hoy hace 60 mil años. Hace 10 mil años, la revolución agrícola, la modernidad. ¿Qué pasó durante esos 50 mil años? Tuvimos que construir este andamiaje cultural que permitiera acumular conocimiento a lo largo de generaciones.

Esta es una capacidad que, de algún modo, existe gratis en la manera en que entrenamos IA. En muchos casos, se destila literalmente. Si vuelves a entrenar el modelo, puede entrenarse sobre otros, puede entrenarse sobre el mismo corpus de preentrenamiento, y no tienes que empezar literalmente desde cero. A los humanos les tomó mucho tiempo poner en marcha este bucle cultural, pero en la forma en que entrenamos LLM, hay una sensación de que simplemente viene gratis.

Andrej Karpathy 01:39:45

Sí y no. Porque los LLM en realidad no tienen un equivalente de cultura. Quizá les estamos dando demasiado y estamos incentivando que no la construyan, o algo así. Pero la invención de la cultura, la invención del registro escrito y el hecho de pasarse notas unos a otros, no creo que haya un equivalente de eso en los LLM actuales. Diría que los LLM no tienen cultura de verdad hoy en día, y ese es uno de los obstáculos.

Dwarkesh Patel 01:40:05

¿Podrías darnos una idea de cómo se vería una cultura de LLM?

Andrej Karpathy 01:40:09

En el caso más simple, sería un gran scratchpad que el LLM pudiera editar. Y mientras lee algo o ayuda con una tarea, va editando ese scratchpad para sí mismo. ¿Por qué un LLM no podría escribir libros para otros LLM? Eso sería genial. ¿Por qué otros LLM no podrían leer el libro de este LLM e inspirarse en él, o sorprenderse, o hacer ese tipo de cosas? No hay nada equivalente a ninguna de esas cosas.

Dwarkesh Patel 01:40:29

Interesante. ¿Cuándo esperas que ese tipo de cosas empiece a suceder? Y también, ¿qué hay de los sistemas multiagente y una especie de civilización y cultura de IA independiente?

Andrej Karpathy 01:40:40

Hay dos ideas poderosas en el ámbito multiagente, pero en realidad ninguna ha sido demostrada de forma convincente ni algo así. La primera, diría, es la cultura y que los LLM tengan un repertorio creciente de conocimiento para sus propios fines.

La segunda se parece mucho más a la poderosa idea del self-play. En mi opinión, es extremadamente poderosa. La evolución tiene mucha competencia que impulsa la inteligencia y la evolución. En AlphaGo, de forma más algorítmica, AlphaGo juega contra sí mismo y así aprende a jugar Go realmente bien. No existe un equivalente de self-play para los LLM, pero espero que también exista. Nadie lo ha hecho todavía. Por ejemplo, ¿por qué un LLM no podría crear muchos problemas que otro LLM esté aprendiendo a resolver? Entonces el LLM siempre estaría tratando de plantear problemas cada vez más difíciles, y cosas así.

Hay muchas formas de organizar eso. Es un área de investigación, pero no he visto que se haya demostrado de forma convincente ninguna de estas dos mejoras multiagente. Seguimos principalmente en el terreno de agentes individuales, pero eso va a cambiar. También en el terreno de la cultura, quiero incluir a las organizaciones. Tampoco he visto eso de forma convincente. Por eso seguimos estando en una etapa temprana.

Dwarkesh Patel 01:41:53

¿Puedes identificar el cuello de botella principal que está impidiendo este tipo de colaboración entre LLM?

Andrej Karpathy 01:41:59

Supongo que la manera en que lo diría es que algunas de estas analogías deberían funcionar y no deberían funcionar, pero de alguna manera, sorprendentemente, sí funcionan. Muchos de los modelos más pequeños, o más tontos, sorprendentemente se parecen a niños de kínder, o de primaria, o de preparatoria. De algún modo, todavía no hemos graduado lo suficiente a estas cosas como para que puedan tomar el control. Mi Claude Code o Codex todavía se sienten como estudiantes de primaria. Sé que pueden resolver cuestionarios de doctorado, pero cognitivamente todavía se sienten como niños de kínder o de primaria.

No creo que puedan crear cultura, porque siguen siendo niños. Son niños prodigio. Tienen memoria perfecta de todo esto. Pueden producir de manera convincente todo tipo de slop que luce muy bien. Pero aun así, creo que en realidad no saben lo que están haciendo y que todavía no tienen cognición real a través de todas estas pequeñas casillas que aún tenemos que marcar.

01:42:55 Por qué la conducción autónoma tomó tanto tiempo

Dwarkesh Patel 01:42:55

Has dicho que lideraste la conducción autónoma en Tesla de 2017 a 2022. Y viste de primera mano este progreso, desde demos increíbles hasta ahora miles de autos que de hecho conducen de forma autónoma. ¿Por qué tomó 10 años? ¿Qué pasó durante ese tiempo?

Andrej Karpathy 01:43:11

Una cosa que casi de inmediato quiero refutar es la idea de que esto esté siquiera cerca de estar terminado, en muchos de los sentidos que voy a tratar. La conducción autónoma es muy interesante porque definitivamente es de ahí de donde saco gran parte de mi intuición, dado que pasé cinco años en ello. Hay toda una historia de la conducción autónoma cuyo primer demo se remonta a los años 80. Puedes ver el demo de CMU de 1986. Hay un camión conduciendo solo por la carretera.

Avancemos rápido. Cuando me uní a Tesla, tuve acceso a un demo muy temprano de Waymo. Básicamente me dio un viaje perfecto en 2014 o algo así, hace básicamente 10 años. Así que ya había un viaje perfecto de Waymo hace 10 años. Eso fue porque tenía un amigo que trabajaba ahí y me llevó por Palo Alto. Yo pensé que ya estábamos muy cerca, y aun así siguió tomando mucho tiempo.

Para ciertos tipos de tareas y trabajos, existe una brecha muy grande entre demo y producto, donde el demo es muy fácil pero el producto es muy difícil. Eso es especialmente cierto en algo como la conducción autónoma, donde el costo de fallar es demasiado alto. Muchas industrias, tareas y trabajos probablemente no tienen esa propiedad, pero cuando sí la tienen, definitivamente alarga los plazos.

Por ejemplo, en ingeniería de software, creo que esa propiedad existe. No tanto en mucho del vibe coding. Pero si estás escribiendo código real de nivel de producción, esa propiedad tiene que existir. Porque cualquier tipo de error puede llevar a vulnerabilidades de seguridad o algo así. A que se filtren los números de identificación personal de millones o cientos de millones de personas, o algo por el estilo. Así que en software, la gente tiene que ser cuidadosa, como en la conducción autónoma. En la conducción autónoma, si algo sale mal, alguien puede resultar herido. Hay consecuencias peores. Pero en software, eso es casi infinito. Qué tan terrible puede llegar a ser algo.

Creo que comparten esa propiedad. Lo de que toma mucho tiempo, y una forma de pensarlo, es que es una marcha de nueves. Cada 9 individual es una cantidad fija de trabajo. Cada 9 individual implica la misma cantidad de trabajo. Obtener un demo y que algo funcione el 90% del tiempo, eso es apenas el primer 9. Luego necesitas el segundo 9, el tercer 9, el cuarto 9, el quinto 9. Cuando estuve en Tesla unos cinco años, probablemente avanzamos por tres nueves o dos nueves. No sé exactamente cuál era, pero eran varios nueves de iteración. Y todavía hacen falta más nueves.

Esa es la razón por la que estas cosas tardan tanto. Para mí eso fue claramente formativo: ver algo que era un demo. Los demos no me impresionan mucho. Cada vez que veo el demo de algo, me impresiona extremadamente poco. Si es un demo que alguien armó para mostrarlo, peor aún. Si puedes interactuar con ello, es un poco mejor. Pero incluso entonces, no está terminado. Necesitas un producto real. Cuando entre en contacto con la realidad, se va a enfrentar a todos estos desafíos y habrá todos estos distintos bolsillos de comportamiento que van a necesitar parches.

Vamos a ver cómo se despliega todo esto. Es la marcha de nueves. Cada 9 es constante. Los demos son alentadores. Aun así, hace falta una enorme cantidad de trabajo. Si no estás haciendo vibe coding, es un dominio de seguridad importante; todo eso está bien y es divertido. Esa es también la razón por la que, desde esa perspectiva, eso reforzó mi cronograma.

Dwarkesh Patel 01:46:25

Es muy interesante escuchar eso. Que digas que las garantías de seguridad necesarias en software no son tan distintas de las de la conducción autónoma. Lo que la gente suele decir es que la razón por la que la conducción autónoma tardó tanto es que el costo de fallar es demasiado alto. Los humanos, en promedio, cometen un error cada 400 mil millas o cada 7 años. Si tuvieras que lanzar un agente de codificación que no pueda cometer un error durante al menos 7 años, sería mucho más difícil desplegarlo.

Pero tu punto es que, si cometiera un error de codificación crítico, sería como arruinar un sistema importante cada 7 años...

Andrej Karpathy 01:46:56

Muy fácil de hacer.

Dwarkesh Patel 01:46:57

De hecho, en términos de tiempo de reloj, sería mucho menos que 7 años. Porque está generando código continuamente de esa manera. En términos de tokens serían 7 años. Pero en términos de tiempo de reloj...

Andrej Karpathy 01:47:09

En cierto sentido, es un problema mucho más difícil. La conducción autónoma es solo una de las miles de cosas que hace la gente. Es casi como una sola vertical, en mi opinión. Mientras que cuando hablamos de ingeniería de software general, eso tiene mucho más... mucha más superficie.

Dwarkesh Patel 01:47:20

Hay otra objeción que la gente plantea sobre esa analogía, y es que en conducción autónoma, gran parte del tiempo se fue en resolver el problema de tener una percepción básica robusta, construir representaciones y tener un modelo con sentido común que pueda generalizar cuando ve algo un poco fuera de distribución. Si alguien está haciendo una seña con la mano así en la carretera, no necesitas entrenarlo específicamente para eso. Va a tener algún entendimiento de cómo responder a algo así.

Esas son cosas que hoy estás obteniendo gratis con los LLM o los VLM, así que no necesitas resolver estos problemas tan básicos de representación. Entonces ahora desplegar IA en distintos dominios sería como desplegar un auto autónomo en otra ciudad con los modelos actuales, y eso es difícil, pero no es una tarea de 10 años.

Andrej Karpathy 01:48:07

No estoy 100% seguro de estar completamente de acuerdo con eso. No sé cuánto de eso realmente estamos obteniendo gratis. Todavía hay muchas brechas para entender qué es exactamente lo que estamos obteniendo. Definitivamente estamos obteniendo una inteligencia más generalizable a partir de una sola entidad. Mientras que la conducción autónoma es una tarea de propósito muy específico. En cierto sentido, construir una tarea de propósito específico probablemente es mucho más difícil, porque no surge de eso más general que estás haciendo a escala, si eso tiene sentido.

Pero la analogía sigue sin resonar del todo, porque los LLM todavía tienen bastantes errores y muchas brechas por llenar. No creo que estemos obteniendo una generalización mágica completamente lista para usar, en cierto sentido.

El otro aspecto al que quería volver es que los autos autónomos todavía ni siquiera están cerca de estar terminados. Los despliegues son bastante mínimos. Incluso Waymo tiene muy pocos autos. A grandes rasgos, diría que la razón por la que hacen eso es porque no es económico. Construyeron algo que vive en el futuro. Tuvieron que traer el futuro al presente, pero tuvieron que hacerlo de forma antieconómica. No solo está el costo marginal de esos autos y de sus operaciones y mantenimiento, también está todo el gasto de capital del sistema completo y todos esos costos. Hacer eso económicamente viable todavía va a ser una tarea ardua para ellos.

Además, cuando ves estos autos, nadie está conduciendo, pero en realidad creo que eso es un poco engañoso. Porque hay centros de teleoperación muy sofisticados para estos autos y personas que están dentro del circuito de alguna manera. No tengo la visión completa, pero hay más intervención humana de la que uno esperaría. Hay personas en algún lugar entrando por haz desde el cielo. No sé si están completamente dentro del circuito de conducción. A veces lo están, pero definitivamente están involucradas y hay personas. En cierto sentido, en realidad no eliminamos a la persona, solo la movimos a algún lugar donde tú no la puedes ver.

Creo que todavía habrá trabajo para hacer que la conducción autónoma sea realmente autónoma. Pero coincido con lo que mencionas sobre pasar de un entorno a otro. Sigue habiendo desafíos para hacerla verdaderamente autónoma. Pero sí estoy de acuerdo en que claramente ya cruzó el umbral donde se siente real, a menos que en realidad esté siendo teleoperada. Por ejemplo, Waymo no puede ir a todas las distintas partes de la ciudad. Mi sospecha es que esas son las partes de la ciudad donde no obtienen buena señal. En fin, no sé nada del stack. Solo estoy improvisando.

Dwarkesh Patel 01:50:23

Lideraste la conducción autónoma en Tesla durante 5 años.

Andrej Karpathy 01:50:27

Perdón, no sé nada de los detalles de Waymo. Dicho eso, me encanta Waymo y siempre lo uso. Solo creo que a veces la gente es un poco demasiado ingenua respecto al progreso, y sigo pensando que todavía hay una enorme cantidad de trabajo por hacer. Tesla, en mi opinión, adoptó un enfoque mucho más escalable y al equipo le está yendo extremadamente bien. Me la estoy jugando con una predicción sobre cómo va a avanzar esto. Waymo tuvo una ventaja inicial porque pudo empaquetar muchos sensores. Pero creo que Tesla está siguiendo una estrategia más escalable y que se va a parecer mucho más a eso. Así que esto todavía tiene que desarrollarse y aún no lo ha hecho. Pero no quiero hablar de la conducción autónoma como algo que tomó 10 años. Porque todavía no los ha tomado, si eso tiene sentido.

Dwarkesh Patel 01:51:08

Porque, primero, el inicio fue en 1980 y no hace 10 años, y luego, segundo, porque el final todavía no está aquí.

Andrej Karpathy 01:51:14

El final todavía no está cerca. Porque cuando hablamos de conducción autónoma, normalmente creo que hablamos de conducción autónoma a escala. De que la gente no necesite sacar licencia de conducir, etcétera.

Dwarkesh Patel 01:51:22

Quiero proponer dos formas distintas que podrían servir como analogías. La razón por la que esta pregunta es especialmente interesante es que, potencialmente, es la pregunta más importante del mundo en este momento: qué tan rápido se despliega la IA y cuánto valor tiene al principio. Si intentas modelar cómo se verá 2030, esta es una pregunta que debes entender hasta cierto punto.

Otra cosa en la que puedes pensar es, primero, que la conducción autónoma tiene requisitos de latencia. No sé en absoluto cuáles son los modelos reales, pero supongamos que son algo así como decenas de millones de parámetros. Esa no es una restricción necesaria para el trabajo del conocimiento usando LLM. Con el uso de computadoras y cosas así, quizá sí.

Pero la otra gran cuestión, y probablemente más importante, es esta pregunta sobre el gasto de capital. Sí, hay un costo adicional por servir copias adicionales del modelo, pero el costo operativo de una sesión es bastante bajo y, dependiendo de cómo avance el escalado de inferencia y demás, se puede amortizar el costo de la IA contra la propia corrida de entrenamiento. Pero desde luego no es como tener que fabricar un auto completamente nuevo para ofrecer otra instancia del modelo. Así que, en términos económicos, desplegarlo a mayor escala es mucho más favorable.

Andrej Karpathy 01:52:37

Creo que eso es correcto. Si te mantienes en el ámbito de los bits, los bits son un millón de veces más fáciles que tocar el mundo físico. Eso sin duda lo concedo. Los bits son completamente maleables y pueden reorganizarse arbitrariamente a velocidades muy altas. También esperaría una adaptación mucho más rápida en la industria. ¿Cuál era el primer punto?

Dwarkesh Patel 01:52:59

¿Los requisitos de latencia y sus implicaciones para el tamaño del modelo?

Andrej Karpathy 01:53:02

Creo que, a grandes rasgos, sí. Además, si estás hablando de trabajo del conocimiento a escala, creo que, en la práctica, sí habrá algunos requisitos de latencia. Porque hay que generar una cantidad enorme de cómputo y luego entregarlo.

El último aspecto del que quiero hablar muy brevemente es todo lo demás. ¿Cómo lo ve la sociedad? ¿Cuáles son las implicaciones legales? ¿Cómo funciona legalmente? ¿Cómo funciona del lado de los seguros? ¿Cuáles son esas capas y aspectos? ¿Cuál sería el equivalente de la gente poniéndole conos a un Waymo? Va a haber equivalentes de todo eso. Por eso siento que la conducción autónoma es una muy buena analogía de la que puedes tomar ideas. ¿Cuál es el equivalente del cono en el auto? ¿Cuál es el equivalente del operador remoto oculto y todos los aspectos relacionados con eso?

Dwarkesh Patel 01:53:53

¿Qué opinas de la construcción actual de IA? En uno o dos años vamos a multiplicar por 10 el cómputo disponible para uso en el mundo, y para finales de la década será más de 100 veces. Si el uso de la IA va a ser menor de lo que algunas personas predicen ingenuamente, ¿eso significa que estamos sobreconstruyendo cómputo o es una pregunta aparte?

Andrej Karpathy 01:54:15

Es como lo que pasó con los ferrocarriles.

Dwarkesh Patel 01:54:18

¿Cómo, perdón?

Andrej Karpathy 01:54:19

¿Con los ferrocarriles, o no?

Dwarkesh Patel 01:54:20

Sí, así fue.

Andrej Karpathy 01:54:21

Sí. Hay precedentes históricos. ¿O era la industria de las telecomunicaciones? Empaquetar por adelantado el internet que no llegaría sino hasta 10 años después y crear toda la burbuja en la industria de telecomunicaciones a finales de los 90.

Entiendo que aquí sueno muy pesimista. En realidad soy optimista. Creo que esto va a funcionar. Creo que es manejable. La única razón por la que sueno pesimista es que, si voy a mi timeline de Twitter, veo todas estas cosas que simplemente no me hacen sentido. Hay muchas razones por las que eso existe. Honestamente, mucho de eso es solo financiamiento. Es la estructura de incentivos. Puede que gran parte sea financiamiento. Puede que gran parte sea simplemente atención, y convertir la atención en internet en dinero, y cosas así. Están pasando muchas cosas y yo solo estoy reaccionando a eso.

Pero, en general, sigo siendo muy optimista sobre la tecnología. Vamos a resolver todo esto. Ha habido una cantidad rápida de progreso. No sé si hay sobreconstrucción. Según lo que entiendo, creo que podremos devorar lo que se está construyendo. Por ejemplo, cosas como Claude Code u OpenAI Codex ni siquiera existían hace un año. ¿Cierto? Esta es una tecnología milagrosa que no existía. Va a haber una enorme cantidad de demanda, como ya vemos con ChatGPT y demás.

Así que no sé si hay sobreconstrucción. Simplemente estoy reaccionando a algunas de estas líneas de tiempo extremadamente rápidas que la gente sigue expresando mal. Llevo 15 años trabajando en IA y he escuchado muchísimos casos en los que personas muy respetadas entienden mal este problema. Quiero que esto se calibre correctamente, y parte de esto también tiene implicaciones geopolíticas junto con estas preguntas y cosas así. No quiero que la gente se equivoque en ese terreno. Quiero que nos basemos en la realidad de lo que la tecnología es y de lo que no es.

01:56:20 - El futuro de la educación

Dwarkesh Patel 01:56:20

Hablemos de educación y de Eureka. Una cosa que podrías hacer es iniciar otro laboratorio de IA y luego intentar resolver esos problemas. Tengo curiosidad por saber qué estás haciendo ahora y por qué no es investigación de IA en sí.

Andrej Karpathy 01:56:33

La forma en que lo expresaría es que siento cierto grado de determinismo respecto a lo que están haciendo los laboratorios de IA. Siento que podría ayudar ahí, pero no estoy seguro de que vaya a mejorar las cosas de una forma única. Mi gran temor personal es que muchas de estas cosas ocurran del lado de la humanidad, y que la humanidad quede desempoderada por ello. Me importa no solo todas las esferas de Dyson que vamos a construir, sino también qué les pasa a los seres humanos, que la IA va a construir de una manera completamente autónoma. Quiero que a los humanos les vaya bien en el futuro.

Siento que puedo aportar un valor mucho más singular ahí que en mejoras incrementales dentro de un laboratorio de frontera. Lo que más temo es algo como lo que se retrata en películas como WALL-E o Idiocracy. Un escenario donde la humanidad queda al margen de estas cosas. Quiero que los humanos sean mucho, mucho mejores en este futuro. Para mí, esto se logra mediante la educación.

Dwarkesh Patel 01:57:35

Entonces, ¿qué estás haciendo ahí?

Andrej Karpathy 01:57:36

La forma más fácil en que puedo explicarlo es que estamos tratando de construir la Academia de la Flota Estelar. No sé si has visto Star Trek.

Dwarkesh Patel 01:57:44

No la he visto.

Andrej Karpathy 01:57:44

La Academia de la Flota Estelar es esta institución de élite para tecnología de frontera, construcción de naves espaciales y para graduar a los cadetes que van a pilotear esas naves, y todo eso. Entonces, simplemente imagino una institución de élite para el conocimiento técnico, una especie de escuela que sea súper actual y de primer nivel.

Dwarkesh Patel 01:58:05

La categoría de preguntas que tengo para ti es sobre cómo enseñar bien contenido técnico o científico. Porque eres uno de los maestros mundiales en eso. Tengo curiosidad por saber qué piensas del contenido que ya has publicado en YouTube, y también de Eureka, y cómo lo piensas, si es que es diferente.

Andrej Karpathy 01:58:25

Sobre Eureka, una cosa que me fascina mucho de la educación es que creo que la educación va a cambiar de una forma bastante fundamental si la IA está al lado. Hasta cierto punto, va a tener que recablearse y modificarse.

Sigo pensando que todavía estamos bastante al inicio. Habrá mucha gente con un LLM intentando hacer las cosas obvias que uno querría hacer al hacer preguntas. Haz todas las cosas básicas que hoy se pueden hacer con prompting. Ayuda, pero todavía se siente un poco improvisado para mí. Quiero hacerlo bien, y no creo que las capacidades estén en el punto que yo quiero. Lo que quiero es una experiencia de tutor real.

El ejemplo que más me resalta es que recientemente estuve aprendiendo coreano. Así que, aprendizaje de idiomas. Pasé por la etapa de aprender coreano por mi cuenta en internet. Pasé por la etapa de ser parte de una clase pequeña con un grupo de otras personas escuchando coreano en Corea, lo cual fue muy gracioso. Éramos como 10 personas con la profesora, escuchando coreano. Luego cambié a tutorías uno a uno.

Lo que me fascinó fue que creo que tuve una tutora realmente buena, y simplemente pensar en qué era lo que esta tutora hacía por mí, lo increíble que fue esa experiencia y lo alto que eso dejó el estándar de lo que eventualmente quiero construir. A partir de una conversación muy breve, de inmediato entendió dónde estaba yo como estudiante, qué sabía y qué no sabía. Pudo explorar exactamente qué tipo de preguntas o cosas podían ayudarle a entender mi modelo del mundo. Ningún LLM hoy va a hacer eso por ti al 100%, ni siquiera cerca. Pero una tutora sí lo hará, si es buena. Una vez que entendió eso, realmente me dio todo lo que necesitaba desde el fragmento exacto de mis capacidades actuales. Siempre necesitas que te desafíen de la manera adecuada. No puedes enfrentarte a algo demasiado difícil ni demasiado trivial, y una tutora es realmente muy buena para darte justo lo correcto.

Sentí que la única limitación del aprendizaje era yo. Siempre se me daba información perfecta. Yo soy la única limitación. Se sentía bien. Porque yo era el único obstáculo que existía. No era que no pudiera encontrar el conocimiento, o que no estuviera bien explicado, etcétera. Era solo mi capacidad para memorizar y cosas así. Esto es lo que quiero para la gente.

Dwarkesh Patel 02:00:27

¿Cómo automatizas eso?

Andrej Karpathy 02:00:29

Muy buena pregunta. Con las capacidades actuales, no lo haces. Esa es la razón por la que creo que todavía no es el momento adecuado para construir este tipo de tutor de IA. Sigo pensando que sería un producto útil, y mucha gente va a construirlo, pero el estándar es demasiado alto y las capacidades todavía no están ahí. Incluso hoy, diría que ChatGPT es un producto educativo extremadamente valioso. Pero para mí, fue muy fascinante ver lo alto que era el estándar cuando estaba con ella. Casi sentí que no había manera de construir esto.

Dwarkesh Patel 02:01:02

Pero lo estás construyendo, ¿no?

Andrej Karpathy 02:01:03

Cualquiera que haya tenido una muy buena tutora piensa: “¿Cómo voy a construir esto?”. Yo estoy esperando esas capacidades.

Hice consultoría de IA en visión por computadora. En muchos casos, el valor que yo llevaba a una empresa era decirles que no usaran IA. Yo era el experto en IA, ellos explicaban el problema y yo les decía: “No usen IA”. Ese era mi valor agregado. En educación, ahora mismo, siento algo parecido. Para lo que tengo en mente, todavía no es el momento, pero ese momento va a llegar. Por ahora, estoy construyendo algo de apariencia un poco más tradicional, con componentes físicos y digitales, etcétera. Pero es obvio cómo debería verse esto en el futuro.

Dwarkesh Patel 02:01:43

Hasta donde quieras contar, ¿es algo que esperas lanzar este año o el próximo?

Andrej Karpathy 02:01:49

Estoy creando el primer curso. Quiero hacer un curso realmente, realmente bueno. El destino de frontera obvio al que uno va para aprender, en este caso IA. Como eso es lo que conozco, es un muy buen primer producto para hacerlo realmente bien ahí. Así que eso es lo que estoy construyendo. Nanochat, que mencionaste brevemente, es el proyecto final de LLM101N, la clase que estoy construyendo. Es una parte realmente grande de eso. Pero ahora tengo que crear muchos pasos intermedios y luego contratar un pequeño equipo de TAs y construir todo el curso.

Otra cosa que quiero decir es que muchas veces, cuando la gente piensa en educación, piensa más en lo que yo llamaría los componentes más suaves de difundir conocimiento. Yo tengo en mente algo muy difícil y técnico. En mi opinión, la educación es un proceso técnico muy difícil de construir rampas hacia el conocimiento. Creo que nanochat es una rampa hacia el conocimiento. Porque es muy simple. Es un stack completo totalmente simplificado. Si le das este artefacto a alguien y lo estudia, está aprendiendo una enorme cantidad de cosas. Le estás dando mucho de lo que yo llamo eurekas por segundo, comprensión por segundo. Eso es lo que quiero, muchas eurekas por segundo. Así que, para mí, este es un problema técnico de cómo hacemos esta rampa de manera muy eficiente. Para que la gente nunca se quede atascada y nada sea siempre demasiado difícil ni demasiado trivial, y tenga exactamente el material correcto para seguir avanzando.

Dwarkesh Patel 02:03:25

Lo que imaginas a corto plazo es que, en vez de que un tutor explore tu comprensión, si tienes suficiente autoconciencia como para explorarte a ti mismo, nunca te vas a quedar atascado. Entre hablar con un TA o hablar con un LLM y ver implementaciones de referencia, puedes encontrar la respuesta correcta. Hasta ahora, no parece que la automatización o la IA sean la parte importante. Por ahora, el gran alfa aquí es tu capacidad de explicar la IA, codificada en el material fuente del curso. Eso es, en el fondo, lo que es el curso.

Andrej Karpathy 02:04:00

Siempre tienes que ajustarte a las capacidades que existen en la industria. Mucha gente va a perseguir simplemente preguntarle a ChatGPT y cosas así. Pero ahora mismo, por ejemplo, si vas a ChatGPT y le dices que te enseñe IA, no hay manera. Te va a dar basura. La IA no va a escribir nanochat en este momento. Pero nanochat es un punto intermedio realmente útil. Yo sí estoy colaborando con IA para crear todo este material, así que la IA sigue siendo fundamentalmente muy útil.

Antes creé CS231n en Stanford, que creo que fue la primera clase de deep learning en Stanford, y fue muy popular. La diferencia entre crear 231n en ese entonces y crear LLM101N ahora es bastante marcada. Siento que están realmente potenciadas por los LLM tal como existen ahora, pero yo sigo muy metido en el proceso. Ellos ayudan a crear el material, y yo avanzo mucho más rápido. Hacen muchas de las cosas tediosas, etcétera. Siento que estoy desarrollando el curso mucho más rápido, y sí está impregnado de LLM, pero todavía no estamos en un punto donde puedan crear el contenido de manera creativa. Yo sigo ahí para hacer eso. La parte complicada es siempre ajustarte a lo que sí existe.

Dwarkesh Patel 02:05:04

Cuando imaginas lo que estará disponible a través de Eureka en unos años, parece que el gran cuello de botella será encontrar a los Karpathy de cada campo que puedan convertir su comprensión en estas rampas.

Andrej Karpathy 02:05:18

Eso va a cambiar con el tiempo. Ahora mismo, será contratar profesorado para trabajar codo a codo con IA y con equipos humanos. Probablemente para crear cursos de frontera. Con el tiempo, quizá algunos de los TAs puedan ser IA. Creo que podrías tomar todo el material del curso y luego ofrecer un TA automatizado muy bueno para el estudiante, cuando tenga preguntas más básicas o cosas así. Pero creo que aún necesitarás profesorado para la arquitectura general del curso y para asegurarte de que esté bien. Así que veo una progresión de cómo esto va a evolucionar. Tal vez en algún momento del futuro yo no sea tan útil y la IA haga la mayor parte del diseño mucho mejor de lo que yo podría hacerlo. Pero aun así creo que eso tardará en desarrollarse.

Dwarkesh Patel 02:05:59

¿Te imaginas a personas con experiencia especializada en otros campos contribuyendo cursos, o sientes que, dada tu comprensión de cómo quieres enseñar, es muy esencial para la visión que tú seas quien diseñe el contenido? Como Sal Khan narrando personalmente todos los videos de Khan Academy. ¿Te imaginas algo así?

Andrej Karpathy 02:06:20

No, contrataría profesorado. Porque hay dominios en los que no soy experto. En última instancia, esa es la única manera de ofrecer la experiencia de vanguardia para el estudiante. Espero contratar profesorado, pero probablemente yo me quede en IA por un tiempo. Tengo en mente algo más tradicional de lo que la gente probablemente imagina sobre las capacidades actuales.

Cuando pienso en crear Starfleet Academy, probablemente imagino una institución física, y como una capa por debajo una oferta digital. Esa no es la experiencia de vanguardia que obtienes cuando alguien viene físicamente a tiempo completo y trabajamos el material de principio a fin asegurándonos de que lo entiendas. Esa sería la oferta física. La oferta digital serían muchas cosas de internet y probablemente algún asistente LLM. Es un poco más gimmick y es una capa inferior, pero al menos es accesible para 8 mil millones de personas.

Dwarkesh Patel 02:07:08

Básicamente, parece que estás reinventando la universidad desde primeros principios para las herramientas disponibles hoy, y seleccionando a personas que tengan la motivación y el interés de comprometerse de verdad con el material.

Andrej Karpathy 02:07:26

No solo educación, también tendría que haber mucha recapacitación. Quiero ayudar con eso. Porque los trabajos probablemente van a cambiar bastante. Por ejemplo, hoy mucha gente está tratando de mejorar sus habilidades, especialmente en IA. Creo que es un curso realmente bueno para enseñar en este contexto. En términos de motivación, la motivación pre-AGI es muy sencilla de resolver. Porque la gente quiere ganar dinero. Así es como se gana dinero en la industria hoy. Después de la AGI podría ser mucho más interesante. Porque si todo está automatizado y nadie tiene nada que hacer, ¿por qué iría alguien a la escuela?

A menudo digo que la educación pre-AGI es útil. La educación post-AGI es divertida. De una manera parecida a cómo hoy la gente va al gimnasio. No necesitamos su fuerza física para mover objetos pesados, porque tenemos máquinas que hacen eso. Aun así van al gimnasio. ¿Por qué van al gimnasio? Porque es divertido, es saludable y verte con abdominales se ve bien. Hacer eso le resulta atractivo a la gente. En un sentido muy profundo, psicológico y evolutivo, para la humanidad. La educación se va a desarrollar de la misma manera. La gente irá a la escuela como va al gimnasio.

Ahora mismo, mucha gente no aprende porque aprender es difícil. Rebotan contra el material. Algunas personas superan esa barrera, pero para la mayoría es difícil. Ese es un problema técnico por resolver. Lo que mi tutor hizo por mí cuando estaba aprendiendo coreano es un problema técnico por resolver. Es tratable, se puede construir, y alguien tiene que construirlo. Eso haría que aprender algo fuera trivial y deseable, y la gente lo haría por diversión, porque sería trivial. Si tuvieras un tutor así para cualquier fragmento arbitrario de conocimiento, sería mucho más fácil aprender cualquier cosa, y la gente lo haría. Lo harían por la misma razón por la que van al gimnasio.

Dwarkesh Patel 02:09:17

Eso suena distinto... Entonces, después de la AGI, estás usando esto como entretenimiento o para superación personal. Pero también parecía que había una visión en la que esta educación estaba relacionada con mantener a la humanidad en control de la IA. Eso suena diferente. ¿Para algunas personas sería entretenimiento, pero para otras empoderamiento? ¿Cómo lo ves?

Andrej Karpathy 02:09:41

Creo que eso termina siendo un poco un juego perdido, si eso tiene sentido. A largo plazo, sí. Probablemente en un plazo más largo de lo que la mayoría de la gente en la industria cree, pero es un juego perdido. La gente cree que puede llegar muy lejos, y apenas hemos arañado la superficie de lo lejos que puede llegar una persona. Eso pasa simplemente porque la gente rebota contra material que es demasiado fácil o demasiado difícil. La gente podrá llegar mucho más lejos. Todo el mundo hablará cinco idiomas. ¿Por qué no? Será demasiado trivial. Todo el mundo conocerá todo el currículo básico de licenciatura, etcétera.

Dwarkesh Patel 02:10:18

Ahora entiendo la visión, y es muy interesante. También está la analogía perfecta con la cultura del gimnasio. No creo que hace 100 años casi nadie estuviera musculoso. Casi nadie habría podido levantar voluntariamente dos o tres discos en bench press. Ahora es muy común por esta idea de entrenar sistemáticamente, de hacer levantamiento de pesas en el gimnasio, o de entrenar sistemáticamente para poder correr un maratón. Esa es una capacidad que la mayoría de los humanos no tiene de forma espontánea. Así que estás imaginando cosas similares para el aprendizaje en muchos otros dominios, pero mucho más intensamente, más profundo y más rápido.

Andrej Karpathy 02:10:54

Exactamente. Estoy apostando un poco por la permanencia de la naturaleza humana. Creo que hacer todas estas cosas seguirá siendo deseable, y que la gente las admirará como lo ha hecho durante miles de años. Eso va a seguir siendo cierto. Históricamente hay algo de evidencia de eso. Por ejemplo, si miras a los aristócratas, o a la antigua Grecia, o cosas así, cada vez que hemos tenido pequeños entornos de bolsillo que en cierto sentido eran post-AGI, la gente pasó mucho tiempo floreciendo de ciertas maneras, tanto física como cognitivamente. Me siento bastante bien con esa perspectiva.

Si eso es falso y estoy equivocado y terminamos en un futuro tipo WALL-E o Idiocracy, ni siquiera me importa si hay esferas de Dyson. Ese es un resultado terrible. De verdad me importa la humanidad. Todos tienen que ser sobrehumanos en cierto sentido.

Dwarkesh Patel 02:11:52

Eso sigue siendo... eso es fundamentalmente un mundo como del ámbito de la cultura, ¿no? Básicamente es un mundo en el que no vas a poder transformar la trayectoria de la tecnología ni influir en decisiones por tu propio trabajo o cognición. Tal vez puedas influir en decisiones porque la IA te pide tu aprobación, pero no es que realmente esté impactando el futuro porque inventé algo o pensé en un nuevo diseño.

Andrej Karpathy 02:12:21

Tal vez. Creo que habrá una fase de transición en la que estaremos en el circuito y podremos hacer avanzar las cosas si entendemos muchas cosas. A largo plazo, eso probablemente desaparezca. Puede que el deporte se convierta en lo que sea el powerlifting en la era cognitiva. Quizá haya personas que se vayan al extremo tratando de crear unas Olimpiadas de realmente saber cosas. Si tuvieras un tutor de IA perfecto, probablemente podrías llegar extremadamente lejos. Siento que los genios de hoy apenas están arañando la superficie de lo que la mente humana puede hacer.

Dwarkesh Patel 02:12:59

Me encanta esta visión. También siento que yo sería la persona con mayor product-market fit para esto. Porque mi trabajo implica tener que aprender temas distintos cada semana, y me emociona muchísimo.

Andrej Karpathy 02:13:17

Yo soy parecido. Mucha gente, por ejemplo, odia la escuela y quiere salir de ahí. A mí de verdad me gustaba la escuela. Me encantaba aprender cosas, etcétera. Quería quedarme en la escuela. Me quedé hasta el doctorado, y luego ya no me dejaron quedarme más, así que me fui a la industria. En términos generales, me encanta aprender, también por el puro hecho de aprender, pero además me encanta aprender porque es una forma de empoderamiento y porque es útil y productivo.

Dwarkesh Patel 02:13:39

También hiciste un señalamiento sutil que quiero dejar por escrito. Con lo que ha pasado hasta ahora con los cursos en línea, ¿por qué no han hecho ya que cada ser humano pueda saberlo todo? Simplemente son demasiado desmotivantes. Porque no hay una rampa evidente y es demasiado fácil atorarse. En cambio, si tuvieras esto —algo así como un muy buen tutor humano—, desde la perspectiva de la motivación eso sería como un desbloqueo.

Andrej Karpathy 02:14:10

Eso creo. Que te expulsen del material se siente mal. Se siente mal. Inviertes tiempo en algo y no da frutos, o recibes una recompensa negativa cuando lo que obtienes es demasiado fácil o demasiado difícil y termina siendo completamente aburrido. Cuando se hace bien, aprender se siente bien. Llegar a eso es un problema técnico. Durante un tiempo será colaboración entre IA y humanos, y en algún momento probablemente será solo IA.

Dwarkesh Patel 02:14:36

¿Puedo hacerte algunas preguntas sobre enseñar bien? Si tuvieras que aconsejarles a otros educadores de otros campos que te interesan que hicieran el tipo de tutoriales de YouTube que tú has hecho. Es especialmente interesante hablar de dominios donde no puedes poner a prueba la comprensión técnica de alguien haciéndole escribir código o algo así. ¿Qué consejo les darías?

Andrej Karpathy 02:14:58

Ese es un tema bastante amplio. Probablemente haya entre 10 y 20 consejos y trucos que aplico de forma semiinconsciente. Pero gran parte de esto viene de mi formación en física. De verdad, de verdad disfruté mi formación en física. Hay toda una larga historia sobre por qué todo el mundo debería estudiar física en la educación temprana. Porque la educación temprana no se trata de acumular conocimiento o memoria para trabajar después en la industria. Se trata de arrancar el cerebro. La física arranca el cerebro mejor que nada. Porque algunas de las cosas que hace que el cerebro practique en física son extremadamente valiosas más adelante.

La idea de construir modelos y abstracciones, y entender que existe una aproximación de primer orden que explica la mayor parte de un sistema, pero que puede haber o no términos de segundo, tercero o cuarto orden. La idea de observar sistemas muy ruidosos, pero que aun así existen estas frecuencias fundamentales que puedes abstraer. Cuando un físico entra a una clase y dice: “supongamos que tenemos una vaca esférica”, todo el mundo se ríe de eso, pero es excelente. En muchos sentidos puedes aproximar una vaca como una esfera, así que es una gran forma de pensar, muy generalizable a través de industrias enteras.

Por ejemplo, hay un libro realmente bueno, Scale. Es un libro escrito por un físico que habla sobre biología. Probablemente también recomendaría leer ese. Puedes obtener aproximaciones realmente interesantes de los animales y graficar las leyes de escalamiento de los animales. Ver su ritmo cardíaco y cosas así, y cómo eso coincide con el tamaño del animal y ese tipo de cosas. Puedes hablar de los animales en términos de volumen. Puedes hablar de su disipación de calor. Porque la disipación de calor crece con el área superficial, crece al cuadrado. Pero la generación o producción de calor crece al cubo. Así que siento que los físicos simplemente tienen todas las herramientas cognitivas correctas para abordar la resolución de problemas en el mundo.

Debido a ese entrenamiento, siempre trato de encontrar el término de primer orden o de segundo orden en todo. Cuando observo un sistema o algo así, tengo en la mente un enredo de ideas o una red de conocimiento. Estoy tratando de encontrar qué es lo importante. ¿Cuál es el componente de primer orden? ¿Cómo se puede simplificar? ¿Cómo puedo tener la cosa más simple que muestre eso, mostrarlo realmente, y luego añadir los otros términos?

Un ejemplo de uno de mis repositorios que creo que muestra bien eso se llama micrograd. No sé si lo conoces. micrograd son 100 líneas de código que muestran backpropagation. Puedes construir una red neuronal a partir de operaciones simples como suma y multiplicación. Los bloques Lego de las redes neuronales. Construyes un grafo computacional y haces el paso hacia adelante y el paso hacia atrás para obtener los gradientes. Ahora bien, ese es el núcleo de todo el entrenamiento de redes neuronales.

Así que micrograd son 100 líneas de código Python bastante interpretables, y puede hacer forward y backward para redes neuronales arbitrarias, pero no es eficiente. Así que micrograd, estas 100 líneas de Python, es todo lo que necesitas para entender cómo se entrenan las redes neuronales. Todo lo demás es solo eficiencia. Hay una enorme cantidad de trabajo para obtener eficiencia. Necesitas tensores, batching, strides, construir kernels, orquestar correctamente el movimiento de memoria, etcétera. Todo eso es solo eficiencia, a grandes rasgos. Pero la pieza intelectual central del entrenamiento de redes neuronales es micrograd. Son 100 líneas. Es fácil de entender. Es la aplicación recursiva de la regla de la cadena para derivar gradientes. Eso te permite optimizar funciones diferenciables arbitrarias.

Así que me encanta encontrar estos términos de orden pequeño, descubrirlos y servirlos en bandeja. Siento que la enseñanza es lo intelectualmente más interesante. Porque tienes este enredo de comprensión y tratas de organizarlo de forma que construya una rampa donde todo dependa solo de lo anterior. Desenredar este entramado de conocimiento me parece simplemente fascinante como trabajo cognitivo. A mí personalmente me encanta hacerlo, pero también hay una fascinación por tratar de ordenar las cosas de cierta manera. Tal vez eso me ayuda.

Dwarkesh Patel 02:18:41

Eso además hace que la experiencia de aprendizaje sea mucho más motivadora. Tu tutorial sobre transformers empieza con bigramas, literalmente una tabla de consulta, “aquí hay una palabra ahora, o aquí está la palabra anterior, aquí está la siguiente palabra”. Literalmente es solo una tabla de consulta.

Andrej Karpathy 02:18:58

Esa es su esencia, sí.

Dwarkesh Patel 02:18:59

Empezar con una tabla de consulta y llegar hasta transformers es una forma realmente excelente de hacerlo. Cada pieza tiene una motivación. ¿Por qué agregarías eso? ¿Por qué agregarías lo siguiente? Puedes memorizar la fórmula de attention, pero se trata de entender por qué cada una de las piezas es relevante y qué problema está resolviendo.

Andrej Karpathy 02:19:13

Presenta el dolor antes de presentar la solución, ¿qué tan ingenioso es eso? Quieres llevar al estudiante a través de esa progresión. Hay muchas otras pequeñas cosas que hacen que sea bueno, atractivo e interesante. Siempre dale prompts al estudiante.

Hay muchas otras cosas pequeñas e importantes como esa que hacen los buenos educadores. ¿Cómo resolverías esto? No voy a presentar la solución antes de que yo haga una conjetura. Eso sería un desperdicio. Sería un poco... no quiero maldecir, pero no darte la oportunidad de intentarlo tú mismo antes de que yo te presente la solución es una mala conducta hacia ti.

Dwarkesh Patel 02:19:51

Porque al intentar encontrarlo por ti mismo, obtienes una mejor comprensión de cuál es el espacio de acción, cuál es el objetivo, y luego por qué solo esta acción satisface ese objetivo.

Andrej Karpathy 02:20:03

Tienes la oportunidad de intentarlo por tu cuenta y, cuando te doy la solución, la aprecias. Maximizas la cantidad de conocimiento por cada nuevo hecho añadido.

Dwarkesh Patel 02:20:11

¿Por qué, básicamente, la gente que es realmente experta en su campo a menudo es mala explicándoselo a alguien que apenas lo está aprendiendo?

Andrej Karpathy 02:20:24

Es la pericia y la maldición del conocimiento. Es un fenómeno real, y yo también lo sufro por mucho que intente evitarlo. Das ciertas cosas por sentadas y no puedes ponerte en la posición de las personas nuevas que apenas están empezando. Está muy extendido y también me pasa a mí.

Una cosa muy útil. Por ejemplo, hace poco alguien intentó mostrarme un paper de biología, e inmediatamente tuve muchísimas preguntas horribles. Lo que hice fue usar ChatGPT, poner el paper en la ventana de contexto y hacer preguntas. Resolví algunas de las cosas simples. Luego compartí el hilo con la persona que escribió ese paper o hizo ese trabajo. Sentí que, si podían ver las preguntas tontas que yo tenía, eso podría ayudarles a explicarlo mejor en el futuro.

Con mi material, me encantaría que la gente compartiera sus conversaciones tontas con ChatGPT sobre las cosas que he hecho. Porque eso de verdad me ayuda a volver a ponerme en la posición de alguien que está empezando.

Dwarkesh Patel 02:21:19

Hay otro truco que funciona sorprendentemente bien. Cuando alguien escribe un artículo académico, una entrada de blog o da una presentación, la narración o transcripción de cómo lo explicaría durante el almuerzo suele ser mucho más no solo comprensible, sino también más precisa y científica. En el 100% de los casos. En el sentido de que la gente tiene el sesgo de explicar las cosas de la manera más abstracta y llena de jerga posible, y de aclararse la garganta durante cuatro párrafos antes de explicar la idea central. Pero hay algo en comunicarse uno a uno con alguien que hace que simplemente diga lo que quiere decir.

Andrej Karpathy 02:22:07

Simplemente díganlo. Vi ese tuit y me pareció muy bueno. Lo compartí con mucha gente. He sentido esto una y otra vez.

El ejemplo más claro es que recuerdo cuando hacía investigación durante mi doctorado. Leía el artículo de alguien e intentaba entender qué estaba haciendo. Luego, más tarde, me lo encontraba en una conferencia tomando una cerveza y le preguntaba: "Entonces, este paper, ¿qué estaba haciendo? ¿De qué trata?"

Y simplemente decía tres frases que capturaban perfectamente la esencia del paper y transmitían por completo la idea. Y ya no hacía falta leer el paper. Eso solo pasa cuando estás sentado a la mesa con una cerveza o algo así, y te dicen: "Ah, sí, el paper solo toma esta idea, toma aquella idea, prueba este experimento y prueba esto". Tienen una forma perfecta de expresarlo en una conversación. ¿Por qué eso no es el abstract?

Dwarkesh Patel 02:22:51

Exactamente. Esto viene desde la perspectiva de cómo alguien que intenta explicar una idea debería formularla mejor. Como estudiante, ¿qué consejo les darías a otros estudiantes si no tienen a un Karpathy explicándoles la idea? Si estás leyendo un paper o un libro de alguien, ¿qué estrategias usas para aprender material que te interesa en un área que no es tu especialidad?

Andrej Karpathy 02:23:20

No sé si tengo tips o trucos únicos, la verdad. Es un proceso doloroso. Una cosa que siempre me ha ayudado bastante —hice un pequeño tuit sobre esto— es que aprender según la necesidad está bastante bien. Aprender en profundidad primero. Siento que se necesita una especie de alternancia entre aprender en profundidad, según la necesidad —estás intentando lograr cierto proyecto que va a darte una recompensa—, y aprender en amplitud, que sería: "Ah, hagamos un 101 de lo que sea, y aquí están todas las cosas que podrías necesitar". Eso es lo que hacen muchas escuelas: aprendizaje en amplitud, como "ah, confía en nosotros, esto lo vas a necesitar más adelante" y cosas así. Está bien, confío. Lo aprenderé porque lo voy a necesitar. Pero a mí me gusta el tipo de aprendizaje en el que obtienes una recompensa por hacer algo, y estás aprendiendo según la necesidad.

Otra cosa que he descubierto que es extremadamente útil. Esto ya va un poco más por el lado altruista de la enseñanza, pero explicarles cosas a otras personas es una forma hermosa de aprender algo más profundamente. A mí esto me pasa todo el tiempo. Probablemente también les pase a otras personas. Porque si de verdad no entiendes algo, te das cuenta de que no puedes explicarlo. Lo intentas y dices: "Ah, no entiendo esto". Y es tan molesto enfrentarte a eso. Puedes volver atrás y asegurarte de haberlo entendido. Llenas esos vacíos de comprensión. Te obliga a enfrentarlos. Te obliga a reconciliarlos.

Me gusta volver a explicar algo, y los demás también deberían hacerlo. Porque entonces tienes que manipular el conocimiento y asegurarte de entender realmente lo que estás diciendo al explicarlo.

Dwarkesh Patel 02:24:48

Es una gran reflexión para cerrar. Andrej, estuvo excelente.

Andrej Karpathy 02:24:51

Gracias.

[GN⁺]

Comentarios de Hacker News

• Creo que es importante ver el progreso de la IA como una especie de "marcha de nueves". Cada 9% adicional requiere la misma cantidad de esfuerzo. Si hiciste una versión demo que llega al 90%, ahora toca sumar el segundo 9%, luego el tercero, y así sucesivamente. Viví ese proceso iterativo muchas veces durante mis 5 años en Tesla. Todavía falta muchísimo camino. El avance de la IA suele verse exponencial en ciertos benchmarks fijos, pero la dificultad de pasar al siguiente nivel también aumenta exponencialmente, así que a largo plazo termina pareciendo una mejora lineal

  • Cuando vi recientemente una entrevista con Rich Sutton, pensé que AGI no es simplemente cuestión de ir sumando otro 9%. El entrevistador partía de la premisa de que para entender el lenguaje hace falta tener un modelo del mundo, pero Sutton rechazó esa premisa de inmediato. Creo que hasta podría estar de acuerdo con ese escepticismo

  • Esto me recuerda a un viejo dicho sobre el maratón. Un maratón tiene dos partes: las primeras 20 millas y los últimos 10 km, que corres sintiéndote más adolorido y cansado que en cualquier otro momento de tu vida

  • Me gusta la analogía del autor. Pero a partir de cierto punto, la propia IA empieza a ayudar a impulsar el progreso, y ahí está la diferencia decisiva con el ML especializado de antes y con otros sistemas. Por eso espero que haya una aceleración brusca dentro de los próximos 2 años

  • Yo también bromeo seguido con que termino el primer 90% del trabajo y luego paso al siguiente 90%

  • Esta forma de pensar aplica en muchos lados. Es como la llamada eficiencia de Pareto, o la regla 80/20: el 20% del esfuerzo produce el 80% del trabajo total. Pero completar el 20% restante consume la mayor parte del tiempo. Y ese principio se repite una y otra vez. Últimamente esto también se nota mucho en IT. Moverse rápido y experimentar funciona bien en la mayor parte del trayecto, pero en ese proceso se acumulan muchos problemas y al final alguien tiene que encargarse de ordenar y revisar. Cada pequeño problema se suma hasta convertirse en uno grande. Incluso con 99.9% de uptime, hay 9 horas de downtime al año, y 1 millón de casos de entre 1,000 millones no es una escala que se pueda ignorar. Gracias a la escalabilidad de la tecnología, el sector creció rapidísimo, pero la sombra también se hizo más grande. Es fácil llegar a un nivel por encima del promedio solo con esfuerzo, pero la habilidad de alguien en cierto campo puede seguir estando muy lejos de la maestría real. Igual que una persona con 100 millones de dólares, en distancia de riqueza, está más cerca de una persona sin hogar que de un billonario, nuestra intuición es curvada

• Siempre me da una sensación rara cuando investigadores de IA y científicos de la computación empiezan a comparar el cerebro humano con la IA y con las computadoras. Me pregunto por qué quienes solo estudiamos ciencias de la computación creemos saber lo suficiente de biología, neurociencia o teoría de la evolución. Estas discusiones son interesantes, pero en el fondo siempre pienso: "no olvidemos que estamos escuchando a dos egresados de CS hablando de neurociencia"

  • Creo que en IA habría que eliminar por completo este tipo de discurso e incluso esa terminología. Solo genera confusión infinita en el público. La esencia real de los LLM es simplemente entrenar matrices para predecir el siguiente token. Ese concepto ya basta para explicarlo, sin necesidad de meter AGI, Roko's basilisk o la conciencia humana

  • Si hay que responder por qué aparece esa premisa, la respuesta es: "arrogancia"

  • De hecho, si uno lo piensa lógicamente, existe el chiste de empezar imaginando un "cerebro perfectamente esférico y sin fricción"

  • Yo también hacía ese tipo de comparaciones en la licenciatura, y al final uno termina apoyándose en un modelo conceptual: si el cerebro hace X, quizá una computadora también hace una X parecida a simple vista, o puede reproducir X mediante pasos como Y y Z. Pero desde que entendí que el cerebro es una maquinaria química increíblemente compleja, me volví mucho más escéptico con ese tipo de analogías

  • La IA y la neurociencia sí se superponen bastante, sobre todo entre investigadores de generaciones anteriores. Por ejemplo, la asesora doctoral de Karpathy, Fei-Fei Li, estudió la visión en el cerebro de los gatos antes de pasarse a visión por computadora; Demis Hassabis tiene un doctorado en neurociencia computacional; Geoff Hinton también estudió psicología. La conferencia RLDM conecta el aprendizaje por refuerzo con la neurociencia para que expertos de ambos campos intercambien ideas. En la práctica, es muy probable que un investigador promedio de IA sepa bastante más sobre el cerebro que un estudiante común de ciencias de la computación, aunque igual le falte especialización para hacer investigación seria en ese tema

• Si hay una limitación fundamental de los LLM/IA actuales, es que se entrenan principalmente sobre datos abstraídos para imitar la corteza prefrontal, responsable del razonamiento lógico humano. Pero los juicios reales de los humanos están guiados por la actividad del sistema límbico, centrado en emoción e intuición. O sea, en la mayoría de los casos "hacemos algo antes de saber por qué", y después la corteza prefrontal arma una historia que encaje. En consecuencia, los LLM solo están imitando ciertas formas de actividad neuronal desde un lugar totalmente distinto a como los humanos procesamos la realidad

• Estoy dispuesto a apostar todo mi patrimonio a que AGI no aparecerá en la vida de nadie que esté leyendo este mensaje ahora mismo. Y eso incluye también la vida de futuros lectores que lleguen a ver este texto más adelante. La pregunta realmente interesante es cómo podría demostrarse una apuesta así

  • Me gustaría saber las razones concretas de por qué piensas eso. Cada vez que leo Hacker News me desconcierta ver predicciones sobre AGI lanzadas con total seriedad pero sin mucha lógica detrás. Yo de verdad no sé qué va a pasar

  • Para que esa apuesta exista de verdad, tendrías que poner dinero real en un mercado de predicción como Polymarket. Aunque antes habría que acordar una definición concreta de AGI. Si la otra parte la define a su favor, esa apuesta queda imposible de ganar

  • Si de verdad piensas apostar tu patrimonio, como casi no hay forma de monetizar algo así, en la práctica la respuesta es meterlo a un mercado de predicción. En Polymarket hay muchas apuestas sobre AGI

  • Igual lo más realista sería vender en corto acciones de Nvidia

  • Comentario proponiendo usar escrow (un sistema para depositar fondos en custodia entre partes)

• Yo también agregaría algo: creo que seguimos sin tener siquiera un entendimiento esquemático de qué es la inteligencia y cómo funciona. Ni siquiera está claro cómo se conectan conciencia e inteligencia. En una situación así, gran parte de la discusión sobre AGI o IA, e incluso de las predicciones, queda con bases muy débiles. Definir inteligencia artificial sin saber siquiera qué es la inteligencia suena contradictorio desde el principio

  • Definir la inteligencia o la conciencia es tan difícil porque dependemos por completo de una sola muestra (los humanos), y además le hemos encima una capa de misticismo sin fundamento. Lectura relacionada: https://bower.sh/who-will-understand-consciousness

  • Esto me pega muchísimo. Ni siquiera podemos modelar la conciencia de los invertebrados, y no tenemos una teoría decente de la "mente". Al final siento que la IA solo está fingiendo entender, imitando la apariencia, pero sigue muy lejos de la inteligencia real

• Si la transcripción de la entrevista es correcta, Karpathy no dijo en ningún momento de esta entrevista que AGI llegará en menos de 10 años, ni hizo una afirmación concreta sobre cuándo aparecerá. El título de Patel termina induciendo a error porque no coincide con el contenido real

  • Con Sutton pasa lo mismo. En la conversación real no dijo algo como "los LLM son el punto final", pero aun así termina interpretándose de esa manera

• Si comparas vibe coding con el autocompletado, los modelos LLM actuales tienen muchos defectos cognitivos. Por ejemplo, están tan entrenados en formas comunes de escribir código que interpretan mal cualquier enfoque que yo no haya tomado de la manera típica. Y además me da demasiada flojera escribir en inglés todo lo que quiero; si voy a la parte exacta del código y tecleo unas cuantas letras, el autocompletado me sugiere enseguida el código. En cambio, los modelos tienden a complicar demasiado el codebase, usar código innecesario y APIs obsoletas, así que en general ni sé si realmente ayudan

• Creo que incluso en un mundo con 50% de desempleo vamos a seguir discutiendo si eso ya es AGI de verdad o no

• Me parece extraña la idea misma de que AGI sea la meta. El término AI también es impreciso y no refleja bien la esencia del asunto. Los LLM no son inteligencia artificial, ni siquiera cuando son muy grandes. Aun así, un language model es una tecnología muy útil y potencialmente revolucionaria. Llamar AI a los LLM es a la vez sobrevalorarlos y subestimarlos. No hace falta decepcionarse porque no sean inteligencia artificial; siguen siendo una tecnología impresionante

  • Esta terminología genera confusión. Antes AI significaba todo tipo de inteligencia mecánica: un motor de ajedrez sencillo, un clasificador de imágenes, la IA de personajes en videojuegos, etc. Pero hoy mucha gente equipara AI con AGI, es decir, inteligencia a nivel humano

• Ahora que Nvidia se convirtió en la empresa de mayor capitalización bursátil, la discusión real sobre AGI quedó enterrada bajo el "hype train" de capital masivo. Gran parte del valor de las empresas relacionadas se basa en la creencia de que AGI se hará realidad en un futuro cercano. Si AGI parece demasiado próxima, da la impresión de que los líderes actuales se quedarán con todo el mercado; si parece demasiado lejana, entonces la inversión y el gasto pueden parecer insostenibles

  • El verdadero valor empresarial quizá no dependa tanto de la expectativa de AGI, sino más bien de que las empresas están gastando muchísimo dinero en tecnología de IA para ahorrar salarios de clase media mediante la automatización del trabajo de oficina

  • Incluso sin AGI, la IA por sí sola puede generar un valor económico enorme

  • Exacto. Junto con la narrativa de AGI en 5 a 10 años, se usa la guerra tecnológica con China, casi como si fuera una carrera espacial, para decir que hacen falta inversiones de "billones de dólares". Incluso en 2024 salieron noticias así: https://www.cnbc.com/2024/02/09/openai-ceo-sam-altman-reportedly-seeking-trillions-of-dollars-for-ai-chip-project.html