30 Papers - Resumen de la lista de artículos clave de IA recomendados por Ilya Sutskever

baeba · 2026-07-08T09:33:20+09:00

Sitio que reúne artículos fundamentales de machine learning basados en la lista de trabajos clave de IA que, según se dice, Ilya Sutskever recomendó a John Carmack, organizada para que principiantes puedan seguirla con más facilidad La lista recorre los principales hitos del desarrollo de la IA moderna, incluyendo deep learning, visión por computadora, modelado secuencial, attention, transformers, graph neural networks, scaling laws, teoría de la información y teoría de la complejidad No se limita a enumerar artículos: también agrupa notas de clase, textos explicativos y explicaciones basadas en código para reducir la barrera de entrada a los artículos originales Quienes busquen entender los grandes modelos de lenguaje modernos y los sistemas de deep learning pueden revisar en un solo lugar los puntos de partida de la arquitectura, las técnicas de entrenamiento y la teoría de la complejidad Aunque originalmente se conocía como una lista de 30 artículos, el sitio actualmente organiza solo 27 elementos Introducción Una lista que organiza materiales clave del avance de la IA Este sitio web es un proyecto que reúne artículos y materiales de aprendizaje que marcaron puntos de inflexión importantes en la investigación de IA. La lista está armada a partir del rumor de que Ilya Sutskever se la recomendó a John Carmack. El autor del sitio aclara que por ahora solo ha conseguido 27 de los 30 artículos completos de la lista. Cada entrada incluye el título del artículo, un resumen de sus ideas principales y datos sobre sus contribuyentes más importantes. El objetivo del material es ofrecer una vista de conjunto de las ideas que sentaron las bases de la tecnología de IA moderna. Desarrollo Evolución de la visión por computadora y las redes neuronales convolucionales CS231n: Convolutional Neural Networks for Visual Recognition Es un material educativo que explica las redes neuronales convolucionales desde lo básico. Recorre paso a paso desde clasificadores lineales hasta modelos profundos de reconocimiento de imágenes. Funciona como material introductorio para aprender CNN en visión por computadora. ImageNet Classification with Deep Convolutional Neural Networks Es el artículo de AlexNet, que ganó la competencia de ImageNet con una gran diferencia de rendimiento. Demostró la eficacia de las redes neuronales convolucionales profundas en clasificación de imágenes a gran escala. Se considera uno de los trabajos emblemáticos que detonaron la era moderna del deep learning. Deep Residual Learning for Image Recognition Es el artículo de ResNet, que introdujo las conexiones residuales. Fue diseñado para que la red aprendiera el cambio respecto a la entrada, y no una transformación completa. Hizo posible entrenar redes neuronales profundas de cientos de capas. Identity Mappings in Deep Residual Networks Como trabajo posterior a ResNet, analizó por qué los shortcuts de identidad son efectivos. Propuso el pre-activation residual block para mejorar la estructura de las redes residuales. Contribuyó a mejorar la estabilidad de optimización y el rendimiento de redes profundas. Multi-Scale Context Aggregation by Dilated Convolutions Presentó una forma de ampliar el campo receptivo mediante dilated convolution sin perder resolución. Permitió aprovechar información de contexto más amplia en tareas de dense prediction como la segmentación de imágenes. Ayudó a reflejar características de gran alcance manteniendo información espacial fina. Modelos secuenciales y solución al problema de dependencias de largo plazo The Unreasonable Effectiveness of Recurrent Neural Networks Es una entrada de blog práctica que experimenta con generación de texto usando RNN a nivel de carácter. Muestra con ejemplos que las RNN pueden capturar en buena medida la estructura y los patrones presentes en los datos. Explica de forma intuitiva el potencial del modelado de datos secuenciales. Understanding LSTM Networks Es un material que explica visualmente la estructura de compuertas de LSTM y su forma de transmitir información. Se enfoca en entender el mecanismo para mantener información a lo largo de secuencias largas. Es una referencia introductoria muy usada por quienes estudian LSTM por primera vez. Recurrent Neural Network Regularization Propone una forma adecuada de aplicar dropout a LSTM. Explica que el dropout debe aplicarse a las conexiones no recurrentes, y no a las conexiones recurrentes. Contribuyó a reducir el sobreajuste en redes neuronales recurrentes grandes. Order Matters: Sequence to Sequence for Sets Analizó cómo el orden de entrada y salida afecta el rendimiento en modelos sequence-to-sequence. Trata los problemas que surgen al procesar con modelos secuenciales datos que en esencia son conjuntos. Aporta una discusión sobre cómo modelar estructuras de datos sin orden. El giro estructural hacia attention y transformers Neural Machine Translation by Jointly Learning to Align and Translate Es un artículo clave que introdujo el mecanismo de attention en traducción automática. Permitió que el modelo no dependiera de un solo vector fijo de resumen, sino que consultara directamente las palabras relevantes del texto fuente. Después se convirtió en una base importante para los cambios de arquitectura en modelos de procesamiento de lenguaje natural. Pointer Networks Es un modelo secuencial diseñado para que la salida apunte a posiciones específicas de la entrada. Es adecuado para problemas en los que la respuesta se expresa como selección u ordenamiento de elementos de entrada. Propuso una arquitectura utilizable en optimización combinatoria y predicción estructurada. Attention Is All You Need Es el artículo que propuso la arquitectura Transformer. Eliminó la recurrence y procesó datos secuenciales únicamente con self-attention. Se convirtió en la base estructural clave de los grandes modelos de lenguaje modernos. The Annotated Transformer Es un material que explica el artículo de Transformer línea por línea junto con código ejecutable. Ayuda a entender la estructura del artículo original desde una perspectiva de implementación real. Funciona como recurso de aprendizaje para cerrar la brecha entre el paper de investigación y la implementación práctica. Memoria, razonamiento relacional y aprendizaje sobre estructuras de grafos Neural Turing Machines Es un modelo que combina una red neuronal con memoria externa legible y escribible. Controla la memoria mediante attention diferenciable. Planteó la posibilidad de aprender algoritmos simples a partir de datos de ejemplo. A Simple Neural Network Module for Relational Reasoning Es el artículo que propuso la relation network. Agrega a la red neuronal un módulo capaz de inferir relaciones entre pares de objetos. Presentó una estructura útil para razonamiento visual y resolución de problemas basados en relaciones. Relational Recurrent Neural Networks Combinó una red recurrente con memoria basada en self-attention. Fue diseñado para que las memorias almacenadas pudieran interactuar entre sí. Busca mejorar el rendimiento en tareas que requieren razonamiento relacional a lo largo del tiempo. Neural Message Passing for Quantum Chemistry Explicó las graph neural networks de forma unificada bajo el framework de message passing. Aplicó aprendizaje basado en grafos a la predicción de propiedades de estructuras moleculares. Puede verse como un trabajo que organizó la base estructural de la investigación en graph neural networks. Entrenamiento de modelos a gran escala y scaling laws Scaling Laws for Neural Language Models Midió que la pérdida de los modelos de lenguaje disminuye siguiendo una forma de power law en función del tamaño del modelo, los datos y el cómputo. Aportó una base empírica para construir modelos a gran escala. Luego se volvió un criterio importante para la estrategia de desarrollo de grandes modelos de lenguaje. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism Presentó un método de pipeline parallelism para entrenar redes neuronales gigantes distribuyéndolas entre varios dispositivos. Hizo práctico el entrenamiento de modelos grandes al repartir eficientemente el trabajo entre dispositivos. Ofreció una solución desde el lado de la infraestructura de entrenamiento necesaria para escalar el tamaño del modelo. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin Es un sistema que abordó el reconocimiento de voz en inglés y mandarín de forma end-to-end. Entrenó secuencias de voz utilizando connectionist temporal classification. Mostró el potencial de modelos de reconocimiento de voz escalables en entornos lingüísticos distintos. Comprender el aprendizaje desde la teoría de la información, la compresión y la complejidad Keeping Neural Networks Simple by Minimizing the Description Length of the Weights Es un trabajo temprano que interpretó la generalización de redes neuronales en relación con la longitud de descripción de los pesos. Propuso la idea de que un buen modelo tiene pesos que pueden describirse con pocos bits. Explica desde la teoría de la información la relación entre compresión y generalización. A Tutorial Introduction to the Minimum Description Length Principle Es un material tutorial que introduce el principio de mínima longitud de descripción. Interpreta el aprendizaje como el proceso de encontrar el modelo que describe los datos de la forma más corta posible. Ofrece conceptos básicos necesarios para entender la selección de modelos y el aprendizaje basado en compresión. Kolmogorov Complexity Es una teoría sobre la longitud del programa más corto capaz de generar una cadena. Proporciona la base formal de la description length y la algorithmic randomness. Se conecta con discusiones sobre compresión, generalización y complejidad en modelos de IA. The First Law of Complexodynamics Es un texto que explora una ley para explicar por qué la complejidad aumenta y luego disminuye en sistemas cerrados. Trata la complejidad no como algo simplemente idéntico a la entropía, sino como una característica dinámica aparte. Plantea preguntas conceptuales sobre el cambio temporal en sistemas complejos. Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton Es un estudio que modela con un autómata celular el proceso de mezcla entre café y crema. Analiza el fenómeno por el cual la complejidad aumenta y luego disminuye cuando el sistema avanza hacia el equilibrio. Muestra un intento de cuantificar el cambio temporal de la complejidad. Modelos generativos y el concepto de inteligencia universal Variational Lossy Autoencoder Es un modelo que combina un variational autoencoder con un autoregressive decoder. Presenta una forma de controlar qué información debe conservar el latent code. Trata el equilibrio entre aprendizaje de representaciones y preservación de información en modelos generativos. Machine Super Intelligence Es una tesis doctoral que propuso una forma universal de medir la inteligencia de las máquinas. Explora teóricamente las propiedades y consecuencias de agentes extremadamente poderosos. Puede verse como una de las bases formales de la discusión sobre inteligencia artificial general y superinteligencia. Conclusión Una lista de referencia que condensa la ruta central del desarrollo de la IA moderna Esta lista organiza, por corrientes tecnológicas, los conceptos principales que impulsaron el desarrollo de la IA moderna. Muestra el cambio estructural que va desde los primeros modelos de visión por computadora hasta RNN, LSTM, attention, Transformer y scaling laws. Incluye de forma amplia optimización de redes neuronales, entrenamiento a gran escala, aprendizaje sobre estructuras de grafos, teoría de la información y teoría de la complejidad. Más que una simple lista de papers de un solo campo, se acerca a una ruta de aprendizaje en múltiples capas para entender la IA moderna. Para investigadores y desarrolladores de IA, puede servir como material base para captar a la vez el contexto histórico de la tecnología, sus principios clave y sus direcciones de investigación.

(30papers.com)

21 puntos por baeba 4 시간 전 | 2 comentarios | Compartir por WhatsApp

Sitio que reúne artículos fundamentales de machine learning basados en la lista de trabajos clave de IA que, según se dice, Ilya Sutskever recomendó a John Carmack, organizada para que principiantes puedan seguirla con más facilidad
La lista recorre los principales hitos del desarrollo de la IA moderna, incluyendo deep learning, visión por computadora, modelado secuencial, attention, transformers, graph neural networks, scaling laws, teoría de la información y teoría de la complejidad
No se limita a enumerar artículos: también agrupa notas de clase, textos explicativos y explicaciones basadas en código para reducir la barrera de entrada a los artículos originales
Quienes busquen entender los grandes modelos de lenguaje modernos y los sistemas de deep learning pueden revisar en un solo lugar los puntos de partida de la arquitectura, las técnicas de entrenamiento y la teoría de la complejidad
Aunque originalmente se conocía como una lista de 30 artículos, el sitio actualmente organiza solo 27 elementos

Introducción

Una lista que organiza materiales clave del avance de la IA

Este sitio web es un proyecto que reúne artículos y materiales de aprendizaje que marcaron puntos de inflexión importantes en la investigación de IA.
La lista está armada a partir del rumor de que Ilya Sutskever se la recomendó a John Carmack.
El autor del sitio aclara que por ahora solo ha conseguido 27 de los 30 artículos completos de la lista.
Cada entrada incluye el título del artículo, un resumen de sus ideas principales y datos sobre sus contribuyentes más importantes.
El objetivo del material es ofrecer una vista de conjunto de las ideas que sentaron las bases de la tecnología de IA moderna.

Desarrollo

Evolución de la visión por computadora y las redes neuronales convolucionales

CS231n: Convolutional Neural Networks for Visual Recognition
- Es un material educativo que explica las redes neuronales convolucionales desde lo básico.
- Recorre paso a paso desde clasificadores lineales hasta modelos profundos de reconocimiento de imágenes.
- Funciona como material introductorio para aprender CNN en visión por computadora.
ImageNet Classification with Deep Convolutional Neural Networks
- Es el artículo de AlexNet, que ganó la competencia de ImageNet con una gran diferencia de rendimiento.
- Demostró la eficacia de las redes neuronales convolucionales profundas en clasificación de imágenes a gran escala.
- Se considera uno de los trabajos emblemáticos que detonaron la era moderna del deep learning.
Deep Residual Learning for Image Recognition
- Es el artículo de ResNet, que introdujo las conexiones residuales.
- Fue diseñado para que la red aprendiera el cambio respecto a la entrada, y no una transformación completa.
- Hizo posible entrenar redes neuronales profundas de cientos de capas.
Identity Mappings in Deep Residual Networks
- Como trabajo posterior a ResNet, analizó por qué los shortcuts de identidad son efectivos.
- Propuso el pre-activation residual block para mejorar la estructura de las redes residuales.
- Contribuyó a mejorar la estabilidad de optimización y el rendimiento de redes profundas.
Multi-Scale Context Aggregation by Dilated Convolutions
- Presentó una forma de ampliar el campo receptivo mediante dilated convolution sin perder resolución.
- Permitió aprovechar información de contexto más amplia en tareas de dense prediction como la segmentación de imágenes.
- Ayudó a reflejar características de gran alcance manteniendo información espacial fina.

Modelos secuenciales y solución al problema de dependencias de largo plazo

The Unreasonable Effectiveness of Recurrent Neural Networks
- Es una entrada de blog práctica que experimenta con generación de texto usando RNN a nivel de carácter.
- Muestra con ejemplos que las RNN pueden capturar en buena medida la estructura y los patrones presentes en los datos.
- Explica de forma intuitiva el potencial del modelado de datos secuenciales.
Understanding LSTM Networks
- Es un material que explica visualmente la estructura de compuertas de LSTM y su forma de transmitir información.
- Se enfoca en entender el mecanismo para mantener información a lo largo de secuencias largas.
- Es una referencia introductoria muy usada por quienes estudian LSTM por primera vez.
Recurrent Neural Network Regularization
- Propone una forma adecuada de aplicar dropout a LSTM.
- Explica que el dropout debe aplicarse a las conexiones no recurrentes, y no a las conexiones recurrentes.
- Contribuyó a reducir el sobreajuste en redes neuronales recurrentes grandes.
Order Matters: Sequence to Sequence for Sets
- Analizó cómo el orden de entrada y salida afecta el rendimiento en modelos sequence-to-sequence.
- Trata los problemas que surgen al procesar con modelos secuenciales datos que en esencia son conjuntos.
- Aporta una discusión sobre cómo modelar estructuras de datos sin orden.

El giro estructural hacia attention y transformers

Neural Machine Translation by Jointly Learning to Align and Translate
- Es un artículo clave que introdujo el mecanismo de attention en traducción automática.
- Permitió que el modelo no dependiera de un solo vector fijo de resumen, sino que consultara directamente las palabras relevantes del texto fuente.
- Después se convirtió en una base importante para los cambios de arquitectura en modelos de procesamiento de lenguaje natural.
Pointer Networks
- Es un modelo secuencial diseñado para que la salida apunte a posiciones específicas de la entrada.
- Es adecuado para problemas en los que la respuesta se expresa como selección u ordenamiento de elementos de entrada.
- Propuso una arquitectura utilizable en optimización combinatoria y predicción estructurada.
Attention Is All You Need
- Es el artículo que propuso la arquitectura Transformer.
- Eliminó la recurrence y procesó datos secuenciales únicamente con self-attention.
- Se convirtió en la base estructural clave de los grandes modelos de lenguaje modernos.
The Annotated Transformer
- Es un material que explica el artículo de Transformer línea por línea junto con código ejecutable.
- Ayuda a entender la estructura del artículo original desde una perspectiva de implementación real.
- Funciona como recurso de aprendizaje para cerrar la brecha entre el paper de investigación y la implementación práctica.

Memoria, razonamiento relacional y aprendizaje sobre estructuras de grafos

Neural Turing Machines
- Es un modelo que combina una red neuronal con memoria externa legible y escribible.
- Controla la memoria mediante attention diferenciable.
- Planteó la posibilidad de aprender algoritmos simples a partir de datos de ejemplo.
A Simple Neural Network Module for Relational Reasoning
- Es el artículo que propuso la relation network.
- Agrega a la red neuronal un módulo capaz de inferir relaciones entre pares de objetos.
- Presentó una estructura útil para razonamiento visual y resolución de problemas basados en relaciones.
Relational Recurrent Neural Networks
- Combinó una red recurrente con memoria basada en self-attention.
- Fue diseñado para que las memorias almacenadas pudieran interactuar entre sí.
- Busca mejorar el rendimiento en tareas que requieren razonamiento relacional a lo largo del tiempo.
Neural Message Passing for Quantum Chemistry
- Explicó las graph neural networks de forma unificada bajo el framework de message passing.
- Aplicó aprendizaje basado en grafos a la predicción de propiedades de estructuras moleculares.
- Puede verse como un trabajo que organizó la base estructural de la investigación en graph neural networks.

Entrenamiento de modelos a gran escala y scaling laws

Scaling Laws for Neural Language Models
- Midió que la pérdida de los modelos de lenguaje disminuye siguiendo una forma de power law en función del tamaño del modelo, los datos y el cómputo.
- Aportó una base empírica para construir modelos a gran escala.
- Luego se volvió un criterio importante para la estrategia de desarrollo de grandes modelos de lenguaje.
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
- Presentó un método de pipeline parallelism para entrenar redes neuronales gigantes distribuyéndolas entre varios dispositivos.
- Hizo práctico el entrenamiento de modelos grandes al repartir eficientemente el trabajo entre dispositivos.
- Ofreció una solución desde el lado de la infraestructura de entrenamiento necesaria para escalar el tamaño del modelo.
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
- Es un sistema que abordó el reconocimiento de voz en inglés y mandarín de forma end-to-end.
- Entrenó secuencias de voz utilizando connectionist temporal classification.
- Mostró el potencial de modelos de reconocimiento de voz escalables en entornos lingüísticos distintos.

Comprender el aprendizaje desde la teoría de la información, la compresión y la complejidad

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
- Es un trabajo temprano que interpretó la generalización de redes neuronales en relación con la longitud de descripción de los pesos.
- Propuso la idea de que un buen modelo tiene pesos que pueden describirse con pocos bits.
- Explica desde la teoría de la información la relación entre compresión y generalización.
A Tutorial Introduction to the Minimum Description Length Principle
- Es un material tutorial que introduce el principio de mínima longitud de descripción.
- Interpreta el aprendizaje como el proceso de encontrar el modelo que describe los datos de la forma más corta posible.
- Ofrece conceptos básicos necesarios para entender la selección de modelos y el aprendizaje basado en compresión.
Kolmogorov Complexity
- Es una teoría sobre la longitud del programa más corto capaz de generar una cadena.
- Proporciona la base formal de la description length y la algorithmic randomness.
- Se conecta con discusiones sobre compresión, generalización y complejidad en modelos de IA.
The First Law of Complexodynamics
- Es un texto que explora una ley para explicar por qué la complejidad aumenta y luego disminuye en sistemas cerrados.
- Trata la complejidad no como algo simplemente idéntico a la entropía, sino como una característica dinámica aparte.
- Plantea preguntas conceptuales sobre el cambio temporal en sistemas complejos.
Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
- Es un estudio que modela con un autómata celular el proceso de mezcla entre café y crema.
- Analiza el fenómeno por el cual la complejidad aumenta y luego disminuye cuando el sistema avanza hacia el equilibrio.
- Muestra un intento de cuantificar el cambio temporal de la complejidad.

Modelos generativos y el concepto de inteligencia universal

Variational Lossy Autoencoder
- Es un modelo que combina un variational autoencoder con un autoregressive decoder.
- Presenta una forma de controlar qué información debe conservar el latent code.
- Trata el equilibrio entre aprendizaje de representaciones y preservación de información en modelos generativos.
Machine Super Intelligence
- Es una tesis doctoral que propuso una forma universal de medir la inteligencia de las máquinas.
- Explora teóricamente las propiedades y consecuencias de agentes extremadamente poderosos.
- Puede verse como una de las bases formales de la discusión sobre inteligencia artificial general y superinteligencia.

Conclusión

Una lista de referencia que condensa la ruta central del desarrollo de la IA moderna

Esta lista organiza, por corrientes tecnológicas, los conceptos principales que impulsaron el desarrollo de la IA moderna.
Muestra el cambio estructural que va desde los primeros modelos de visión por computadora hasta RNN, LSTM, attention, Transformer y scaling laws.
Incluye de forma amplia optimización de redes neuronales, entrenamiento a gran escala, aprendizaje sobre estructuras de grafos, teoría de la información y teoría de la complejidad.
Más que una simple lista de papers de un solo campo, se acerca a una ruta de aprendizaje en múltiples capas para entender la IA moderna.
Para investigadores y desarrolladores de IA, puede servir como material base para captar a la vez el contexto histórico de la tecnología, sus principios clave y sus direcciones de investigación.

2 comentarios

GN⁺ 2 시간 전

Comentarios de Hacker News

No esperaba que este post llamara tanta atención; originalmente lo veía como un proyecto pequeño para ayudar a mis amigos a iniciarse en la lectura de artículos de investigación
Recibí muchos comentarios diciendo que el fondo y las animaciones eran demasiado intensos, así que creo que me incliné demasiado por que se viera bonito en vez de priorizar la usabilidad
Por eso agregué interruptores para desactivar por separado el movimiento de la página y los fondos de los papers
También hubo comentarios pidiendo impresiones más personales sobre cada paper; ya había escrito algunas sobre varios papers populares en X como @notmcrowley
Si sirve, podría agregarlas al sitio, pero no he estudiado ML o AI formalmente, así que mi interpretación es totalmente personal y podría no ser correcta
Si alguien con más experiencia quiere contribuir, puede contactarme
- Para quienes nunca han usado Twitter ni piensan crear una cuenta, estaría bien que agregaran esas impresiones personales al sitio
  Igual que tus amigos, estoy tratando de iniciarme en la lectura de papers de investigación, así que esta recopilación me viene justo ahora
Alguien publicó en X que “estos son los 30 papers de Ilya”, pero no citó ninguna fuente ni explicó de dónde lo sacó, y tampoco es alguien vinculado con Ilya o Carmack
¿Y a partir de eso alguien hizo, con vibe coding, un sitio web apenas usable, y esa es realmente la situación que terminó en la portada de HN?
- Un estudiante de primer año de ciencias de la computación se interesó en un tema, armó un pequeño sitio de recopilación de papers y lo subió a HN para compartirlo con otros
  Y luego alguien dejó un comentario que no es precisamente amable
- Las recopilaciones de recursos para nerds son poco menos que carnada
  De esas que uno guarda en favoritos y les da upvote para no volver a verlas jamás :)
- El sitio sí indica la procedencia hasta cierto punto
  Dice: “lista de papers que, según rumores, Ilya Sutskever le dio a John Carmack”
  Manning incluso tiene un libro llamado Ilya's list
  https://www.manning.com/books/sutskevers-list
- Ya apareció otro detractor, como si no hubiera suficientes
Soy el autor. Estoy en primer año de ciencias de la computación en Trinity College Dublin, y lo hice porque cuando empecé a meterme en la lectura de papers de investigación quemé muchísimo uso de Claude haciendo preguntas que probablemente otras personas ya se habían hecho antes
El sitio es solo un side project y claramente sigue siendo un trabajo en progreso
Puedo responder preguntas o recibir PRs en GitHub
- Sería útil tener una opción para desactivar las animaciones y mostrar los enlaces a los papers como una lista simple
- Sería interesante escuchar cuál es el objetivo del sitio
  Me pregunto si solo vuelve a alojar la lista y la presenta en otro formato
  Al menos esperaba que cada paper tuviera anotaciones con lo que aprendiste de él
Estaría bien que estuviera organizado por un orden de lectura recomendado o lógico
Por ejemplo, el paper que introdujo el mecanismo de atención probablemente debería ir antes que “Attention Is All You Need”
- De acuerdo. Si los papers están en un orden de lectura lógico, sería muy útil indicarlo claramente al principio
Este podría ser el post original de X que volvió famosa esta lista. Se publicó en 2024 y tiene 876 mil vistas
https://x.com/keshavchan/status/1787861946173186062
No creo que valga demasiado la pena debatir si de verdad es una lista hecha por Ilya o no
Muchos de los papers son ampliamente reconocidos como material educativo; por ejemplo, annotated transformer, unreasonable effectiveness of RNNs y understanding LSTM networks
Otros son papers fundamentales de los que cualquiera interesado en el área puede sacar algo: Krizhevsky et al. (2012) presentó AlexNet, Bahdanau et al. (2014) presentó la atención, He et al. (2015) presentó ResNet y Vaswani et al. (2017) presentó Transformer
Los demás son más especializados, pero entre ellos diría que el más importante probablemente es Kaplan et al. (2020) de OpenAI
Si eres principiante y todavía no te acostumbras a leer papers, recomiendo Welch Labs Illustrated Guide To AI
Es un libro hermoso y lo disfruté mucho al leerlo
Después de eso, creo que leer estos papers puede darte una comprensión más profunda
Al principio pensé que eran “los 30 mejores papers escritos por Ilya”, y por un momento me confundió por qué “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” estaba en la lista
La frase “no leí todas las versiones web de principio a fin” tampoco deja claro si esas versiones web son el texto original o las “explicaciones”
En cualquiera de los dos casos, eso me parece una gran señal de alerta
Después de ver esta lista por primera vez, hice PdfToMp3 para escuchar estos papers
Ahora evolucionó a ListenDock
Lo interesante es que PdfToMp3 existía antes que NotebookLM, y ya tenía “resúmenes”, aunque en ese momento los llamábamos explicaciones del profesor
Aquí hay un ejemplo de “Teacher Explanation” para el paper “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton”
https://listendock.com/e/quantifying_the_rise_and_fall_of_co...
- No entiendo por qué cada vez que publico algo aquí me llenan de downvotes
  Me pregunto si es porque parece demasiado spam, porque es AI o porque hay algún bot de downvotes siguiéndome
Llaman la atención los papers teóricos sobre complejidad de Kolmogórov
Para quien no esté familiarizado, Ilya sostiene que la razón por la que las redes neuronales generalizan, es decir, por la que funcionan en primer lugar, es que terminan encontrando una forma de explicar los datos de entrenamiento de manera simple y convergen efectivamente al límite de la complejidad de Kolmogórov [1]
[1] https://www.youtube.com/watch?v=AKMuA_TVz3A
- Eso aplica a todos los modelos estadísticos; no es alguna propiedad mágica exclusiva de las redes neuronales
Me gusta cómo está presentada la lista
Antes de leer estos papers, o mientras los lees, puede ayudar ver algunas charlas o podcasts de Ilya para captar la visión general y cómo se conectan los distintos trabajos
https://www.dwarkesh.com/p/ilya-sutskever
https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023...
https://www.dwarkesh.com/p/ilya-sutskever-2

jung5966 2 시간 전

Gracias por compartir una lista de materiales con los que se puede estudiar para adentrarse en los LLM/IA modernos.

-> Las CNN enseñan a leer el espacio, las RNN/LSTM a recordar el tiempo, attention a buscar la información necesaria, Transformer a paralelizar ese proceso, las familias GNN/Relation/Memory a calcular las relaciones entre objetos, los papers de scaling/infrastructure a entrenar todo eso a gran escala, y las líneas de MDL/Kolmogorov/complexity a pensar por qué el aprendizaje es un problema de compresión y generalización.

En otras palabras, estos 27 papers de la lista muestran desde distintos ángulos la idea de que “los sistemas inteligentes se vuelven fuertes cuando se combinan un buen inductive bias, un flujo de información estable, memoria selectiva, cálculo de relaciones, aprendizaje a gran escala y el descubrimiento de estructuras compresibles”.