Ilya Sutskever: “Si aprendes todo esto, sabrás el 90% de lo importante”

Lista de lecturas recomendadas por Ilya Sutskever sobre machine learning/IA

• The Annotated Transformer
• The First Law of Complexodynamics
• The Unreasonable Effectiveness of RNNs
• Understanding LSTM Networks
• Recurrent Neural Network Regularization
• Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
• Pointer Networks
• ImageNet Classification with Deep CNNs
• Order Matters: Sequence to sequence for sets
• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
• Deep Residual Learning for Image Recognition
• Multi-Scale Context Aggregation by Dilated Convolutions
• Neural Quantum Chemistry
• Attention Is All You Need
• Neural Machine Translation by Jointly Learning to Align and Translate
• Identity Mappings in Deep Residual Networks
• A Simple NN Module for Relational Reasoning
• Variational Lossy Autoencoder
• Relational RNNs
• Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
• Neural Turing Machines
• Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
• Scaling Laws for Neural LMs
• A Tutorial Introduction to the Minimum Description Length Principle
• Machine Super Intelligence Dissertation
• Desde la página 434 en adelante: Complejidad de Komogrov
• CS231n Convolutional Neural Networks for Visual Recognition

Colección de enlaces: https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

[lemonmint]

Parece que hay un problema con el rastreo del bot de Neo.

[xguru]

Parece que Reddit lo bloquea. Lo puse manualmente ;)

[GN⁺]

Opiniones de Hacker News

Resumen de comentarios de Hacker News

• El titular no refleja el verdadero alcance de esta tarea. Si haces clic para ver qué son estos materiales:

  • uno es un curso completo sobre redes neuronales convolucionales enlace
  • uno es un libro de texto de 500 páginas enlace
  • otro es un libro de texto de 80 páginas enlace
  • quizá sea posible si estudias esta lista a tiempo completo durante alrededor de un año. Dependiendo de tus prioridades, podría valer la pena.

• Hace algún tiempo también copié la lista en enlace para que fuera más fácil usar wget (por ejemplo, bajar todos los PDF de arXiv)

  • se pueden descargar todos los PDF de arXiv usando el comando wget.
  • junto con un amigo, usé pdfunite para unirlos en un solo PDF, y lo mandamos imprimir en espiral en una imprenta. El resultado quedó muy bien.

• Ten en cuenta que no hay confirmación de que esta sea la lista real.

  • no se ha confirmado que esta sea la lista real.
  • se dice que esta lista es la que Ilya le dio a John Carmack hace un año.

• How long does it take to learn the prerequisites to learn these if you don't already have a CS background?

  • al leer la lista, incluso entender aproximadamente la mitad de los títulos resultó difícil.
  • me pregunto si podré entenderla una vez que la empiece, o si debería comenzar en otro lado.

• Lo que la gente olvida es que, sin una meta adecuada y tangible, no importa cuántos artículos fundamentales o interesantes leas, al final no recordarás nada.

  • si no hay un objetivo claro y concreto, no importa cuántos papers leas, no se te quedará nada.

• Hay algunas discusiones anteriores, que se remontan a octubre de 2022. Me pregunto qué tan desactualizada está la lista ahora.

  • me pregunto qué tan vieja está esta lista. Ha habido algunas discusiones desde octubre de 2022.

• This is just someone’s bookmarks folder. Where’s the proof these were recommended by Ilya?

  • no hay pruebas de que esta lista haya sido recomendada por Ilya. Podría ser simplemente la carpeta de marcadores de alguien.

• El argumento de que esto representa el 90% de lo que importa en ML suena un poco atrevido.

  • la afirmación de que esta lista cubre el 90% de lo importante en machine learning es bastante audaz. Faltan temas importantes como aprendizaje por refuerzo o redes neuronales de grafos.

• Aquí no hay nada sobre LLMs, cuando el aprendizaje en contexto, retrieval augmentation, uso de herramientas y multimodalidad son justamente las áreas que más están avanzando.

  • la lista no incluye nada sobre modelos de lenguaje grandes (LLM). Faltan temas importantes como aprendizaje en contexto, augmentación por recuperación, uso de herramientas y multimodalidad.

• Leer 30 estudios no significa "haber aprendido y entendido". Especialmente si empiezas desde cero.

  • leer 30 papers no significa que los hayas "aprendido y entendido". Especialmente si empiezas desde cero.