Libros introductorios sobre IA recomendados por el cofundador de HuggingFace

 (thomwolf.io)
52 puntos por xguru 2024-05-21 | 4 comentarios | Compartir por WhatsApp
  • Thomas Wolf, cofundador y CSO, estudió física y derecho
  • Esta es la lista de lecturas que hizo cuando entró al campo de NLP/AI/ML en 2016~17
    • Es decir, hay que tener en cuenta que fue antes de la revolución de ChatGPT/transformers/diffusion
  • El libro "Deep Learning" es un buen recurso para obtener una visión general rápida de las herramientas actuales
  • "Artificial Intelligence: A Modern Approach" es un excelente recurso sobre todas las herramientas y métodos previos a las redes neuronales
  • "Machine Learning: A Probabilistic Perspective" es un excelente recurso para profundizar más en el enfoque probabilístico y obtener una buena exposición a las herramientas bayesianas
  • "Information Theory, Inference and Learning Algorithms" es una pequeña joya que explica probabilidad y teoría de la información con una claridad casi increíble
  • "The Book of Why: The New Science of Cause and Effect" es una buena introducción a la causalidad
  • "Reinforcement Learning: An Introduction(Aprendizaje por refuerzo sólido)" es un excelente recurso para obtener una introducción al aprendizaje por refuerzo
  • Le parecieron interesantes tres excelentes recursos sobre procesamiento de lenguaje natural
  • Lo complementó con algunos cursos en línea
  • Si uno se incorporara a este campo después de la revolución de los transformers y el entrenamiento a gran escala, probablemente querría seguir otro camino
    • Algunos consejos para 2024:
      • Leer nuestro libro sobre NLP y transformers, Natural Language Processing with Transformers. Es anterior a ChatGPT, pero sigue siendo muy relevante y al final incluso cubre el entrenamiento de LLM
      • Tomar algunas clases en línea sobre deep learning de personas reconocidas del área
      • Aún se pueden leer algunos libros de la lista anterior para cultura general y, en particular, sigue pensando que "Information Theory, Inference and Learning Algorithms" sigue siendo una joya
      • Unirse a Hugging Face para aprender mediante la práctica :)

Lecturas relacionadas

4 comentarios

 
ninebow 2024-05-22

El nombre me sonaba familiar, así que lo busqué y vi que fue quien publicó un video sobre tendencias en desarrollo de modelos LLM hacia finales de marzo. (Todavía no lo termino de ver, qué pena)

Es un video de YouTube titulado 'A Little guide to building Large Language Models in 2024', que aborda de forma amplia temas como la preparación de datos para desarrollar LLM y los métodos de entrenamiento/evaluación.
 
nuthatch 2024-05-21

<Aprendizaje profundo> - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://aladin.kr/p/OLwph

<Inteligencia artificial 1~2 - 2 volúmenes> - Stuart Russell, Peter Norvig http://aladin.kr/p/g4yZY

<Machine Learning: aprendizaje automático> - Kevin Murphy http://aladin.kr/p/RGGL8

<Information Theory, Inference and Learning Algorithms (Hardcover)> - David MacKay http://aladin.kr/p/LFEp0

<The Book of Why: The New Science of Cause and Effect (Paperback)> - Dana Mackenzie, Judea Pearl http://aladin.kr/p/cLywB

<Aprendizaje por refuerzo sólido> - Richard Sutton, Andrew Barto http://aladin.kr/p/3NQoU

Natural Language Processing with Representation Learning - Kyunghyun Cho
https://github.com/nyu-dl/NLP_DL_Lecture_Note/…

<Neural Network Methods in Natural Language Processing (Paperback)> - Yoav Goldberg http://aladin.kr/p/non6R

<Fundamentos del procesamiento de lenguaje natural> - Jacob Eisenstein http://aladin.kr/p/rPoLB
 
ninebow 2024-05-22

¡¡Gracias por hacer el resumen!!
También compartí la lista que organizaste al republicar el texto; si prefieres que no lo haga, la eliminaré. 🙇‍♂️

https://discuss.pytorch.kr/t/gn-huggingface-ai-txt/4439/2
 
nottiger 2024-05-22

Gracias T_T