Entender el aprendizaje profundo

Resumen del contenido del libro

• El libro "Understanding Deep Learning", escrito por Simon J.D. Prince, está programado para ser publicado por MIT Press el 5 de diciembre de 2023.
• Este libro cubre diversos temas para ayudar a comprender el aprendizaje profundo, y los explica de manera que incluso un ingeniero de software principiante pueda entenderlos.
• Los temas principales del libro incluyen aprendizaje supervisado, redes neuronales, funciones de pérdida, entrenamiento de modelos, medición del rendimiento, regularización, redes convolucionales, redes residuales, transformadores, redes neuronales de grafos, aprendizaje no supervisado, redes generativas antagónicas, flujos de normalización, autoencoders variacionales, modelos de difusión, aprendizaje por refuerzo profundo, cómo funciona el aprendizaje profundo, aprendizaje profundo y ética, entre otros.

Materiales para educadores

• El manual de respuestas para educadores se proporciona a través de MIT Press al presentar credenciales.
• Se pueden solicitar copias para cursos a través de MIT Press.
• Se ofrecen materiales gráficos para cada capítulo en formatos PDF, SVG y PowerPoint.

Materiales para estudiantes

• Se proporcionan respuestas a preguntas seleccionadas y notebooks de Python, lo que ayuda a los estudiantes a comprender mejor el aprendizaje profundo mediante la práctica.
• Los notebooks cubren diversos temas, como fundamentos matemáticos, aprendizaje supervisado, redes neuronales poco profundas, redes neuronales profundas, funciones de pérdida, entrenamiento de modelos, gradientes e inicialización, medición del rendimiento, regularización, redes convolucionales, redes residuales, transformadores, redes neuronales de grafos, redes generativas antagónicas, flujos de normalización, autoencoders variacionales, modelos de difusión, aprendizaje por refuerzo profundo, cómo funciona el aprendizaje profundo, aprendizaje profundo y ética.

Opinión de GN⁺

• Este libro ofrece una comprensión integral del aprendizaje profundo e incluye tanto explicaciones teóricas como casos de aplicación práctica, por lo que resulta útil para quienes están aprendiendo.
• Al proporcionar materiales con los que un ingeniero de software principiante puede aprender de forma sistemática desde los conceptos básicos del aprendizaje profundo hasta temas avanzados, ofrece una oportunidad para desarrollar interés y conocimiento en este campo.
• Lo más importante es que incluye notebooks de Python para la práctica y materiales para educadores, lo que permite experimentar la aplicación del conocimiento teórico a la resolución de problemas reales.

[GN⁺]

Comentarios de Hacker News

• • Los comentarios en general se dividen en dos posturas: 1) no hace falta este conocimiento para construir sistemas de IA, 2) se necesita este conocimiento básico para entender qué está pasando realmente.
  • Ambas perspectivas son correctas. El campo se está dividiendo entre ingenieros de ML y científicos de ML (o investigadores).
  • Es bueno tener ambos tipos en un equipo. Los científicos pueden ser lentos, y los ingenieros avanzarán probando varias API y modelos de código abierto. Pero cuando se topan con obstáculos o hay que ajustar algoritmos, muchos ingenieros pueden tener dificultades. Para eso se necesita una mentalidad de I+D que a muchos ingenieros les resulta poco familiar.
  • Ahí es donde se vuelve evidente la importancia del científico de IA.
• • Si empiezo a estudiar IA desde ahora, ¿podría llegar a estar cerca del nivel de un experto?
  • Preocupación por iniciar un camino que parece requerir una maestría o un doctorado.
• • Me pregunto si aprender sobre este campo ahora solo tiene sentido con fines históricos, o si todavía sigue siendo relevante para el empleo en el futuro.
  • Imagino que OpenAI va a dominar todo lo relacionado con IA, pero me pregunto si esa idea es correcta.
• • Este libro es impresionante. Me gustó el capítulo sobre el "efecto irrazonable del aprendizaje profundo". ¿Hay otros libros a los que valga la pena prestar atención?
• • He trabajado durante décadas en varias plataformas de machine learning en empresas tecnológicas famosas. Todo en lo que trabajé se vuelve obsoleto rápidamente. Desde los algoritmos de ML hasta las plataformas de cómputo, todo es cambiante. Como solo unas pocas empresas élite están a cargo de toda la innovación en ML, para mucha gente aprender este tipo de material se siente contradictorio.
• • Es difícil evaluar libros como este... (¿solo por la tabla de contenidos?)
  • ¿Quién es el autor?
  • ¿Tiene otras publicaciones bien valoradas?
  • ¿Hay buenas reseñas de personas que conocen este campo?
  • ¿Hay buenas reseñas de estudiantes que no saben nada?
• • Puede que sea una pregunta tonta, pero: ¿cómo se compra el libro físico?
• • Parece que la imagen del PDF sobre "por qué funciona el aprendizaje profundo" apunta a "aprendizaje profundo y ética", y al revés también.
• • ¡Es un trabajo excelente, y ofrecerlo gratis es algo increíble!
• • No hay un capítulo sobre RNN, pero como lo último que leí fue "Deep Learning" de Ian Goodfellow en 2016, me parece interesante que sí haya un capítulo sobre transformers.