MIT 6.S184: Introducción al flow matching y a los modelos de difusión

Introducción al flow matching y a los modelos de difusión

• La clase de ciencias de la computación 6.S184 de MIT es un curso sobre IA generativa que utiliza ecuaciones diferenciales estocásticas.
• Los modelos de difusión y basados en flujo se han consolidado como tecnología de punta de la IA generativa en diversas modalidades de datos, como imágenes, video y música.
• Este curso tiene como objetivo construir desde cero las bases matemáticas de estos modelos, y al final de la clase los estudiantes habrán construido por sí mismos un modelo de difusión de imágenes de juguete.
• Este curso es ideal para estudiantes que buscan comprender de forma rigurosa la teoría y la práctica de la IA generativa.

Notas de clase

• Las notas de clase son el eje central del curso y ofrecen una explicación independiente de todo el material.
• Las diapositivas de clase se proporcionan como apoyo visual y no son material independiente.

Clases

• Clase 1: Modelos de flujo y difusión

  • Introducción a los modelos generativos
  • Ecuaciones diferenciales ordinarias y estocásticas
  • Muestreo en modelos de flujo y difusión

• Clase 2: Construcción de objetivos de entrenamiento

  • Trayectorias de probabilidad condicionales y marginales
  • Ecuación de continuidad y ecuación de Fokker-Planck
  • Campos vectoriales marginales y función de score marginal

• Clase 3: Entrenamiento de modelos de flujo y difusión

  • Flow matching
  • Score matching
  • Diversos enfoques de modelos de difusión

• Clase 4: Construcción de un generador de imágenes

  • Guiado y generación condicional
  • Arquitecturas de redes neuronales
  • Revisión de modelos de vanguardia

• Clase 5: Robótica generativa

  • Clase invitada de Benjamin Burchfiel
  • Modelos de acción a gran escala
  • Modelos de difusión para robótica

• Clase 6: Diseño generativo de proteínas

  • Clase invitada de Jason Yim
  • Diseño de nuevas proteínas con IA
  • Flow matching para la generación de estructuras de proteínas

Prácticas

• Hay 3 prácticas incluidas con el curso, que permiten construir paso a paso modelos de flow matching y difusión.
• Las prácticas pueden abrirse y realizarse en Google Colab.

Instructores

• Peter y Ezra imparten el curso en conjunto, y Tommi Jaakkola participa como patrocinador y asesor.
• Peter Holderrieth es estudiante de doctorado, y Ezra Erives es estudiante de maestría en ingeniería.

Requisitos previos

• Se requieren álgebra lineal, análisis real y teoría básica de probabilidad, además de experiencia con Python y PyTorch.

Aviso

• Este curso no trata sobre modelos de lenguaje grandes (LLM). Aunque los LLM incluyen datos discretos como texto, este curso se centra en datos de espacios continuos como imágenes, video y estructuras de proteínas.

Agradecimientos

• Este curso no habría sido posible sin el apoyo de muchas personas y organizaciones.
• Se expresa agradecimiento al profesor Tommi Jaakkola, a Lisa Bella y Ellen Reid de MIT EECS, y a muchas otras personas.

[GN⁺]

Opiniones en Hacker News

• La clase de MIT "6.S184: Introduction to Flow Matching and Diffusion Models" fue publicada en YouTube

  • Enseña algoritmos de IA generativa para imágenes, video, proteínas y más, así como las herramientas matemáticas para comprenderlos
  • Los modelos de flujo y difusión son temas matemáticamente complejos, por lo que muchas clases solo enseñan intuiciones de alto nivel
  • Esta clase ofrece una introducción matemáticamente rigurosa e independiente, dirigida a principiantes en IA
  • Espero que les guste la clase

• Los flujos normalizantes condicionales son una de las soluciones más elegantes para los problemas de diseño inverso

  • Si tienes datos, puedes entrenarlos
  • La idea de transformar una distribución base con una función biyectiva para moverla al lugar correcto es muy elegante
  • He tenido dificultades para manejar objetivos continuos y categóricos al mismo tiempo
  • Es un método realmente genial

• La última década ha sido una época dorada para la educación en deep learning

  • Es interesante la competencia por ofrecer contenido educativo gratuito de alta calidad

• Es una gran clase, quiero tomarla pronto

  • Aunque esta clase se enfoca en espacios continuos, también están pasando muchas cosas interesantes en la difusión discreta
  • Me pregunto si hay planes para una clase de seguimiento
  • Me enteré de que el profesor Peter publicó un artículo sobre difusión discreta

• Me pregunto si existe alguna colección que reúna todos los cursos públicos sobre las tecnologías de IA más recientes

• Estoy muy agradecido con MIT OCW y sus colaboradores

  • Lo uso como material complementario, y aprender el mismo tema de dos formas distintas resulta muy útil
  • Ayuda especialmente con los temas difíciles de entender

• Parece que los LLMs han desviado mucha atención, a pesar de que esta tecnología es muy útil

• Es excelente que MIT ofrezca contenido oportuno y relevante de forma gratuita

• Muchas gracias, me pregunto si hay otros cursos de OCW sobre IA moderna

• Bien hecho, felicidades