CS 886: Tendencias recientes de investigación en modelos fundacionales

• Una de las clases de IA de la Universidad de Waterloo, el "MIT de Canadá"
• Incluye enlaces a diapositivas explicativas por capítulo, videos de las clases en YouTube y referencias
• Parece que solo la lista de temas y referencias ya puede servir como una buena consulta

Temario del curso

Introduction to Foundation Models

1. Introducción a Foundation Model
2. Guía del curso
3. RNN & CNN
4. NLP & CV

Transformer Architecture

5. Self-Attention & Transformer
6. Efficient Transformer
7. Parameter-Efficient Tuning
8. Preentrenamiento de modelos de lenguaje

Large Language Models

9. Large Language Model
10. Leyes de escalado
11. Instruction Tuning & RLHF
12. Entrenamiento eficiente de LLM
13. Inferencia eficiente de LLM
14. Compresión y sparsificación de LLM
15. Prompting de LLM

(Large) Multimodal Models

16. Vision Transformer
17. Diffusion Model
18. Generación de imágenes
19. Preentrenamiento de modelos multimodales
20. Large Multimodal Model

Augmenting Foundation Models

21. Aumento con herramientas
22. Aumento con recuperación