- La Universidad Carnegie Mellon (CMU) ofrece este curso introductorio sobre cómo funcionan los sistemas modernos de inteligencia artificial
- Con foco en machine learning y modelos de lenguaje grandes (LLM), se estudian las tecnologías base de sistemas como ChatGPT, Gemini y Claude
- Los estudiantes aprenden supervisión básica, redes neuronales, transformadores y post-training, y pueden implementar por sí mismos un LLM de código abierto
- La versión en línea se ofrece gratis y publica videos de clase y tareas con un desfase de 2 semanas respecto al curso de CMU
- Se permite el uso de herramientas de IA, pero se recomienda que la entrega final sea redactada por cada estudiante para mejorar la comprensión del aprendizaje
Descripción del curso
- Este curso está centrado en la inteligencia artificial (IA) en el sentido moderno, es decir, en machine learning y modelos de lenguaje grandes (LLM)
- Aborda las tecnologías base de sistemas como ChatGPT, Gemini y Claude
- La implementación básica de un LLM se compone de un pequeño número de técnicas y estructuras de machine learning, y puede escribirse en unos pocos cientos de líneas de código
- Los estudiantes aprenden los principios fundamentales de aprendizaje supervisado, LLM y post-training, y pueden implementar directamente un chatbot de IA
- Los principales temas que se cubren son los siguientes
- Breve historia de la IA
- Aprendizaje supervisado: modelos lineales, funciones de pérdida, optimización, redes neuronales
- Modelos de lenguaje grandes: self-attention, transformadores, tokenizadores, inferencia eficiente
- Post-training: ajuste fino supervisado, alineación y ajuste por instrucciones, modelos de razonamiento, safety y security
Curso en línea
- Se abre una versión gratuita en línea al mismo tiempo que el curso de CMU, con contenido retrasado 2 semanas respecto al calendario de CMU
- Incluye videos de clase, tareas (sistema mugrade) y notebooks de Colab, entre otros recursos
- Los quizzes, el examen parcial y el examen final no están incluidos en la versión en línea
- A través de Enroll here, se pueden recibir notificaciones por correo cuando se publiquen las clases y tareas
- Los TA, office hours y la evaluación con calificaciones aplican solo al curso de CMU
Evaluación y requisitos previos
- Composición de la calificación
- Tareas y programación: 20%
- Quizzes de tareas: 40%
- Exámenes parcial y final: 40% (cada parcial 10%, final 20%)
- Requisitos previos obligatorios
- Programación: se requiere dominio de programación orientada a objetos en Python (15-112 o 15-122)
- Matemáticas: cálculo básico con derivadas (21-111 o 21-120); se recomiendan fundamentos de álgebra lineal y probabilidad
Tareas y programación
- Las tareas principales buscan la implementación progresiva de un chatbot de IA
- Se entregan mediante el sistema mugrade, y se ofrecen versiones en notebooks de Colab y Marimo
- Algunas tareas se desarrollan a partir de los resultados de tareas anteriores
- Lista de tareas
- HW0: autocalificación y fundamentos de programación
- HW1: álgebra lineal y PyTorch
- HW2: autodiferenciación y entrenamiento de modelos lineales
- HW3: entrenamiento de redes neuronales
- HW4: implementación de transformadores
- HW5: implementación de un LLM mínimo
- HW6: ajuste fino supervisado y entrenamiento de chatbot
- HW7: aprendizaje por refuerzo
- Después de cada tarea hay un quiz de 15 minutos, basado en el código o los conceptos de la tarea
Exámenes y calendario de clases
- Está compuesto por 2 exámenes parciales y 1 examen final, todos presenciales y de libro cerrado
- Parcial 1: aprendizaje supervisado
- Parcial 2: modelos de lenguaje grandes
- Final: evaluación acumulativa (con mayor peso en la segunda mitad del curso)
- El calendario de clases se actualiza durante el semestre, y la versión en línea se publica 2 semanas después
- Ej.: 1/12 “Historia de la IA”, 1/28 “Modelos lineales”, 2/16 “Parcial 1”, 3/18 “Parcial 2”, 4/20 “Cierre de HW7”, etc.
Política de uso de herramientas de IA
- Se permite el uso de asistentes de IA: durante tareas y programación se pueden usar herramientas de IA como referencia
- Sin embargo, se recomienda enfáticamente que la entrega final sea elaborada por el propio estudiante
- En las evaluaciones del curso (quizzes y exámenes), está prohibido usar IA y materiales externos
- El objetivo de esta política es mejorar la eficiencia del aprendizaje
- La IA es útil como apoyo al estudio, pero una dependencia excesiva puede reducir la comprensión
- Los estudiantes que resuelven las tareas por sí mismos tienden a obtener mejores resultados en quizzes y exámenes
1 comentarios
Comentarios en Hacker News
Al ver la política del curso de IA, se permite usar asistentes de IA para tareas y ejercicios de programación, pero se recomienda que la entrega final sea escrita por uno mismo
En los quizzes o exámenes en clase está prohibido usar IA o materiales externos
La razón es que la IA es útil como herramienta de aprendizaje, pero una dependencia excesiva puede obstaculizar el aprendizaje
Hay evidencia empírica de que los estudiantes que resuelven los problemas por sí mismos obtienen mucho mejores resultados en los exámenes
Saben que los estudiantes van a usar IA de todos modos, pero la clave es que confían en su disposición para aprender y desarrollarse por sí mismos
Antes ayudé en un curso parecido, y si la IA hubiera ayudado con el debugging, los estudiantes habrían podido cubrir más contenido y concentrarse en partes interesantes como la implementación en CUDA
Este nuevo curso se ve realmente interesante y el profesor Zico es un gran docente
Acelerar la comprensión con IA y, al final, ser evaluado sin IA es una buena estructura para consolidar el aprendizaje
En ese momento me pareció injusto, pero ahora que lo pienso, era una forma muy justa
Parece un enfoque más apropiado para esta época
El instructor de este curso es miembro de la junta directiva de OpenAI
Artículo relacionado: Zico Kolter joins OpenAI’s board of directors
Es una pena que ‘modern AI’ parezca referirse solo a los LLM
La IA moderna incluye un campo mucho más amplio, y solo por el título esperaba ver una mayor variedad de modelos SOTA
Aun así, las clases de CMU suelen ser excelentes, así que parece que será un buen curso
Si hay material que también cubra otras áreas, me interesaría muchísimo
Llevo unos días tomándolo en la versión gratuita y el sistema de tareas es realmente excelente
Puedes correr las pruebas localmente, así que se aprende mucho mejor que solo viendo las clases
Lo recomiendo 10 de 10
Quisiera saber si se hacen en una computadora personal o si te dan acceso a un clúster
Me pregunto si este curso es bueno
O si hay otros cursos recomendables para aprender de forma sistemática cómo funcionan los LLM
Quisiera preguntarles a quienes de verdad están siguiendo la clase haciendo todas las tareas
En la práctica, ¿cuántas horas por semana hay que invertir para poder completarlo?
Estoy esperando que salga la IA posmoderna
Es una pena que no haya contenido sobre razonamiento simbólico (symbolic reasoning)
Espero que publiquen un libro de texto para acompañar las clases
En cuanto salga, pienso comprarlo
Qué gusto ver el renacimiento de Lisp y Prolog
Aun así, Lisp y Prolog siguen siendo útiles
Para implementar redes neuronales desde cero, C es adecuado, y conectando subsistemas con Python se puede construir un sistema suficientemente complejo
Siempre han existido en silencio dentro de su propio nicho