Esta es la página oficial del curso IMT3120, segundo semestre de 2024, ofrecido por el Instituto de Ingeniería Matemática y Computacional de la Pontificia Universidad Católica de Chile
Profesor: Cristóbal Guzmán
Ayudante: Pablo Rademacher
Cátedras: Martes y Jueves, 12:20-13:30 (B21)
Ayudantías: Viernes, 12:20-13:30 (B14)
Trabajo Personal: aprox. 6 horas semanales
Familiarizarse con la noción de aprendizaje estadístico
Analizar algoritmos de aprendizaje a través de desigualdades de concentración
Estudiar modelos y aplicaciones de la teoría de aprendizaje
Implementar algoritmos de aprendizaje de forma rigurosa, teniendo en cuenta las distintas etapas de aprendizaje (entrenamiento, validación y testeo) y las técnicas para prevenir sobreajuste
Introducción al modelo de aprendizaje estadístico
Desigualdades de concentración básicas
Convergencia uniforme y análisis de generalización
Números de cubrimiento y simetrización
Estimaciones de números de cubrimiento
Complejidad de Rademacher
Optimización Convexa Estocástica
Estabilidad algorítmica
Selección de modelos
Kernels
Modelos aditivos y sparsity
Redes neuronales
Cotas inferiores y análisis minimax
Fecha Examen: Miércoles 4 de Diciembre, 08:20 - 10:50
Fecha Examen 2: Lunes 9 de Diciembre: 18:00 - 20:30
Apuntes introductorios de espacios de funciones (Larry Wasserman). Estos apuntes contienen una descripción básica de varios espacios de funciones importantes en aprendizaje estadístico, y pueden complementar las discusiones de la clase relativas a estos espacios.
Apuntes de J. Nelson sobre aplicaciones de Chaining. Video del Premio Abel a M. Talagrand y su trabajo en Chaining.
Paper de cotas óptimas de generalización para algoritmos uniformemente estables. Presentación del resultado
Apuntes de Estabilidad Algorítmica y Generalización (de una versión anterior del curso)
Apuntes de Kernels y RKHS (de una versión anterior del curso)
4 Tareas (60%)
Examen (40%)
Para facilitar el estudio y revisar evaluaciones anteriores, se recomienda revisar la versión anterior de este curso
Este curso se basa principalmente en los siguientes libros:
Mohri, Rostamizadeh & Talwalkar: Foundations of Machine Learning
Ben-David & Shalev-Shwartz: Understanding Machine Learning
Roman Vershynin. High-Dimensional Probability. An Introduction with Applications in Data Science
Michael Kearns & Umesh Vazirani. Computational Learning Theory
Jacob Abernethy (Georgia Tech): https://mltheory.github.io/
Nina Balcan (CMU): http://www.cs.cmu.edu/~10715-f18/lectures.shtml
Nishant Mehta (U Victoria): http://web.uvic.ca/~nmehta/ml_theory_spring2019/
Nathan Srebro (TTIC): https://ttic.uchicago.edu/~nati/Teaching/TTIC31120/2016/
Maxim Raginsky (UIUC): http://maxim.ece.illinois.edu/teaching/spring18/index.html
Philippe Rigollet (MIT): https://ocw.mit.edu/courses/mathematics/18-657-mathematics-of-machine-learning-fall-2015/
Shai-Shalev Shwartz (Hebrew University, Jerusalem): http://www.cs.huji.ac.il/~shais/IML2014.html y https://www.cs.huji.ac.il/~shais/Advanced2011/AdvancedML.html
Se suficiente sobre probabilidades y estadística como para tomar el curso?
Si bien el curso es demandante en las herramientas de probabilidades y estadística, los pre-requisitos son mínimos: entender la definición de probabilidad, esperanza, probabilidad condicional e independencia; y ser capaz de calcular estas cantidades para varias familias de distribuciones. Si necesita repasar estas materias, se recomienda leer los primeros 3 capítulos de Mitzenmacher & Upfal, o las partes que considere necesarias del libro de Rosenthal.
Se suficiente sobre optimización como para tomar el curso?
Nuevamente, la mayoría de los algoritmos que usaremos en el curso serán propiamente presentados y analizados. Sin embargo, tener entendimiento de conjuntos y funciones convexas, así como teoría de dualidad (por ej., Lagrangeana) es necesario. Esto es algo que se puede consultar sin mucha dificultad en libros como Boyd & Vanderberghe (en la Sección I, Teoría)