IMT 3120: Fundamentos Matemáticos para Ciencia de Datos
Esta es la página oficial del curso IMT3120, segundo semestre de 2024, ofrecido por el Instituto de Ingeniería Matemática y Computacional de la Pontificia Universidad Católica de Chile
Equipo Docente
Profesor: Cristóbal Guzmán
Ayudante: Pablo Rademacher
Horario
Cátedras: Martes y Jueves, 12:20-13:30 (B21)
Ayudantías: Viernes, 12:20-13:30 (B14)
Trabajo Personal: aprox. 6 horas semanales
Noticias
Objetivos del Curso
Familiarizarse con la noción de aprendizaje estadístico
Analizar algoritmos de aprendizaje a través de desigualdades de concentración
Estudiar modelos y aplicaciones de la teoría de aprendizaje
Implementar algoritmos de aprendizaje de forma rigurosa, teniendo en cuenta las distintas etapas de aprendizaje (entrenamiento, validación y testeo) y las técnicas para prevenir sobreajuste
Contenidos
Introducción al modelo de aprendizaje estadístico
Desigualdades de concentración básicas
Convergencia uniforme y análisis de generalización
Números de cubrimiento y simetrización
Estimaciones de números de cubrimiento
Complejidad de Rademacher
Estabilidad algorítmica
Selección de modelos
Kernels
Modelos aditivos y sparsity
Redes neuronales
Cotas inferiores y análisis minimax
Información Práctica
Fecha Examen: Miércoles 4 de Diciembre, 08:20 - 10:50
Fecha Examen 2: Lunes 9 de Diciembre: 18:00 - 20:30
Lecturas Complementarias
Evaluaciones
4 Tareas (60%)
Examen (40%)
Tareas
Material Adicional
Para facilitar el estudio y revisar evaluaciones anteriores, se recomienda revisar la versión anterior de este curso
Información de Interés
Referencias
Este curso se basa principalmente en los siguientes libros:
Mohri, Rostamizadeh & Talwalkar: Foundations of Machine Learning
Ben-David & Shalev-Shwartz: Understanding Machine Learning
Roman Vershynin. High-Dimensional Probability. An Introduction with Applications in Data Science
Michael Kearns & Umesh Vazirani. Computational Learning Theory
Otros cursos de teoría de aprendizaje
Jacob Abernethy (Georgia Tech): https://mltheory.github.io/
Nina Balcan (CMU): http://www.cs.cmu.edu/~10715-f18/lectures.shtml
Nishant Mehta (U Victoria): http://web.uvic.ca/~nmehta/ml_theory_spring2019/
Nathan Srebro (TTIC): https://ttic.uchicago.edu/~nati/Teaching/TTIC31120/2016/
Maxim Raginsky (UIUC): http://maxim.ece.illinois.edu/teaching/spring18/index.html
Philippe Rigollet (MIT): https://ocw.mit.edu/courses/mathematics/18-657-mathematics-of-machine-learning-fall-2015/
Shai-Shalev Shwartz (Hebrew University, Jerusalem): http://www.cs.huji.ac.il/~shais/IML2014.html y https://www.cs.huji.ac.il/~shais/Advanced2011/AdvancedML.html
Principales conferencias y journals del Área
Preguntas frecuentes
Se suficiente sobre probabilidades y estadística como para tomar el curso?
Si bien el curso es demandante en las herramientas de probabilidades y estadística, los pre-requisitos son mínimos: entender la definición de probabilidad, esperanza, probabilidad condicional e independencia; y ser capaz de calcular estas cantidades para varias familias de distribuciones. Si necesita repasar estas materias, se recomienda leer los primeros 3 capítulos de Mitzenmacher & Upfal, o las partes que considere necesarias del libro de Rosenthal.
Se suficiente sobre optimización como para tomar el curso?
Nuevamente, la mayoría de los algoritmos que usaremos en el curso serán propiamente presentados y analizados. Sin embargo, tener entendimiento de conjuntos y funciones convexas, así como teoría de dualidad (por ej., Lagrangeana) es necesario. Esto es algo que se puede consultar sin mucha dificultad en libros como Boyd & Vanderberghe (en la Sección I, Teoría)