IMT 3120: Fundamentos Matemáticos de Ciencia de Datos
Esta es la página oficial del curso IMT3120, segundo semestre de 2022, ofrecido por el Instituto de Ingeniería Matemática y Computacional de la Pontificia Universidad Católica de Chile
Equipo Docente
Profesor: Cristóbal Guzmán (crguzmanp@mat.uc.cl)
Ayudante: Benjamín Rubio (berubio@uc.cl)
Horario
Cátedras: Martes y Jueves, 14:00-15:20 (K301)
Ayudantías: Viernes, 14:00-15:20 (BC21)
Trabajo Personal: aprox. 6 horas semanales
Noticias
Cambio de Sala: Auditorio San Agustín, desde el martes 23 de agosto, todos los martes y jueves en el módulo 4 (14:00 a 15:20hrs) hasta el 24 de noviembre inclusive. El Martes 8 de Noviembre la cátedra será en la sala AE201
Se suspende la cátedra del 15 de Septiembre
Grupo de lectura de Optimización en Variedades durante el segundo semestre de 2022. Interesados pueden contactar al profesor. Nota: Esta actividad no es parte del curso. Sólo se recomienda para estudiantes interesados
Objetivos del Curso
Familiarizarse con la noción de aprendizaje estadístico
Analizar algoritmos de aprendizaje en el contexto PAC (probablemente, aproximadamente correcto)
Estudiar modelos y aplicaciones de la teoría de aprendizaje
Implementar algoritmos de aprendizaje de forma rigurosa, teniendo en cuenta las distintas etapas de aprendizaje (entrenamiento, validación y testeo) y las técnicas para prevenir sobreajuste
Contenidos
Desigualdades de Concentración: 3 clases
Aprendizaje PAC (probablemente, aproximadamente correcto): 3 clases
Complejidad de Rademacher y Dimensión VC (Vapnik-Chervonenkis): 3 clases
SVM (Support Vector Machines): 3 clases
Kernels: 3 clases
Aprendizaje Convexo y Convergencia Uniforme: 3 clases
Aprendizaje en línea: 4 clases
Estabilidad Algorítmica: 3 clases
Reducción de dimensionalidad y problemas de reconstrucción: 5 clases
Información Práctica
Fechas Interrogaciones: Martes 27 de Septiembre, Viernes 18 de Noviembre
Fecha Examen: Lunes 12 de Diciembre
Material del Curso
Apuntes de Aprendizaje Binario: Probablemente, Aproximadamente Correcto (PAC)
Apuntes de aprendizaje de Clases Infinitas: Complejidad de Rademacher y Dimensión VC
Modelos Lineales Generalizados y Clasificación Lineal (no habrán apuntes, se aceptan aportes de alumnos)
Introducción a Aprendizaje en-Línea (no habrán apuntes, se aceptan aportes de alumnos)
Apuntes de Reducción de Dimensionalidad y Problemas Inversos Lineales (apuntes en desarrollo, no presentados en clases)
Nota: Los apuntes del curso pueden contener errores, y son sólo un complemento al curso. El material oficial de la clase es el cubierto en la cátedra y ayudantías
Lecturas Complementarias
Una demostración de la desigualdad de diferencias actotadas (esta desigualdad fue vista en clases, y si bien su presentación es correcta, la constante que se obtuvo es subóptima. En los apuntes del link pueden encontrar la presentación con la constante óptima)
El Teorema Fundamental del Aprendizaje Estadístico y Cotas Inferiores de Aprendibilidad
Sobre el problema de aprendizaje de portafolios en línea: problema abierto y su resolución parcial
Cota inferior para convergencia uniforme (y ERM) en optimización convexa estocástica
Video presentación sobre las cotas ajustadas para generalización de algoritmos uniformemente estables
Aquí se encuentran algunas respuestas más elaboradas a preguntas hechas en clases que: 1. No pude responder adecuadamente en su momento; o, 2. Escapan a los contenidos del curso.
Evaluaciones
3 Tareas (30%)
2 Interrogaciones (40%)
Examen (30%)
Interrogaciones
Tareas y Ejercicios
Ejercicios de preparación para el Examen (para estudio personal)
Material Adicional
Para facilitar el estudio y revisar evaluaciones anteriores, se recomienda revisar la versión anterior de este curso
Información de Interés
Referencias
Este curso se basa principalmente en los siguientes libros:
Mohri, Rostamizadeh & Talwalkar: Foundations of Machine Learning
Ben-David & Shalev-Shwartz: Understanding Machine Learning
Roman Vershynin. High-Dimensional Probability. An Introduction with Applications in Data Science
Michael Kearns & Umesh Vazirani. Computational Learning Theory
Otros cursos de teoría de aprendizaje
Jacob Abernethy (Georgia Tech): https://mltheory.github.io/
Nina Balcan (CMU): http://www.cs.cmu.edu/~10715-f18/lectures.shtml
Nishant Mehta (U Victoria): http://web.uvic.ca/~nmehta/ml_theory_spring2019/
Nathan Srebro (TTIC): https://ttic.uchicago.edu/~nati/Teaching/TTIC31120/2016/
Maxim Raginsky (UIUC): http://maxim.ece.illinois.edu/teaching/spring18/index.html
Philippe Rigollet (MIT): https://ocw.mit.edu/courses/mathematics/18-657-mathematics-of-machine-learning-fall-2015/
Shai-Shalev Shwartz (Hebrew University, Jerusalem): http://www.cs.huji.ac.il/~shais/IML2014.html y https://www.cs.huji.ac.il/~shais/Advanced2011/AdvancedML.html
Principales conferencias y journals del Área
Preguntas frecuentes
Se suficiente sobre probabilidades y estadística como para tomar el curso?
Si bien el curso es demandante en las herramientas de probabilidades y estadística, los pre-requisitos son mínimos: entender la definición de probabilidad, esperanza, probabilidad condicional e independencia; y ser capaz de calcular estas cantidades para varias familias de distribuciones. Si necesita repasar estas materias, se recomienda leer los primeros 3 capítulos de Mitzenmacher & Upfal, o las partes que considere necesarias del libro de Rosenthal.
Se suficiente sobre optimización como para tomar el curso?
Nuevamente, la mayoría de los algoritmos que usaremos en el curso serán propiamente presentados y analizados. Sin embargo, tener entendimiento de conjuntos y funciones convexas, así como teoría de dualidad (por ej., Lagrangeana) es necesario. Esto es algo que se puede consultar sin mucha dificultad en libros como Boyd & Vanderberghe (en la Sección I, Teoría)