Esta es la página oficial del curso IMT3114, segundo semestre de 2017, ofrecido por la Escuela de Ingeniería de la Pontificia Universidad Católica de Chile

Horario

• Cátedras: Lunes y Viernes, 14:00-15:20
• Ayudantías: Miércoles, 14:00-15:20
• Trabajo Personal: 4 horas semanales

Proyectos

La evaluación final del curso es un proyecto, el cual pueden escoger entre los siguientes tópicos

1. Deep Learning: El objetivo de este proyecto es presentar una introducción al aprendizaje de redes neuronales, y las técnicas de optimización que se usan actualmente para aprendizaje profundo (especialmente backpropagation y su interpretación como un método de gradiente estocástico). Finalmente, los alumnos deberán investigar situaciones que permiten un aprendizaje eficiente de redes profundas vía gradiente estocástico y/o situaciones donde este algoritmo falla. Referencias:
   • Shalev-Shwartz: Slides de Deep Learning
   • Zhang, Bengio, Hardt, Recht & Vinyals (ICLR'17): Understanding Deep Learning Requires Rethinking Generalization
   • Shalev-Shwartz, Shamir & Shamma (ICML'17): Failures of Gradient-Based Deep Learning
2. No-Discriminación en Aprendizaje: Se busca investigar nociones de justicia o no-discriminación en el contexto de aprendizaje supervisado, y aplicar dichas nociones a datos reales o ficticios. Los alumnos deberán ofrecer recomendaciones sobre la aplicabilidad de estas técnicas y sus alcances, con una mirada crítica. Referencias:
   • Dwork, Hardt, Pitassi, Reingold & Zemel (ITCS'12): Fairness Through Awareness
   • Hardt, Price & Srebro (NIPS'16): Equality of Opportunity in Supervised Learning
   • Woodworth, Gunasekar, Ohannessian & Srebro (COLT'17): Learning Non-Discriminatory Predictors
   • Kleinberg, Mullainathan & Raghavan (ITCS'17): Inherent Tradeoffs in the Fair Determination of Risk Scores
   • Lectura Recomendada: Machine Bias: Risk Assesments in Criminal Sentencing (incluye link a datos reales usados en el estudio)
3. Aprendizaje Robusto: Recientemente se han logrado avances significativos en desarrollar algoritmos eficientes de aprendizaje que son robustos ante la presencia de outliers, esto incluye problemas fundamentales como estimación de parámetros de distribuciones Gaussianas. El objetivo es investigar los desarrollos recientes en algoritmos de aprendizaje que son robustos a la presencia de outliers, e implementar estos métodos con datos reales o ficticios para aplicaciones de interés. Referencias:
   • Lai, Rao & Vempala (FOCS'16): Agnostic Estimation of Mean and Covariance
   • Diakonikolas, Kamath, Kane, Li, Moitra & Stewart: Robust Estimators in High Dimensions, without the Computational Intractability (FOCS'16), Being Robust (in High Dimensions) Can Be Practical (ICML'17)
   • Steinhardt, Charikar & Valiant: Resilience: Learning from Untrusted Data (STOC'17)
4. Reducción de Dimensionalidad: El objetivo es investigar algoritmos rápidos y determinísticos que exploten la geometría de los datos para mejorar la reducción de dimensionalidad. También se podrán investigar conexiones con otros problemas, como locality-sensitive hashing, clustering, compressed sensing, etc. Referencias:
   • Nelson: Lecture Notes on Dimensionality Reduction (MADALGO'15)
   • Dadush, Guzmán & Olver: Fast, Deterministic and Sparse Dimensionality Reduction
   • Dasgupta: Learning Mixtures of Gaussians
   • Charikar: Apuntes de Locality-Sensitive Hashing
5. Privacidad Diferencial: Introducir las herramientas básicas de privacidad diferencial, y aplicarlas con datos reales o ficticios en aplicaciones de interés. El proyecto también podría incluir el estudio de análisis adaptativo de datos, como una herramienta para reutilizar el conjunto de testeo en problemas de aprendizaje.
   • Dwork & Roth: The Algorithmic Foundations of Differential Privacy (lecture notes)
   • Steinke: Apuntes de Adaptive Data Analysis
   • Dwork, Feldman, Hardt, Pitassi, Reingold & Roth: The reusable holdout: Preserving validity in adaptive data analysis (Science'16), parts 1 and 2. Guilt Free Data Reuse (Comm. ACM'17)