Machine Learning (2017)
Informações Gerais:
Horário das aulas: 22/9/2017 -- 15/12/2017, sexta-feira 14:20 -- 18:00
Sala: 1028
Horário de atendimento: quinta-feira 10h-11h ou sob agendamente prévio.
Programa do curso em pdf
AVISO:
- Aulas dos dias 06/Out/2017 e 15/12/2017 serão remarcadas.
- Problem set 1 foi postado
- Atualizei o problem set 1 indicando a base que vocês devem rodar o último exercício: https://archive.ics.uci.edu/ml/datasets/YearPredictionMSD#
- Consertei um typo na Woodbury inversion lemma, questão 10.c
- Data de entrega do problemset 1 adiado em 1 semana (dia 17/11/2017)
- Problem set 2 postado. Data de entrega é a última aula.
Pré requisitos
É suposto que o aluno possui conhecimentos sobre probabilidade, algebra linear, cálculo multivariado, otimização, e programação.
Objetivo da disciplina
Neste curso os alunos desenvolverão um entendimento sobre os limites sobre o que podemos aprender com os dados e como fazê-lo. O estudante desenvolverá um entendimento sobre os compromissos básicos assumidos quando estimamos modelos baseados nos dados e suas armadilhas mais comuns. Ao fim do curso espera-se que o aluno seja capaz de: implementar (e ser crítico) modelos básicos de machine learning; formular o problema de aprendizagem de máquinas precisamente, em termos das entradas e saídas do modelo; selecionar um modelo e algoritmo adequado para o problema, aplicar este algoritmo em dados reais, e interpretar os resultados; providenciar medidas indicativas de quão efetivo foi o aprendizado; e, idealmente, ler de forma crítica artigos científicos publicados nesta área.
Ementa
O problema do aprendizado estatístico (o que é aprendizado?). Treinamento vs teste (dimensão Vapnik-Chervonenkis, treinamento e generalização). Modelo linear (regressão linear, não linear e logística). Overfitting. Princípios da aprendizagem por máquinas: navalha de Occam, viés de amostra e data snooping. Métodos baseados em similaridade (vizinho mais próximo, funções de base radial, estimação de densidades). Redes neurais (MLP, treinamento, aproximação e regularização). Máquinas de vetor de suporte. Considerações finais (ferramentas utilizadas no aprendizado de máquinas).
Bibliografia obrigatória
[LFD] Abu-Moustafa, Y.S., Magdon-Ismail, M., e Lin H-S. (2012) Learning from data. AMLBook.com.
O livro adotado possui capítulos extras e um forum online book.caltech.edu/bookforum e é usado por vários professores ao redor do mundo e cursos no EDX . Utilizem o forum de forma respeitosa e em sua linguagem original (inglês). Caso percam alguma aula, sugiro que visitem o site amlbook.com e busquem a versão online ministrada por um dos autores. Apesar deste curso ser suficientemente diferente, o material online pode servir de guia.
Avaliação
O aluno será avaliado através de duas listas de exercícios e um projeto em dupla ou trio. Cada lista vale 30% da nota e o projeto 40%. Critérios de correção das listas serão indicados nas mesmas. O projeto consiste, de forma geral, em um projeto de pesquisa usando dados reais, onde as técnicas e princípios aprendidos no curso são aplicados. Alternativamente, o aluno pode escolher trabalhar com um paper metodológico.
Listas de exercícios
- Lista de Exercícios #1
Calendário (estimado) das aulas - atualizado semanalmente
* Aulas doa diaa 06/10 e 15/12 serão remarcadas.
Os tópicos extras, tratados nos dias 08/12 e 15/12 são tentativos e, caso não seja possível cobrir toda a matéria anterior, serão descartados. O tópico do dia 07/12 (modelos em árvore, bagging e random forests) possui prioridade sobre Lasso e Esparsidade.
Bibliografia auxiliar
Livros:
- [ESL] Hastie, T., Tibshirani, R., Friedman, J. (2013) The elements of statistical learning. Springer.
- [DGL] Devroye, L., Gÿorfi, L., e Lugosi, G. (1996) A probabilistic theory of pattern recognition. Springer-Verlag. Avançado
- [MRT] Mohri, M., Rostamizadeh, A., Talwalkar, A. (2012) Foundations of machine learning. MIT Press, Cambridge, MA.
- [SLS] Hastie, T., Tibshirani, R., & Wainwright, M. (2015). Statistical learning with sparsity: the lasso and generalizations. CRC press. Chicago
- Murphy, K.P. (2013) Machine learning: a probabilistic perspective. MIT Press, Cambridge, MA.
- Bühlmann, P. and van der Geer, S. (2012) Statistics for high-dimensional data. Springer.
- Hastie, T., Tibshirani, R., Wainwright, M. (2015) Statistical learning with sparsity. CRC Press.
- Giraud, C. (2015) Introduction to high-dimensional statistics. CRC Press
Artigos e capítulos de livro:
- [BBL] Bousquet, O., Boucheron, S. and Lugosi, G. (2004) Introduction to statistical Learning Theory. Advanced Lectures on Machine Learning: ML Summer Schools 2003, Canberra, Australia, February 2 - 14, 2003, Tübingen, Germany, August 4 - 16, 2003, Revised Lectures.
- [CKV] Celebi, M.E., Kingravi, H.A. and Vela, P.A., 2013. A comparative study of efficient initialization methods for the k-means clustering algorithm.
- Expert Systems with Applications, 40(1), pp.200-210.
- [SS] Smola, A.J. and Schölkopf, B., 2004. A tutorial on support vector regression.Statistics and computing, 14(3), pp.199-222. (long)