Aprendizado de Máquinas

Informações Gerais:

Horário das aulas: 21/9/2016 -- 14/12/2016, 14:20 -- 18:00

Sala: 1028

Horário de atendimento: segunda-feira 10h-11h

Programa do curso em pdf

AVISO:

  • Aula do dia 14/12 foi remarcada para o dia 13/12, terça-feira. A data de entrega do trabalho não mudou.
  • Aula do dia 07/12 foi remarcada para o dia 08/12, quinta-feira, as 13:30 (sala 420).
  • A entrega do trabalho (segundo dever de casa) é dia 21/12/2016.

Entrega da Wiki: 13/01/2017

Pré requisitos

É suposto que o aluno possui conhecimentos sobre probabilidade, algebra linear, cálculo multivariado, otimização, e programação.

Objetivo da disciplina

Neste curso os alunos desenvolverão um entendimento sobre os limites sobre o que podemos aprender com os dados e como fazê-lo. O estudante desenvolverá um entendimento sobre os compromissos básicos assumidos quando estimamos modelos baseados nos dados e suas armadilhas mais comuns. Ao fim do curso espera-se que o aluno seja capaz de: implementar (e ser crítico) modelos básicos de machine learning; formular o problema de aprendizagem de máquinas precisamente, em termos das entradas e saídas do modelo; selecionar um modelo e algoritmo adequado para o problema, aplicar este algoritmo em dados reais, e interpretar os resultados; providenciar medidas indicativas de quão efetivo foi o aprendizado; e, idealmente, ler de forma crítica artigos científicos publicados nesta área.

Ementa

O problema do aprendizado estatístico (o que é aprendizado?). Treinamento vs teste (dimensão Vapnik-Chervonenkis, treinamento e generalização). Modelo linear (regressão linear, não linear e logística). Overfitting. Princípios da aprendizagem por máquinas: navalha de Occam, viés de amostra e data snooping. Métodos baseados em similaridade (vizinho mais próximo, funções de base radial, estimação de densidades). Redes neurais (MLP, treinamento, aproximação e regularização). Máquinas de vetor de suporte. Considerações finais (ferramentas utilizadas no aprendizado de máquinas).

Bibliografia obrigatória

[LFD] Abu-Moustafa, Y.S., Magdon-Ismail, M., e Lin H-S. (2012) Learning from data. AMLBook.com.

O livro adotado possui capítulos extras e um forum online book.caltech.edu/bookforum e é usado por vários professores ao redor do mundo e cursos no EDX . Utilizem o forum de forma respeitosa e em sua linguagem original (inglês). Caso percam alguma aula, sugiro que visitem o site amlbook.com e busquem a versão online ministrada por um dos autores. Apesar deste curso ser suficientemente diferente, o material online pode servir de guia.

Avaliação

O aluno será avaliado através de duas listas de exercícios e um projeto em dupla. Cada lista vale 30% da nota e o projeto 40%. Critérios de correção das listas serão indicados nas mesmas. O projeto consiste, de forma geral, na construção de uma pagina Wiki sobre algum tópico relevante à área, dentre uma lista de tópicos sugeridos ou sugerido pelo aluno.

Listas de exercícios

  • Lista de Exercícios #1 -- Entrega dia 16/11/2016 (DATA MODIFICADA - ADIADO DE 1 SEMANA - A entrega deverá ser feita até as 16h para Elisângela an secretaria da EMAp)
  • Lista de Exercícios #2 -- Entrega dia 21/12/2016 (DATA MODIFICADA - ADIADO DE 1 SEMANA)

Calendário (estimado) das aulas - atualizado semanalmente

* Aula do dia 16/11 será remarcada.

Os tópicos extras, tratados nos dias 07/12 e 14/12 são tentativos e, caso não seja possível cobrir toda a matéria anterior, serão descartados. O tópico do dia 07/12 (modelos em árvore, bagging e random forests) possui prioridade sobre Lasso e Esparsidade.

Bibliografia auxiliar

Livros:

  • [ESL] Hastie, T., Tibshirani, R., Friedman, J. (2013) The elements of statistical learning. Springer.
  • [DGL] Devroye, L., Gÿorfi, L., e Lugosi, G. (1996) A probabilistic theory of pattern recognition. Springer-Verlag. Avançado
  • [MRT] Mohri, M., Rostamizadeh, A., Talwalkar, A. (2012) Foundations of machine learning. MIT Press, Cambridge, MA.
  • Murphy, K.P. (2013) Machine learning: a probabilistic perspective. MIT Press, Cambridge, MA.
  • Bühlmann, P. and van der Geer, S. (2012) Statistics for high-dimensional data. Springer.
  • Hastie, T., Tibshirani, R., Wainwright, M. (2015) Statistical learning with sparsity. CRC Press.
  • Giraud, C. (2015) Introduction to high-dimensional statistics. CRC Press

Artigos e capítulos de livro: