IA024 - Redes Neurais Profundas para Processamento de Linguagem Natural (1o. semestre de 2024)

Inscrições abertas para um novo curso  IA024 - Redes Neurais Profundas para Processamento de Linguagem Natural. O curso é gratuito e aberto para todos. As vagas são limitadas e aplicaremos um teste de seleção para testar seus conhecimentos em Python, NumPy, Machine Learning e IA Generativa.

•  IA024 - Redes Neurais Profundas para Processamento de Linguagem Natural: março a junho de 2024, quintas feiras das 8h às 12h

• Ementa: Curso de redes neurais aplicado ao Processamento de Linguagem Natural (PLN). Recentemente diversas arquiteturas foram propostas para o processamento de linguagem natural, atingindo o estado-da-arte em sistemas de tradução, sistemas de perguntas e respostas, entre outras tarefas de linguagem natural. Conceitos como word embeddings, conversores de sequência seq2seq, modelos de atenção e recentemente transformers e BERT são avanços consolidados na área de PLN. Este curso aborda os principais modelos de redes neurais utilizados em PLN. O curso utilizará programação avançada Python/NumPy utilizando o pacote PyTorch. É recomendada a experiência prévia de programação matricial como Python/Numpy, MATLAB ou R e é desejável ter conhecimentos básicos de Machine Learning.

• Bibliografia:

  • Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems. 2017.; 

  • Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1; 

  • LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature 521.7553 (2015): 436.; 

  • Mikolov, Tomas, et al. "Distributed Representations of Words and Phrases and their Compositionality."

• Para quem é aluno regular do programa de pós graduação da FEEC-UNICAMP:  https://www.cpg.feec.unicamp.br/cpg/lista/caderno_horario.php 

• Para quem não é aluno da UNICAMP, é necessário se inscrever como aluno especial até 31 de janeiro de 2024. As instruções estão neste link: 

• https://www.fee.unicamp.br/pos-graduacao/estudante-especial/#calendario 

Cursos Passados

• 2023 - 1o. semestre: IA-368DD - Deep Learning Aplicado a Sistemas de Busca 

• 2022 - 2o. semestre: IA-024A - Deep Learning aplicado ao Processamento de Linguagem Natural - Slides

• 2022 - 2o. semestre: IA-025A - Introdução ao Deep Learning - Slides

• 2021 - 2o. semestre: IA-376E - Deep Learning aplicado ao Processamento de Linguagem Natural

• 2021 - 1o. semestre: IA-376I - Introdução ao Deep Learning 

• 2020 - 2o. semestre: IA-376J - Projetos Avançados em Visão Computacional e Processamento de Linguagem Natural usando Deep Learning 

• 2020 - 1o. semestre: IA-376E - Deep Learning aplicado ao Processamento de Linguagem Natural

Projetos de Destaque

• Bertimbau: BERT pretreinado em português (Melhor artigo do BRACIS 2020)

• PTT5: modelo T5 pretreinado em português

• mMARCO: Tradução do dataset MS MARCO para 14 idiomas

• MonoByte: modelos ByT5 pretreinados em diversos idiomas (apresentado no COLING 2022)

• Inpars: Geração automática de dados de treinamento para sistemas de buscas (apresentado no SIGIR 2022)

• Sistemas de Busca para eCommerce: top 10 dentre mais de 100 participantes na competição promovida pela Amazon

• Sistemas de Busca para documentos jurídicos: Primeiro e segundo colocados nas competições COLIEE 2020 e 2021

• Sistemas de Buscas Multilingue e Cross-lingue Information Retrieval: Competição NeuCLIR 2022  

• Sumarização de Noticias e Eventos: Primeiro colocado na Competição CrisisFACTS 2022 

Alunos sob orientação 

Doutorado:

• Hugo Abonizio

• Leandro Rodrigues de Souza 

• Luiz Henrique Neves Bonifacio

• Orlem  Lima dos Santos

• Diedre Santos do Carmo (co-orientação Leticia Rittner)

Mestrado:

• Fernando Ferraretto

• Marcos Piau

• Mirelle Bueno

• Pedro Gabriel Gengo Lourenço

• Thiago Laitz

Alunos formados

• Fabio Capuano de Souza (R Lotufo e R Nogueira)

• Guilherme Moraes Rosa (R Lotufo e R Nogueira)

• Vitor Jeronymo (R Lotufo e R Nogueira)

• Israel Campiotti (orientação R Lotufo)