Curso: Redes Neurais para Processamento de Linguagem Natural
Curso: Redes Neurais para Processamento de Linguagem Natural
Ementa
Introdução ao Processamento de Linguagem Natural (PLN). Modelos Sequenciais. Redes Neurais Recorrentes. Modelo Sequence-to-Sequence. Mecanismo de Atenção. Transformer. Representação de Palavras. Modelo de Linguagem. Transferência de Aprendizagem. Representação de Documentos. Aplicações de PLN.
Objetivo
Apresentar os conceitos e aplicações de redes neurais para processamento de linguagem natural, por meio de uma abordagem teórica e prática.
Pré-requisito
Conhecimentos intermediários de programação na linguagem Python. Conhecimentos introdutórios de redes neurais artificiais equivalentes àqueles do curso “Introdução às Redes Neurais e Deep Learning”
Metodologia
O curso é composto por videoaulas gravadas e atividades teóricas e práticas, com notebooks com código na linguagem Python.
O curso pode ser feito em uma das duas modalidades:
1. Faça você mesmo: o aluno faz o curso por conta própria e no seu tempo. Ele assiste às videoaulas e realiza as atividades teóricas e práticas sem a ajuda de um instrutor. Não há certificado de conclusão do curso.
2. Orientada por um instrutor: o aluno segue um cronograma com datas predefinidas para assistir as videoaulas, realizar as atividades teóricas e práticas e participar de encontros com o instrutor. Esses encontros podem ser em laboratórios específicos ou por meio de videoconferências. Nessa modalidade, o aluno recebe um certificado de conclusão do curso se atender aos requisitos mínimos exigidos.
Na modalidade de aulas orientada por um instrutor, a abordagem pedagógica seguirá a metodologia de Sala de Aula Invertida. Nela, os alunos devem se preparar para cada encontro presencial/online antes do encontro, por meio da leitura de livros de referência, slides, videoaulas e outros materiais relacionados à aula a ser ministrada/discutida. Durante o encontro, os alunos podem esclarecer dúvidas, fazer listas de exercícios, trabalhar em projetos e outras atividades, e também podem ser solicitados a explicar o assunto da aula. A maior parte das atividades será feita fora do horário da aula presencial/online, usando-se os laboratórios da universidade ou o seu próprio equipamento, e apresentado durante a aula. Além disso, relatórios técnicos podem ser solicitados para cada projeto.
Carga Horária
As seguintes atividades compõem a carga horária do curso. O tempo de execução é estimado/aproximado:
• Assistir às videoaulas: 6h
• Revisar os slides, notebooks e outros materiais: 2h
• Executar as atividades práticas: 9h
• Participar das aulas presenciais/online: a carga horária pode ser configurada sob demanda. O padrão é 5h (aula de boas-vindas, de 30 minutos, mais 3 aulas de uma hora e meia cada, sendo uma aula por semana, totalizando 3 semanas de curso)
Carga horária total na modalidade “Faça você mesmo”: 17h
Carga horária total na modalidade “Orientada por um instrutor”: 22h
Avaliação
3 atividades práticas – valor: 45 pontos (15+15+15 pontos)
1 projeto final – valor: 40 pontos
3 participações em sala de aula (presencial/online): valor: 15 pontos (5 pontos cada)
==> Nota mínima para aprovação: 75 pontos
Políticas do Curso e outras Informações
Frequência: mínimo de 75% de participação nas aulas presencias/online.
Entrega de trabalho com atraso: não será aceita.
Avaliações perdidas: uma nova avaliação será marcada somente com justificativa aceita pela UFLA.
Dispositivos móveis e acesso à Internet em sala de aula: permitido somente para acesso a material relacionado à aula.
Plágio: sempre cite suas fontes quando apresentar ideias e/ou linguagem que você não desenvolveu por conta própria, incluindo material de aula e discussões.
Ética / violações da integridade acadêmica: consulte políticas e regras da UFLA.
Sala Virtual
Slides, notebooks e outros materiais estarão disponíveis no Campus Virtual da UFLA e/ou nesta página.
Referências Bibliográficas
Consulte as referências disponíveis nos slides e nos notebooks.
Cronograma de Aulas
Semana 1:
• Participar da aula presencial/online 0 - Boas-Vindas / Apresentação do Curso
• Videoaula pln-01 - Introdução ao Processamento de Linguagem Natural
• Videoaula pln-02a - Notebook Python - Exemplos de Processamento de Linguagem Natural
• Videoaula pln-02b - Notebook Python - Exemplos de Processamento de Linguagem Natural
• Videoaula pln-03 - Modelos Sequenciais
• Videoaula pln-04a - Redes Neurais Recorrentes
• Videoaula pln-04b - Redes Neurais Recorrentes
• Videoaula pln-05a - Notebook Python - Redes Neurais Recorrentes
• Videoaula pln-05b - Notebook Python - Redes Neurais Recorrentes
• Revisar os slides, notebooks e outros materiais de referência
• Fazer Atividade Prática 1
• Videoaula pln-06 - Modelo Sequence-to-Sequence (Encoder-Decoder)
• Videoaula pln-07 - Diferentes Arquiteturas de Redes Neurais Recorrentes
• Videoaula pln-08 - Mecanismo de Atenção
• Videoaula pln-09a - Transformer
• Videoaula pln-09b - Transformer
• Revisar os slides, notebooks e outros materiais de referência
• Participar da aula presencial/online 1
---------
Semana 2:
• Videoaula pln-10a - Word Embeddings
• Videoaula pln-10b - Word Embeddings
• Videoaula pln-11 - Modelo de Linguagem
• Videoaula pln-12 - Transfer Learning
• Videoaula pln-13a - Modelo BERT
• Videoaula pln-13b - Modelo GPT e Outros
• Videoaula pln-14a - Notebook Python - BERT Word Embedding
• Videoaula pln-14b - Notebook Python - BERT Word Embedding
• Videoaula pln-15 - Notebook Python - BERT Classificação de Texto
• Revisar os slides, notebooks e outros materiais de referência
• Fazer Atividade Prática 2
• Participar da aula presencial/online 2
---------
Semana 3:
• Videoaula pln-16 - Representação de Documentos
• Videoaula pln-17a - Notebook Python - SentenceBERT
• Videoaula pln-17b - Notebook Python - SentenceBERT
• Videoaula pln-17c - Notebook Python - SentenceBERT
• Videoaula pln-18a - Notebook Python - TD-IDF
• Videoaula pln-18b - Notebook Python - TD-IDF
• Videoaula pln-18c - Notebook Python - TD-IDF
• Videoaula pln-19 - Aplicações de Processamento de Linguagem Natural
• Revisar os slides, notebooks e outros materiais de referência
• Fazer Atividade Prática 3
• Fazer Atividade Prática 4 (Projeto Final)
• Participar da aula presencial/online 3
---------
Extra: