Curso de Deep Learning Aplicado a Sistemas de Busca (1o. semestre de 2024)

 IA024 - Redes Neurais Profundas para Processamento de Linguagem Natural (1o. semestre de 2024)

Inscrições abertas para um novo curso  IA024 - Redes Neurais Profundas para Processamento de Linguagem Natural. O curso é gratuito e aberto para todos. As vagas são limitadas e aplicaremos um teste de seleção para testar seus conhecimentos em Python, NumPy, Machine Learning e IA Generativa.

•  IA024 - Redes Neurais Profundas para Processamento de Linguagem Natural: março a junho de 2024, quintas feiras das 8h às 12h

• Ementa: Curso de redes neurais aplicado ao Processamento de Linguagem Natural (PLN). Recentemente diversas arquiteturas foram propostas para o processamento de linguagem natural, atingindo o estado-da-arte em sistemas de tradução, sistemas de perguntas e respostas, entre outras tarefas de linguagem natural. Conceitos como word embeddings, conversores de sequência seq2seq, modelos de atenção e recentemente transformers e BERT são avanços consolidados na área de PLN. Este curso aborda os principais modelos de redes neurais utilizados em PLN. O curso utilizará programação avançada Python/NumPy utilizando o pacote PyTorch. É recomendada a experiência prévia de programação matricial como Python/Numpy, MATLAB ou R e é desejável ter conhecimentos básicos de Machine Learning.

• Bibliografia:

  • Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems. 2017.; 

  • Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1; 

  • LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature 521.7553 (2015): 436.; 

  • Mikolov, Tomas, et al. "Distributed Representations of Words and Phrases and their Compositionality."

• Para quem é aluno regular do programa de pós graduação da FEEC-UNICAMP:  https://www.cpg.feec.unicamp.br/cpg/lista/caderno_horario.php 

• Para quem não é aluno da UNICAMP, é necessário se inscrever como aluno especial até 31 de janeiro de 2024. As instruções estão neste link: 

• https://www.fee.unicamp.br/pos-graduacao/estudante-especial/#calendario 

Projetos

• Criação de Dataset para Pré-treino e RAG para Q&A em Linux Embarcado - GitHub

• Criação de dataset sintético de RAG em em direito trabalhista - GitHub

• RAG aplicado a documentos institucionais do Instituto Federal de São Paulo (IFSP) - GitHub

• Avaliação de pipelines de RAG de diferentes complexidades utilizando WikiEval

• Geração Automática de Letras de Música Utilizando o Modelo LLaMA 3 e QLoRA - GitHub

• Assistente de legislação trabalhista usando Graph RAG - GitHub

• Aplicação de RAG para Q&A sobre declaração de imposto de renda - GitHub

• Aplicação de RAG nas Normas, Regimentos e Leis da UNICAMP - GitHub

• Estudo e Criação de dataset sintético de RAG para perguntas e respostas sobre o Código Civil Brasileiro - GitHub

• Avaliação da Qualidade dos Motores de Busca em Sistemas Multi-Agente  de Perguntas e Respostas - GitHub

• Dataset para avaliação de sumarização de longos documentos em português - GitHub - arXiv

• Incorporação de passagens de texto a partir da edição de associações factuais em LLMs - GitHub

• Criação de dataset e avaliação de RAG para transcrições do podcast Não Inviabilize - GitHub

• Generative data by generative agents - GitHub

• Planejamento de Ações Robóticas Utilizando Modelos de Linguagem - GitHub - Aceito para publicação no LARS-LARC 2024

• InfiniAttention em Modelos Generativos PTBR -  GitHub

• Fine-tuning de LLMs para raciocínio comum em situações de interação social (Social IQA) - GitHub

• Tradução Automática de Mangás com Contexto Visual Utilizando Modelos de Linguagem Multimodal  - GitHub