IA368 - Aprendizado Profundo Avançado: LLMs e Agentes Inteligentes na Prática (2o. semestre de 2025)
Inscrições abertas para um novo curso IA368 - Aprendizado Profundo Avançado: LLMs e Agentes Inteligentes na Prática. O curso é gratuito e aberto para todos. As vagas são limitadas e aplicaremos um teste de seleção para testar seus conhecimentos em Python, NumPy, Machine Learning e IA Generativa.
IA368 - Aprendizado Profundo Avançado: LLMs e Agentes Inteligentes na Prática: agosto a novembro de 2025, quintas feiras das 8h às 12h
Ementa: Este curso aborda redes neurais aplicadas ao Processamento de Linguagem Natural (PLN), com ênfase nas abordagens modernas baseadas em grandes modelos de linguagem (LLMs). Na primeira parte, são apresentados os fundamentos das representações vetoriais de texto e das arquiteturas avançadas baseadas em transformers e mecanismos de atenção, incluindo implementações práticas de treinamento eficiente dessas arquiteturas. Na segunda parte, o curso foca em técnicas de pós-treinamento, ajuste fino e uso prático de modelos pré-treinados por meio da interação com APIs. Técnicas como ReAct, RAG e frameworks para desenvolvimento de agentes e sistemas multiagentes serão exploradas na prática. Um diferencial deste curso é o uso intensivo de programação assistida por inteligência artificial, explorando ferramentas modernas para acelerar o desenvolvimento, depuração e experimentação com modelos. Este curso assume que o aluno já possui conhecimentos de aprendizado de máquina, tais como preparação dos dados, ajuste de hiperparâmetros, treinamento e avaliação de modelos. A implementação prática será feita com Python e PyTorch, exigindo familiaridade com programação matricial e conceitos de orientação a objeto. Ao final, os alunos desenvolverão um projeto prático que integra os principais conceitos e ferramentas aprendidos.
Bibliografia:
Bengio, Yoshua, et al. "A neural probabilistic language model." Journal of machine learning research 3.Feb (2003): 1137-1155.
LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature 521.7553 (2015): 436.;
Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems. 2017.;
Kenton, Jacob Devlin Ming-Wei Chang, and Lee Kristina Toutanova. "Bert: Pre-training of deep bidirectional transformers for language understanding." Proceedings of naacL-HLT. Vol. 1. No. 2. 2019.
Radford, Alec, et al. "Language models are unsupervised multitask learners." OpenAI blog 1.8 (2019): 9.
Brown, Tom, et al. "Language models are few-shot learners." Advances in neural information processing systems 33 (2020): 1877-1901.
Yao, Shunyu, et al. "React: Synergizing reasoning and acting in language models." International Conference on Learning Representations (ICLR). 2023.
GAO, Yunfan et al. Retrieval-augmented generation for large language models: A survey. arXiv preprint arXiv:2312.10997, v. 2, p. 1, 2023.
LIANG, Tian et al. Encouraging divergent thinking in large language models through multi-agent debate. arXiv preprint arXiv:2305.19118, 2023.
Para quem é aluno regular do programa de pós graduação da FEEC-UNICAMP: https://www.cpg.feec.unicamp.br/cpg/lista/caderno_horario.php
Para quem não é aluno da UNICAMP, é necessário se inscrever como aluno especial. As instruções estão neste link:
Professores:
Roberto Lotufo: Email, Linkedin, Google Scholar, CV Lattes
Jayr Pereira: Email, Linkedin, Google Scholar, CV Lattes
Diedre Carmo: Website
Cursos Passados
2024 - 2o. semestre: IA-024 - Redes Neurais Profundas para Processamento de Linguagem Natural
2024 - 1o. semestre: IA-024 - Deep Learning aplicado ao Processamento de Linguagem Natural
2023 - 1o. semestre: IA-368DD - Deep Learning Aplicado a Sistemas de Busca
2022 - 2o. semestre: IA-024A - Deep Learning aplicado ao Processamento de Linguagem Natural - Slides
2022 - 2o. semestre: IA-025A - Introdução ao Deep Learning - Slides
2021 - 2o. semestre: IA-376E - Deep Learning aplicado ao Processamento de Linguagem Natural
2021 - 1o. semestre: IA-376I - Introdução ao Deep Learning
2020 - 2o. semestre: IA-376J - Projetos Avançados em Visão Computacional e Processamento de Linguagem Natural usando Deep Learning
2020 - 1o. semestre: IA-376E - Deep Learning aplicado ao Processamento de Linguagem Natural
Projetos de Destaque
BR-TaxQA-R: A Dataset for Question Answering with References for Brazilian Personal Income Tax Law, Including Case Law (BRACIS 2025)
Bertimbau: BERT pretreinado em português (Melhor artigo do BRACIS 2020)
PTT5: modelo T5 pretreinado em português
mMARCO: Tradução do dataset MS MARCO para 14 idiomas
MonoByte: modelos ByT5 pretreinados em diversos idiomas (apresentado no COLING 2022)
Inpars: Geração automática de dados de treinamento para sistemas de buscas (apresentado no SIGIR 2022)
Sistemas de Busca para eCommerce: top 10 dentre mais de 100 participantes na competição promovida pela Amazon
Sistemas de Busca para documentos jurídicos: Primeiro e segundo colocados nas competições COLIEE 2020 e 2021
Sistemas de Buscas Multilingue e Cross-lingue Information Retrieval: Competição NeuCLIR 2022
Sumarização de Notícias e Eventos: Primeiro colocado na Competição CrisisFACTS 2022