WORKSHOP

Público-alvo: iniciantes, sem pré-requisito técnico aprofundado.

Dia 10/08 às 16h

Aula 1 — Fundamentos Teóricos

Bloco 0 — Abertura

Apresentação do curso e dos objetivos das duas aulas.

• Por que cientistas sociais devem auditar a algoritmos de Inteligência Artificial?

• Combinados: dúvidas, participação, dinâmica.

Bloco 1 — O que é IA generativa

• IA, machine learning e deep learning: onde os LLMs se encaixam.

• Diferença entre IA discriminativa (classificar) e generativa (produzir conteúdo).

• Exemplos de modelos generativos: texto, imagem, áudio, código.

• O que é um Large Language Model (LLM) e por que "Large".

• SLM × LLM: Small vs Large Language Models — diferença de escala (nº de parâmetros), custo, velocidade e capacidade. SLMs (ex.: Phi, Gemma, Llama 1–3B, Qwen pequenos) rodam em hardware modesto e servem bem a tarefas específicas; LLMs são mais capazes em raciocínio geral, porém mais caros e pesados.

Bloco 2 — Como ela funciona?

• Sobre prever o próximo token.

• Logits e logprobs: cada token previsto sai de uma distribuição de probabilidade sobre todo o vocabulário; o logprob é o log dessa probabilidade. Guardar este conceito — ele reaparece na auditoria (medir confiança/incerteza, comparar alternativas, escolha forçada).

• Tokens, vocabulário e representação de texto.

• Intuição sobre embeddings e espaço vetorial (sem matemática pesada).

• O prompt e o contexto: o prompt é o texto de entrada que condiciona a previsão do próximo token — o modelo gera a continuação dele, dentro de uma janela de contexto finita. Daí o in-context learning (aprender pelos exemplos do próprio prompt, sem re-treino), a noção de system prompt × mensagem do usuário, e a sensibilidade do resultado à forma como se pergunta.

• O ciclo de treinamento: pré-treinamento → fine-tuning → RLHF.

• O que são "parâmetros" e o que significa o tamanho de um modelo.

Bloco 3 — Onde os modelos vivem: 

locais × API Modelos locais (open-weights): 

Pesos baixados e executados na própria máquina/servidor (ex.: Llama, Mistral, Gemma, Qwen, Phi) via Ollama, llama.cpp, vLLM ou Hugging Face. Para auditoria, dão acesso white-box: logits/logprobs de todo o vocabulário, determinismo, privacidade e ausência de limites de uso.

• Modelos via API (fechados/proprietários): acessados por requisição (ex.: Claude, GPT, Gemini). Em geral, acesso black-box — envia-se o prompt e recebe-se a resposta.

• Quem expõe logprobs? Varia e muda com o tempo — sempre conferir a documentação atual:

• Locais / open-weights: logprobs completos disponíveis.

• OpenAI: expõe logprobs / top_logprobs (top-N).

• Google Gemini: suporte parcial a response logprobs em alguns modelos.

• Anthropic (Claude): tradicionalmente não expõe logprobs.

• Por que importa para auditoria: o tipo de acesso (local × API) e a disponibilidade de logprobs determinam o que se pode auditar e como.

Bloco 4 — O que ela faz e o que NÃO faz

• Capacidades reais: redação, resumo, tradução, código, raciocínio limitado.

• Limitações fundamentais:

• Alucinações (inventar fatos com confiança).

• Ausência de fonte/verificação interna do que é verdade.

• Knowledge cutoff e desatualização.

• Sensibilidade ao prompt (mesma pergunta, respostas diferentes).

• Não "entende" nem "quer”, é correlação estatística. O modelo gera plausibilidade, não verdade

Bloco 5 — O problema dos vieses

• O que é viés em um modelo de linguagem.

• Principais temas de viés: gênero, raça, cultura, língua, viés político, estereótipos, vieses epistemológicos.

• Por que vieses importam: impacto em decisões, exclusão, danos reais.

• Exemplos concretos e demonstração ao vivo (se possível).

Bloco 6 — Fontes de viés

• Dados de treinamento: a internet não é neutra; sub/super-representação.

• Anotação humana: quem rotula e com quais valores.

• Escolhas de modelagem: objetivos, filtros, moderação.

• Fase de alinhamento: RLHF e as preferências de quem treina.

• Uso/contexto: viés que emerge na interação.

Bloco 7 — O problema do alinhamento

• O que significa "alinhar" um modelo a valores humanos — o alignment problem.

• Helpful, Honest, Harmless — e as tensões entre eles.

• RLHF: aprender a partir de preferências humanas.

• Alternativas/evolução: feedback de IA e regras explícitas.

• Desalinhamento: jailbreaks, sycophancy, reward hacking.

• Por que alinhamento é difícil: valores humanos não são únicos nem fáceis de especificar.

• Ponte para a Aula 2: tudo isso é auditável.

Encerramento da Aula 1

• • Síntese dos conceitos-chave.

  • O que esperar da Aula 2.

  • Leituras/recursos opcionais.

Dia 11/08 - 16h
Aula 2: Auditoria na Prática

Bloco 0 — Retomada

• Recapitulação rápida da Aula 1.

• O que é, afinal, "auditar" um LLM? Definição e escopo.

Bloco 1 — Princípios e tipos de auditoria

• • Auditoria de capacidade × de segurança × de viés/fairness.

  • Black-box vs white-box: o que dá para auditar sem acesso ao modelo.

  • Recapitular da Aula 1: modelo local (white-box, logits/logprobs completos) × API (black-box). Isso define o método.

  •  Ataques black-box como ferramenta de auditoria.

  • Critérios de uma boa auditoria: reprodutibilidade, cobertura, evidência.

Bloco 2 — Planejando uma auditoria

• Definir o escopo e as perguntas da auditoria.

• Modelagem de ameaças e cenários de uso indevido.

• Escolha de métricas e benchmarks.

• Construção de um conjunto de testes (casos e contra-casos).

Bloco 3 — O questionário: desenho das perguntas e binary forced-choice

• O questionário é o coração da auditoria, uma vez que é o instrumento de medição. Perguntas mal desenhadas produzem resultados não confiáveis. Um bom questionário é sistemático, reproduzível e cobre os cenários relevantes.

• O problema das perguntas abertas: respostas evasivas/hedging ("depende", "como IA não posso opinar") são difíceis de quantificar e comparar.

• Escolha forçada binária (binary forced-choice) — a estrutura XOR: obrigar o modelo a escolher exatamente uma de duas opções (A/B, Sim/Não, Concordo/Discordo). É literalmente um "ou-exclusivo" (XOR): não pode escolher ambas nem nenhuma.

• • Vantagens: saída mensurável e quantificável; evita evasão; permite comparação estatística entre condições.

• • Conexão com logprobs: em vez de só ler a escolha amostrada, medir a probabilidade que o modelo atribui a "A" vs "B". Sinal contínuo, menos ruído, mais sensível.

• • A dupla face do XOR (ponto central): a escolha binária é, ao mesmo tempo, o melhor instrumento para medir viés (porque quantifica) e uma possível fonte de viés (porque impor o binário distorce). Onde o viés se esconde:

• • • Assimetria das taxas: P(A | grupo 1) ≠ P(A | grupo 2) com todo o resto igual.

• • • O default sob ambiguidade: para que lado o modelo pende quando a informação é neutra — revela o prior aprendido.

    • A própria categorização: a opção que não existe é uma forma de apagamento (ex.: gênero só M/F).

• Exemplos sociais esgotados pela literatura de XOR

  • Currículo → chamar/não chamar: mudar só o nome (proxy de raça/gênero) e medir a diferença na taxa de chamada.

  • Risco criminal → alto/baixo: disparidade nas taxas de falso positivo entre grupos.

  • Crédito → aprovar/negar: viés herdado de histórico de exclusão.

  • Pronome/ocupação → ele/ela: tradução de língua neutra ("médico"→he, "enfermeiro"→she) força o XOR e expõe o estereótipo.

  • Moderação → tóxico/não-tóxico: dialeto (inglês afro-americano) marcado como tóxico com mais frequência.

• Como fazer bem:

  • Opções mutuamente exclusivas e balanceadas; enunciado neutro.

  • Controlar viés de ordem/posição: modelos tendem a preferir a 1ª ou a última opção → randomizar e contrabalançar a ordem A/B.

  • Controlar o efeito do rótulo (A/B × Sim/Não × nomes).

  • Variações pareadas: mudar só uma variável (gênero, raça, nome) e medir a diferença na escolha → quantifica viés.

  • Repetir com amostragem/temperatura para estimar a distribuição; definir o tratamento de recusas e respostas fora do formato.

• Métricas: taxa de escolha por grupo, diferença entre grupos, consistência, significância.

• Limitações: o formato binário simplifica e é sensível a artefatos de prompt

Bloco 4 —Testando vieses na prática

• Técnicas de probing por prompt, aplicando o questionário do Bloco 3.

• Testes pareados (trocar gênero/raça/nome e comparar respostas).

• Demonstração ao vivo / atividade em grupo.

• Os principais métodos estatísticos para analisar as evidências de forma sistemática e segundo as convenções científicas do campo.

Encerramento

•        Síntese do método de auditoria.

•        Próximos passos e recursos para aprofundamento.

•        Espaço para dúvidas finais.

Materiais e Recursos

·         Slides de apoio de cada aula.

·         Ambiente para demonstrações (acesso a um ou mais LLMs).

·         Lista de leituras recomendadas.

·         Modelo (template) de relatório de auditoria para a Aula 2.

CLIQUE AQUI E FAÇA JÁ SUA INSCRIÇÃO
NÃO PERCA ESSA OPORTUNIDADE!!