O texto da referência: Elementos da Teoria de Aprendizagem de Máquina Supervisionada (pdf gratuito).
Aula 35 (03/11). Teorema de Lusin (teorema E.2.14 nas notas do IMPA). Extensão de funções Lipschitz contínuas de subespaços de espaços métricos (seção 7.1.3).
Aula 34 (31/10). Concentração de medidas empíricas. Lema de Cover-Hart. Demonstração da consistência de k-NN no caso da função de regressão contínua. Notas de aula.
Aula 33 (29/10). Teorema de Fubini. Produtos de desintegrações. Aplicações ao modelo de aprendizagem supervisionada. Notas da aula.
Aula 32 (24/10). Partições suaves de espaços borelianos padrão. Rotações irracionais do círculo. Teorema de Rokhlin de desintegração de medidas. Notas de aula.
Aula 31 (22/10). Prova do teorema de Radon-Nikodym (uma versão leve). Re-examinação do modelo probabilístico de aprendizagem de máquina supervisionada. Notas de aula.
Aula 30 (20/10). Limites pontuais de sequências de funções mensuráveis. Teorema de Lebesgue sobre convergência dominada. Prova de uma versão do 1o teorema de Doob sobre convergência de martingales. Existência de sequências de partições refinadoras. Notas de aula.
Aula 29 (17/10). Prova do lema de Doob sobre travessias para cima [upcrossings].
Aula 28 (15/10). Sequências previsíveis. Transformação de martingale. (Notas sobre exercícios da aula).
Aula 27 (13/10). Preparando o lema de Doob sobre travessias para cima. Tempos de parada. Notas adicionais.
Aula 26 (10/10). Discussão do modelo probabilístico de aprendizagem supervisionada. Medida de probabilidade sobre Ωx{0,1} contra à medida sobre Ω mais a função de regressão. Formulação e discussão preliminar do teorema de Radon-Nikodym. Formulação e discussão preliminar do 1o teorema de Doob sobre convergência de martingales. Travessias para cima (upcrossings) e para baixo (downcrossings). (Leitura: pp. 421-422).
Aula 25 (06/10). Caso de função de regressão contínua. 1o lema de Borel-Cantelli. (Leitura: seção 5.3 até página 168, só que lá tem uma imprecisão, que vou corrigir).
Aula 24 (03/10). O modelo de aprendizágem supervisionada com ruído aleatório. Função de regressão. Erro de um classificador. Erro de Bayes. Consistência universal de uma regra. Por que o classificador 1-NN não é consistênte: um exemplo com ruído constante, que o classificador k-NN, k -> ∞, aprende. (Leitura: Seção 5.2).
Lista 7 dos exercícios (20-28).
Aula 23 (01.10). Funções μ-equivalentes. Integral de Lebesgue: motivação (conjunto de Cantor) e definição através da integral de Riemann. Forma mais geral da desigualdade de Azuma. Medida e integral empíricas, a concentração delas, Lei dos Grandes Números com as cotas de Chernoff. (Leitura: H1, só que na aula nós mostramos linearidade de modo bem mais simples, aproximando cada função mensurável com funções simples).
Aula 22 (29/09). Lema geométrico de Stone. Consistência do classificador 1-NN para conceitos num espaço euclidiano de dimensão finita. (Leitura para aulas 21-22: pp. 155-159).
Aula 21 (26/09). Consistência do classificador 1-NN para conceitos em R. Sobre a esperança de uma variável aleatória real.
Aula 20 (24/09). Soluções de problemas 10-19.
Aula 19 (22/09). Covergência quase certa e em probabilidade. Consistência forte e fraca (no contexto do classificador 1-NN da aula 18). Insuficiência de conceitos com fronteira negligencável (exemplo do conjunto de Cantor). Regularidade das medidas borelianas. (Leitura: pp. 152-154, e secão E.2.2 até o teorema de Luzin).
Aula 18 (19/09). O classificador 1-NN aprende conceitos com fronteira negligenciável (notas adicionais). (Leitura: prop. 5.1.11).
Aula 17 (17/09). Produto de medidas (notas). Prova do lema de Cover-Hart (notas).
Lista 6 de exercícios (15-19).
Aula 16 (15/09). Conjuntos negligenciáveis. Lei conjunta de variáveis aleatórias. Independência. Esboço da construção do produto de espaços probabilísticos. Formulação do lema de Cover-Hart. (Leitura: E.1.4; partes de E.1.6; E.1.7; pp. 149-150).
Lista 5 (só dois exercícios, 14-15).
Aula 15 (12/09). Unicidade da extensão de medida. Primeiras aplicações. Variáveis aleatórias. Ideia do classificador k-NN. (Leitura: seções E.1.2, E.1.3, A.0.1, A.0.2, A.0.3, A.0.5).
Aula 14 (10/09). Teorema de Caratheodory. (Leitura: E.1.1).
Lista 4 de exercícios (9-13).
Aula 13 (08/09). Álgebras (corpos de conjuntos), sigma-álgebras, medidas de probabilidade. (Leitura: pp. 276-282 (A.0.2-A.0.5); pp. 356-359).
Aula 12 (05/09). Aprendizagem num espaço probabilístico enumerável. (Leitura: pp. 78-83).
Aula 11 (03/09). Soluções de problemas (aqui, as soluções de os que causaram dificuldades, 3 e 5). Aprendizagem num domínio finito. (Leitura: pp. 76-78, até o fato 3.1.2).
Aula 10 (01/09). Dimensão VC de uma rede de unidades computacionais binárias. (Leitura: subs. 2.3.4).
Lista 3 de exercícios (7-8).
Aula 9 (29/08). Lema de Sauer-Shelah. Redes de unidades computacionais. (Leitura: Sec. 2.2, subs. 2.3.1, 2.3.2, 2.3.3).
Lista 2 de exercícios (com um exercício só, 6).
Aula 8 (27/08). Lema (ou: teorema) de Pajor. (Leitura: teorema 2.2.3).
Lista 1 de exercícios (1-5).
Aula 7 (25/08). Dimensão VC de uma classe de conjuntos definida pelos valores não negativos de funções. Dimensão VC do perceptron clássico, da classe de bolas euclidianas. (Leitura: teorema 2.1.14, exemplos 2.1.16, 2.1.17, exemplo 2.3.19).
Aula 6 (22/08). Classes de conceitos. Fragmentação. Dimensão de Vapnik-Chervonenkis. Primeiros exemplos. (Leitura: pp. 46-52).
Aula 5 (20/08). Peso normalizado. Lei dos Grandes Números e sua generalização geomérica. Segunda estimativa de volume de bolas de Hamming. Valor médio contra valor mediano para funções Lipschitz contínuas sobre o cubo. Função de concentração. (Leitura: pp. 39-42, mais a Nota 1).
Aula 4 (18/08). Desigualdade de Azuma. Cotas de Chernoff para funções 1-Lipschitz contínuas sobre o cubo de Hamming. (Leitura: pp. 36-39).
Aula 3 (15/08). Observações sobre probabilidade condicional. Sequências de partições refinadoras. Martingales. Diferenças de martingales e suas propriedades. (Leitura: pp. 32-35).
Aula 2 (13/08). Primeira estimativa de volume de bolas de Hamming. Desigualdade de Markov. Coberturas, partições, partições padrão do cubo de Hamming. Esperança condicional dada uma partição de um espaço probabilístico finito munido da medida de contagem normalizada. Valor mediano e valor médio. (Leitura: pp. 22-23, 28-32).
Aula 1 (11/08/25). O assunto de aprendizagem de máquina supervisionada. Cubo de Hamming. Distância de Hamming, distância normalizada. Funções Lipschitz contínuas. Medida de contagem, medida de contagem normalizada. (Leitura: Introdução; subs. 1.1.1, 1.1.3, 1.3.1 (só pp. 27-28)).