IFT 6135 - Representation Learning

Hiver 2022, Un cours d'apprentissage profond offert par l'Université de Montréal

IFT6135-H22 DIRO, Université de Montréal

Plan de cours:

Il s'agit d'un cours sur l'apprentissage de représentations focusant sur l'apprentissage profond (deep learning). L'apprentissage profond a récemment été à l'origine d'un grand nombre de gains empiriques impressionnants dans un large éventail d'applications, notamment dans la reconnaissance et la détection d'objets dans les images et la reconnaissance vocale.

Dans ce cours, nous explorerons à la fois les fondements et les avancées récentes dans le domaine de l'apprentissage profond. Nous nous concentrerons sur les modèles de type réseau neuronal, y compris les réseaux neuronaux convolutifs et les réseaux neuronaux récurrents tels que les LSTM. Nous passerons en revue les travaux récents sur les mécanismes d'attention et les efforts visant à intégrer des structures de mémoire dans les modèles de réseaux neuronaux. Nous examinerons également certains des modèles génératifs modernes à base de réseaux de neurones, tels que les réseaux adverses génératifs (generative adversarial networks) et les autoencodeurs variationnels (variational autoencoders).

Le cours utilisera le manuel: Deep Learning par Ian Goodfellow, Yoshua Bengio et Aaron Courville (disponible en commande sur amazon ou en ligne gratuitement ici).

En particulier, les sujets couverts par le cours comprennent les suivants:

  • Structure des réseaux de neurones et algorithmes d'apprentissage

  • Réseaux de neurones convolutifs

  • Réseaux de neurones récurrents

  • Réseaux "Transformer"

  • Méthodes d'optimisation pour l'entrainement des réseaux de neurones

  • Régularisation des réseaux de neurones

  • Méthodes de normalisation (Batch Normalization, etc.)

  • Mécanisme d'attention

  • Applications aux tâches de vision par ordinateur (segmentation d'image, détection de boîte englobante, etc.)

  • Applications aux tâches de traitement du langage naturel

  • Autoencodeurs

  • Autoencodeurs variationnels (VAE)

  • Réseaux adverses génératifs (GAN)

  • Modèles génératifs autorégressifs

  • Modèles génératifs basés sur les "flows"

  • Méta-apprentissage

  • Réseaux de neurones graphiques

  • Apprentissage auto-supervisé (self-supervised)

  • Adaptation de domaine

Style d'enseignement: Le temps en classe sera consacré aux cours magistraux traditionnels. Les étudiants sont responsables de se tenir au courant du matériel du cours en dehors des heures de classe, principalement en lisant le manuel et les autres lectures attribuées pour chaque cours. Le matériel à réviser pour chaque classe sera disponible sur le site Web du cours.

Évaluation:

Le cours comprendra un ensemble de trois devoirs. Chaque devoir comprendra deux éléments

  1. Un ensemble de problèmes théoriques

  2. Une partie pratique impliquant la programmation et l'exécution d'expériences.

Consultez la politique de devoir pour plus d'informations.

En plus de ces devoirs, il y aura un examen final. Les composantes pratiques et théoriques des travaux doivent être effectuées individuellement.

La note finale sera composée comme suit:

  • Devoirs: 3 * 25% = 75% (pour chaque devoir, 25% = 10% (théorie) + 15% (pratique)

  • Examen final: 25% - L'examen final dure trois heures et couvre tout le matériel vu en classe et dans les devoirs. L'examen sera probablement à livre fermé, mais vous aurez droit à une seule feuille aide-mémoire (cheat sheet) écrite à la main (recto-verso).

Instructeurs:

  • Instructeur: Prof. Aaron Courville <Aaron.Courville at gmail.com>

  • Auxiliaires d'enseignement:

    • Samuel Lavoie (head TA)

    • Akram Erraqabi (Devoir 1)

    • Matthew Scicluna (Devoir 1)

    • Ankit Vani

    • Sai Aravind Sreeramadas

    • Naga Karthik

    • Mohammad Bayazi

Examens précédents:

Attention : le matériel change d'année en année. L'examen de cette année sera entièrement composé de questions à réponses courtes / à choix multiples / vrai-faux.