Embedded Files
IFT6135-H21 DIRO, Université de Montréal
IFT6135-H21 DIRO, Université de Montréal
Plan de cours:
Plan de cours:
Il s'agit d'un cours sur l'apprentissage de représentations focusant sur l'apprentissage profond (deep learning). L'apprentissage profond a récemment été à l'origine d'un grand nombre de gains empiriques impressionnants dans un large éventail d'applications, notamment dans la reconnaissance et la détection d'objets dans les images et la reconnaissance vocale.
Dans ce cours, nous explorerons à la fois les fondements et les avancées récentes dans le domaine de l'apprentissage profond. Nous nous concentrerons sur les modèles de type réseau neuronal, y compris les réseaux neuronaux convolutifs et les réseaux neuronaux récurrents tels que les LSTM. Nous passerons en revue les travaux récents sur les mécanismes d'attention et les efforts visant à intégrer des structures de mémoire dans les modèles de réseaux neuronaux. Nous examinerons également certains des modèles génératifs modernes à base de réseaux de neurones, tels que les réseaux adverses génératifs (generative adversarial networks) et les autoencodeurs variationnels (variational autoencoders).
Le cours utilisera le manuel: Deep Learning par Ian Goodfellow, Yoshua Bengio et Aaron Courville (disponible en commande sur amazon ou en ligne gratuitement ici).
En particulier, les sujets couverts par le cours comprennent les suivants:
Structure des réseaux de neurones et algorithmes d'apprentissage
Réseaux de neurones convolutifs
Réseaux de neurones récurrents
Réseaux "Transformer"
Méthodes d'optimisation pour l'entrainement des réseaux de neurones
Régularisation des réseaux de neurones
Méthodes de normalisation (Batch Normalization, etc.)
Mécanisme d'attention
Applications aux tâches de vision par ordinateur (segmentation d'image, détection de boîte englobante, etc.)
Applications aux tâches de traitement du langage naturel
Autoencodeurs
Autoencodeurs variationnels (VAE)
Réseaux adverses génératifs (GAN)
Modèles génératifs autorégressifs
Modèles génératifs basés sur les "flows"
Méta-apprentissage
Réseaux de neurones graphiques
Apprentissage auto-supervisé (self-supervised)
Adaptation de domaine
Style d'enseignement: Le temps en classe sera consacré aux cours magistraux traditionnels. Les étudiants sont responsables de se tenir au courant du matériel du cours en dehors des heures de classe, principalement en lisant le manuel et les autres lectures attribuées pour chaque cours. Le matériel à réviser pour chaque classe sera disponible sur le site Web du cours.
Évaluation:
Évaluation:
Le cours comprendra un ensemble de trois devoirs. Chaque devoir comprendra deux éléments
Un ensemble de problèmes théoriques
Une partie pratique impliquant la programmation et l'exécution d'expériences.
Consultez la politique de devoir pour plus d'informations.
En plus de ces devoirs, il y aura un examen final. Les composantes pratiques et théoriques des travaux doivent être effectuées individuellement.
La note finale sera composée comme suit:
Devoirs: 3 * 25% = 75% (pour chaque devoir, 25% = 10% (théorie) + 15% (pratique)
Examen final: 25% - L'examen final dure trois heures et couvre tout le matériel vu en classe et dans les devoirs. L'examen sera à livre ouvert.
Instructeurs:
Instructeurs:
Instructeur: Prof. Aaron Courville <Aaron.Courville at gmail.com>
Auxiliaires d'enseignement:
Arian Hosseini <arian.hosseini9@gmail.com>
Krishna Murthy <krrish94 at gmail.com>
Sébastien Lachapelle <sebastien.lachapelle at live.com>
Christos Tsirigotis <christos.tsirigotis at umontreal.ca>
Tristan Deleu <tristan.deleu at gmail.com>
Philippe Brouillard <philippebrouillard at gmail.com>
Michael Noukhovitch <mnoukhov@gmail.com> (gradescope specialist)
Examens précédents:
Examens précédents:
Attention: le matériel change d'année en année. L'examen de cette année comprendra une section à réponse courte et vrai ou faux, env. 50% de l'examen.
Google Sites
Report abuse