Embedded Files
IFT6135-H24 DIRO, Université de Montréal
IFT6135-H24 DIRO, Université de Montréal
Plan de cours:
Plan de cours:
Il s'agit d'un cours sur l'apprentissage de représentations focusant sur l'apprentissage profond (deep learning). L'apprentissage profond a récemment été à l'origine d'un grand nombre de gains empiriques impressionnants dans un large éventail d'applications, notamment dans la reconnaissance et la détection d'objets dans les images et la reconnaissance vocale.
Dans ce cours, nous explorerons à la fois les fondements et les avancées récentes dans le domaine de l'apprentissage profond. Nous nous concentrerons sur les modèles de type réseau neuronal, y compris les réseaux neuronaux convolutifs et les réseaux neuronaux récurrents tels que les LSTM. Nous passerons en revue les travaux récents sur les mécanismes d'attention et les efforts visant à intégrer des structures de mémoire dans les modèles de réseaux neuronaux. Nous examinerons également certains des modèles génératifs modernes à base de réseaux de neurones, tels que les réseaux adverses génératifs (generative adversarial networks) et les autoencodeurs variationnels (variational autoencoders).
Le cours utilisera le manuel: Deep Learning par Ian Goodfellow, Yoshua Bengio et Aaron Courville (disponible en commande sur amazon ou en ligne gratuitement ici).
En particulier, les sujets couverts par le cours comprennent les suivants:
Structure des réseaux de neurones et algorithmes d'apprentissage
Réseaux de neurones convolutifs
Réseaux de neurones récurrents
Réseaux "Transformer"
Méthodes d'optimisation pour l'entrainement des réseaux de neurones
Régularisation des réseaux de neurones
Méthodes de normalisation (Batch Normalization, etc.)
Mécanisme d'attention
Applications aux tâches de vision par ordinateur (segmentation d'image, détection de boîte englobante, etc.)
Applications aux tâches de traitement du langage naturel
Alignement du grand modèle linguistique (avec RLHF)
Autoencodeurs
Autoencodeurs variationnels (VAE)
Réseaux adverses génératifs (GAN)
Modèles génératifs autorégressifs
Modèles génératifs basés sur les "flows"
Méthodes de diffusion
Apprentissage auto-supervisé (self-supervised)
Style d'enseignement: Le temps en classe sera consacré aux cours magistraux traditionnels. Les étudiants sont responsables de se tenir au courant du matériel du cours en dehors des heures de classe, principalement en lisant le manuel et les autres lectures attribuées pour chaque cours. Le matériel à réviser pour chaque classe sera disponible sur le site Web du cours.
Évaluation:
Évaluation:
Le cours comprendra un ensemble de trois devoirs. Chaque devoir comprendra deux éléments
Un ensemble de problèmes théoriques
Une partie pratique impliquant la programmation et l'exécution d'expériences.
Consultez la politique de devoir pour plus d'informations.
En plus de ces devoirs, il y aura un examen final. Les composantes pratiques et théoriques des travaux doivent être effectuées individuellement.
La note finale sera composée comme suit:
Devoirs: 3 * 25% = 75% (pour chaque devoir, 25% = 10% (théorie) + 15% (pratique)
Examen final: 25% - L'examen final dure trois heures et couvre tout le matériel vu en classe et dans les devoirs. L'examen sera probablement à livre fermé, mais vous aurez droit à une seule feuille aide-mémoire (cheat sheet) écrite à la main (recto-verso).
Instructeurs:
Instructeurs:
Instructeur: Prof. Aaron Courville <Aaron.Courville at gmail.com>
Auxiliaires d'enseignement (veuillez communiquer avec les auxiliaires d'enseignement via Piazza):
Johan S Obando C
Mahta Ramezanian
Jerry Huang
Elahe Kooshafar
Tianyu Zhang
Aleksei Efremov
Jeremy Qin
Examens précédents:
Examens précédents:
Attention : le matériel change d'année en année. L'examen de cette année sera entièrement composé de questions à réponses courtes / à choix multiples / vrai-faux.
Google Sites
Report abuse