Embedded Files
IFT6135-A21 DIRO, Université de Montréal
IFT6135-A21 DIRO, Université de Montréal
Plan de cours:
Plan de cours:
Il s'agit d'un cours sur l'apprentissage de représentations focusant sur l'apprentissage profond (deep learning). L'apprentissage profond a récemment été à l'origine d'un grand nombre de gains empiriques impressionnants dans un large éventail d'applications, notamment dans la reconnaissance et la détection d'objets dans les images, traitement du langage naturel et la reconnaissance vocale.
Dans ce cours, nous explorerons à la fois les fondements et les avancées récentes dans le domaine de l'apprentissage profond. Nous nous concentrerons sur les modèles de type réseau neuronal, y compris les réseaux neuronaux convolutifs et les réseaux neuronaux récurrents tels que les LSTM. Nous passerons en revue les travaux récents sur les mécanismes d'attention et les efforts visant à intégrer des structures de mémoire dans les modèles de réseaux neuronaux. Nous examinerons également certains des modèles génératifs modernes à base de réseaux de neurones, tels que les réseaux adverses génératifs (generative adversarial networks) et les autoencodeurs variationnels (variational autoencoders).
Manuel de lecture autonome par les étudiants: Deep Learning par Ian Goodfellow, Yoshua Bengio et Aaron Courville (disponible en commande sur amazon ou en ligne gratuitement ici).
En particulier, les sujets couverts par le cours comprennent les suivants:
Structure des réseaux de neurones et algorithmes d'apprentissage
Réseaux de neurones convolutifs
Réseaux de neurones récurrents
Réseaux "Transformer"
Méthodes d'optimisation pour l'entrainement des réseaux de neurones
Régularisation des réseaux de neurones
Méthodes de normalisation (Batch Normalization, etc.)
Mécanisme d'attention
Applications aux tâches de vision par ordinateur (segmentation d'image, détection de boîte englobante, etc.)
Applications aux tâches de traitement du langage naturel
Autoencodeurs
Autoencodeurs variationnels (VAE)
Réseaux adverses génératifs (GAN)
Modèles génératifs autorégressifs
Modèles génératifs basés sur les "flows"
Méta-apprentissage
Apprentissage auto-supervisé (self-supervised)
Style d'enseignement: Le temps en classe sera consacré aux cours magistraux traditionnels. Les étudiants sont responsables de se tenir au courant du matériel du cours en dehors des heures de classe, principalement en lisant le manuel et les autres lectures attribuées pour chaque cours. Le matériel à réviser pour chaque classe sera disponible sur le site Web du cours.
Évaluation:
Évaluation:
Le cours comprendra un ensemble de trois devoirs. Chaque devoir comprendra deux éléments
Un ensemble de problèmes théoriques
Une partie pratique impliquant la programmation et l'exécution d'expériences.
Consultez la politique de devoir pour plus d'informations.
En plus de ces devoirs, il y aura un examen final. Les composantes pratiques et théoriques des travaux doivent être effectuées individuellement.
La note finale sera composée comme suit:
Devoirs: 3 * 25% = 75% (pour chaque devoir, 25% = 10% (théorie) + 15% (pratique)
Examen final: 25%
Instructeurs:
Instructeurs:
Instructeur: Prof. Aishwarya Agrawal <aishwarya.agrawal at mila.quebec>
Auxiliaires d'enseignement:
Leo Feng <leo.feng at mila.quebec>
Milad Aghajohari <aghajohm at mila.quebec>
Examens précédents:
Examens précédents:
Attention: le matériel change d'année en année.
Report abuse