13 – Meta-Learning - Hugo Larochelle 
(09/04/2024 - en dehors des horaires réguliers)

Remarque : Cette conférence a lieu de 9h30 à 11h30, le jeudi 6 avril 2023.
Exceptionnellement, la conférence sera en anglais.

Le cours sera 100% virtuel.

=========================================================================

COURS RENVERSÉ -- VEUILLEZ REGARDER LA VIDÉO AVANT LE COURS

Une grande partie des progrès récents sur de nombreuses tâches d'IA a été rendue possible en partie par la disponibilité de grandes quantités de données étiquetées. Pourtant, les humains sont capables d'apprendre des concepts à partir d'aussi peu qu'une poignée d'exemples. Le méta-apprentissage (meta-learning) est un cadre très prometteur pour résoudre le problème de la généralisation à partir de petites quantités de données, connu sous le nom d'apprentissage en quelques coups. En méta-apprentissage, notre modèle est lui-même un algorithme d'apprentissage : il prend en entrée un ensemble d'apprentissage et en sortie un classifieur. Pour l'apprentissage en quelques coups, il est (méta-)entraîné directement pour produire des classificateurs avec de bonnes performances de généralisation pour les problèmes avec très peu de données étiquetées. Dans cette conférence, Hugo présentera un aperçu des recherches récentes qui ont fait des progrès passionnants sur ce sujet (y compris les miens) et, si le temps le permet, discutera des défis ainsi que des opportunités de recherche qui restent.

Video:  Hugo's Lecture  (à regarder avant le cours du 09/04/2024)

Slides: Meta-Learning slides

11 – GANs (27/03/2024, 03/04/2024)

Dans ce cours, nous discuterons des réseaux antagonistes (adversariels) génératifs (GAN). Les GAN sont un paradigme de modèle génératif récent et très populaire. Nous aborderons le formalisme GAN, quelques considérations théoriques et pratiques.

Slides:

• GAN slides

Videos des cours ( 27/03/2024 , 03/04/2024)

Reference: (* = you are responsible for this material)

• *Sections 20.10.4 of the Deep Learning textbook.

• *Generative Adversarial Networks by Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio (NIPS 2014).

• *f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization by Sebastian Nowozin, Botond Cseke and Ryota Tomioka (NIPS 2016).

• NIPS 2016 Tutorial: Generative Adversarial Networks by Ian Goodfellow, arXiv:1701.00160v1, 2016

• Adversarially Learned Inference by Vincent Dumoulin , Ishmael Belghazi , Ben Poole, Olivier Mastropietro, Alex Lamb, Martin Arjovsky and Aaron Courville (ICLR 2017).

• Many others refs in the slides.

09 – Normalizing Flows  (25/03/2024)

Dans ce cours, nous aurons un cours accéléré sur la normalisation des flux et verrons comment ils peuvent être utilisés comme modèle génératif en inversant la transformation de la distribution des données en une distribution a priori.

Slides: Normalizing Flows

Videos des cours ( 25/03/2024, 27/03/2024 )

Reference: (* = you are responsible for this material)

• *Chapter 20.10.2 of the Deep Learning textbook.

• *Chapter 1-2 (for the core idea) and Chapter 6 (for applications) Normalizing Flows for Probabilistic Modeling and Inference by George Papamakarios and friends.

• See the blog posts by Eric Jang: part 1, and part 2

07 – Self-Attention et Transformer  (19/02/2024 - 18/03/2024)

Dans ce cours, nous examinerons l'auto-attention et le modèle du transformateur. Nous verrons comment ils fonctionnent, les approfondirons, verrons leurs analyses et leurs performances, et leurs applications principalement dans le traitement du langage naturel. Nous verrons comment certains modèles de langage, basés sur l'architecture des transformateurs, ont dépassé les performances humaines sur certaines tâches de compréhension du langage, et nous discuterons également de leurs lacunes.

Slides:

• Self-Attention and Transformer (slides par Arian Hosseini et Aaron Courville).

• RLHF par A. Hosseini (et autres).

• LoRA par A. Hosseini (et autres).

Videos des cours (19/02/2024, 21/02/2024, 26/02/2024, 28/02/2024, 11/03/2024, 13/03/2024, 18/03/2024)

Reference: (plus the works mentioned in the slides) 

• Attention is all you need, 

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,

• Better Language Models and Their Implications, 

• Improving Language Understanding by Generative Pre-Training,

05 – Regularization (05/02/2024, 07/02/2024)

Dans ces cours, nous aurons une discussion assez détaillée des méthodes de régularisation et de leur interprétation.

Slides:

• Regularization

Videos des cours (05/01/2024, 07/02/2024)

Reference: (* = you are responsible for this material)

• *Chapter 7 of the Deep Learning textbook.

• Understanding deep learning requires rethinking generalization (ICLR 2017) par Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals

03 – ConvNets (22/01/2024,  24/01/2024, 29/01/2024) 

Dans ce cours, nous terminons notre discussion sur l'appentissage des réseaux de neurones et nous introduisons les réseaux de neurones convolutifs.

Cours CNNs  (diapositives modifiées à partir des notes de cours d'Hugo Larochelle)

• videos des cours (22/01/2024,  24/01/2024, 29/01/2024)

Backprop in CNNs (Slides de Hiroshi Kuwajima’s Memo on Backpropagation in Convolutional Neural Networks.) -- nous n'en parlerons pas en classe, mais elles sont obligatoires et vous en êtes responsable. (pourrait être sur les devoirs et l'examen)

Reference: (* = you are responsible for all of this material)

• *Chapter 9 of the Deep Learning textbook, Sections 9.10 and 9.11 are optional.

• Andrej Karpathy’s excellent tutorial on CNNs.

•  Paper on convolution arithmetic by Vincent Dumoulin and Francesco Visin.

• WaveNet Blog presenting dilated convolutions animation and samples.

• Blog on Deconvolution and Checkerboard Artifacts by Augustus Odena, Vincent Dumoulin and Chris Olah.