Optimisation
Cette page est la page du cours de master sur l'optimisation.
Les slides sont disponibles ici !
Les cours de Guillaume Carlier sur le calcul différentiel ici sont très bien faits. Des exercices sont disponibles également ici. Des slides très intéressants sont ici :
Les meilleures notes de cours du web sur l'optimisation sont ici, avec les codes python.
Des notes concises et efficaces sur les algorithmes du gradient sont ici et ici. Les notes de cours de Gowers sont très bien faites également et disponibles ici. Des notes des cours excellentes sur l'optimisation pour le Deep Learning sont disponibles ici. Un lien intéressant est ici.
New: Les notes sont ici !
Les projets !
Projet no. 1: Implanter la méthode du gradient et du gradient stochastique pour le modèle logistique en adaptant les informations données pour le modèle de régression linéaire décrit ici. Etudier numérique l'effet de la longeur du pas sur la convergence. Etudier l'effet du choix de la taille du mini-batch. Reproduire avec votre algorithme les expériences présentées dans le blog ici.
Projet no. 2: Implanter la méthode du gradient et du gradient stochastique pour le LASSO en s'appuyant sur le blog ici. Etudier numérique l'effet de la longeur du pas sur la convergence. Etudier l'effet du choix de la taille du mini-batch. Reproduire avec votre algorithme les expériences présentées dans la page du blog précédent.
Projet no. 3: Implanter la méthode du gradient et du gradient stochastique pour le problème de SVM en s'appuyant sur le blog ici. Etudier numérique l'effet de la longeur du pas sur la convergence. Etudier l'effet du choix de la taille du mini-batch. Reproduire avec votre algorithme les expériences présentées dans la page du blog précédent.
Projet no. 4: Implanter la méthode du gradient et du gradient stochastique pour le problème d'estimation de modèle graphique présenté dans le blog ici. Etudier numérique l'effet de la longeur du pas sur la convergence. Etudier l'effet du choix de la taille du mini-batch. Reproduire avec votre algorithme les expériences présentées dans la page du blog précédent.
Projet no. 5: Etudier et reproduire les expériences proposées dans le blog ici sur le problème de complétion de matrices par méthode d'optimisation alternée. Reproduire les experiences en étudiez l'influence du choix des divers paramètres.
Projet no. 6: Etudier et reproduire les expériences proposées dans le blog ici sur le problème de l'estimation d'un mélange de Gaussiennes par méthode EM. Reproduire les experiences en étudiez l'influence du choix des divers paramètres.