Voici un cours sur l'optimisation orientée Deep Learning très condensé et assez complet ici.
Mes transparents de cours sont ici.
Les meilleures notes de cours du web sont ici, avec les codes python.
Des notes concises et efficaces sur les algorithmes du gradient sont ici et ici.