確率的最適化理論 (Stochastic Optimization Theory)

講義内容

1. 確率論復習
   確率論の復習（確率変数，確率の基本事項，期待値など）

2. 機械学習基礎1
   損失関数，回帰・判別，期待損失

3. 機械学習基礎2
   経験損失，モデル，過学習，正則化，バイアス・バリアンス

4. 有限次元空間上の確率的最適化法1
   確率的勾配降下法，最急降下法

5. 有限次元空間上の確率的最適化法2
   確率的勾配降下法，非凸関数の最適化

6. 有限次元空間上の確率的最適化法3
   確率的勾配降下法，強凸関数の最適化，ミニバッチ法

7. 有限次元空間上の確率的最適化法4
   確率的勾配降下法，Interpolation・分散縮小法

8. ヒルベルト空間論速習
   ヒルベルト空間の基礎を概説

9. カーネル法1
   カーネル法，再生核ヒルベルト空間

10. カーネル法2
    再生核ヒルベルト空間，L2空間との関係

11. カーネル法3
    再生核ヒルベルト空間における勾配，確率的勾配降下法

12. カーネル法4
    確率的勾配降下法，収束性，判別問題における低ノイズ条件

13. ランジュバン動力学1
    ランジュバン動力学の概要

14. ランジュバン動力学2
    サンプリングと最適化，収束性

講義資料

Supplementary

Note: Noise Conditions and Convergence Analysis of SGD under Polyak-Lojasiewicz Inequality.  [link]

Note: Fokker-Planck equation of Langevin Dynamics.  [link]