2025年度
非線形物理学特論 I, 京都大学情報学研究科
◎講義日程および講義室
10月9日(木), 16日(木), 23日(木), 30日(木) 13:15～16:30（3,4時限目）工学部総合研究8号館 講義室2
参考： 京都大学吉田キャンパスのマップ（59の建物）
◎概要
機械学習から神経科学まで幅広い広がりを見せているニューラルネットワークについて、おもに力学的/統計力学的視点から解説する。ランダム神経回路の解析を起点とし、特に深層学習における学習ダイナミクスの理解に向けて講義を進めていく。深層学習は様々な問題で目覚ましい成果を上げているが、開発は経験的/発見的に進んでいる側面が大きい。そのメカニズムや原理の数理的見通しを得ることを目指して講義を進める。具体的には、統計神経力学の枠組みを導入し、ランダム神経回路における発火状態の巨視的な伝播則から始める。続いて、機械学習で問題となるパラメータの学習ダイナミクスに話題を進め、モデルやアルゴリズムの望ましい設定を明らかにしていく。ダイナミクスは非線形かつ多様な振る舞いを見せるが、可解モデルの力学系解析を交えつつ、普遍的に成立すると考えられる現象や法則を探求する。
◎目標
本講義では基礎となる考え方や道具を入門的に習得することを目指す。ただし、 重要と思われる項目では具体的に計算を追う一方で、近年の動向や事例も紹介しながら全体像の俯瞰を得ることも目指す。履修者が今後、機械学習や神経科学など諸問題において新しい問題や現象に出くわしても、ある程度は自分で解析の道筋が立てられるような知識の取得を目指す。
◎授業計画
具体的な講義予定は以下の通りである。なお、履修者の理解度や講義の進度を考慮して、一部の内容の変更・省略あるいは順序の変更を行うことがある。
(1) ニューラルネットワークの概要 [10月9日(木) 予定], スライド資料1, 補足資料
– 歴史と背景
– 数理的研究の位置づけ
(2) 深層モデルの統計神経力学
– 大自由度とランダム性
– 秩序-カオス相転移と勾配消失-発散問題
– バックプロパゲーションの平均場理論
– カーネル法とのつながり
(3) 学習レジームと陰的バイアス [10月16日(木) 予定], スライド資料2
– Neural Tangent Kernel(NTK)レジーム
– 無限幅極限の特徴学習, muP導出と各種最適化への応用
– 対角線形ネット模型における陰的正則化
(4) 過剰パラメータ系の典型評価 [10月23日(木) 予定]
– 二重/多重降下現象
– カーネルリッジ回帰における汎化誤差のレプリカ解析
– ランダム行列理論
(5) 連想記憶モデルとその周辺 [10月30日(木) 予定]
– 現代的ホップフィールドネットワーク, 自己注意機構
– エネルギーベースモデルの学習法 (CD法, スコアマッチング, 平衡伝播法)
(6) 深層線形ネットの学習力学
– 可解条件
– カタパルト現象
確率・統計 (AI・機械学習入門) 東京大学工学部精密工学科, 2025年11月11日