[講演者] 吉野元氏（阪大）

[日時]8月6日 16:00-

[場所] ディスカッションスペース63（14-613

[タイトル] 深層ニューラルネットワークのエネルギー地形

[アブストラクト]

人工ニューラルネットワークによる機械学習が、スピングラスなどランダム系の統計力学と密接に結びついている事は、ホップフィールド模型やパーセプトロンなどの例にあるように1980年代から良く知られ、統計力学の分野でも活発に研究されてきた。[1] ところがいわゆる「深層」ニューラルネットワークに関しては実践的な応用が急ピッチで進む一方、理論が大きく立ち遅れているのが現状である。[2]「なぜデータの数を遥かに上回る膨大な数のパラーメータで学習を行って、単なる丸暗記ではない、意味のある学習になりうる(汎化能力を持つ)のか?」などの根本的な疑問が解消されていない。そこで統計力学的な知見を得るために、多成分スピン自由度の制約充足問題(ガラス転移)の理論[3]を拡張し、深層パーセプトロンネットワークの理論を構成した。セミナーではこの模型のガードナー体積(入出力関係を満たすパラメータの解空間)をレプリカ法で解析した結果[4]を紹介する。解析の結果、レプリカ対称性の破れ方が深さ方向に方向に変化する特徴的な解が得られ、入力層および出力層近傍で解空間が階層的に分裂している（スピングラス的)になるものの、ネットワークの中央部に近づくほどこれが段階的により単純なものに繰り込まれ、中央部では液体的につながっていることがわかった。深層ニューラルネットワークによる学習ダイナミックスの収束性の良さ、汎化能力の高さはこの深さ方向に変化する自由エネルギー地形と関係している可能性がある。この構造は、制約の増大（データ数の増大)とともに両端から内部に伝搬してゆく逐次的ガラス転移によって形成される。あわせて学習過程のシミュレーションの結果も議論する。

[1] 「スピングラス理論と情報統計力学」西森 秀稔 (岩波書店)

[2] Giuseppe Carleo, et. al, arXiv:1903.10563v1

[3] Hajime Yoshino, SciPost Phys. 4 (6), 040 (2018).

[4] Hajime Yoshino, in preparation