2024

講演者（所属）：松原 崇（大阪大学大学院基礎工学研究科）

題目：微分方程式の数値解法に学ぶ・使う・代わる深層学習

日時：2024年1月9日（火）16:30-18:00

場所：東京大学大学院数理科学研究科 002室及びオンライン (アクセス)

概要: ニューラルネットワークは，今日の深層学習ブームにおいて画像処理や自然言語処理を高度化できる技術とみなされている．しかし歴史を振り返ると，力学系のモデル化や制御にも長年使われていたことが分かる．かつてのそれは単なる表層的な近似でしかなかったが，近年，他の応用と同様にいくつかのブレークスルーと再発見があった．１つ目は，ニューラルネットワークの挙動そのものがある種の力学系の模倣になっているという新しい視点である．これはニューラルネットワークの情報処理メカニズムの解析に繋がるとともに，微分方程式の数値解法に学んだ新しいネットワークアーキテクチャの設計を可能にする．２つ目は，ニューラルネットワークを微分方程式の解関数の基底として使う方法である．誤差逆伝播法のおかげで，データ同化やシステム同定が容易となった．最後に数値解法そのものに取って代わろうとする野心的な試みがある．本発表では，これらのアプローチを俯瞰的に紹介する．

備考: 

講演者（所属）：David Sommer (The Weierstrass Institute for Applied Analysis and Stochastics, Berlin)

題目：Approximating Langevin Monte Carlo with ResNet-like neural network architectures

日時：2024年3月13日（水）16:30-17:30

方法：オンラインのみ

概要: We analyse a method to sample from a given target distribution by constructing a neural network which maps samples from a simple reference distribution, e.g. the standard normal, to samples from the target distribution. For this, we propose using a neural network architecture inspired by the Langevin Monte Carlo (LMC) algorithm. Based on LMC perturbation results, approximation rates of the proposed architecture for smooth, log-concave target distributions measured in the Wasserstein-2 distance are shown. The analysis heavily relies on the notion of sub-Gaussianity of the intermediate measures of the perturbed LMC process. In particular, we derive bounds on the growth of the intermediate variance proxies under different assumptions on the perturbations. Moreover, we propose an architecture similar to deep residual neural networks (ResNets) and derive expressivity results for approximating the sample to target distribution map.

備考: 

講演者（所属）：Andreas Rathsfeld (The Weierstrass Institute for Applied Analysis and Stochastics, Berlin)

題目：Analysis of the Scattering Matrix Algorithm (RCWA) for Diffraction by Periodic Surface Structures

日時：2024年3月13日（水）17:30-18:30

方法：オンラインのみ

概要: The scattering matrix algorithm is a popular numerical method for the diffraction of optical waves by periodic surfaces. The computational domain is divided into horizontal slices and, by a clever recursion, an approximated operator, mapping incoming into outgoing waves, is obtained. Combining this with numerical schemes inside the slices, methods like RCWA and FMM have been designed. 

The key for the analysis is the scattering problem with special radiation conditions for inhomogeneous cover materials. If the numerical scheme inside the slices is the FEM, then the scattering matrix algorithm is nothing else than a clever version of a domain decomposition method.

備考: 

講演者（所属）：橋本悠香（NTTネットワークサービスシステム研究所）

題目：Koopman作用素を用いたニューラルネットワークの汎化誤差解析

日時：2024年4月24日（水）16:30-18:00

場所：東京大学大学院数理科学研究科 002室及びオンライン (アクセス)

概要: 汎化性能（未知のデータに対してモデルがフィットするかどうか）の解析は，ニューラルネットワークにおける重要なトピックのうちの1つである．既存研究では，重み行列の低ランク性が，モデルの汎化性能を向上させるという解析が多い．しかし，必ずしも低ランク性のみが汎化性能を向上させる要因となるわけではなく，高ランクの重み行列によっても汎化性能の向上が起こる場合があることが，経験的には知られている．本発表では，Koopman作用素と呼ばれる線形作用素を用いてニューラルネットワークにおける合成の構造を表現することで，汎化性能の解析を行う．特に，高ランクの重み行列に焦点を当て，高ランクの重み行列によってニューラルネットワークの汎化性能が向上する仕組みを明らかにする．

備考: