2025年度 RIMS共同研究（公開型）
「機械学習の数理的研究」
2025年11月5日（水）PM～11月7日（金）PM

• 会場：   京都大学数理解析研究所 111号室

• 開催形式：　対面形式のみ

• 組織委員：　石渡哲哉（代表）, 園田翔, 田中吉太郎, 中井拳吾, 本田あおい（代表）

• 本共同研究の目的：　本共同研究（公開型）では、機械学習の数理的研究を牽引する研究者をはじめ、数値解析、微分方程式論、統計学、確率解析など関連分野からの多様な専門家を招集し、分野横断的な議論を行う。また、若手研究者や大学院生にも積極的に参加を呼びかけ最新の知見を共有するとともに、分野を超えた研究ネットワークの形成の第一歩とする。これにより、数理的研究に基づく機械学習のさらなる発展と、理論と応用の両面における新たな知見の創出を目指す。
  
  

• プログラム　　　　　　　　（PDF版プログラムはこちら）
  講演時間60分のあと10分程度の質疑応答・議論の時間を想定しています。

11月5日（水） 12:30　開場

12:55　オープニング・諸連絡

13:00-14:00　磯部 伸（理化学研究所）
　「連続無限層トランスフォーマーの平均場ダイナミクスについて」

14:20-15:20　野津 裕史（金沢大学）
　「数理モデルによるバーチャル物理リザバー計算」

15:40-16:40　中嶋 浩平（東京大学）
　「Mortal Computation: The Essential Route to Physical Reservoirs」

11月6日（木）9:30 開場

10:00-11:00　園田 翔（理化学研究所, 株式会社サイバーエージェント）
　「深層学習理論の代数的側面」

11:20-12:20　丸山 善宏（名古屋大学）
　「圏論的人工知能と圏論的機械学習」

14:00-15:00　米田 剛（一橋大学）
　「誤差逆伝播法を用いない新たなる勾配降下法による並列リザバーコンピューティングの実装および株価予測・風予測への応用」

15:20-16:20　福水 健次（統計数理研究所）
　「同変的深層学習による非線形Fourier変換」

11月7日（金）9:30 開場

10:00-11:00　橋本 悠香（NTT株式会社）
　「Koopman作用素を用いたニューラルネットワークの汎化誤差評価」

11:20-12:20　義永 那津人（公立はこだて未来大学）
　「パターン形成を記述するPDEのベイズ推定」

14:00-15:00　堀江 正信（株式会社RICOS）
　「偏微分方程式の構造を保存する機械学習手法」

15:20-16:20　谷口 隆晴（神戸大学，理化学研究所）
　「作用素学習のハミルトン系の学習への応用」

• 各講演の概要（順次更新予定）

磯部 伸（理化学研究所）　「連続無限層トランスフォーマーの平均場ダイナミクスについて」

―――――

野津 裕史（金沢大学）　「数理モデルによるバーチャル物理リザバー計算」

　物理系は、高次元力学系の入力駆動型の過渡的挙動を利用する情報処理技術であるリザバー計算という枠組みを通じて、強力な計算資源として再解釈することができる。本研究では、そのような系が本来備える情報処理能力に注目し、いくつかの物理リザバー計算の設定を紹介する。

―――――

中嶋 浩平（東京大学）　「Mortal Computation: The Essential Route to Physical Reservoirs」

　現行の計算機は、確立された階層構造の上に成り立っている。私が書いたプログラムは、他の計算機上でも同様に動作する。これは、下位階層に存在する物理系の影響をある程度切り離し、上位階層のみを操作できることを意味している。Hintonは、このような計算（プログラム）を"immortal" と表現し、エネルギー効率の高い計算機を実現するには、物理系に則した新たな計算フレームワーク（mortal computing）が必要であると述べた [1]。この視点は、physical reservoir computing や embodied AI への自然な入口となるものであり、本講演ではその関連を紹介する。

[1]Hinton, G. (2022). The forward-forward algorithm: Some preliminary investigations. arXiv preprint arXiv:2212.13345, 2(3), 5.

―――――

園田 翔（理化学研究所, 株式会社サイバーエージェント） 「深層学習理論の代数的側面」

　深層学習の汎化誤差評価において，特に深さに対する依存性を精査する．古典的な解析では，深さに対して指数的に悪くなるという評価が得られる．これは深層学習の優位性をうまく説明できない．2020年代に入って，多項式～対数・定数の依存性が示された．これらはネットワーク毎に各論的な評価であり，仮定と結論の関係が見えにくい．本研究では，距離空間上の一般的な深層ネットワークを定義し，その汎化誤差解析を導出し，中間層の幾何学的・代数的な性質と深さ依存性の関係を明らかにする．

―――――

丸山 善宏（名古屋大学）　「圏論的人工知能と圏論的機械学習」

　統計的機械学習を中心とした現在のAI技術はその成功の裏で膨大なリソースを必要とするという難点があり，エネルギー問題や水資源などの環境問題の観点からもその問題が議論されています。一方で，例えば数学の問題やルービックキューブを解くというような知的タスクに対して，人間の脳は現在のAIよりもずっと少ないエネルギー消費量で問題解決を行うことができます。それはなぜでしょうか。本講演では，現在の機械学習技術の限界に関する最新の研究成果を紹介した上で，これまで機械学習の現場であまり応用されてこなかった新たな抽象数学理論を導入した，現在のリソース勝負AIの一歩先をゆく斬新な理論的アプローチの可能性とその現在までの研究成果についてお話しします。特に，圏論的対称性を導入した新たな機械学習モデルとその普遍近似性などに関する基本定理についてお話しさせていただきます。また，人間の脳のような，現在の機械学習の観点からは不思議な知的効率性を可能にする，新たな機械学習パラダイムの方向性とその数理基盤のあり方について，参加者の皆さまと共に考えることができたら幸いです。

―――――

米田 剛（一橋大学）　「誤差逆伝播法を用いない新たなる勾配降下法による並列リザバーコンピューティングの実装および株価予測・風予測への応用」

　本講演では、並列リザバーコンピューティングの実装を紹介する。一般的に「並列化プログラム」のライブラリは少なく、また、ChatGPTも並列化の個別設計そのものには不向きである。よって数学、特に線形代数やベクトル解析に対する個々人の深い造詣が必要不可欠な分野となる。学習結果として、S＆P500の株価予測や関東地域の各都市の風予測などが良好であることを紹介する。ここではデータを生成する根底のシステムにある種の一様性を仮定しているが、今後の課題は、そのシステム自体が有する「揺らぎ」をうまく組み込んだアーキテクチャを構築するところにあり、このML数学研究に発展性があることをアピールする。

―――――

福水 健次（統計数理研究所）　「同変的深層学習による非線形Fourier変換」

　本講演では、群がデータ空間に作用しているという仮定のもとで、同変性の条件を用いてデータから群の表現を学習する新しい深層表現学習の方法論を提示する。訓練データは、作用による変換前後のペアのデータ、あるいは群の同一要素の繰り返し作用によって生成された系列データからなると仮定する。提案法はオートエンコーダによる潜在空間を構成し、データ空間における群の作用が潜在空間において線形変換に対応するように、同変性を満たす目的関数により学習を行う。これにより、エンコーダによって群の表現が近似的に学習される。さらに、得られる線形変換達に同時ブロック対角化を適用することによって、群の表現の既約表現分解を近似的に実現することができる。我々はこの手法をニューラル・フーリエ変換と呼ぶ。これは、データ駆動的にフーリエ変換を非線形に一般化する方法論である。物体の回転や移動を撮像した画像系列などの例を用いた数値実験によって、本方法論が効果的にデータの特徴を学習すること、同時ブロック対角化によって意味のある既約成分への分解が得られることを示す。また、本手法の裏付けとなる理論的な結果も併せて提示する。 

―――――

橋本 悠香（NTT株式会社）　「Koopman作用素を用いたニューラルネットワークの汎化誤差評価」

　ニューラルネットワークの汎化誤差評価は，新たなデータに対してモデルがどれだけフィットするかという性質（汎化性能）を理解する上で重要である．本講演では，Koopman作用素，群表現，および再生核ヒルベルト空間（RKHS）を用いて，深層ニューラルネットワークに対する新しい汎化誤差の上界を導出する．新たに導いた上界は，高ランク重み行列を持つモデルがなぜ汎化するかを説明する．高ランク重み行列を持つモデルが良い汎化性能を示すことは，実験的には知られていたが，理論的には解明されていなかった．本研究は，そのような性質を理論的に示し，Koopman作用素，群表現と汎化誤差評価の新たなつながりを示す．

―――――

義永 那津人（公立はこだて未来大学）　「パターン形成を記述するPDEのベイズ推定」

　偏微分方程式(PDE)は自然界の様々なパターン形成の問題を記述するために用いられている。しかし、それぞれの現象を再現して理解するためにPDEを構築しようとすると、現象に対する深い知識と優れた発想が必要となる。我々は、1枚のパターンのデータからベイズ推定によってPDEを推定する枠組みについて研究を行っている。ベイズ推定の立場から、あるクラスのPDEのパラメーター空間でサンプリングを行い事後分布を計算し、異なるクラスのPDEと比較してモデル選択を行う。ジャイロイドや準結晶などのパターンがこの手法で推定できることを議論する。

―――――

堀江 正信（株式会社RICOS）　「偏微分方程式の構造を保存する機械学習手法」

　偏微分方程式で記述される物理現象を機械学習で学習・予測する試みは、予測の高速化・高精度化だけでなく、制御や現象の理解といった文脈においても有用性が高いと期待されており、さかんに研究されている。しかしながら、典型的な機械学習アルゴリズムでは物理現象が持つ対称性や保存性といった重要な構造が保存されないことが多く、信頼性の高い機械学習モデルの構築のためには、群作用と可換となる群同変ニューラルネットワークを使用するなど、別途特別な処理が必要となる。

そこで講演者らは、物理現象が持つ対称性や保存性といった構造を厳密に保つ機械学習モデルについての研究を行ってきた。より具体的には、物理現象の構造を保存するような既存の数値解析手法と機械学習手法との関連性に着目し、構造を保存する本質的な定式化を機械学習モデルに導入することで、高速・高精度かつ構造が保存される機械学習モデルを構築してきた。本公演では、講演者らの研究成果[Horie et al. ICLR 2021, Horie and Mitsume NeurIPS 2022, Horie and Mitsume ICML 2024]を中心に、他の手法との比較をまじえつつ当該分野の研究を紹介する。

―――――

谷口 隆晴（神戸大学，理化学研究所）　「作用素学習のハミルトン系の学習への応用」

　近年，作用素学習やPhysics-Informed Neural Networks などの，物理モデリング・シミュレーションのための機械学習手法が注目されている．本講演では，特に，ハミルトン系に対する作用素学習の応用を扱う．作用素学習は，作用素，すなわち，関数から関数への写像をデータから学習する機械学習手法であり，主に，偏微分方程式の解作用素を学習することでシミュレーションを高速化するために利用される．本講演では，ハミルトン系を対象として，この方法の，解作用素の学習以外の応用を紹介する．

―――――