第1回

[概要]
近年の機械学習の枠組みでは、深層学習の躍進を受けて勾配降下法および誤差逆伝播法によるパラメータの最適化がほぼ標準かつ支配的になっている。この枠組みは所与の損失関数に対する勾配流によるパラメータの時間発展、ないしその離散解法と見なすことができ、古くは神経力学系の研究に端を発すると言ってよい。こうした古典的な描像では、興味の対象となっている自然現象がまず力学系でモデル化されており、コンピュータ上での数値解法のため時間離散化を行うという流れになる。離散化はあくまで数値計算上の都合であり、そのため離散化「誤差」をコントロールする必要があった。

ところが、機械学習研究が進むにつれて、実は古典的な連続時間の勾配流力学系から乖離しているにもかかわらず、試行錯誤の結果何らかの意味で「うまくいっている」系が見つかるようになってきた。本勉強会では、こうした勾配流から乖離した学習ダイナミクスの実例を、機械学習を専門とする研究者がその関連領域の研究者に対して紹介することを目的とする。前半ではまず、勾配流の離散化誤差が大きく連続時間系から大きく乖離しているにもかかわらず、最適化が加速されている例を紹介する。この例は線形ロジスティック回帰から生じており、非常に古典的であるにもかかわらず、近年まで離散化誤差による理論的なメリットが見過ごされてきた傍証である。後半では、自己教師あり学習と呼ばれる、データに内在する「有用な」パターンを回帰出力を経由せずに抽出する学習の枠組みに着目する。ここでは stop gradient 演算という、誤差逆伝播中に恣意的に勾配を定数と見なす修正操作が用いられることがある。その結果、古典的な勾配流力学系から乖離し、「有用な」パターンを学習するのに成功している様子を理論的にも確認することができる。各々の例において、機械学習の文脈ではなぜそのような問題設定に興味が持たれるのか、どのように解析が行われているのか、といった点について紹介を行う予定である。

前半では Wu et al. (2024) (arXiv:2402.15926)、後半では Tian et al. (2021) (arXiv:2102.06810) の内容をベースとして紹介する。

[概要]
最適制御理論では、所与の力学系（システム）に対して評価関数を最小化する制御入力を設計することが基本的な問題である。古典的には単一の状態軌道を制御する問題が中心であったが、多数の粒子からなるアンサンブルシステムや確率的システムを考えると、状態そのものではなくその確率分布を所望の分布へと移す問題が自然に現れる。このような分布制御の問題は、Fokker-Planck方程式や連続の式に対する最適制御問題として定式化される一方で、最適輸送やSchrödinger bridgeと密接に関係している。

本講演では、まず有限次元の最適制御理論の基本的な考え方を概説した後、最適輸送の動的定式化、Schrödinger bridge、および分布制御の関係を紹介する。特にSchrödinger bridgeは、経路空間上の相対エントロピー最小化問題、エントロピー正則化を伴う最適輸送問題、および確率過程の最適制御問題という複数の側面を持つ。本講演では、連続時間の拡散過程に対する定式化に加えて、離散ネットワーク上の流れの制御も同じ枠組みで扱えることを説明する。

後半では、分布制御に関する最近の研究をいくつか紹介する。測度空間上の勾配流を最適制御問題として捉える観点・高次元分布の最適輸送を一次元射影を通じて扱うスライス法の分布制御への応用・非ホロノミック拘束をもつ劣駆動システムに対して現れる劣リーマン多様体上の分布制御、について紹介する予定である。これらを通じ、最適制御・最適輸送・確率過程・測度空間の幾何の間に現れる共通構造と、今後の課題・発展について議論したい。

[概要]
大規模言語モデルの中核であるトランスフォーマーの推論ダイナミクスの理論解析を試みる．ある特殊な場合には，その平均場ダイナミクスを Wasserstein 勾配流とみなすことができ，定常分布への収束を論じることができる．本発表では，この勾配流に対する最適制御問題を考察し，学習が定常分布への収束性に与える影響を解析する．本研究は次のプレプリントに基づく：https://arxiv.org/abs/2605.07772

[概要]
勾配流は与えられたエネルギー関数の最急降下方向を表す曲線であり，エネルギー関数の停留点を捉えるために有用である事が知られている．

例えば，非線形ラプラシアンの固有値はRayleigh商の最小点（=停留点）として特徴付けができるが，これを勾配流を用いて近似可能である事が知られている．本発表では，ラプラシアンの固有値問題と勾配流の関係について紹介する．

[概要]
鏡像降下法は，凸関数の勾配空間を制約集合とする凸最適化問題を自然に解くことができる．本発表では，これを「アダマール多様体上の測地的凸関数の勾配空間」に拡張する．特に，平井の一般化勾配流が鏡像降下法の連続時間ダイナミクスとみなせることを指摘し，自然な離散化を提案する．応用として，テンソルの量子汎関数を計算する効率的なアルゴリズムを提示する．

[概要]
本講演では3次元Euclid空間に埋め込まれた2つのコンパクト曲面間の弱い距離を特殊Euclid群上で局所最適化するアルゴリズムを提案する. 特に、surface measureとしての曲面間の距離をSobolevノルムを用いて定義し、一方の曲面に等長変換を作用させることでその距離を特殊Euclid群上の関数とみなす. 本研究ではこのSobolevノルムの2乗を目的関数とした連続最適化問題に対しSR1信頼領域法の収束を観察し、より幾何学的な量との関連についても議論する.

[概要]
形状を変数とする最適化問題は純粋数学や工学などの様々な場面で現れる。多くの形状最適化問題は非凸である一方で、「任意の停留点、あるいは局所最適解が大域最適解となる」という凸最適化のような性質をもつ（と予想されている）問題が複数ある。本発表では、等周問題などの形状最適化問題において現れる凸性やその一般化に関する研究結果およびいくつかの未解決問題を紹介する。