再帰型の自己注意機構モデルでは近年、理論に基づくモデリングや推論ダイナミクスの解析が試みられており、トークン数無限の平均場模型の多くやHopfieldモデルに代表されるリアプノフ関数を持つ系、あるいは、蔵本層のように振動を含む動的な挙動をみせる系が提案されている。本講演ではこうしたモデルへの力学系解析の試みとして、(i)現実の機構により近づけたうえでのリアプノフ関数の構成、(ii)より一般の場合には線形安定性解析からモデルの定量化を紹介する。 特に正規化層の安定化への寄与と、カオスの縁でモデルが高い推論性能を達成した実験結果を紹介する。

よく考えてみると、Softmax は入力ベクトルの長さがさまざまに変わる状況を特に考慮して設計された関数ではない。固定長ベクトルを確率分布に写す関数としては自然だが、Transformer の注意機構では文脈長が大きく変化する中で用いられている。本講演では、この素朴な違和感から出発し、入力長の増大に伴う注意の希薄化を整理する。さらに、入力ベクトル長を明示的に取り込む Scalable-Softmax を通じて、可変長入力を前提とした注意機構の設計を再考する。

トランスフォーマー内で生じる低次元ダイナミクスについて聴衆の皆様と議論したい

振動するシステム（振動子）が相互作用すると、振動子間でリズムが揃う同期現象や、振動が停止する現象が生じることがある。振動子の個数が大きい場合、これらの状態遷移を直接解析するのはしばしば困難であり、より解析しやすい低次元なシステムへの縮約が有効である。本発表では、所望の集団状態を実現するためのフィードバックの設計をはじめ、縮約を用いて振動子集団を解析したいくつかの研究事例を紹介する。

リザバー計算において, どのような力学系をリザバーとして用いるべきかは本質的な問題である. 特に, その計算能力に対する理論的な理解は十分に確立されておらず, 多くは経験的な知見に基づいて設計されている. 本講演では, リザバーとして蔵本モデルを用いた場合の計算能力 (特に関数近似能力) と分岐構造の関係を数学の視点から考察する. 蔵本モデルは, 多数の振動子の位相同期を記述する非線形モデルであり, その分岐構造は数学的に詳しく研究されている. 本講演では, この分岐理論に基づき, 蔵本リザバー計算の近似能力が保証されるための十分条件を導出し, 特に結合強度が分岐点を超えることで近似性能が顕著に向上することを示す. 本講演は千葉逸人氏 (東北大学), 住拓磨氏 (University of Calgary) との共同研究に基づく.

リザバーコンピューティング（RC）は，リカレントニューラルネットワークの学習手法の一つであり，学習対象を出力層のみに制限する点が特徴である．その結果，RCの学習コストは他の機械学習法に比べて著しく低くなるが，一方で，興味深いことに高い予測性能を持つことが知られている．本講演では，非線形動力学の観点，特に一般化同期の概念に基づき，リザバーコンピューティングについて議論する．特に，非線形読み出しの有効性に対する理論的解釈を提案する[1]．また，この考察に基づいて，一般化読み出し（generalized readout）と呼ぶ新しい学習手法を導入する．提案法を用いることで，カオス力学系の安定かつ高精度な予測が可能となることを数値的に示す．本講演は大久保茜氏（東京理科大学）との共同研究に基づく．

[1] A. Ohkubo and M. Inubushi, Reservoir computing with generalized readout based on generalized synchronization, Sci. Rep. 14, 30918 (2024).

複数の時間スケールで動く、トランスフォーマ型の力学系のシステムが引き起こす自己組織化とその機械学習的効用、そしてContinual learning との関係性を論じます。　

再帰的な深層トランスフォーマーによって生成されるトークン分布に現れる構造を数学的に特徴づける。従来の数学解析では、再帰的なトランスフォーマーはトークン分布の破壊的縮退を促すことが示されているが、実用上はこの縮退は起きない。本研究では、位置埋め込みの選択によって縮退を防ぐ再帰的トランスフォーマーを構築できることを示す。特に、トークン間の幾何的な構造を保存する自己組織化が実現することを議論する。