サッカーなどの侵入型スポーツの分析は、試合状況が時間的・空間的に連続的に変化し、複数のエージェントが個別に試合状況を認識して意思決定を行うため、分析が困難です。深層強化学習を使用したこれまでの研究では、多くの場合、チームを単一のエージェントとして考慮し、個別のイベントごとにボールを保持するチームと選手を評価していました。次に、時空間的に連続した状態空間において、ボールから遠く離れたプレーヤーを含む複数のプレーヤーのアクションを評価することは困難でした。この論文では、マルチエージェント深層強化学習に基づいた単一の総合的なフレームワークで、オンボール内およびオフボールのサッカー選手の取りうる行動を評価する方法を提案します。Google Research Footballの行動空間を模倣して、連続状態空間内の離散アクション空間を検討し、強化学習のアクションに教師あり学習を活用しました。実験では、従来の指標やシーズンゴール数との関係を分析し、提案手法の有効性を示しました。私たちのアプローチでは、複数のプレーヤーがゲーム中にどのように動いているかを評価できます。これは、離散化したりラベル付けしたりするのは困難ですが、チームワーク、スカウティング、ファンエンゲージメントにとって不可欠です。

Hiroshi Nakahara, Kazushi Tsutsui, Kazuya Takeda, Keisuke Fujii, Action valuation of on- and off-ball soccer players based on multi-agent deep reinforcement learning, arXiv:2305.17886, 2023 

サッカーの試合の詳細が利用可能なイベント データを利用して、アナリストや研究者は、新しいパフォーマンス指標を開発し、洞察を得て、主要なパフォーマンスを評価する素晴らしい機会を得ることができます。しかし、ほとんどのスポーツ連続イベントのモデリング手法やパフォーマンス指標アプローチは、そのような大規模な時空間データ (特に時間プロセス) を扱うには包括的ではない可能性があり、そのため、より包括的な時空間モデルと全体的なパフォーマンス指標が必要になります。この目的を達成するために、我々は、Neural時間点過程 (NTPP) フレームワークに基づいたサッカー イベント データ用の Transformer-Based Neural Marked Spatio Temporal Point Process (NMSTPP) モデルを提案しました。実験では、私たちのモデルはベースライン モデルの予測パフォーマンスを上回りました。さらに、私たちは、より包括的なサッカーのポゼッション分析のために、総合的なポゼッション利用スコア (HPUS) 指標を提案しました。検証のために、サッカーチームの最終順位、平均ゴールスコア、シーズンの平均xGとの関係を調べました。平均HPUSは、ゴールの有無やシュート情報の詳細に関わらず、有意な相関を示すことが観察されました。さらに、ポゼッション、試合、試合間の分析における HPUS の例を示しました。

Calvin C. K. Yeung, Tony Sit, Keisuke Fujii, Transformer-Based Neural Marked Spatio Temporal Point Process Model for Football Match Events Analysis, arXiv preprint arXiv:2302.09276, 2023 

マルチエージェント システムにおける介入の評価（たとえば、人間が自動運転システムにいつ介入すべきか、プレーヤーが良いシュートを打つためにチームメイトにいつパスをすべきかなど）は、さまざまな工学および科学分野で困難です。このような介入を評価するには、反事実的な長期予測を使用して個人治療効果 (ITE) を推定することが実用的です。しかし、従来のフレームワークのほとんどは、マルチエージェント関係の時間変化する複雑な構造や共変量の反事実予測を考慮していませんでした。これは、ITE の誤った評価や解釈の問題につながる場合があります。ここでは、介入の効果を推定するために、マルチエージェントシステムにおける解釈可能で反事実的なリカレントネットワークを提案します。私たちのモデルは、グラフ変分リカレント ニューラル ネットワークと、マルチエージェントの共変量と結果の長期予測に基づく ITE 推定フレームワークのドメイン知識を備えた理論ベースの計算を活用しており、介入が効果的である状況を確認できます。時変交絡因子を含む自動運転車両と生物学的因子のシミュレートされたモデルでは、私たちの方法がベースラインよりも反事実共変量の推定誤差が低く、最も効果的な治療タイミングを達成したことを示します。さらに、実際のバスケットボールのデータを使用して、私たちの方法は現実的な反事実予測を実行し、シュートシナリオでの反事実パスを評価しました。

Keisuke Fujii, Koh Takeuchi, Atsushi Kuribayashi, Naoya Takeishi, Yoshinobu Kawahara, Kazuya Takeda, Estimating counterfactual treatment outcomes over time in complex multi-vehicle simulation, In Proceedings of 30th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems (ACM SIGSPATIAL 2022), 7, 1-4, 2022.11.2 (short paper). [full (arxiv)] [code] [poster] (Best Poster Award)  

サッカー選手の味方の動きを評価することは、チームワーク、スカウティング、ファンの関与を評価するために非常に重要です。90分の試合で選手がボールを持っていない時間は平均して約87分と言われています。しかし、ボールを受けずに攻撃側の選手を評価し、その動きがチームメイトの得点機会の創出にどのように貢献しているかを明らかにすることは依然として困難です。この論文では、実際の動きと軌道予測によって生成された基準の動きを比較することにより、オフボールで得点機会を創出した選手を評価します。まず、プレーヤー間の関係を正確にモデル化し、長期的な軌跡を予測できるグラフ変分リカレント ニューラル ネットワークを使用してプレーヤーの軌跡を予測します。次に、実際の軌道と予測軌道との修正オフボール評価指標の差を基準に、予測された動きと比較して実際の動きが得点機会にどの程度寄与するかを評価します。検証のため、プロサッカーリーグのチームの年間全試合について、年俸やゴール数、専門家による試合での評価との関係を調べました。その結果、年俸と提案された指標には、既存の指標や目標では説明できない有意な相関があることが分かりました。我々の結果は、ボールを持たない選手がチームメイトに得点チャンスを作り出すための指標として、提案手法が有効であることを示唆しています。

Masakiyo Teranishi, Kazushi Tsutsui, Kazuya Takeda, Keisuke Fujii, Evaluation of creating scoring opportunities for teammates in soccer via trajectory prediction, 9th Workshop on Machine Learning and Data Mining for Sports Analytics 2022 (MLSA'22) co-located with the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery (ECML-PKDD'22), 53-73, 2022.9.19. [Full (arxiv)][code] 

移動系列から生物集団の相互作用の規則を抽出することは、さまざまな領域の課題です。グレンジャー因果性は、観測された時系列データからの相互作用を分析するための実用的な枠組みです。ただしこの枠組みは、動物の行動における生成過程の構造と仮定を無視していました。このことにより、解釈上の問題や、場合によっては因果関係の誤った評価につながる可能性があります。この論文では、解釈可能なデータ駆動モデルを用いた理論に基づく拡張行動モデルを介して、複数の動物の軌跡からグレンジャー因果性を学習するための新しい枠組みを提案します。時変動的システムによって記述される不完全なマルチエージェント行動モデルを、ニューラルネットワークを使用して拡張します。効率的で解釈可能な学習のために、提案モデルは、ナビゲーションと運動プロセスを分離する理論ベースのアーキテクチャと、信頼性の高い行動モデリングのための理論に基づく正則化を活用します。これにより、時変なグレンジャー因果効果の解釈可能な符号（特定の個体の接近または回避）を提供することができます。合成データセットを使用した実験では、提案手法はさまざまなベースラインよりも優れたパフォーマンスを達成しました。次に、マウス、ハエ、鳥、コウモリの複数の動物のデータセットを分析し、提案手法が検証され、新しい生物学的洞察が得られました。

Learning interaction rules from multi-animal trajectories via augmented behavioral models

Keisuke Fujii, Naoya Takeishi, Kazushi Tsutsui, Emyo Fujioka, Nozomi Nishiumi, Ryoya Tanaka, Mika Fukushiro, Kaoru Ide, Hiroyoshi Kohno, Ken Yoda, Susumu Takahashi, Shizuko Hiryu, Yoshinobu Kawahara

Advances in Neural Information Processing Systems (NeurIPS'21), 34, 2021.12. [arXiv] [slide][openreview][code][Press EN/JP] 

計測技術の発展を背景に、様々なスポーツの実際の試合の動きに関するデータが利用可能になり、戦略や評価への活用が期待されています。その中でも集団スポーツの守備は、複数人で行われ個人としての記録が困難なため、一般的に評価が難しいです。従来の得点予測に基づく評価手法は、試合全体では希少な事象を予測するため評価が安定しない点や、得失点に至るまでの多様なプレーの評価が困難です。一方、得点に至る特定のプレーや支配領域などの評価手法は、選手やチームを総合的な成績（得失点など）と関連付けて評価することが難しいです。そこで本研究では、選手の行動と全選手・ボールの位置情報を利用した、希少な得失点より発生頻度の多いボール奪取や被有効攻撃の予測に基づく、チーム成績と関連する総合的な観点から、チームの守備評価を行う手法を提案します。実験ではサッカー45試合のデータを用いて、実際の試合の得失点との関係や、シーズンを通したチームの成績との関係について検証しました。

Evaluation of soccer team defense based on prediction models of ball recovery and being attacked

Kosuke Toda, Masakiyo Teranishi, Keisuke Kushiro & Keisuke Fujii, arXiv preprint arXiv:2103.09627, 2021  [arXiv]

戸田康介, 寺西真聖, 久代恵介, 藤井慶輔, 第10回日本統計学会スポーツ統計分科会スポーツデータ解析コンペティション サッカー部門 優秀賞 受賞 2021年1月

実世界の生物学的マルチエージェントの振舞いのルールを抽出することは、さまざまな科学および工学分野における課題です。生物は一般的に観測とメカニクスに制限があります。しかし、従来のデータ駆動型モデルのほとんどは、そのような仮定を無視しているため、生物学的および認知科学における行動分析としては、生物学的妥当性とモデル解釈可能性が欠如しています。本研究では、エージェントが利用する情報を視覚化し、生物学的にもっともらしい行動を生成できる、部分観測と機械的制約を備えた系列生成モデルを提案します。これを分散型マルチエージェント模倣学習問題として定式化し、Gumbel-Softmax reparameterization を使用したバイナリ部分観測モデルと、物理的および生体力学的制約のある階層型変分リカレントニューラルネットワークに基づく方策モデルを活用します。バスケットボールやサッカーの試合からの実際の複数人の移動のデータセットを使用して、実験的な性能を調査しました。

Policy learning with partial observation and mechanical constraints for multi-person modeling

Keisuke Fujii, Naoya Takeishi, Yoshinobu Kawahara & Kazuya Takeda

arXiv preprint arXiv:2007.03155, 2020  [arXiv] [code]

複雑なネットワークダイナミクスを理解することは、さまざまな科学および工学分野の基本的な問題です。ネットワーク理論は、要素間の関係性やその伝播を明らかにすることができますが、複雑な集団運動の場合、ネットワークの性質は一時的かつ複雑に変化することがよくあります。ここで考える基本的な問題は、物理的に解釈可能な動的特性に基づいた集団運動ネットワークの分類に関するものです。本研究では、集団動的分類の動的特性を取得する、グラフ動的モード分解と呼ばれるデータ駆動的なスペクトル解析を適用します。例として球技のデータを使用して、異なる大域的な振舞いにおける戦略的集団運動を分類し、物理的特性に加えて、文脈的なノード情報が分類にとって重要であることを発見しました。さらに、最も近いエージェント間の関係でラベル固有のより強いスペクトルを発見し、物理的および意味的な解釈を提供しました。私たちのアプローチは、非線形力学系の観点から集団運動を伴う複雑なネットワークの理解に貢献します。

Physically-interpretable classification of network dynamics for complex collective motions

Keisuke Fujii, Naoya Takeishi, Motokazu Hojo, Yuki Inaba, Yoshinobu Kawahara

Scientific Reports 10 3005 2020 [arXiv] [code]

生物は動的かつ柔軟に多数の構成要素を制御します。このような冗長制御メカニズムの1つとして、複数の要素間の低次元の協調構造が研究されています。しかし、従来の統計的次元削減法から抽出された構造は、原理的に動的特性を反映していません。本研究では、未知の冗長なダイナミクスを持つ生体の周期的な系における協調構造を、非線形リミットサイクル振動と見なし、推定された固有値や固有関数から周波数や位相などの協調構造の動的特性を抽出する、データ駆動的な作用素のスペクトル解析を適用します。例として、ヒト歩行中のセグメント角度系列を使用して、ダイナミクスに基づいた協調構造（例：歩行周波数の高調波における速度に依存しない構造）を抽出しました。次に、固有関数を推定することにより、従来の低次元構造上における、速度依存の位相の時間発展挙動を見つけました。また、二重振り子と歩行モデルのシミュレーションデータを使用して、我々のアプローチを検証しました。これらの運動解析の結果は、非線形力学系の観点から生物学的周期現象を解析するために私たちのアプローチが有用であることを示唆しています。

Data-driven spectral analysis for coordinative structures in periodic human locomotion

Keisuke Fujii, Naoya Takeishi, Benio Kibushi, Motoki Kouzaki, Yoshinobu Kawahara

Scientific Reports 9 16755 2019 [code]

2019年6月 第1回彗ひろば（バイオメカニクス研究会）オープン部門 発表賞 受賞

非線形動的システムを理解することは、さまざまな工学および科学分野で挑戦的です。クープマン作用素のスペクトル解析のための数値アルゴリズムである動的モード分解（DMD）は、明示的な事前知識を必要とせずに非線形動的システムの大域的なモードを記述する方法として注目されています。しかし、既存のDMDアルゴリズムは原理的にスカラー観測量の連結に基づいて定式化されるため、たとえばグラフ系列の形式を取る観測量間の依存構造を持つデータには直接適用できません。本論文では、観測量間の構造を持つ非線形動的システムのスペクトル解析を定式化し、この問題の推定アルゴリズムを提案します。この方法は、データから動的システムの背後にある低次元の大域的ダイナミクスを抽出し、観測量間の構造を視覚化できます。これは、非線形動的システムの背後にあるダイナミクスを理解するのに役立ちます。この目的のもとに、最初にベクトル値再生核ヒルベルト空間で定義されたクープマン作用素のスペクトルを推定する問題を定式化し、次にテンソルベースのDMDを再定式化することでこの問題の推定手法を開発します。この特殊な場合として、グラフDMDという方法を提案します。これは、隣接行列の系列を使用する、グラフ力学系のスペクトル解析のための数値アルゴリズムです。合成データ（魚の群れのシミュレーションデータ）および実世界のデータ（自転車シェアリングデータ）を使用して、この方法の実験的性能を調査しました。

Dynamic mode decomposition in vector-valued reproducing kernel Hilbert spaces for extracting dynamical structure among observables

Keisuke Fujii, Yoshinobu Kawahara

Neural Networks, 117 94-103 2019 [arXiv] [code]

2018年11月 第21回情報論的学習理論ワークショップ ベストプレゼンテーション賞 受賞

複雑な集団行動のモデル化は、物質科学や生命科学において挑戦的な問題です。集団運動は通常、単純な相互作用のルールによってモデル化され、大域的な統計的性質によって説明されています。しかし、複雑な相互作用の動的な特性と創発する集団レベルの機能との間のギャップを埋めることは依然として困難です。本研究では、方程式フリーの方法で非線形動的システムの潜在的な大域的ダイナミクスを（低次元データでの複雑な相互作用においても）直接抽出して分類するための分解手法を紹介します。最初に、基本的な分解方法が、よく知られているルールベースの魚（または鳥）の群れモデルのダイナミクスを抽出および判別できることを確認しました。複数の時空間スケールでこれらの波のプロパティは似た拡散関係を示したのに対し、我々の手法は3つの異なる運動の間で、異なる空間相互作用コヒーレンスと時間周波数モードを抽出しました。第二に、相互作用の規則が複雑に変化する実際の小次元システムに適用するために、高次元の特徴空間に写像する方法に拡張しました。集団スポーツの行動データを使用して、ダイナミクスを分類し、集団の目的達成を予測しました。我々の方法は、アクティブマターとして知られる非自明な支配方程式に従う様々な領域の集団運動を分類できる可能性があります。

Prediction and classification in equation-free collective motion dynamics

Keisuke Fujii, Takeshi Kawasaki, Yuki Inaba, Yoshinobu Kawahara

PLoS Computational Biology 14(11) e1006545 2018

Koopman spectral kernels for comparing complex dynamics: Application to multiagent sport plays

Keisuke Fujii, Yuki Inaba, Yoshinobu Kawahara

European Conf. on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML-PKDD'17)  127-139 2017

2019年 3月  理化学研究所桜舞賞（研究奨励賞）受賞

人間は、制御の難しい二脚移動であっても、冗長な要素を調整することにより、急激に変化する状況に適応できます。従来の適応性は、最適制御、神経振動子、強化学習などのさまざまな計算アプローチによって再現されています。しかし、追跡ー逃避時の予期しない方向変更などにおける、生物学的および社会的活動に必要な二脚移動の適応性は、動的に不安定な多リンク閉ループシステムのため未解明です。本研究では、自律分散制御を改善することにより、柔軟な二脚移動を実現するための切替適応モデルを提案します。自律分散アクチュエータは、中央制御なしで相互作用し、推進、平衡、脚振りの役割を切り替えます。私たちの切替自律分散モデルは、3つのアクチュエータのみを使用してどんなタイミングでも方向転換を達成することができましたが、方向転換のない同等のモデルよりも高い運動コストを示しました。このような、様々なタイミングでの適応を評価する方法は、普遍的な運動制御を理解するための前提条件として利用できる可能性があります。提案されたアルゴリズムは、人間の二脚移動においてアクチュエータを肢内および肢間で調整する適応メカニズムを単純に説明および予測できる可能性があります。

Switching adaptability in human-inspired sidesteps: A minimal model

Keisuke Fujii, Yuki Yoshihara, Hiroko Tanabe, Yuji Yamamoto

Frontiers in Human Neuroscience 11(298) 2017

自然界にいる社会的生物の集団は、メンバーを助けることで予測できない脅威を克服できる回復力のある（レジリエントな）システムです。これらの社会的生物は、緊急事態などの状況に応じて、個体、助ける者、助けられる者、および集団の他の部分として、自律的かつ協調的に行動すると考えられています。ただし、メンバーをどのように助けるか、助ける者の行動が複数のサブシステムスケールでどのように効果的であるかなど、これらのレジリエントな行動の構造と機能は未解明のままでした。本研究では、球技の試合における組織化された効率的で小規模な人間集団の行動を調査し、攻撃を受けたときに階層的でレジリエントに助ける3つの原則を明らかにしました。第1に、眼前の緊急レベルでは、助ける者は、攻撃されたサブシステムの局所的の役割を単純に切り替えました。第2に、中間の緊急レベルでは、助ける者は重複するサブシステムで効果的に行動しました。第3に、最も重大な緊急レベルの場合、助ける者はシステム全体に行動を切替えました。システムにとって有益なこれらのレジリエントな行動は、階層的なサブシステムを柔軟に切替え、重複させ仲間を助けるため、人間だけに観察されると考えられています。これらの多層的な助ける行動は、社会的生物や人間集団におけるレジリエントな協力を理解するのに役立つと考えられます。

Resilient help to switch and overlap hierarchical subsystems in a small human group

Keisuke Fujii, Keiko Yokoyama, Takeshi Koyama, Akira Rikukawa, Hiroshi Yamada, Yuji Yamamoto

Scientific Reports 6(23991) 2016

2015年 8月  第66回日本体育学会 若手研究優秀賞 受賞