過去のセミナー (2023年度)

転移学習とは，あるタスクで学習された知識を別のタスクに転用することで，学習効率を改善し，予測精度を向上させる機械学習の手法である．例えば，訓練済みのモデルや特徴量を新しいタスクに再利用することで，そのタスクにおける学習データ量が不十分であっても，高い予測精度を得ることができる．これらの手法は現実世界の様々な応用分野で大きな成功を収めているが，理論的な基盤が不足しており，さらなる方法論や理論の発展が求められている．

本講演では，期待二乗誤差の最小化に基づいて導かれた，アフィン転移と呼ばれる転移学習の方法論を紹介する[1]．アフィン転移はドメイン間の共通性とドメイン特有の要因を分離してモデリング・推定する方法論であり，既存の特徴抽出型の転移学習の拡張とみなすことができる．本講演では，いくつかの理論的な性質について紹介した上で，高分子材料の物性予測タスクに対する適用例を通して，アフィン転移の可能性について探求する．

[1] Shunya Minami, Kenji Fukumizu, Yoshihiro Hayashi, Ryo Yoshida. Transfer learning with affine model transformation. arXiv, abs/2210.09745, 2022.

線形Lasso回帰は高次元データを低計算量で扱えるスパース推定の有効な手法として知られており，その性能を理論的に明らかにする研究が進んでいる．説明変数の数，目的変数の数及び真の信号の非零要素数が全て同じレートで発散する極限での性能はレプリカ法[1]によって詳らかになっており，その結果の厳密性も確認されている[2]．

本講演ではこの極限から外れて，特に真の信号の非零要素数が高々O(1)である極スパース状況下において，レプリカ法を用いた性能評価の試みについて紹介する[3]．特に，従来の問題設定下でのレプリカ法及びレプリカ対称性の適用に対してどのような修正を加えるべきか，具体的に説明する．

[1] S. Rangan, V. Goyal, and A. K. Fletcher. “Asymptotic analysis of map estimation via the replica method and compressed sensing”, Advances in Neural Information Processing Systems, 2009.

[2] M. Bayati and A. Montanari, “The LASSO Risk for Gaussian Matrices,” IEEE Transactions on Information Theory, 58(4), pp. 1997-2017, 2012.

[3] K. Okajima, X. Meng, T. Takahashi, and Y. Kabashima, “Average case analysis of Lasso under ultra sparse settings,” International Conference on Artificial Intelligence and Statistics, 2023.

腸内細菌叢は複雑な生態系であり、健康や疾患との密接な関りを持つ[1]。近年の研究では、プレバイオティクス、プロバイオティクスなど従来有効と考えられていた腸内細菌叢への介入の効果が詳しく検討されている[2]ほか、細菌叢移植など新しいアプローチが持つ劇的な効果[3]も明らかになりつつある。

本講演では、腸内細菌叢についての現在までの理解を生物・生態・医学など多角的な側面から概観し、腸内細菌叢を「見る」ための次世代シーケンサー技術と生物情報学、またそうした観測から腸内細菌叢を「知る」ためのデータ解析など、腸内細菌叢研究の背後にある統計・数理手法を整理したい。特に、時系列データから生物間の関係性を推定するためのアプローチについて、講演者らが最近提案した手法[4]を関連分野の発展も交えつつ紹介する。

[1] 「もっとよくわかる！腸内細菌叢」福田真嗣編　(羊土社)

[2] Maldonado-Gómez et al. (2016) Stable engraftment of Bifidobacterium longum AH1206 in the human gut depends on individualized features of the resident microbiome. Cell host & microbe, 20(4), 515-526.

[3] Van Nood et al. (2013). Duodenal infusion of donor feces for recurrent Clostridium difficile. New England Journal of Medicine, 368(5), 407-415.

[4] Suzuki et al. (2022). Decomposing predictability to identify dominant causal drivers in complex ecosystems. Proceedings of the National Academy of Sciences, 119(42), e2204405119.

ほとんどすべての物理系は厳密に解くことができない。こうした時、モンテカルロ計算に基づく第一原理計算は大変強力な手法である。しかしながら、複素作用を持つ系に対してはモンテカルロ法を直接用いることができず、単純な手法(再重み付け法)のままでは「自由度の指数関数」という非現実的なほど長い計算時間がかかってしまう。これが「符号問題」である。符号問題に対する解決法はこれまで対象となる系ごとに個別に進展してきたが、最近になって汎用的な解決法を探る動きが本格化し、大きな進展を見せている。

本講演では、符号問題の基礎から出発し、「複素Langevin法」や「Lefschetzシンブル法」など、解決に向けた最近の試みのいくつかを紹介する。その中でとくに「Lefschetzシンブル法」に注目し、この手法が内在的に“符号問題とエルゴード性問題のジレンマ”を持つことを述べ、それの解消法として提唱された「焼き戻しLefschetzシンブル法」[1]とその進化形である「世界体積ハイブリッドモンテカルロ法」[2]を紹介する。とくに「世界体積ハイブリッドモンテカルロ法」は計算コストが従来よりも著しく低いという特長を持ち、符号問題に対する現時点で最も強力なモンテカルロ的手法の1つとなっている。本講演では、この手法を格子場理論に適用した時の数値計算の結果についても簡単に紹介する[3,4]

文献：

[1] M. Fukuma and N. Umeda, “Parallel tempering algorithm for

integration over Lefschetz thimbles,” PTEP 2017, no. 7, 073B01 (2017)

[arXiv:1703.00861 [hep-lat]].

[2] M. Fukuma and N. Matsumoto, “Worldvolume approach to the tempered

Lefschetz thimble method,” PTEP 2021, no. 2, 023B08 (2021)

[arXiv:2012.08468 [hep-lat]].

[3] M. Fukuma, N. Matsumoto and Y. Namekawa, “Applying the Worldvolume

Hybrid Monte Carlo method to lattice field theories,” PoS LATTICE2022 011.

[4] M. Fukuma and Y. Namekawa, in preparation. 

代謝系とは、生き物が取り込んだ栄養をバイオマスやエネルギーに変換する生化学反応過程の総体のことであり、生命の物理化学的基盤と言える。近年のシステム生物学･代謝工学の発展により、進化を経た単細胞生物の代謝状態は「増殖率を最大化するよう最適制御されている」という仮定のもとでよく予測できることが明らかにされてきた。しかし、何千ものパラメタを持つゲノムスケールの代謝モデルを用いる既存のアプローチでは、代謝系の振る舞いを定める原理を「理解」するのは困難であるし、そもそも細胞種/株ごとにそのような代謝モデルを構築するのも容易ではない。

本講演では、最適化問題としてのアナロジーに基づき、ミクロ経済学における消費者行動の理論と細胞内の代謝制御の間の数理対応を明らかにする[1]。この対応関係をもとに経済学におけるSlutsky方程式理論を適用することで、任意の反応や代謝経路のフラックスに関して、栄養環境変動に対する応答と阻害剤投与に対する応答との間に「線形応答関係式」が成り立つことを示せる[2]。この「代謝経済学」の枠組みを、Warburg効果などの生命現象の具体例に適用することで、その応用可能性についても議論したい。

[1] Jumpei F. Yamagishi, Tetsuhiro S. Hatakeyama. Microeconomics of metabolism: The Warburg effect as Giffen behaviour. Bulletin of Mathematical Biology 83: 120, 2021.

[2] Jumpei F. Yamagishi, Tetsuhiro S. Hatakeyama. Quantitative Relationship between Intracellular Metabolic Responses against Nutrient Conditions and Metabolic Inhibitions. arXiv:2210.14508

最適輸送問題とは、「物質をある場所から異なる場所へ最小費用で運ぶ」という問題を起源とする問題である。近年、最適輸送は統計や機械学習にも広く応用されており、輸送する物質として確率を扱うことで、分布を比較するための道具として最適輸送が利用されている。

本発表では特に最適輸送をドメイン適応と呼ばれる問題へと応用した研究を紹介する。ドメイン適応とは、機械学習で利用される転移学習の一種であり、教師あり学習時の学習、テストデータがそれぞれ従う分布が異なる場合に対処するための方法である。本発表ではドメイン適応における分布の比較に最適輸送を利用する方法[1, 2]を紹介する。また、ラベル情報を利用したドメイン適応の1つとして、テスト時にのみ新しく変数が追加される場合を考えた新規変数に対するドメイン適応法[3]を紹介する。

[1] Courty, Nicolas, Remi Flamary, Devis Tuia, and Alain Rakotomamonjy. 2017. “Optimal Transport for Domain Adaptation.” IEEE Transactions on Pattern Analysis and Machine Intelligence 39 (9): 1853–65.

[2] Courty, Nicolas, Rémi Flamary, Amaury Habrard, and Alain Rakotomamonjy. 2017. “Joint Distribution Optimal Transportation for Domain Adaptation.” In Advances in Neural Information Processing Systems, 2017-Decem:3731–40.

[3] Toshimitsu Aritake, Hideitsu Hino. 2022. “Unsupervised Domain Adaptation for Extra Features in the Target Domain Using Optimal Transport.” Neural Computation 34 (12): 2432–2466.

物質科学の究極の⽬的は、望みの性質を持つ物質や材料を⾃在に作り出すことである。近年、⽬的となる物理的な性質からハミルトニアンを推定するという逆問題を解く形のアプローチが注⽬され[1]、ベイズ推定や⽣成モデル、摂動論などを⽤いた研究が⾏われている[2-5]が、計算コストや汎化性能、計算可能な物理量に制約があるといった課題が残されている。 

 本講演では、機械学習の分野で活⽤されている⾃動微分を⽤いて、⽬的とする物理的な性質を⽰すハミルトニアンを⾃動で構築する汎⽤的なフレームワークを紹介する。このフレームワークを量⼦異常ホール効果に適⽤することで、このフレームワークがHaldane モデルを再発⾒するだけでなく、その6 倍⼤きな異常ホール効果を⽰す新しいハミルトニアンを⾃動で⽣成できることを紹介する。また、光起電⼒効果[6]への応⽤では、太陽光の照射によって電⼦が⾮共⾯的なスピン配置の上を動くことによって、約700A/m2の光電流が発⽣することを⽰す[7]。コードはgithubに公開してある[8]。 

 [1] E. Lander et al., Materials Genome Initiative Strategic Plan (National Science and TechnologyCouncil, 2021). 

 [2] G. L. W. Hart et al., Nature Materials 4, 391 (2005). 

 [3] R. Tamura and K.Hukushima, Phys. Rev. B 95, 064407 (2017). 

 [4] B. Sanchez-Lengeling and A. Aspuru-Guzik,Science, 361, 6400 (2018). 

 [5] H. Fujita et al., Phys. Rev. B 97, 075114 (2018). 

 [6] R. C. Miller,Phys. Rev. 134, A1313 (1964). 

 [7] K. Inui, and Y. Motome, Commun. Phys. 6, 37 (2023). 

 [8] https://github.com/koji-inui/automatic-hamiltonian-design

多くの機械学習手法は，学習データとテストデータが同一の分布から生成されることを仮定している．しかしながら，現実世界ではこの仮定は成り立たないことが多い．特に，データの周辺分布が学習時とテスト時で変化する現象は共変量シフト[1]と呼ばれ，機械学習における重要な研究テーマの一つとなっている．本発表では，よく知られている共変量シフト適応の手法群が情報幾何のフレームワークで統一化できることを紹介する[2]．

具体的には，既存の共変量シフト適応の手法の選択が統計的多様体の上での曲線または測地線の選択と同一視できることを示す．

さらに，幾何学的に一般化された共変量シフト適応のパラメータ探索が効率的に達成でき，この一般化が内包する既存手法を優越する数値実験の結果が得られることについても紹介する．

References

[1] Shimodaira, Hidetoshi. "Improving predictive inference under covariate shift by weighting the log-likelihood function." Journal of statistical planning and inference 90.2 (2000): 227-244.

[2] Kimura, Masanari, and Hideitsu Hino. "Information geometrically generalized covariate shift adaptation." Neural Computation 34.9 (2022): 1944-1977.

自然・社会現象には確率的にイベントが発生するものが多く存在しており，それらを数理的に記述するための道具が確率過程である．確率過程は大きく分けて，マルコフ過程と非マルコフ過程に分けられる．マルコフ過程とは過去の履歴依存性を持たない確率過程であり，数理的に整備された枠組みが確立している．一方で，非マルコフ過程については，個別具体的な事例についての解析手法はある（例えばセミマルコフ過程や一般化線形ランジュバン方程式など）が，一般的なモデルに適用可能な整備された枠組みはまだ存在していない．

そこで本セミナーでは，非マルコフ過程の中でも「点過程」と呼ばれるクラスについて，一般的な解析手法の枠組みを報告する．点過程とはイベント発生をモデル化する確率過程であり，例えば自己励起性をモデル化するホークス過程などが有名である．我々は任意の1変数非マルコフ点過程を記述することが出来るマスター方程式の枠組みを構築した[1]．具体的には，任意の1次元非マルコフ点過程をマルコフ場の理論に変換（マルコフ埋め込み）する適切な変数の取り方を発見し，それを用いることで一般的なマスター方程式を導出した．更には，その漸近解析手法や，更には非線形ホークス過程[2-5]への応用も議論する．

[1] K. Kanazawa and D. Sornette, in preparation.

[2] K. Kanazawa and D. Sornette, Phys. Rev. Lett. 125, 138301 (2020).

[3] K. Kanazawa and D. Sornette, Phys. Rev. Res. 2, 033442 (2020).

[4] K. Kanazawa and D. Sornette, Phys. Rev. Lett. 127, 188301 (2021).

[5] K. Kanazawa and D. Sornette, Phys. Rev. Res. 5, 013067 (2023).

モンテカルロ法はこれまで計算科学分野で大きな成功を収めてきた一方で、符号問題という未解決の課題も抱えている。この問題を回避できる方法としてテンソルネットワーク法が近年注目を集めている。本講演の前半ではテンソルネットワーク法についての基礎的な解説を行う。テンソルネットワーク法にはハミルトニアン形式とラグランジアン形式の２つの方法があるが、本講演では主に後者について説明する。その具体的な例として、２次元イジングモデルの分配関数をテンソルネットワークの粗視化アルゴリズムを使って数値的に評価する方法を説明する。後半では、最近の発展を概観した後、発表者が取り組んでいる乱数とテンソルネットワークを組み合わせた新しい粗視化法を紹介する。 

行列式点過程はある全体集合からの部分集合のランダムな生起をモデル化する確率モデルで，統計物理においてフェルミ粒子の確率的なふるまいを表現するために提案された[1]．

行列式点過程によるモデリングでは一種の斥力が表現されるという性質から，現在では画像検索・反実仮想・実験計画・推薦システムなど統計科学や機械学習における種々の問題へと応用が進んでいる[2-5]．

本講演では機械学習分野で主に研究対象とされている有限集合上の行列式点過程に焦点を当て，その基本的事項や統計的なパラメータ学習法について紹介する．

とくにパラメータの学習に関しては，講演者らの最近の研究[6]に基づき，MMアルゴリズムの枠組みによりシンプルかつ効率的な学習則が得られることを示す．

[1] Macchi, O. (1975). The coincidence approach to stochastic point processes. Advances in Applied Probability, 7(1), 83-122.

[2] Kulesza, A., & Taskar, B. (2011). k-dpps: Fixed-size determinantal point processes. In Proceedings of the 28th International Conference on Machine Learning (ICML-11) (pp. 1193-1200).

[3] Mothilal, R. K., Sharma, A., & Tan, C. (2020, January). Explaining machine learning classifiers through diverse counterfactual explanations. In Proceedings of the 2020 conference on fairness, accountability, and transparency (pp. 607-617).

[4] Derezinski, M., Liang, F., & Mahoney, M. (2020, June). Bayesian experimental design using regularized determinantal point processes. In International Conference on Artificial Intelligence and Statistics (pp. 3197-3207). PMLR.

[5] Kulesza, A., & Taskar, B. (2012). Determinantal point processes for machine learning. Foundations and Trends® in Machine Learning, 5(2–3), 123-286.

[6] Kawashima, T., & Hino, H. (2023). Minorization-Maximization for Learning Determinantal Point Processes. Transactions on Machine Learning Research.

行列乗算は様々な計算処理の速度に重要な影響を及ぼし、そのコスト削減に関する多様な研究が進展している。1969年、シュトラッセンは通常8回の乗算が必要な2×2行列同士の行列乗算を7回の乗算で実行できることを示し [1]、高速な行列乗算アルゴリズムに対する研究が進展した。

 本講演では、発見的方法による近年の研究動向を紹介する。2022年、強化学習を用いた手法 [2]、そして局所探索を用いた手法 [3]がそれぞれ提案された。どちらも既存の乗算アルゴリズムよりも高速なアルゴリズムの発見に成功しており、これらの手法をレビューする。また、局所探索を用いた手法の課題を明らかにし、さらなる探索の可能性や効率性を上げる手法 [4]について紹介する。

[1] V. Strassen, Gaussian elimination is not optimal. Numer. Math. 13(4),354–356(1969).

[2] A. Fawzi et al. Discovering faster matrix multiplication algorithms with reinforcement learning. Nature, 610, 47–53(2022).

[3] M. Kauers, J. Moosbauer. Flip graphs for matrix multiplication. In Proc. ISSAC ’23, 381–388(2023).

[4] Y. Arai, Y. Ichikawa, K. Hukushima. Adaptive Flip Graph Algorithm for Matrix Multiplication. arXiv, 2312.16960(2023).

生物システムは一般に、環境ノイズなどの摂動に対する頑健性と、異なる条件に応じて適切な状態（表現型）を切り替える可塑性を両立している。アロステリック酵素やモータータンパク質などがその代表例である。頑健性と可塑性が同時に獲得される仕組みの理解に向けて、本研究では外部からの入力によって2つの表現型を可塑的に切り替える遺伝子型の進化と、表現型の定常的な発現について数理モデルを用いて考察する。その結果、特定の条件下で表現型空間に特徴的な構造が現れ、その構造によって頑健性と可塑性の両立が達成されることが示された。本発表では数値的、解析的結果および解釈について紹介する。

参考文献

Sakata & Kaneko, Phys Rev Research (2023)