過去のセミナー (2021年度)

生物の祖先がもっていた形態や生活史を知るすべはあるのだろうか？従来は化石を調べるしか手立てがなかったが、近年、新しい数理解析手法により祖先の状態を推定することが可能になりつつある。解析手法の中心となるのが「系統比較法（phylogenetic comparative methods; PCMs）」である [1]。系統比較法では、系統樹に沿って確率過程（マルコフ連鎖、オルンシュタイン＝ウーレンベック過程など）を走らせ、現生種の形質情報を利用して祖先の状態を逆推定する。一般に系統樹は生物種の類縁関係を探るために利用されるが、系統比較法では確率過程が起きている二分木路とみなして利用する。

本セミナーでは、系統比較法の数理的背景と、それらの数理的アイデアがどのような生物学の諸問題に適用されているのかを具体例をまじえて解説する。まず、系統比較法を概観し、特に祖先状態の推定法について紹介する。次に、離散形質を解析する系統比較法について詳細に解説する。特に、離散形質の祖先状態推定 [2]、依存vs.独立推定 [3]、順序推定[3]に注目する。

さらに、生物学の諸問題へ応用した例として、複雑なかたちの進化プロセスを解説する。演者は、マクロ進化プロセスを解くための包括的な数理解析手法を開発した [4]。例として、枯葉擬態の進化プロセス（葉っぱに似てもにつかない普通の模様から、枯葉にそっくりな模様への進化）を紹介する [5]。また、現在進めている蝶の模様の組み合わせ論的な進化も紹介したい。

最後に、系統比較法が現在抱えている問題点と今後の方向性について議論したい。現在の進化生物学では解析が大規模化（～数千種）しマクロ進化統計が可能になり、個々の生物研究ではみえてこなかった一般法則が垣間見えつつある。一方で、パラメータ選択や計算時間などで諸所の問題が生じている。いくつかの話題を提供する。

[1] Garamszegi (ed) (2014) Modern Phylogenetic Comparative Methods and Their Application in Evolutionary Biology. Springer, DOI: 10.1007/978-3-662-43550-2

[2] Pagel, Meade, Barker (2004) Bayesian estimation of ancestral character states on phylogenies. Syst Biol 53:673-684. DOI: 10.1080/10635150490522232

[3] Pagel (1994) Detecting correlated evolution on phylogenies: a general method for the comparative analysis of discrete characters. Proc R Soc B 255:37-45. DOI: 10.1098/rspb.1994.0006

[4] Suzuki (2017) J Exp Zool B 328:304-320. DOI: 10.1002/jez.b.22740

[5] Suzuki, Tomita, Sezutsu. (2014) BMC Evol Biol 14:229. DOI: 10.1186/s12862-014-0229-5 

本発表では、(1)「機械学習による周期表の再発見」に加えて(2)「構造類似性に基づいた結晶構造予測」の研究も報告する。

(1) 化学元素の周期表とは、元素の化学的性質の規則性(周期律)が明確に理解されるように元素が配列されている表である。現在の周期表の原型は、1869年にロシアの化学者であるメンデレーエフによって発見された。その表では、当時知られていた全ての元素の化学的性質は2次元の表形式で表現されており、この業績をデータサイエンスの観点から見ると、人間の認識に基づく特徴量埋め込みの成功例と見なすことができる。本研究では、機械学習が元素の化学的性質の情報に基づいて周期表を再発見できるかという問いに挑戦した。この目標を達成する為にperiodic table generator(PTG)を開発した。PTGはgenerative topographic mapping(GTM)[1,2]をベースとした教師なし学習アルゴリズムであり、様々なレイアウトの離散座標系に高次元データを自動で視覚化することを可能にする。PTGは元素データ中に存在する周期律をうまく捉えた、2次元のテーブル型の表や3次元のスパイラル型の表を生成するのに成功した。さらに、PTGが元素データから何を学習したかを示す為に、融点や電気陰性度などの特徴量ごとの滑らかなヒートマップを低次元の潜在変数空間上に生成した[3]。

[1] Bishop, C. M., Svensén, M. & Williams, C. K. I. GTM: The generative topographic mapping. Neural Comput. 10, 215- 234 (1998).

[2] Yamaguchi, N. GTM with latent variable dependent length-scale and variance. International Automatic Control Conference (CACS) IEEE, 532-538 (2013).

[3] Kusaba, M. et al. Recreation of the Periodic Table with an Unsupervised Machine Learning Algorithm. Sci. Rep. 11, 4780 (2021). https://www.nature.com/articles/s41598-021-81850-z.

(2) 計算機による無機材料探索の問題において前提となる最も基本的なタスクは、特定の化学組成の結晶構造を予測することである。結晶構造予測手法として、遺伝的アルゴリズム[1]、ベイズ最適化[2]などを用いた様々な手法が提案されている[3]が、いずれも未知関数であるエネルギーの最小化問題をベースとしているので、数多くの第一原理計算を要求し、非常に多くの計算コストを必要とする。そこで本研究では、ある化学組成が与えられた時の結晶構造の予測問題を、データベース中の既存構造と同じ結晶構造を持つか否かを判定する問題に置き換えることで、コストが高い計算処理を回避し、高速かつ実用的な結晶構造予測手法の提案を行う。発表では、本手法の詳細と実際の結晶構造予測問題への適応結果を報告する。

[1] Glass, C.W., Oganov, A.R., Hansen, N.(2006). USPEX-Evolutionary crystal structure prediction, Comput. Phys. Commun., 175, 713-720.

[2] Yamashita, T. et al.(2018). Crystal structure prediction accelerated by Bayesian optimization. Phys. Rev. Mater., 2, 013803.

[3] Terayama, K. et al.(2018). Fine-grained optimization method for crystal structure prediction. npj Comput Mater, 4, 32.

健康なヒトの心臓の拍動リズムは，安静時でも一定でなく，不規則的にゆらいでいる[1]．そのゆらぎには，長時間相関(長期記憶)[2]や非ガウス性[3]など，非線形非平衡系において共通にみられる特性があり，そのような特性の変化が，加齢や死亡率と関連することが報告されてきた．本セミナーでは，心臓の拍動リズムなどの生体ゆらぎの数理的構造を読み解き，医療や日常の健康管理に役立てるアプローチを紹介する[4]．最近では，ウェアラブル生体センサを活用し，日常生活中に長期間にわたり，生体信号を計測することが可能になっている．ここのでは，そのようなウェアラブル生体センサを活用し，職場の安全衛生管理に役立てる方法論についても触れたい[5]．

[1] K. Kiyono et al. "Phase transition in a healthy human heart rate." Physical review letters 95 (2005) 058101.

[2] K. Kiyono. "Establishing a direct connection between detrended fluctuation analysis and Fourier analysis." Physical Review E 92 (2015) 042925.

[3] K. Kiyono, H. Konno. "Log-amplitude statistics for Beck-Cohen superstatistics." Physical review E 87 (2013) 052104.

[4] T. Nakamura et al. "Multiscale analysis of intensive longitudinal biomedical signals and its clinical applications." Proceedings of the IEEE 104 (2016) 242-261.

[5] 中江悟司， 金子美樹， 清野健．「ウェアラブル生体センサを活用した暑熱労働環境の評価と改善」計測と制御 58 (2019) 96-101． 

グループテストとは患者の検体を混ぜ合わせて検査する方法である[1,2]。混ぜ合わせた検体の数は患者数より少ないとするため、検査数を患者数よりも少ない数に抑えることができるが、一方で検査結果から患者の状態(感染or非感染)を推定することが必要になる。この推定問題は数学的には離散変数の線形代数の問題として解釈でき、また統計学や信号処理において広く用いられるスパース推定の一種でもあることから、各分野の手法を用いた研究が行われてきた[3]。

　推定精度は、検体の混ぜ合わせ方やカットオフの決め方に依存する。ここでカットオフとは、推定の結果として得られる各患者の感染確率を「感染している/していない」を表す離散変数にマップする際の閾値である。検体の混ぜ合わせ方について、本発表では能動学習による方法を簡単に紹介する[4,5]。またカットオフの決め方については、ランダム系の統計力学の手法を用いてReceiver Operating Characteristic(ROC)曲線から評価する方法を紹介する。

参考文献

[1] R. Dorfman, The Annals of Mathematical Statistics, 14, 436 (1943)

[2] Y. Iba, JPSJ News and Comments, 17, 12 (2020)

[3] M.Aldridge, O. Johnson and J. Scarlett, “Group Testing: An Information Theory Perspective (Foundations and Trends in Communications and Information)” (2019)

[4] A. Sakata, Physical Review E 103, 022110 (2021)

[5] 坂田綾香, 日本物理学会雑誌 第76巻4号 (2021)

指数関数的に大きな次元を持つ量子多体系の波動関数を有限個のパラメータで精度よく表すことは、物性物理のみならず素粒子、原子核、量子化学などに共通するグランドチャレンジである。本講演では機械学習で用いられるボルツマンマシンが量子多体系の解析に有用であることを紹介する。

　まず、2017年にカルレオとトロイヤーによって提唱されたボルツマンマシンを用いた量子状態表現法を導入し[1]、それを用いた絶対零度計算とその進展について触れる[2-6]。具体的には、フェルミオン系やフラストレーションのある量子スピン系などへの適用拡張を通じて、物理の挑戦的課題にニューラル・ネットワーク波動関数が適用され始めてきていることを述べる。

　次に、隠れ層が二層ある深層ボルツマンマシン(DBM)を用いた2つの有限温度計算手法について議論する[7]。両手法とも有限温度の混合状態を拡張された系の純粋状態で表す“purification(純粋化)”のアイデアを用いる。前者は、DBMを用いて解析的に熱平衡状態に対応する純粋状態を構築する手法であり、統計力学の量子古典対応とも対応するフレームワークとなっている。後者は、数値的にDBMのパラメータを最適化することで有限温度状態の純粋化を行うことで前者の手法が負符号問題に直面する場合でも手法適用が可能となる。講演では横磁場イジング模型や2次元J1-J2ハイゼンベルグ模型を具体例に取りこれらの手法について議論する。

[1] G. Carleo and M. Troyer Science 355, 602 (2017)

[2] Y. Nomura, A. S. Darmawan, Y. Yamaji, and M. Imada, Phys. Rev. B 96, 205152 (2017)

[3] G. Carleo, Y. Nomura, and M. Imada, Nat. Commun. 9, 5322 (2018)

[4] Y. Nomura, J. Phys. Soc. Jpn. 89, 054706 (2020)  [Editor’s choice]

[5] Y. Nomura and M. Imada, arXiv:2005.14142

[6] Y. Nomura, arXiv:2009.14777, will appear in a special topic “Emergent Leaders 2020” in J. Phys.: Condens. Matter

[7] Y. Nomura, N. Yoshioka, and F. Nori, arXiv:2103.04791

「与えられた原子種とその組成比の元で安定な結晶構造を見つけよ．」これが結晶構造探索の問題である．たとえば，水素と硫黄を2:1で混ぜて，どのような結晶構造ができるかを求める問題である．極めて単純な問題に見えるが，現在までに一般的な解法は見出されていない．困難点の一つは，原子間のポテンシャルが古典力学的に与えられているわけではなく，全エネルギーを正確に知るためには電子状態計算が必要となる点にある．これまでに，計算量の多い電子状態計算を何かしらの計算量の少ないサロゲートモデルで置き換えることにより，計算量の削減の試みがなされている[1]．最近，山下らにより，サロゲートモデルにガウス過程回帰を用いた結晶構造探索の方法[2]が提案された．その方法における記述子の設計に関する一つの指針を提案した最近の研究[3]を中心に，サロゲートモデルの活用について議論する．

[1]J.Behler and M.Parrinello, Phys. Rev. Lett. 98, 146401,2007

[2] https://tomoki-yamashita.github.io/CrySPY_doc/

[3] N.Sato et.al., Phys. Rev. Materials 4, 033801, 2020

LSTM (Hochreiter 1997)は, 再帰的なニューラルネットワークの一種であり, 時系列や単語列をモデル化するために, 自然言語処理やその他の分野できわめて頻繁に用いられている. たとえば, Google機械翻訳はLSTMを原言語側と出力言語側にそれぞれ8段も積み上げて接続したモデルである(Wu+ 2016).

　LSTMは意味的側面に加え, 構文構造や数の一致など文法的な要素も自動的に認識しているらしいことが知られているが, LSTMの内部状態が実際にどのようになっているかについては, ほとんど研究がなく, 動作を調べる研究はLSTMをブラックボックスとみなし,外側から動作を観察するものに限られている.そこで我々は, LSTMの内部状態が実際にどのように分布しているかを可視化し, 構文構造との関係を統計的に調べた. 特に, Penn Treebankコーパスの木構造を与えた場合と与えない場合を比較し, 前者については構文のネストの深さが, 特定の内部ベクトルの線形回帰によって非常に正確に予測できること, 単語のみの場合は精度が落ちるものの, やはり単調な関係があることを示した. また, thatのように複数の使われ方がある言葉についても, 主成分分析を上手に行うことで分布が区別されることなどを示した.

　本研究は, 柴田千尋さん(法政大)および内海慶さん(デンソーアイティーラボラトリ)との共同研究です.

[1] https://arxiv.org/abs/2010.00363

細胞はすべての生物システムの基本単位であり、その多様な機能は細胞内で起こる化学反応により実現されている。しかし細胞の典型サイズは1~10μmと極小なため、その中で生じる化学反応は分子の有限性が無視できず確率性を示す。なぜ細胞は確率的な反応系を使って、そこそこ上手く機能するのか？そのメカニズムの理解は現代生命科学の課題である。我々はこの問題に情報理論の立場から取り組んできている[1]。特に「細胞機能が潜在的な確率性にナイーブな想定よりも影響されない理由(の少なくとも一部)は、確率性への影響を最大限抑制し適切な情報を細胞内で感知・伝達できる効率的なシステムが存在するからである」という立場に立ち、どのようなシステムが特に細胞による環境感知に最も効率であるかを理論的に予想してきた[2,3]。

　この研究の一つの応用として、我々は最近、大腸菌が環境中の匂い(リガンド)を感知し運動をする化学走性のシステムが、情報論的に最適に近い構造をしていることを見出した[4,5]。本発表ではその内容を中心に紹介する。確率過程の一分野である最適フィルター理論を用いて、確率的な受容体応答から環境の匂い濃度の変動を最適に推定する力学系を導出し、それが分子生物学的知見や定量的計測を元に作られた大腸菌化学走性の標準物理化学モデルと完全に一致することを示した。また最適フィルターから予想される非線形フィードバックの関数形状が、実験的な計測とほぼ完全に一致することも明らかにしている。本発表では、エントロピー正則化確率最適制御の理論を用いて、匂いの感知過程のみならず感知後の運動制御も含めた走化性全体の最適性を考えることで、フィードバックの関数の一致をさらに自然に説明できることも紹介する。

 　最適フィルターは逐次ベイズや隠れマルコフモデルの時間連続版・連続時間カルマンフィルターの非線形版と位置づけられるが、その理論はカルマンフィルタとほぼ同じ時期、Baumの隠れマルコフモデルよりも以前に条件付き確率過程の枠組みによってStratonovichによって導出されている。時間があればそのあたりの小ネタも挟むかもしれない。

[参考文献]

[1] Theoretical aspects of cellular decision-making and information-processingTJ Kobayashi, A Kamimura, Advances in Systems Biology, 275-291 (2012)

[2] Implementation of dynamic Bayesian decision making by intracellular kinetics, TJ KobayashiPhysical review letters 104 (22), 228104 (2010)

[3] Connection between noise-induced symmetry breaking and an information-decoding function for intracellular networks, TJ Kobayashi, Physical review letters 106 (22), 228101 (2011)

[4] Connection between the Bacterial Chemotactic Network and Optimal Filtering, K Nakamura, TJ Kobayashi, Physical Review Letters 126 (12), 128102 (2021)

[5] 大腸菌は賢く匂いを嗅ぐ～大腸菌は環境の匂い分子を最適に探知するシステムを持っている～, 東京大学生産技術研究所, プレスリリース (2021)

過去の生物進化に対して直接的な観測にもとづく学術研究を行うことは(ごく幸運なケースを除き)ほぼ不可能である。このような本来知り得ないはずの現象に対して、科学/統計学としてどのように相対することができるだろうか。この問題のなかでとりわけ条件の悪い状況を扱うのが種間系統比較法(phylogenetic comparative method; PCM)と呼ばれる方法論である。PCMは生物形質のマクロ進化を分析する統計的手法の総称であり、進化生物学で提案され(Felsenstein 1985)て以来祖先種の状態や進化速度などのパラメータ推定、回帰分析における相関補正などの目的で広く応用されている。本発表では、その中でも連続形質のためのPCMに注目しこれまでどのようなアプローチでモデリングが行われてきたのか紹介する。

一般に連続形質のPCMでは、大きくわけガウス過程によるモデリングと近似ベイズ計算によるシミュレーションモデリングの2つの戦略が知られてきた。ガウス過程による方法では、過去から現在に至る生物の進化をWiener過程やOrnstein–Uhlenbeck過程によってモデル化することで豊富な確率過程の知見を活用することができる。しかし、モデルの柔軟性が不十分で実データへの適合やパラメータの解釈性に問題があることが指摘されてきた(Losos 2011)。一方シミュレーションによるアプローチでは、集団遺伝学など関連領域の知見を取り入れた柔軟なモデルが可能となる(Kutsukake & Innan 2013; 2014)が、統計的信頼性が評価しにくく高い計算コストを伴う等の問題がある。

そこで本研究では、発表者が提案している“枝特異的方向性淘汰モデル(branch-specific directional selection; BSDS)モデル”を紹介し、このモデルが2つのアプローチの”よいとこどり”であることを議論する。また、このモデルが持つ統計的性質についても紹介したい。

J. Felsenstein. (1985) Phylogenies and the comparative method. Am. Nat. 125, 1-15.

N. Kutsukake, H. Innan. (2013) Simulation-based likelihood approach for evolutionary models of phenotypic traits on phylogeny. Evolution. 67, 355-367.

N. Kutsukake, H. Innan. (2014) Detecting phenotypic selection by approximate Bayesian computation in phylogenetic comparative methods. In Modern Phylogenetic Comparative Methods and Their Application in Evolutionary Biology, L. Z. Garamszegi Ed. (Springer) pp. 409-424.

中川震一 & 久保拓弥. (2016) 生態学・進化生物学のメタ解析のための統計モデル. 統計数理, 64(1), 105-121.

Ohkubo (2021) https://github.com/OhkuboYusaku/PCM_BSDS

Ohkubo, Kutsukake, Koizumi (under review) Evaluating a strength of directional selection using a novel branch-specific directional selection (BSDS) model of phylogenetic comparative method.

深層学習が高い汎化性能を達成するが、その原理の理論的解明は未だ発展途上の課題である。本講演では深層学習の性能を記述する、(i)損失面由来の暗黙的正則化、(ii)深層モデルのための二重降下、の2つの理論研究成果を紹介する。

  (i)暗黙的正則化は、学習アルゴリズムがニューラルネットワークモデルの自由度を暗黙的に制約することで、深層学習の過適合が防がれていることを主張する[1]。ただし、深層ニューラルネットワークで実現する暗黙的正則化は明らかではなく、有力であるとされていた正則化の仮説（零点や学習初期値近傍）は近年の研究で強い批判を受けている。本研究では、深層ニューラルネットワークの損失面が多くの局所最小値を持ちかつ一定の仮定を満たすとき、この形状が学習アルゴリズム（確率的勾配降下法）の行動を制約し正則化を実現することを理論的に示す。またこのとき、深層ニューラルネットワークが正則化され、この汎化誤差がパラメータ数に依存しない上限を持つことを示す。

  (ii)二重降下をはじめとする漸近リスク解析は、モデルから定まる共分散構造のスペクトルを用いて、過剰なパラメータを持つモデルの汎化誤差を解析する理論的枠組みである[3]。近年強い注目を集めて議論が進展しているが、この理論が適用できるのはランダム特徴量モデルやカーネル回帰などの特徴量に対する線形モデルに限られる。よって、層が多いニューラルネットワークなどの深層モデルへの適用可能性は未知数である。本研究は、線形性の制約を置かない一般的なモデル族について、最適化問題が尤度関数で定義されかつ一定の正則性を満たす時、この汎化誤差の上限が漸近リスクの理論に従うことを示す。さらにこの正則性条件を調べることで、並列化ニューラルネットなどの具体的な非線形・深層モデルが二重降下などの理論に従うことを示す[4]。

[1]Neyshabur, B., Tomioka, R., & Srebro, N. (2015). Norm-based capacity control in neural networks. In Conference on Learning Theory. PMLR.

[2]Nagarajan, V., & Kolter, J. Z. (2019). Uniform convergence may be unable to explain generalization in deep learning. Advances in Neural Information Processing Systems.

[3]Hastie, T., Montanari, A., Rosset, S., & Tibshirani, R. J. (2019). Surprises in high-dimensional ridgeless least squares interpolation. arXiv preprint arXiv:1903.08560.

[4]Nakada, R., & Imaizumi, M. (2021). Asymptotic Risk of Overparameterized Likelihood Models: Double Descent Theory for Deep Neural Networks. arXiv preprint arXiv:2103.00500.

社会現象に対する統計的取り扱いはケトレーによる「社会物理学」に代表されるように古くから行われており、統計物理学の創始に寄与したとされる。最近では統計物理学の発展に伴い、逆に統計物理学で培われてきた知見・手法が社会現象に適用されている。

　本講演では、社会ならびにスポーツに関するデータを統計物理学的視点で捉えて解析した結果をいくつかの話題として紹介する。なお、講演者は日本統計学会スポーツ統計分科会主催のスポーツデータ解析コンペティションに2015年度より参加しており、これまでサッカー・野球・フェンシング・ゲートボールのデータについて解析を行ってきた。そこで本講演では、特にサッカーのトラッキングデータに基づく選手の動きに着目した解析結果のいくつかを重点的に説明する予定である。

（講演内容はなるべく平易なものとして、気軽に聴いていただけるよう準備する予定です。さまざまな専門的知見からのご意見をいただけましたら幸いです。） 

生命は進化によって生命であることそのものを含む様々な機能を獲得した。進化は一種の学習過程とみなせるが、機械学習との大きな違いは学習の手法が決まっているところにある。そのため、あり得たかもしれない可能性のうち、我々が目にできるのは「進化」という特殊な過程によって選択されたものだけである。そこで我々は進化でなくても達成できることと進化でなくては達成できないことを知りたい。

本研究では遺伝子制御ネットワーク(GRN)のトイモデルを対象に、双安定性の発言と変異に対する頑健性を議論する。遺伝子変異に対する頑健性は生命システムが進化の過程で獲得したと考えられている。これはまさに進化の特殊性だが、頑健性の獲得を実験的に検証するのは難しいため、数値的研究が重要となる。

GRNの進化シミュレーション(ES)を行っても進化経路に依存した結果しか得られないので、何らかの比較対象が必要である。最も自然な比較対象はランダムにサンプルされたGRNの集合だろう。しかし、適応度の高いGRNは稀なので単純なランダムサンプリングは無力である。最近、我々はマルチカノニカル・モンテカルロ法(McMC)を用いたレアイベントサンプリングによって、広い範囲の適応度を持つGRNをサンプルする手法を提案し、進化の普遍性を議論した[1]。さらに、McMCの結果とESの結果とを比較することによって進化の特殊性を議論した[2]。

モデルは遺伝子をノード、制御関係をエッジに見立てた神経回路網型のネットワークモデルで、遺伝子の発現は他の遺伝子からの活性化・抑制制御の総和にシグモイド関数を作用させて決定される。簡単のために入力遺伝子と出力遺伝子がひとつずつあるとし、二値の入力(onとoff)に対する出力遺伝子の発現(0~1の値をとる)の差を各ネットワークの適応度と決める。主な結果は以下の通りである。

(1) McMCによれば適応度が高くなると可能なGRNの数が急激に減る。ESではその付近の適応度で進化が急激に遅くなった。これは進化速度がほとんど「可能なGRNの数」(遺伝子系空間でのエントロピー)で決まることを意味する。

(2) McMCにより、高適応度のGRNは必ず入力に対して双安定な応答をすることがわかった。これは進化過程によらない普遍的性質である。さらにESと比較することにより、進化では双安定性の出現がランダムサンプリングよりも有意に高適応度側に移ることを見出した。

(3) 一本のエッジを切る変異を考える。個々のGRNに対して可能なあらゆる変異を行い、変異後の適応度の平均を変異に対する頑健性の指標とする。McMCとESを比較すると、ESの頑健性がMcMCよりも有意に高くなった。つまり、変異に対する頑健性は進化によって増強される。これは適応度による選択ではなく、Wagnerが"second-order selection"と呼んだものである。

(4) McMCの結果を用いて双安定なGRNと単安定なGRNを比較すると、適応度が高い双安定GRNには変異に対して脆弱なものが多数含まれることがわかった。つまり、進化によって頑健性が高いGRNが選ばれると、その副産物として単安定なGRNが選ばれやすい。これが(2)の理由と考えられる。

これらの結果の多くは直感的に自然だが((4)は必ずしも直感的とは言えないが)、我々の手法によって定量的に示されたのが重要である。McMCによるレアイベントサンプリングを用いる研究手法はGRN以外のさまざまな進化の問題に応用できるだけではなく、ニューラルネットの学習の問題などにも応用できるはずである。

[1] S. Nagata and M. Kikuchi: PLoS Comput. Biol. 16 (2020) e1007969

[2] T. Kaneko and M. Kikuchi: arXiv:2012.03030 (2020) 

計算化学では，経験的パラメータを用いない電子状態理論である密度汎関数理論 (density functional theory, DFT) が標準的に利用されている．一般に DFT 計算を行いながら原子個々の運動方程式を解くこと（第一原理分子動力学法）は可能だが，計算コストの面から，時空間スケールにおいて強い制約を受けるので，これを乗り越えるための工夫が望まれている．その一つとして，DFTエネルギーを模倣した機械学習ポテンシャル（machine learning potential, MLP）の利用が注目を集めている．2007年に Behler と Parrinello は，DFTエネルギーを教師データとして人工ニューラルネットワークに学習させる画期的方法を発表した[1]．それ以来，MLP の研究は目覚ましく進歩し，現在も活発な開発競争が繰り広げられている[2]．MLP 作成において，良質な教師データの選びかたは重要な要素である．教師データは，系が通りうる領域（アンサンブル）を全てカバーする必要があるが，教師データ作成の段階から第一原理分子動力学法を用いることは本末転倒である．そこで本研究では律速となる DFT 計算回数を減らした効率的アンサンブル発生を考案し，この問題の解決に取り組む．

本研究で用いる自己学習ハイブリッドモンテカルロ法[3]では．近似的な MLP 上での古典軌道を発生し，その終着点を試行配置とみなす．そこで DFT エネルギーを計算して，ハミルトニアン差に基づく Metropolis 判定によって採択を決める．これを繰り返すことでサンプルされる配置は，指定した熱力学的条件に対して DFT レベルで正しいアンサンブルにあたる．さらに，途中で得られた DFT エネルギーを教師データに加えて MLP を再トレーニングすると，逐次的に MLP 精度改善が可能であり，精度改善は Metropolis 判定の採択率向上につながる．この循環をうまく回すと，配置サンプリングは第一原理分子動力学法の数十倍程度まで加速できることがわかった．固体や液体の SiO2，フォノン媒介超伝導体 YNi2B2C への適用例について紹介する[4]．

[1] J. Behler, M. Parrinello, Phys. Rev. Lett. 98, 146401 (2007).

[2] O. T. Unke, et al., Chem. Rev. in press (2021).

[3] Y. Nagai, M. Okumura, K. Kobayashi, M. Shiga, Phys. Rev. B, 102, 041124(R) (2020).

[4] K. Kobayashi, Y. Nagai, M. Itakura, M. Shiga, J. Chem. Phys., in revision.

人間の幼児は音列に含まれる統計的なパターンから語彙を獲得出来ることが知られている。また大人も未知語が含まれた文から適応的に単語の分節化を行うことが出来る。

さらに音素の集合も言語に依存しており、幼児は語を構成する音素をも獲得する事が出来る。発表者はノンパラメトリックベイズに基づく教師なし単語分割手法を発展させることにより、ロボットが音声データから直接に音素や単語を獲得する手法や、物体カテゴリとの同時学習により語彙獲得を行わせる手法などを提案してきた。本講演ではこれら一連の研究に関して紹介する。

Tadahiro Taniguchi, Shogo Nagasaka, Ryo Nakashima, Nonparametric Bayesian Double Articulation Analyzer for Direct Language Acquisition from Continuous Speech Signals, IEEE Transactions on Cognitive and Developmental Systems, 8(3), pp.171-185, 2016. DOI: 10.1109/TCDS.2016.2550591 (Open Access)

Tomoaki Nakamura, Takayuki Nagai, Kotaro Funakoshi, Shogo Nagasaka, Tadahiro Taniguchi and Naoto Iwahashi, Mutual Learning of an Object Concept and Language Model Based on MLDA and NPYLM, 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS’14), 2014, Chicago, IL, USA

Tadahiro Taniguchi, Takayuki Nagai, Tomoaki Nakamura, Naoto Iwahashi, Tetsuya Ogata, and Hideki Asoh, Symbol Emergence in Robotics: A Survey, Advanced Robotics, 30(11-12) pp. 706-728, 2016. DOI:10.1080/01691864.2016.1164622 

クラスタリングは教師なし学習の重要な手法の１つであるが、データに大きな誤差が含まれる場合のクラスタリングについては未開拓な部分が多い。一方、天文学などの自然科学分野で扱われるデータには、観測的制約などの影響で誤差が大きい場合があり、従来のクラスタリング手法をうまく適用できないケースも散見される。この実用上の問題を解決するために、楽観的なクラスタリング手法(optimistic clustering)を導入する。この手法は、クラスタリングが最もうまく行く楽観的な状況を想定し、データの真値を推定しながらクラスタリングを逐次的に改良する手法である。個々のデータの誤差がモンテカルロサンプルで与えられるような状況では、この手法は従来のK-means法やExpectation Maximization法などと組み合わせることも容易である。講演では、銀河天文学における応用例として、軌道角運動量による星のクラスタリングをoptimistic clusteringによって解析した結果を概説する。 

土木環境工学分野は、様々な種類の社会インフラにより形成された都市におけるヒトと生態系の健康を支えるための研究分野である。現象の記述・理解のために物理、化学、および生物分野のモデルが主に用いられてきたが、浄水・汚水処理で採用されるリアクター反応であっても閉鎖系にはなりえず、常に不確実性が大きいことから、統計モデルの適用が必須である。しかしながら、環境分析は煩雑でお金と時間が掛かることが影響し、大抵の場合データサイズが小さく、統計モデル適用に限界が生じる。本講演では、都市下水中新型コロナウイルス濃度をもとにした感染者数予測モデル等の紹介を通じ、土木環境工学分野で適用されている統計モデリングの内容について紹介する。

[1] Kato et al, Food Environ Virol (2013)

[2] Ito et al, Food Environ Virol (2018)

[3] Kadoya et al, Water (2019)

[4] Kadoya et al, Environmental Science: Water Research & Technology (2020)

[5] 大石ら, 土木学会論文集G(環境) (2020)

[6] Kadoya et al, Water Research X (2021)

[7] Zhu et al, Journal of Water and Environment Technology (2021)

ある生物群集が構成種の段階的な侵入で形成されるとき、その形成過程を群集アセンブリーと呼ぶ。こうしたアセンブリー動態の理解は群集生態学の重要な研究テーマの一つである。生態学における理論的なアプローチ（数理生物学）の主要な道具として、微分方程式が使われているが、その解析は基本的には内部平衡点の安定性や分岐を中心とした相空間(Rⁿ)内の動態の理解を目的とする。一方で、群集アセンブリーはnより小さい全ての部分空間にわたる動態である。講演者らはこうした動態の理解にエネルギーランドスケープ解析が利用できることを示した[1]。エネルギーランドスケープ解析は、近年、神経細胞の活動動態の解析でその有効性が示されており[2]、エネルギーランドスケープの「普遍的な」構造ではなく、一つのパラメータセットと結びついた「特定の」構造の解明を目的とする。本講演では、エネルギーランドスケープ解析の一連の道具立てについて解説し、講演者らが行っている拡張の試みについても紹介したい。

[1] Suzuki, K., et al. (2021) Ecological Monographs, 91(3), e01469.

[2] Watanabe, T., et al. (2014) Nature communications, 5(1), 1

世界各地に見られる社会の多様性には目を見張るものがあるが、一方で遠く離れた社会がよく似ていることもあり、その多様性は秩序立ったものである。人間の集団がなす社会を考える以上、個人間の相互作用にはある程度の一般的な形式を期待することができる。となれば、定性的には同一なミクロレベルの相互作用の定量的な違いが、いかなるマクロレベルの性質の違いを生むかという観点から社会の多様性を考えることには意味があるだろう。そこで、本講演では、多数の家族の集合として社会を考え、家族の相互作用の性質と社会構造との関係を調べる。文化人類学で議論されてきた親族構造の問題[1]と、人類学や歴史人口学で議論されてきた家族形態と社会構造の対応の問題[2]に関し、民族誌的な調査を参照して家族レベルの振る舞いをモデル化する。そして、家族間の相互作用を量的に規定するパラメータを変えつつ、家族レベルと社会レベルでともに適応的なものを選択する多階層進化シミュレーションを行うことで、これまで経験的に観察されてきた社会構造がモデル上に実現することを示す。また、生起する構造のパラメータ依存性を調べることで構造の環境要因依存性を説明する相図を与える。最後に、世界中の社会に関する民族誌データベースの統計解析により、モデルの結果を検証する。本講演の親族構造に関する結果は[3,4]、家族形態に関する結果は[5]に基づく。

参考文献：

[1] C. Lévi-Strauss. “The elementary structures of kinship.” 1969.

[2] E. Todd. “The Explanation of Ideology: Family Structures and Social Systems.” 1985.

[3] K. Itao and K. Kaneko. “Evolution of kinship structures driven by marriage tie and competition.” PNAS 2020.

[4] K. Itao and K. Kaneko. “Emergence of Kinship Structures and Descent Systems: Multi-level Evolutionary Simulation and Empirical Data Analyses.” arXiv 2021.

[5] K. Itao and K. Kaneko. “Evolution of family systems and resultant socio-economic structures.” arXiv 2020.

宇宙大規模構造は、銀河の空間分布が群れ集まって形成する泡状の構造です。宇宙大規模構造にまつわる宇宙研究の最近の進展を、広く浅く紹介します。

その後、私たちの最近の研究テーマである宇宙大規模構造の重力進化を時間反転させて、宇宙の始まりに迫る研究について報告します。 

プレスリリース

https://www.ism.ac.jp/ura/press/ISM2021-01.html

論文

https://arxiv.org/abs/2010.04567

地震が日々起きている日本において、地震活動の特徴を理解したり、活動の推移を把握したりする、地震活動評価の研究は、地震防災・減災に役立つ可能性がある。この分野の研究を支える重要な手法は、統計科学的手法であり、例えば、地震の連鎖をモデル化したETASは好例である。また、地下での力のかかり具合に注目した、b値と呼ばれる統計手法の応用は、今後検討すべき課題である。本講演では、演者が最近取り組んでいる研究を中心に、統計科学的手法を用いて地震活動を評価する研究を紹介する。

参考文献

[1] Nanjo, K.Z. Were changes in stress state responsible for the 2019

Ridgecrest, California, earthquakes?. Nat Commun 11, 3082 (2020).

[2] Nanjo, K.Z., Yoshida, A. A b map implying the first eastern rupture

of the Nankai Trough earthquakes. Nat Commun 9, 1117 (2018).

安定性選択法とは、適当なスパース推定量の統計性をブートストラップ法によって評価し、変数が非ゼロとなる確率に注目して変数選択を行う手法である[1]。推定量の統計性を考慮した手法になっているため、偽陽性の個数に対するバウンドが与えられ、また実データに対しても安定的に動作するといった利点を持っている。ここで、ブートストラップ法とは推定量の統計的なばらつきを、データを生成する真の分布の代わりに、手元のデータが表す経験分布を用いて近似評価する計算機統計学の手法である[2]。経験分布からのサンプリングは計算機によって容易に実行可能なので、実際にサンプリングと推定を繰り返し実行することで、ほぼ任意の推定量の統計性を数値評価できる。一方で、推定を繰り返すことに伴って計算量は増加するうえ、経験分布を用いた評価の実際的な有用性を理論的に調べることが難しいといった困難がある。特に変数選択の問題では推定量がデータに非線形に依存するため、解析的な手段を用いてこれらの困難を解決することは極めて非自明な問題である。この困難に対し、Malzahnらは統計物理学のレプリカ法を用いたアプローチを提案しているが[3]、これまでにその路線での研究はあまりなされてこなかった。

　本講演では、安定性選択法を用いた変数選択とその困難、およびレプリカ法を用いたアプローチを紹介する。その後、講演者らによって行われた安定性選択法に対する解析の結果を紹介する[4]。特に、レプリカ法と近似推論を組み合わせることで推定の繰り返しを伴わない推論法が構築できること、および平均場模型に対して２重にレプリカ法を行うことでブートストラップに関する統計性を定量的に特徴付けられることを紹介する。

[1] Nicolai Meinshausen and Peter Bühlmann, Stability selection, Journal of the Royal Statistical Society: Series B (Statistical Methodology) 72 (2010), no. 4,417–473.

[2] Bradley Efron and Robert J Tibshirani, An introduction to the bootstrap, CRC press, 1994.

[3] Dörthe Malzahn and Manfred Opper, An approximate analytical approach to resampling averages, Journal of Machine Learning Research 4 (2003), no. Dec, 1151–1173.

[4] Takashi Takahashi and Yoshiyuki Kabashima, Semi-analytic approximate stability selection for correlated data in generalized linear models, Journal of Statistical Mechanics: Theory and Experiment 2020 (2020), no. 9, 093402.

タンパク質の機能と関わる構造ダイナミクスを理解するために、構造の計時変化を詳しく観測することは重要である。構造ダイナミクスを「直接」観測する手法として1分子計測は非常に強力であるが、一般に得られる構造の解像度が低いという弱点がある。一方で全原子モデルを用いた分子動力学シミュレーションでは、原子レベルの機能ダイナミクスを観察することができるが、現象によってはモデルパラメータが不正確で正しくないという弱点がある。 そこで我々は、統計数理の手法を応用することで、1分子計測・シミュレーション双方のデータを相補的に組み合わせて同化・統合し、高解像度な機能ダイナミクスを調べる手法を開発・応用してきた[1]。講演の前半ではこれまでに行った1分子FRET計測データへの応用研究[2]を紹介し、後半では現在行っている高速原子間力顕微鏡データに対する途中結果を紹介する。 

[1] Y. Matsunaga and Y. Sugita, Curr. Opin. Struct. Biol.61, 153-159 (2020)

[2] Y. Matsunaga and Y. Sugita, eLife 7, e32668 (2018) 

免疫細胞や細胞性粘菌などのアメーバ細胞は細胞形状を自発的・継続的に変形させ、栄養の取り込みや遊走運動を行う。本講演では、フェイズフィールド法を用いた細胞変形動態のモデル解析を紹介する。まず一細胞が示す三次元的な細胞形状の変形であるマクロピノサイトーシスの数理モデル解析を紹介する[1,2]。また、深層学習から抽出した特徴量を元に数理モデルと実験データの比較を行った事例[3]や、多細胞動態のモデリングについても紹介する予定である。

[1] Saito and Sawai, "Three-dimensional morphodynamics simulations of macropinocytic cups." iScience (2021): 103087.

[2] Honda, Saito, Fujimori, Hashimura, Nakamura, Nakajima, Sawai "Micro-topographical guidance of macropinocytic signaling patches." Proceedings of the National Academy of Sciences 118.50 (2021).

[3] Imoto, Saito, Nakajima, Honda, Ishida, Sugita, Ishihara, Katagiri, Okimura, Iwadate, Sawai "Comparative mapping of crawling-cell morphodynamics in deep learning-based feature space" PLOS Computational Biology 17(8): e1009237 (2021)

いわゆるゲノム科学を主たる対象とするバイオインフォマティクスでは変数の数が遺伝子数に対しサンプル数が患者数であるいわゆるlarge p small n問題になることが必然的に運命づけられている。また、ゲノム科学の場合には変数選択の安定性が求められ、したがって、正則化項を付与する方法はあまり推奨されないなど他分野とは異なった制限もある。本質的な解決はそもそも無理なのでエンピリカルだが、非常にうまく行く方法として、今は流行らない頻度論的なアプローチであるタイトルの様な方法を提案してこの１０年程やってきたので[1]その成果と応用を講演する。昨年発表したカーネル化による非線形効果の考慮[2]も時間があれば説明したい。

 [1] Y-h. Taguchi, Unsupervised Feature Extraction Applied to Bioinformatics -A PCA Based and TD Based Approach- Springer (2020) https://rd.springer.com/book/10.1007/978-3-030-22456-1

 [2] Y-h. Taguchi, Turki Turki, Mathematical formulation and application of kernel tensor decomposition based unsupervised feature extraction, Knowledge-Based Systems, vol. 217, (2021), 106834, https://doi.org/10.1016/j.knosys.2021.106834.

機械学習やデータマイニングは，与信，採用，保険などの重要な決定に使われるようになってきた．公平性配慮型機械学習は，これらの決定を，人種や性別などのセンシティブ情報に対して公平性を担保した上で行う技術である．公平性に関わる事例を紹介したのち，機械学習で用いられる形式的公平性規準を紹介する．そのあとは，公平性配慮型データマイニングの各種タスクの紹介と，いくつかの代表的手法を紹介する． 

過去のスライド：　https://www.kamishima.net/archive/faml.pdf

AI学会の解説： https://doi.org/10.11517/jjsai.34.2_196 

生命現象をダイナミクスとして考えるとそれは高次元空間上の運動であるが、実験・観測データは様々な技術上の制約から低次元であることが多く、次元が縮約・粗視化された力学系としての理解が求められることが多い。しかし、生体系のダイナミクスは不均一で階層性があるので、それを粗視化する一般論を構築することは非常に難しい。またそもそも細胞のダイナミクスのように基礎的な方程式が分からない場合もある。そこでわれわれは機械学習（人工知能）のいくつかのアプローチを使って、生体系ダイナミクスから集団座標を抜き出すことを試みている。

一つの手法は多様体学習の一つである拡散マップ(diffusion map)であり、それをタンパク質ダイナミクスに適用することで、ミニタンパク質シニョリンの原子のデカルト座標から構造変化に関わる二面角の動きを抜き出すことができた [1]。またデータサイエンスの現場においては、ニューラルネットワークの手法の一つである自己符号化器(autoencoder, AE）が次元削減のために用いられることが多いが、それを時間軸方向に拡張した時間遅れのある自己符号化器(time-lagged AE)を細胞ダイナミクスのシミュレーションデータ[2]に適用し、その結果をどのように解釈するかについての議論を行う[3]。

[1] H. Fujisaki, K. Moritsugu, A. Mitsutake, H. Suetani, J. Chem. Phys. 149, 134112 (2018).

[2] K. Odagiri, H. Fujisaki, AIP Conference Proceedings 2343, 020017 (2021).

[3] H. Fujisaki, K. Odagiri, H. Suetani, H. Takada, R. Ogawa,

59th Annual Meeting of the Biophysical Society of Japan @Tohoku Univ. (Zoom Conference)

Progressively applying Gaussian noise transforms complex data distributions to approximately Gaussian. Reversing this dynamic defines a generative model. When the forward noising process is given by a Stochastic Differential Equation (SDE), Song et al. (2021) demonstrate how the time inhomogeneous drift of the associated reverse-time inhomogeneous Langevin-type SDE may be estimated using score-matching. 

A limitation of this approach is that the forward-time SDE must be run for a sufficiently long time for the final distribution to be approximately Gaussian. In contrast, solving the Schrödinger Bridge problem (SB), i.e.an entropy-regularized optimal transport problem on path spaces, yields diffusions which generate samples from the data distribution in finite time. 

We present Diffusion SB (DSB), an original approximation of the Iterative Proportional Fitting procedure to solve the SB problem, and provide theoretical analysis along with generative modeling experiments. In particular, we will explain why these diffusions can "mix" even in extremly high-dimensional spaces.

[This is joint work with Valentin de Bortoli, James Thornton & Jeremy

Heng - https://arxiv.org/abs/2106.01357]

　結合写像格子（Coupled Map Lattice、CML）は、時間、空間が離散的で、状態が連続的な力学系であり、空間に広がった動的で複雑な系の振る舞いを、手続き（非線形写像）を用いて構成するためのモデルクラスとして知られています[1]。私はこれまで、食物連鎖、天体形成、食感設計の3つのテーマに対するCMLを提案し、応用研究を行ってきました[2-6]。CMLは、現象の再現に必要不可欠な一連なりの手続きを探り出す、手続き還元的なモデル構成を通して、対象の振る舞いを驚くほど鮮やかにシミュレーションします。さらに、その高速計算が可能とする広範囲のパラメータ探索により、対象に潜む、それまで見たことも無いような振る舞いを発見（予言）することもできます。発表では、3つのCML研究それぞれにおいて、私が体験してきた既知現象の再現と、それに基づく新現象の発見についてご紹介させていただきたいと思います。

　食物連鎖のCMLでは、離散世代の3種生物個体群からなる系において、各種の個体群密度が順に増減する、従来のヘテロクリニックサイクル的な振る舞いの再現に加え、全種の個体群密度が高い値を平均的に維持しながら多様に変化する、相利共生的な振る舞いの出現を新たに発見しました[2]。

　天体形成のCMLでは、長距離相互作用するガスとダストからなる系において、銀河や原始惑星系円盤が持つような渦状腕の再現に成功すると共に、渦状腕同士の交差による星の形成を新たに発見しました[3-5]。

　食感設計のCMLでは、力学的な撹拌により多様な食感を示す生クリームの系を対象に、バターへと至る調理過程（転相過程）のシミュレーションを行い、高低の撹拌温度において、気泡性、粘性の変化が実験や製菓の経験則と一致する、2つの異なる転相過程の再現に成功しました。そして、2つの過程に基づいて、温度履歴をその内部に反映した新食感食品の設計に挑戦しました[6]。

[1] 金子邦彦, 津田一郎, "複雑系双書1 複雑系のカオス的シナリオ", 朝倉書店 (1996).

[2] 野澤恵理花, "食物連鎖の結合写像格子における相利共生とそのリアプノフスペクトラム", 日本物理学会2020年秋季大会, 8aL1-4, オンライン, 2020年9月.

[3] 野澤恵理花, 出口哲生, "天体形成の結合写像格子における渦状腕の形成と降着ガスの渋滞", 交通流と自己駆動粒子系シンポジウム論文集 23 (2017) 41-44.

[4] E. Nozawa, "Coupled map lattice for the spiral pattern formation in astronomical objects", Physica D 405 (2020) 132377.

[5] E. Nozawa, "Jammed Keplerian gas leads to the formation and disappearance of spiral arms in a coupled map lattice for astronomical objects", arXiv:2109.00458 [nlin.CD] (2021).

[6] 野澤恵理花, "転相現象の結合写像格子シミュレータ：食感の物理的記述を目指して", アグリバイオ 5 (6) (2021) 67-70.