過去のセミナー (2020年度)

Sensitivity and robustness appear to be contrasting concepts. However, natural proteins are robust enough to tolerate random mutations, meanwhile be susceptible enough to sense environmental signals, exhibiting both high functional sensitivity(i.e., plasticity) and mutational robustness. To uncovering how these two aspects are compatible, a general framework is established to analyze the dynamics of protein systems under both external and internal perturbations. We introduce fluctuation entropy for the functional sensitivity and the spectrum entropy for the mutational robustness. The compatibility of sensitivity and robustness is analyzed by the optimization of two entropies, which leads to the power-law vibration spectrum of proteins. These power-law behaviors are confirmed extensively by protein structural data, as a hallmark of criticality. Besides, based on protein structural ensembles determined by nuclear magnetic resonance (NMR), we study the position fluctuations of residues by calculating distance-dependent correlations and conducting finite-size scaling analysis. The fluctuations exhibit high susceptibility and long-range correlations up to the protein sizes. The scaling relations between the correlations or susceptibility and protein sizes resemble those in other physical and biological systems near their critical points. Moreover, the dependence of functional sensitivity and mutational robustness on the protein size suggests a general evolutionary constraint for proteins with different chain lengths. This framework can also establish a general link of the criticality with robustness-plasticity compatibility, both of which are ubiquitous features in biological systems.

References

1. Qian-Yuan Tang, Kunihiko Kaneko. Long-range correlation in protein dynamics: Confirmation by structural data and normal mode analysis. PLoS Computational Biology, 16(2), e1007670 (2020).

2. Qian-Yuan Tang, Testsuhiro S. Hatakeyama, Kunihiko Kaneko, Functional Sensitivity and Mutational Robustness of Proteins, Physical Review Research, 2, 033452 (2020).

3. Qian-Yuan Tang, Yang-Yang Zhang, Jun Wang, Wei Wang, and Dante R. Chialvo, Critical fluctuations in the native state of proteins, Physical Review Letters, 118, 088102 (2017).

本講演では、力学系時系列データを学習した深層ニューラルネットワーク（DNN）から、解釈可能な物理則を抽出する手法を提案する[1]。 物理学は科学者の物理的洞察力によって大きく発展してきたが、アクティブマタや磁性体の磁区構造といった複雑な秩序構造を持つ系で洞察力を働かせることは時に困難である。これに対して、深層学習を始めとした複雑な高次元データをモデル化できる機械学習を用いた物理モデル構築手法の開発が近年活発に研究されている[1]。我々は、複雑なデータの内挿的モデル構築を得意とする機械学習と、物理的洞察によって大胆な理論の外挿を実現できる科学者の協業を実現することが重要と考え、これに繋がり得る手法を開発した。具体的には、物理データを学習したDNNから解釈可能な物理情報を抽出し科学者に提供することを目標として、有限自由度古典ハミルトン力学系とみなせる時系列データを学習したDNNから、系の隠れた保存則を推論する新しい手法を開発した。手法は、Noetherの定理と効果的なサンプリング法を元にDNNから力学系の対称性を抽出することで保存則を推論する。手法でDNNに課される前提は、学習に成功したDNNで広く成り立つと考えられている多様体仮説[3,4]のみであるため、手法は広範なDNNモデルに適用可能と考えられる。講演では、安定状態にある生物の集団運動を模擬した時系列データに提案手法を適用した事例等を紹介する。

[1] Interpretable Conservation Law Estimation by Deriving the Symmetries of Dynamics from Trained Deep Neural Networks, Y. Mototake, arXiv:2001.00111.

[2] Hamiltonian neural networks, G. Samuel, M. Dzamba, and J. Yosinski, NeurIPS 2019 (arXiv:1906.01563).

[3] Representation Learning: A Review and New Perspectives, Y. Bengio, C. Aaron, and V. Pascal, IEEE Trans. Pattern Anal. Mach. Intell., 35.8 (2013): 1798-1828.

[4] Efficient representation of low-dimensional manifolds using deep networks, R. Basri and D.W., Jacobs, ICLR 2017 (arXiv:1602.04723). 

タンパク質に代表される生体分子の機能を調べるためには、その構造変化を動的に調べる必要がある。しかし、実験的にも計算的にもそのような過渡的な現象を調べるのは難しい。また統計的な観点からはレアイベントのダイナミクスを調べなければいけないので、それは従来の方法論では困難であり、新しい手法が必要になる。ここでは最近 Daniel Zuckerman らによって推進されている重み付きアンサンブル(weighted ensemble)法を用いて、タンパク質の構造変化の動的なパスや時定数を見積もるわれわれの最近の研究について解説する。重み付きアンサンブル法は大雑把に言うと多数の粒子（レプリカ）とリサンプリングを用いて構造変化の分布の時間変化を追跡する手法である。その際には超並列計算を用いる必要があるが、この手法を使う際の問題点や将来の課題についても議論する予定である。

深層ニューラルネットワーク(DNN)による機械学習は様々な応用で成功しているがそのメカニズムは良くわかっておらず、いまだブラックボックスである。DNNが高い表現力を持つことはそれほど驚くことではないが、しばしばデータ数を遥かに上回る膨大な数のパラーメータを用いた異常なモデリングになるにも関わらず(a)なぜそのような無謀な学習が収束するのか、(b)単なる丸暗記でない意味のある学習になりうる(汎化能力を持つ)のか?」、などの興味深い未解決問題がある[1]。ニューラルネットワークによる学習は、ランダム系の統計力学、特にそこから派生した情報統計力学[2]で、伝統的に重要なテーマであったが「深層」ネットワークは解析困難であった。最近、深層パーセプトロンネットワークについて、この系をレプリカ法で解析する方法を構成した[3]。これはある種の熱力学極限でexactになる。解析の結果、ネットワークの両端、入出力層付近では訓練データの増大とともに許されるパラーメター空間が急速に狭くなるのに対し、ネットワークが十分深ければ中央部に「遊び」が残されることがわかった。この講演では特に、「教師-生徒」機械の設定での学習（ベイズ推定)についての理論解析、またこれを検証するために最近行っている数値シミュレーションの結果を議論する[4]。

[1]  Giuseppe Carleo, Ignacio Cirac, Kyle Cranmer, Laurent Daudet, Maria Schuld, Naftali Tishby, Leslie Vogt-Maranto, and Lenka Zdeborová, "Machine learning and the physical sciences", Rev. Mod. Phys. 91, 045002  (2019)

[2] 「スピングラス理論と情報統計力学」西森 秀稔　(岩波書店)

[3] Hajime Yoshino, “From complex to simple : hierarchical free-energy landscape renormalized in deep neural network”, Hajime Yoshino, SciPostPhys. Core 2, 005 (2020).

[4] Hajime Yoshino,  in preparation.

深層展開[1]は近年注目を集めている深層学習手法の一種である．多数の学習可能なパラメタを備えた深層ニューラルネットワークと異なり，深層展開では既存の反復アルゴリズムをベースとする点が特徴的である．すなわち，深層展開ではベースとなるアルゴリズムの繰り返し構造を展開（アンロール）し，内部のパラメタを訓練データから学習することでアルゴリズムの収束特性を改善させることが可能であり，無線通信や画像処理をはじめとする信号処理分野での応用が進んでいる．本講演では深層展開の基本的な概念や代表的な応用例[2]を述べたあと，最近講演者らが行った深層展開の収束加速現象の理論解析[3]についても紹介したい．

[1] K. Gregor and Y. LeCun, "Learning fast approximations of sparse coding", Proc. 27th Int. Conf. Mach. Learn., pp. 399-406, 2010.

[2] D. Ito, S. Takabe, and T. Wadayama, “Trainable ISTA for Sparse Signal Recovery,” IEEE Trans. Signal Processing, Vol. 67, no. 12, pp. 3113-3125, 2019.

[3] S. Takabe and T. Wadayama, “Convergence Acceleration via Chebyshev Step: Plausible Interpretation of Deep-Unfolded Gradient Descent,” arXiv:2010.13335 

制約なし凸最適化問題とは、R^d 上に与えられた凸関数の最小値を返す点を求める問題であり、その高性能な数値解法は機械学習分野等で必要とされ重要である。今現在も、より高い収束レートを有する安定な数値解法が追及されている。その追及の一つとして、連続時間の非自励力学系をベースにして高い収束レートを実現する力学系をまず考え、次に離散時間の非自励力学系をアルゴリズムとして導出する流派がある。

そこでの大きな未解決問題は、どのように連続時間を離散化するかである。

本研究では１．最適化問題を解くための時間連続の力学系のあるクラスが非自励ハミルトン力学系として記述されることを証明し、２．ハミルトン力学系の構造保存数値解法として知られるシンプレクティック積分法を使って時間離散力学系を構成する。以上の２つにより、高速かつ安定な凸最適化問題の数値解法を与えることを示す。なお本研究は統計数理研究所の日野英逸との共同研究によるものである。 

近年、生体システムなどの非平衡系における熱力学的なトレードオフに注目があつまっている.

特に揺らぎとエントロピー生成などの熱力学的なコストとの間のトレードオフ関係の研究が、熱力学的な不確定性関係という名の下に行われ数多くの研究がなされている.

現在の我々の理解では, この熱力学的な不確定性関係はフィッシャー情報量に関する不等式であるクラメル・ラオ不等式に関連した数理の現れであり，そのためフィッシャー情報量から微分幾何学を導入する情報幾何学の数理の視点を熱力学に導入することでクリアに理解ができると考えている[1,2].

今回は, この発展としてレート方程式上で記述される化学熱力学において, 情報幾何学的な視点を導入する話を行う.　化学熱力学において化学物質の濃度は一般に非負ではあるが規格化がないため確率とみなせず, 一見情報幾何学の数理と相性が良くなさそうに思えるが,　実は正測度空間を考えて情報幾何学を考えることでf-ダイバージェンスなどの情報幾何学量とギブス自由エネルギーなどの熱力学量が対応づき, そこから化学熱力学に情報幾何学を導入することができる[3].

また情報幾何学の導入によってクラメル・ラオ不等式をギブス自由エネルギーの変化速度の制限とみなしたり, 時間と熱力学的なコストの間のトレードオフ関係である熱力学的な速度制限[1]の化学熱力学における拡張が可能なことを今回議論する.

さらに今回の話の実験的な応用として, 実際にラットの腎細胞(NRK-52E cells)内のERK/MAPKシグナル伝達経路に対してFRET蛍光を用いてERKのリン酸化率を定量化することで情報幾何学量を測り、一細胞レベルで熱力学的な速度制限の検証を行った結果[4]についても今回紹介したい.

[1] Sosuke Ito. "Stochastic thermodynamic interpretation of information geometry." Physical review letters 121.3 (2018): 030605.

[2] Sosuke Ito, and Andreas Dechant. "Stochastic time evolution, information geometry, and the Cramér-Rao bound." Physical Review X 10.2 (2020): 021056.

[3] Kohei Yoshimura, and Sosuke Ito. "Information Geometric Inequalities of Chemical Thermodynamics." arXiv preprint arXiv:2005.08444 (2020).

[4] Keita Ashida, Kazuhiro Aoki, and Sosuke Ito. "Experimental evaluation of thermodynamic cost and speed limit in living cells via information geometry." bioRxiv (2020). https://doi.org/10.1101/2020.11.29.403097 

Why deep learning with a huge number of trainable weights is unreasonably effective in practice remains under heated debate. In this talk, we build a data- driven effective model, considering all practical issues of a deep learning. The model reveals a smooth weight landscape, coinciding exactly with recent empirical findings of no substantial barriers between minima in the landscape. A liquid-like central part of the deep architecture with fast dynamics is also revealed. Our model thus provides a fruitful perspective on the high-dimensional geometry underlying the success of deep learning.

Reference: Wenxuan Zou, and Haiping Huang,

Data-driven effective model shows a liquid-like deep learning

arXiv: 2007.08093 (under review). 

データ解析分野で未だに重要な役割を果たすベイズ推定、もしくは最尤推定において、与えるデータサイズが小さくモデルのパラメータを一意に決めることが出来ない場合を考える(ill-posed problem)。これを改善するための技術の一つがRegularization(正則化)である。例えばL2正則化では最大化させる関数にパラメータのL2ノルムを加える（最尤推定）、もしくはパラメータのガウス分布のPriorを尤度関数に掛ける（ベイズ推定）ことを行う。

一般的な古典非平衡多体粒子系を考える。この系で定義される（一つの）一般的な時間平均量の観測値が得られた時、どのような多体粒子間相互作用が一番最適かをこの講演では問う。多体相互作用の自由度は大きく、一つの時間平均量の観測値から多体相互作用を一意に決めることが出来ないのは明らかである。これを一意に決定するために、どのような正則化が自然であるかを議論し提案する。この正則化と大偏差原理の数理に現れる非自明な関係を説明し、それによりポピュレーションダイナミクス法[1]を使い最適化された系をシミュレーション出来ることを説明する。

この提案した正則化をアクティブマターの問題へと適用する。特にWCA相互作用する多体自己推進ブラウン粒子系において粒子間衝突率を観測値として考える。観測値として小さい粒子間衝突率を与えた時、最適化された粒子間相互作用がどのようなダイナミクスを引き起こすかを調べる。元々のモデルの定義において粒子の運動方向を揃える相互作用は無いにも関わらず、最適化されたダイナミクスでは共同運動が生じることを見せる[2]。

[1] C. Giardina, J. Kurchan, and L. Peliti, Phys. Rev. Lett., 96 120603 (2006).

[2] T. Nemoto, E. Fodor, M. E. Cates, R. L. Jack, and J. Tailleur, Phys. Rev. E 99, 022605 (2019).

抗生物質に耐性を持つ病原菌である薬剤耐性菌の出現が世界的な問題となっている。そこで薬剤耐性進化のメカニズムそのものを理解することによって耐性菌の対策ができないかが近年議論されている[1,2]。

進化のメカニズムを議論するにあたって有効な手法の一つとして「進化実験」がある。微生物の進化実験では薬剤を添加した環境で微生物を長期に植え継ぎ、遺伝子への突然変異の蓄積と選択を繰り返すことで進化の過程を実験室で再現することを目指す。しかし、進化実験はその実験的な手間から多くの実験を並列で行うことがこれまで難しかった。そして薬剤耐性が変化する際、細胞内の様々な状態量(4,000以上の遺伝子の発現量変化や配列変化など)が変化するため、どのような変化が薬剤耐性進化に本質的に関わっているかを調べるのが困難であった。

上記の問題を解決するため、私たちは実験自動化ロボットを用いて95の薬剤のもとでの大腸菌の耐性進化を観察できるハイスループットな進化実験系を実現した[3]。また、得られた耐性菌の遺伝子発現量データ、薬剤耐性データに対して Supervised PCA と呼ばれる手法を応用することで、薬剤耐性に関わる少数の遺伝子を明らかにした。そして面白いことに、これらの少数遺伝子で張られる発現量空間での進化株の分布から、耐性菌は高々10数種類の限られた耐性戦略に拘束されていることが示唆された。セミナーでは解析手法と得られた結果について詳しく議論する。また時間があれば、得られた進化拘束の情報をもとにした進化予測の可能性について議論する。

[1] Lässig, Mustonen, Walczak, Nat. Ecol. Evol. 1, 0077 (2017).

[2] Furusawa, Horinouchi, Maeda, Curr. Opin. Biotech. 54, 45 (2018).

[3] Maeda*, Iwasawa* et al, Nat. Comm. 11, 5970 (2020). 

動的モード分解(DMD)[1]は、力学系理論に基づく時系列データのモード分解手法である。DMDにおけるモードは、データの背後にある力学系から定義されるKoopman作用素の固有関数として与えられ、それぞれ振動や減衰などの固有の時間スケールを持つダイナミクスに対応する。従来の手法よりも直接的にダイナミクスを考慮し、モードの物理的意味づけが明確であることがDMDの利点である。本講演では、Koopman作用素の理論を踏まえてDMDを紹介し、さらに、カーネル法、ニューラルネットワークなどによる近年の拡張を紹介する[2,3]。また、Koopman作用素と力学系の縮約理論との密接な関係について議論し、Koopman作用素を利用した縮約モデリング手法を紹介する[4]。

[1] P. J. Schmid, "Dynamic mode decomposition of numerical and experimental data", Journal of Fluid Mechanics 656, 1, pp. 5-28 (2010).

[2] M. O. Williams, I. G. Kevrekidis, C. W. Rowley, "A Data-Driven Approximation of the Koopman Operator: Extending Dynamic Mode Decomposition", Journal of Nonlinear Science 25, pp. 1307-1346 (2015).

[3] N. Takeishi, Y. Kawahara, and T. Yairi, "Learning Koopman invariant subspaces for dynamic mode decomposition", Advances in Neural Information Processing Systems, pp. 1130-1140 (2017).

[4] S. Shirasaka, W. Kurebayashi, and H. Nakao, "Phase-amplitude reduction of transient dynamics far from attractors for limit-cycling systems", Chaos: An Interdisciplinary Journal of Nonlinear Science 27, 2, 023119 (2017).

結晶構造のような周期構造に対するフーリエ基底空間や、熱力学現象のようなランダム現象における圧力や温度といった統計量空間は、それらの重要な情報を保持しつつモデル化する上での基盤を与えた。一方で、材料構造にみられる非周期的な秩序構造を形成する非線形で非平衡なパターン形成現象を扱う適切な座標系は未だに発見されたとは言い難い。近年、本講演で紹介するパーシステントホモロジーを用いた位相的データ解析を用いることで、アモルファスのガラス状態をはじめとした非周期的な秩序構造をが特徴付けられることが報告されている[1]。パーシステントホモロジーとは、穴の数のようなトポロジカルな構造に、その構造の空間スケール等の情報を付加した不変量のことである。我々は、このパーシステントホモロジーから導かれる特徴量を用いることで、非線形・非平衡なパターン形成過程の分析を試みている。講演ではその事例紹介[2,3]を行うとともに、著者が研究を進める中で得た位相的データ解析を使用する際の知見[4]を紹介できればと考えている。

[1] Y. Hiraoka, T. Nakamura, A. Hirata, E. G. Escolar, K. Matsue, and Y. Nishiura, PNAS, 113(26), 7035-7040, 2016.

[2] Y. Mototake, M. Mizumaki, K. Kudo, and K. Fukumizu, 2021. (in prep): https://www.ism.ac.jp/~fukumizu/mototake_TDA.pdf

[3] Y. Mototake, S. Yamanaka, T. Aoyagi, T. Ohnishi, K. Fukumizu, "Topological Data Analysis for microdomain patternsof Block Copolymer", NOLTA, 2020.

[4] 本武陽一，水牧仁一朗，工藤和恵，福水健次, 「位相的データ分析法による材料構造形成過程の分析」, スマートプロセス学会 解説論文, 2021/5. (in press)

詳細釣り合いを満たすシミュレーションの方法では, 系の時間発展演算子の固有関数とその固有値によって，系の緩和モードとその緩和率をそれぞれ定義することができる．緩和モード解析（relaxation mode analysis; RMA）は，計算機シミュレーションで得られた時系列データから，この緩和モードと緩和率を変分法に基づいて数値的に評価する方法である（高野, 2014）．このセミナーでは，RMAの定式化について解説し初期の応用例（Takano and Miyashita, 1995; Hirao et al., 1997）を紹介する．さらに，RMAの方法の最近の発展とその応用例（Natori and Takano, 2017; Karasawa et al., 2019）を紹介する．

1.  Hirao, H., Koseki, S. and Takano, H.（1997）.

Molecular dynamics study of relaxation modes of a single polymer chain,

Journal of the Physical Society of Japan, 66, 3399–3405.

2.  Karasawa, N., Mitsutake, A. and Takano, H.（2019）.

Identification of slow relaxation modes in a protein trimer via positive definite relaxation mode analysis,

The Journal of Chemical Physics, 150, 084413-1-8.

3.  Natori, S. and Takano, H.（2017）.

Two-Step Relaxation Mode Analysis with Multiple Evolution Times: Application to a Single [n]Polycatenane,

Journal of the Physical Society of Japan, 86, 04303–1-4.

4.  Takano, H. and Miyashita, S.（1995）.

Relaxation modes in random spin systems,

Journal of the Physical Society of Japan, 64, 3688–3698.

5.  高野宏（2014）.

生体高分子系の緩和モード解析,

統計数理, 62（2）, 221–241. 

There has been rapidly growing demand of polymeric materials coming from different aspects of modern life because of the highly diverse physical and chemical properties of polymers. Polymer informatics is an interdisciplinary research field of polymer science, computer science, information science and machine learning that serves as a platform to exploit existing polymer data for efficient design of functional polymers. Despite many potential benefits of employing a data-driven approach to polymer design, there has been notable challenges of the development of polymer informatics attributed to the complex hierarchical structures of polymers, such as the lack of open databases and unified structural representation. In this presentation, I introduce and discuss the applications of machine learning, such as Bayesian inference, deep learning and random forest, on different aspects of the polymer design process through real examples of design problems.

高分子は様々な物理的性質，化学的性質を有し，その性質は構成するモノマー分子により異なり，現代生活の様々な場面で高分子材料の需要が急速に高まってきている．ポリマーインフォマティクスは，高分子科学，コンピュータサイエンス，情報科学，機械学習などの学際的な研究分野であり，高分子データベースは機能性高分子の効率的な設計に活用するためのプラットフォームとして機能している．近年，高分子設計にデータ駆動型のアプローチが増えてきているが，利用可能なオープンデータベースが少ないことや統一的な構造表現の欠如していること，高分子が複雑な階層構造を持っていることなど様々な課題がある．本発表では，ポリマーインフォマティクスを用いて高分子設計の実際問題から，ベイズ推定，深層学習，ランダムフォレストなど機械学習の適用を紹介し，議論する． 

1. Wu et al., Potentials and challenges of polymer informatics: exploiting machine learning for polymer design, arXiv:2010.07683, 2020.

2. Wu et al., iQSPR in XenonPy: A Bayesian Molecular Design Algorithm, Molecular Informatics, 39(1-2), 1900107, 2020.

3. Wu et al., Machine-learning-assisted discovery of polymers with high thermal conductivity using a molecular design algorithm, npj Computational Materials, 5(1), 1-11, 2019.