計算意思決定科学(=動的シミュレーション×逐次的意思決定)の研究に取り組んでいます.
📉動的シミュレーションとは?
時々刻々と変化するモノやコトを数理モデルで表現し,その時間変化を計算機上で再現することを指します.シミュレーション開始時に対象の初期状態を設定し,外部から与えられる制御入力や介入,外乱を考慮しながら,数理モデルに基づいて状態の変化を時間方向に逐次計算します.これにより,ある制御入力や介入を加えた場合,あるいは外乱が生じた場合に,対象の状態が時間とともにどのように変化していくかを計算機上で再現・予測することができます.
数理モデルの形式としては,差分方程式,常微分方程式,微分代数方程式,偏微分方程式,確率微分方程式,離散事象モデルなどが挙げられ,機械,化学,電力,交通,生体,経済など,さまざまな分野において対象の挙動を表現する数理モデルが提案されています.さらに近年では,生成AIを活用して,数理モデルの整理や数式からのプログラム実装,既存モデルの修正・拡張などを支援する試みも進んでいます.そのため,従来は専門的な知識や多くの実装作業を必要としていた動的シミュレーションの構築についても,その敷居は徐々に低くなっていく可能性があります.
👾 逐次的意思決定とは?
一度きりで意思決定を完了するのではなく,周囲の環境の状況変化や新しい情報の取得に応じて,継続的に意思決定を繰り返す問題を指します.現在の行動が将来の状況に与える影響も考慮し,目先の報酬(もしくは損失)のみを考えるのではなく,将来にわたる累積報酬(もしくは累積損失)が高く(低く)なるように行動を選択することを目的とします.このような問題を扱う代表的な枠組み・手法として,最適制御や強化学習などがあります.
やりたいことに応じて,
どうやって現実世界のモノやコトを数理モデリングするか?
運動方程式,回路方程式,反応速度論,状態方程式など
どの逐次的意思決定の問題として定式化するか?
マルコフ決定過程,セミマルコフ決定過程,多目的マルコフ決定過程など
どの学習アルゴリズムを使って意思決定モデルを構築するか?
方策最適化,価値ベース強化学習,方策ベース強化学習,世界モデルなど
どうやって意思決定モデルを解析・検証するか?
方策蒸留,形式検証,感度分析など
を考えていきます.
「動的シミュレーション×逐次的意思決定」の実社会応用方法の例が以下の解説記事にまとめられています.
窪澤,池本,"シミュレーションとAIによる社会・産業インフラのオペレーション最適化," 計測と制御,第64巻,第3号,pp. 169-174. https://www.jstage.jst.go.jp/article/sicejl/64/3/64_169/_article/-char/ja/
現状の具体的テーマ
組織を束ねる逐次的意思決定の基礎研究
社会厚生強化学習の基礎理論研究
電炉製鋼の安定運用へ向けた強化学習法の開発(プロセス制御への応用)
Sim2Real やモデルエラーへの対処
電炉製鋼プロセスの定式化法と適切なアルゴリズム開発