研究内容

計算意思決定科学（＝動的シミュレーション×逐次的意思決定による見える化）の研究に取り組んでいます．
最近は，具体的な応用課題として鉄鋼分野向けのプロセス設計や自動制御について考えています．

SEEDs ネタ：

• 計算意思決定科学の要素技術，およびその活用法に関する基盤研究

•  FY2026~2029注力課題：プロセスパラメータの違いによる Sim2Real ギャップを考慮したロバスト強化学習法の構築

• エージェントにより学習された意思決定モデルを解析・検証する方法論の構築

NEEDs ネタ：

• • FY2026~2027注力課題：電炉製鋼の安定運用へ向けた強化学習による動的最適化法の開発 

計算意思決定科学の応用対象は工学の分野にとどまらず，社会科学，経済学，経営学，教育学などの分野にも応用可能だと考えております．鉄鋼分野への応用に限らず，配属された学生さんが持ち込んだテーマで，「動的シミュレーション×逐次的意思決定」の使い方を一緒に探っていくこともあります．

計算意思決定科学では，最終的にやりたいことに応じて，

1. どうやって現実世界のモノやコトを数理モデリングするか？

   • 運動方程式，回路方程式，反応速度論，状態方程式など

2. どの逐次的意思決定の問題として定式化するか？

   • マルコフ決定過程，セミマルコフ決定過程，多目的マルコフ決定過程など

3. どの学習アルゴリズムを使って意思決定モデルを構築するか？

   • 方策最適化，価値ベース強化学習，方策ベース強化学習，世界モデルなど

4. どうやって意思決定モデルを解析・検証するか？

   • 方策蒸留，形式検証，感度分析など

を考える必要があります．

📉動的シミュレーションとは？

時々刻々と変化するモノやコトを数理モデルで表現し，その時間変化を計算機上で再現することを指します．シミュレーション開始時に対象の初期状態を設定し，外部から与えられる制御入力や介入，外乱を考慮しながら，数理モデルに基づいて状態の変化を時間方向に逐次計算します．これにより，ある制御入力や介入を加えた場合，あるいは外乱が生じた場合に，対象の状態が時間とともにどのように変化していくかを計算機上で再現・予測することができます．

数理モデルの形式としては，差分方程式，常微分方程式，微分代数方程式，偏微分方程式，確率微分方程式，離散事象モデルなどが挙げられ，機械，化学，電力，交通，生体，経済など，さまざまな分野において対象の挙動を表現する数理モデルが提案されています．さらに近年では，生成AIを活用して，数理モデルの整理や数式からのプログラム実装，既存モデルの修正・拡張などを支援する試みも進んでいます（京大加藤先生の解説を参照）．そのため，従来は専門的な知識や多くの実装作業を必要としていた動的シミュレーションの構築についても，その敷居は徐々に低くなっていく可能性があります．一方で，構築したモデルが実際の対象を適切に表現しているかを確認するモデル検証や，パラメータの同定などは依然として重要です．

👾 逐次的意思決定とは？

一度きりで意思決定を完了するのではなく，周囲の環境の状況変化や新しい情報の取得に応じて，継続的に意思決定を繰り返す問題を指します．現在の行動が将来の状況に与える影響も考慮し，目先の報酬（もしくは損失）のみを考えるのではなく，将来にわたる累積報酬（もしくは累積損失）が高く（低く）なるように行動を選択することを目的とします．このような問題を扱う代表的な枠組み・手法として，最適制御や強化学習などがあります．特に，池本は強化学習に興味を持っております．

「動的シミュレーション×逐次的意思決定」の実社会応用方法の例が以下の解説記事にまとめられています．

窪澤，池本，"シミュレーションとAIによる社会・産業インフラのオペレーション最適化，" 計測と制御，第64巻，第3号，pp. 169-174. https://www.jstage.jst.go.jp/article/sicejl/64/3/64_169/_article/-char/ja/