Black-Box Optimization for Science
Black-Box Optimization for Science
野村 将寛 / Masahiro Nomura
主にBlack-Box最適化とその応用について研究をしています.特に,CMA-ESというBlack-Box最適化手法について研究しています.先日,筑波大学 秋本先生とCMA-ESについての書籍を出版しました.
研究を通じて,世の中をより良くできればと考えています.その実現に向けて,自分に何ができるのかを日々模索しています.特に,AI for Scienceに関連するBlack-Box最適化の工学・物理・化学分野への応用に関心があります.
学内外ならびに企業の研究者との共同研究を積極的に推進しています.研究に関するディスカッションなども大歓迎です.ぜひお気軽にご連絡ください.
連絡先:
所属:
東京科学大学 情報理工学院 情報工学系 助教
住所:
神奈川県横浜市緑区長津田町4259
メールアドレス:
nomura [at] comp.isct.ac.jp
研究領域
Black-Box最適化
Black-Box最適化は目的関数の数式が明示的に得られない場合に強力な最適化の枠組みです.例えば日常生活において料理をする際に,私たちはそれぞれの具材・調味料の量を‘‘いい感じ’’に調整して料理をします.これを統計的に優れた方法で調整することは可能でしょうか?Black-Box最適化は,最適化対象の指標についてそのような明示的 (解析的) な数式が得られないような場合にも,‘‘入力 (解) ’’と‘‘出力 (目的関数値) ’’の関係性を活用することで,優れた解を素早く効率的に提案します.
CMA-ES (共分散行列適応進化戦略; Covariance Matrix Adaptation Evolution Strategy)
CMA-ESはBlack-Box最適化において最も強力な手法の一つです.CMA-ESは多変量正規分布のパラメータである平均ベクトルと共分散行列を適応的に更新することで,有望な領域に集中してサンプルを生成します.さらなる実用上の利便性向上のため,我々はCMA-ESのハイパーパラメータの自動適応手法や,連続変数に加えて整数変数・カテゴリカル変数を同時に対処する方法などの研究を進めています.
野村将寛, 秋本洋平: CMA-ESによるブラックボックス最適化, 技術評論社.
Masahiro Nomura, Youhei Akimoto, Isao Ono: CMA-ES with Learning Rate Adaptation: Can CMA-ES with Default Population Size Solve Multimodal and Noisy Problems?, GECCO 2023. (Best Paper Nomination at ENUM Track)
(Extended Journal Version) Masahiro Nomura, Youhei Akimoto, Isao Ono: CMA-ES with Learning Rate Adaptation, ACM Transactions on Evolutionary Learning and Optimization, 2025.
Ryoki Hamano, Masahiro Nomura, Shota Saito, Kento Uchida, Shinichi Shirakawa: CatCMA with Margin: Stochastic Optimization for Continuous, Integer, and Categorical Variables, GECCO 2025. (Best Paper Nomination at ENUM Track)
Masahiro Nomura*, Shuhei Watanabe*, Youhei Akimoto, Yoshihiko Ozaki, Masaki Onishi : Warm Starting CMA-ES for Hyperparameter Optimization, AAAI 2021.
ベイズ最適化
一般に,CMA-ESは目的関数値の計算コストが比較的低い場合を想定しています.それでは,一度の評価に時間がかかる (例えば,一度の目的関数値の計算の数時間以上) 場合にはどうすればいいでしょうか?そのような計算コストの大きな問題に対しては,ベイズ最適化が有効です.
人間が解の評価を行う場合には,絶対的な数値による評価よりも,「AとBどちらの解が良いか」という比較によるフィードバックの方が評価者にとって適切な場合があります.このような‘‘選好最適化 (Preferential Optimization)’’も,近年注目されている研究分野の一つです.また,実用上よく現れる設定として,最適化対象の目的関数が複数存在する場合の ‘‘多目的最適化 (Multiobjective Optimization)’’ についても研究を進めています.
Shion Takeno, Masahiro Nomura, Masayuki Karasuyama: Towards Practical Preferential Bayesian Optimization with Skew Gaussian Processes, ICML 2023.
Yoshihiko Ozaki, Yuki Tanigaki, Shuhei Watanabe, Masahiro Nomura, Masaki Onishi: Multiobjective Tree-Structured Parzen Estimator, JAIR 2022.
シンボリック回帰
Black-Box最適化の研究に加え,機械学習における重要分野であるシンボリック回帰の研究も進めています.
機械学習 (教師あり学習) においては,入力 (x) と出力 (y) の関係性を学習することが目的となります.深層学習のような方法を用いることで高精度な予測が可能になる一方で,学習により得られたモデルの解釈が困難なため,新たな施策を考える等の意思決定への活用には不向きな場合があります.シンボリック回帰では,xとyの関係性を"数式" (例えばy = sin(x)等) として明示的に学習します.これにより,直感的な解釈が可能なモデルを得ることができます.我々は,より良い意思決定のための多様性を考慮した手法の研究や,シンボリック回帰手法により得られたモデルの汎化性能に関する理論解析も進めています.
Masahiro Nomura, Ryoki Hamano, Isao Ono: On the Generalization Bounds of Symbolic Regression with Genetic Programming, PPSN 2026.
Koki Ikeda, Masahiro Nomura, Ryoki Hamano: Diversified Residual Symbolic Regression, GECCO 2026.
プロフィール:
2015年名古屋工業大学工学部卒業,2017年東京工業大学大学院総合理工学研究科知能システム科学専攻修了,同年株式会社サイバーエージェント入社.2025年東京科学大学情報理工学院博士後期課程修了.博士(工学).同年4月より東京科学大学情報理工学院助教.主な研究分野はCMA-ESをはじめとするブラックボックス最適化や機械学習におけるハイパーパラメータ最適化であり,進化計算に基づくアルゴリズムの設計と応用に従事.近年の研究成果はAAAI,CIKM,GECCO,ICML,IJCAI,WebConfといった主要国際会議で発表されており,GECCO 2022,2023,2025,2026ではBest Paper Awardにノミネートされている.