連絡先:

所属:

• 東京科学大学 情報理工学院 情報工学系 助教

住所:

• 神奈川県横浜市緑区長津田町4259

メールアドレス:

• nomura [at] comp.isct.ac.jp

研究紹介: Black-Box最適化とその応用

Black-Box最適化は目的関数の数式が明示的に得られない場合に強力な最適化の枠組みです．例えば日常生活において料理をする際に，私たちはそれぞれの具材・調味料の量を‘‘いい感じ’’に調整して料理をします．これを統計的に優れた方法で調整することは可能でしょうか？Black-Box最適化は，最適化対象の指標についてそのような明示的な(解析的な)数式が得られないような場合にも，‘‘入力 (解)’’と‘‘出力 (目的関数値)’’の関係性を活用することで，優れた解を素早く効率的に提案します．

CMA-ES (Covariance Matrix Adaptation Evolution Strategy)

CMA-ESはBlack-Box最適化において最も強力な手法の一つです．特に，目的関数値の計算がそこまで大変ではない場合 (最低数百回の評価が可能な場合) に，高精度な最適化が可能です (評価回数が厳しく制限されている場合にはベイズ最適化が有効です)．CMA-ESは多変量正規分布のパラメータである平均ベクトルと共分散行列を適応的に更新することで，有望な領域に集中してサンプルを生成します．さらなる実用上の利便性向上のため，学習率の自動適応手法や，連続変数に加えて整数変数・カテゴリカル変数を同時に対処する方法などを開発しています．

• 野村将寛, 秋本洋平: CMA-ESによるブラックボックス最適化, 技術評論社．

• Masahiro Nomura, Youhei Akimoto, Isao Ono: CMA-ES with Learning Rate Adaptation: Can CMA-ES with Default Population Size Solve Multimodal and Noisy Problems?, GECCO 2023.  (Best Paper Nomination at ENUM Track)

  • (Extended Journal Version) Masahiro Nomura, Youhei Akimoto, Isao Ono: CMA-ES with Learning Rate Adaptation, ACM Transactions on Evolutionary Learning and Optimization, 2025.

• Ryoki Hamano, Masahiro Nomura, Shota Saito, Kento Uchida, Shinichi Shirakawa: CatCMA with Margin: Stochastic Optimization for Continuous, Integer, and Categorical Variables, GECCO 2025. (Best Paper Nomination at ENUM Track)

ハイパーパラメータ最適化

機械学習モデルには，学習の前に設定すべきパラメータであるハイパーパラメータが存在します．例えば深層学習であれば，学習率，レイヤー数，ユニット数などの多数の設定が必要です．これらのハイパーパラメータを自動で最適化する枠組みに，ハイパーパラメータ最適化があります．機械学習モデルの学習は一般に計算コストが高いため，より効率的な最適化手法の開発が求められています．

• Masahiro Nomura*, Yuta Saito*: Efficient Hyperparameter Optimization under Multi-Source Covariate Shift, CIKM 2021.

• Masahiro Nomura*, Shuhei Watanabe*, Youhei Akimoto, Yoshihiko Ozaki, Masaki Onishi : Warm Starting CMA-ES for Hyperparameter Optimization, AAAI 2021.

ベイズ最適化

CMA-ESは目的関数値の計算コストが比較的低い場合を想定しています．それでは，一度の評価に数時間，あるいはそれ以上の時間がかかる (目的関数の評価回数が数十回程度) 場合にはどうすればいいでしょうか？そのような計算コストの大きな問題に対しては，ベイズ最適化が有効です．人間が解の評価を行う場合には，絶対的な数値による評価よりも，「AとBどちらの解が良いか」という比較によるフィードバックの方が評価者にとって適切な場合があります．このような‘‘選好最適化 (Preferential Optimization)’’も，近年注目されている研究分野の一つです．また，最適化対象の目的関数が複数存在する場合の‘‘多目的最適化 (Multiobjective Optimization)’’も，実用上よく現れます．

• Shion Takeno, Masahiro Nomura, Masayuki Karasuyama: Towards Practical Preferential Bayesian Optimization with Skew Gaussian Processes, ICML 2023.

• Yoshihiko Ozaki, Yuki Tanigaki, Shuhei Watanabe, Masahiro Nomura, Masaki Onishi: Multiobjective Tree-Structured Parzen Estimator, JAIR 2022.

プロフィール:

2015年名古屋工業大学工学部卒業，2017年東京工業大学大学院総合理工学研究科知能システム科学専攻修了，同年株式会社サイバーエージェント入社．2025年東京科学大学情報理工学院博士後期課程修了．博士（工学）．同年4月より東京科学大学情報理工学院助教．主な研究分野はCMA-ESをはじめとするブラックボックス最適化や機械学習におけるハイパーパラメータ最適化であり，進化計算に基づくアルゴリズムの設計と応用に従事．近年の研究成果はAAAI，CIKM，GECCO，ICML，IJCAI，WebConfといった主要国際会議で発表されており，GECCO 2022，2023，2025，2026ではBest Paper Awardにノミネートされている．