概要：

Gradient Boostingは近年Kaggleなどのコンペティションで注目を集めている分類や回帰問題に対するアルゴリズムの一つである。XGBoost, LightGBM, CatBoostなどが有名ではあるが、それらを土台にして近年はDeepGBMやNGBoostといった新規アルゴリズムの登場、汎化理論解析の進展、モデル解釈性の付与方法の多様化など、理論から応用まで多岐にわたる研究が行われている。本チュートリアルでは、Gradient Boostingに関する近年の研究動向やテクニックを、それらの社会実装までを見据えながら紹介していく。

概要：深層学習の応用が急速に進む一方、その原理を理解すべく理論も盛んに研究が進められている。深層学習の理論は大きく分けて「近似理論」「汎化理論」「最適化理論」に分けられ、関数解析や確率論といった様々な数学的道具を用いて研究が進められている。本チュートリアルでは、これらのトピックに関して統計的学習理論の基礎から二重降下やニューラルタンジェントカーネルといった最近の理論研究の潮流を解説する。特に、深層学習がカーネル法やスパース推定と理論的にどのように関係しているかを解説し、それらの共通点と相違点を統計的学習理論の観点から論じる。それによって深層学習は「なぜ高い予測性能を出すのか」「なぜパラメータ数が巨大にもかかわらず汎化するのか」といった問題に対する理論的解析を与える。