論文解説

A.Sannai, M.Imaizumi, "Improved Generalization Bound for Permutation Invariant Neural Networks" (arXiv 2019)

置換不変な性質を持つ深層学習について、その高い性能を数学的に解析した論文です。

置換不変な深層学習は、点群や画像セットなどのデータを交換しても性質が変化しないデータについて、高い性能を出すことが経験的に知られています。

本研究は、そのような深層学習の性質を数学的に解析し、その誤差率（汎化誤差）が置換不変でない場合に比べて、置換要素の数の階乗分だけ改善することを示しました。

置換要素の数は、一般的な点群のデータにおいては1,000程度あり、その階乗分の誤差の改善は、非常に大きな理論的誤差の改善になることが期待されます。

原稿 / 共著者：三内研究員（理研）

R.Nakada, M.Imaizumi, "Adaptive Approximation and Estimation by Deep Neural Network with Intrinsic Dimensionality" (arXiv 2019)

「深層学習は他手法よりなぜ高い性能を発揮するのか？」という問いを、統計学を用いて理論的に分析した論文です。

深層学習は、回帰（教師あり学習）という問題のフレームワークで、データを生成する未知関数を推定します。近年、深層学習は他の回帰手法（カーネル法など）より高い性能を出すことが経験的に示されてきましたが、その理論的な原理は不明でした。

本研究は、データが"低い固有次元" を持っている時、深層学習が理論的な最適性を持つことと、それが他の手法よりも広い状況で達成できることを示しました（右図）。

データが低い固有次元を持つことは機械学習の界隈ではよく知られており、より実用に近い設定での理論になっています。また技術的な工夫として、固有次元を測るためのMinkowski次元の導入と、それに適用するための多層ニューラルネットワークの構成法を行なっています。

原稿 / 共著者：中田さん（東大）

M.Imaizumi, K.Fukumizu. "Deep Neural Networks Learn Non-Smooth Functions Effectively" (AISTATS 2019)

「深層学習は他手法よりなぜ高い性能を発揮するのか？」という問いを、統計学を用いて理論的に分析した論文です。

深層学習は、回帰（教師あり学習）という問題のフレームワークで、データを生成する未知関数を推定します。近年、深層学習は他の回帰手法（カーネル法など）より高い性能を出すことが経験的に示されてきましたが、その理論的な原理は不明でした。

本研究は、データを生成する未知関数が"区分上でのみ滑らかな性質"（例：右図）を持っている時、深層学習が理論的な最適性を持ち、他の主な手法の幾つかに優越することを数学的に示しました。

深層学習が優越する状況が明らかになった事により、最適なネットワークの構成法や、代替手法の提案など、実用手法の開発につなげていくことが見込まれます。

原稿 / スライド / 共著者：福水教授（統数研）

M.Imaizumi, K.Kato. "PCA-based estimation for functional linear regression with functional responses" (JMVA 2018)

関数データの回帰問題の理論的解析を行った論文です。関数データとは、連続な関数の形で与えられるデータの形式で、センサーによる動作検知やファイナンスといった高頻度時系列の分野などで登場します。

本研究は、入出力が共に関数データになる線形な回帰問題について、その回帰関数（作用素）の推定法を提案しました。また、その理論評価を考え、その性能が理論的な最適性を持つことを示しました。また、関数データ自体および回帰関数の滑らかさの程度が、性能に大きな影響をもたらすことを明らかにしました。

理論的な性能が明らかになったことで、関数データによる回帰の検定や信頼性解析を開発することが可能になりました。

原稿 / 共著者：加藤准教授（東大）

M.Imaizumi, K.Kato. "A simple method to construct confidence bands in functional linear regression" (Statistica Sinica 2019)

関数データ回帰の信頼解析手法を開発した論文です。ここでは、関数データを入力とし、実数を出力する線形回帰の問題を考えました。例えば物質の非破壊検査で、スペクトルから物質の性質を解析する際などに用いられます。

本研究は、その回帰関数（汎関数）のパラメータについて、信頼区間（バンド）を導出する手法を開発しました。回帰関数のパラメータ自体も関数であり構成が難しいため、条件を緩和した信頼バンドの構成法を応用することで、その構成を可能にしました。

本研究は、Imaizumi & Kato (2017) で導出した理論的な結果を元に構成されています。

原稿 / 著者：加藤准教授（東大）

M.Imaizumi, K.Hayashi. "Tensor Decomposition with Smoothness" (ICML 2017)

テンソルデータの分解問題について、データの滑らかさ（連続性）という性質を用いて、分解の精度を向上させた研究です。

テンソルデータとは多次元配列で表現されるデータ構造を指し、医療用の立体画像や、ITシステムで用いられる関係性などを表現するデータ構造です。テンソルデータは膨大な数の要素を含んでいるため、その解析には統計的・計算機的な問題が多く発生します。

本研究は、画像や時系列を表現するテンソルデータに現れる要素の連続的な構造を捉え、効率的な分解方法を提案しました。その連続性を滑らかな関数の離散化として解釈することで、基底関数を用いた表現を応用しました。

テンソルデータの連続構造が抽出できたことで、精度の向上が可能になっただけでなく、既存法ではできなかった欠損補完などが可能になりました（右図）。学習のコールドスタート問題などへの応用が期待されます。

原稿 / 共著者：林博士（産総研）

M.Imaizumi, T.Maehara, K.Hayashi. "On Tensor Train Rank Minimization: Statistical Efficiency and Scalable Algorithm" (NIPS 2017)

高次テンソルデータの欠損値補完をする際に、計算時間が指数的に増加する問題を回避した論文です。

テンソルデータ（多次元配列）の補完問題では、テンソル分解手法を用いることが一般的ですが、テンソルデータの次数が増加すると、計算に必要な時間やメモリが指数的に増加し、実質的に計算が不可能になることが知られていました。

本研究は、テンソルトレイン分解というテンソルデータの表現方法を応用し、指数的な計算コストが不要な欠損値補完手法を開発しました。技術的には交互最適化および乱択射影を用いた正則化を導入し、また誤差評価を導出しました。

高次テンソルデータを分解できる数少ない手法であるため、高次マルコフ連鎖や多変量の多重検定といった複雑な統計解析への応用が期待されます。

原稿 / 共著：前原博士（理研）、林博士（産総研）

M.Imaizumi, K.Hayashi. "Doubly Decomposing Nonparametric Tensor Regression" (ICML 2016)

テンソルデータの回帰問題について、その高次元性から来る精度の低下を回避した研究です。

ノンパラメトリックな回帰問題では、入力の次元に応じて回帰関数の複雑さ（次元）が上昇するため、高次元であるテンソルデータを入力とするとその複雑性から精度が低下することが知られています。

本研究は、AMNRモデルという関数の分解手法を開発することで、複雑性を調整できる回帰問題の推定量を提案し、それが精度を改善することを理論的・実験的に示しました（右図）。AMNRモデルは関数のテンソル積による分解を用い、推定量にはガウス過程事前分布によるベイズ推定量を考えました。

高次元入力を持つ関数の推定問題は幅広く登場するため、AMNRモデルによる複雑性の調整は、類似した多くの問題に応用することが可能です。

原稿 / スライド / 共著：林博士（産総研）