※ここに書いてある所属組織は執筆当時のものです。
B.Chen, S.Ito, M.Imaizumi (2025), "Optimal Dynamic Regret by Transformers for Non-Stationary Reinforcement Learning", Advances in Neural Information Processing Systems, to appear.
陳さん（東大）の卒業論文。陳さんの理解と執筆能力がずば抜けていて、いろいろな技術的な課題をクリアし見事に原稿にまとめあげた。卒論がここに通るなんて弊学科の教育体制は素晴らしい...というわけではなく完全に陳さんの努力と才能。陳さんはその後オックスブリッジの大学院に進学した。このまま世界で羽ばたいてほしい。
M.Sakai, R.Karakida, M.Imaizumi (2025), "Infinite-Width Limit of a Single Attention Layer: Analysis via Tensor Programs", Advances in Neural Information Processing Systems, to appear.
酒井さん（東大）の博士課程の初の論文。酒井さんがTPという複雑な概念を見事に理解し、さらに非自明な貢献まで達成した。統計力学でTransformerを理解するのには本質的な課題があるが、それに挑んで成果を出した良い成果。締切直前で致命的な課題が見つかるなどドラマがあったが、きちんとリカバーしちゃんと着地できてよかった。この後に続く研究が想像できるという意味でも良い研究。
N.Yoshida, S.Nakakita, M.Imaizumi (2025+), "Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution", Transactions on Machine Learning Research, to appear.
吉田さん（東大）の博士課程での最初の論文。PDMPで機械学習の謎に挑むというとても挑戦的な研究。吉田さんの研究の独創性と粘り強さがこの上なく発揮されており、自分の中では「これが博士院生がするべき研究！」という感じ。査読に時間がかかってドキドキしたが採択されてとても良かった。
R.Okano, M.Imaizumi (2025+), "Wasserstein k-Centres Clustering for Distributional Data", Statistics and Computing, to appear.
岡野さん（東京大→一橋大）の博論の最後の一報。岡野さんはもう独り立ちしていて、自分はもう見ているだけという感じだった。最初の博士学生だったので感無量。
J.Leong, M.Imaizumi, H.Innan, N.Irie (2025), "Implications from the analogous relationship between evolutionary and learning processes", BioEssays, to appear.
Jasonさんたちの総研大の統合進化センターの皆様との共同研究。もとはグラントに応募しようという話から転じてレビュー論文を書いた。進化と学習の類似性はずっと興味があるので、今後も色々考えていきたい次第。
M.Nakata, M.Imaizumi (2025), "Landscape Computations for the Edge of Chaos in Nonlinear Dynamical Systems", JSIAM Letters, to appear.
仲田さん（駒澤大）との共同研究。仲田さんとは統数研時代に核融合研との繋がりがあったときに知り合って、以来ずっとお話しさせてもらっている。研究は複雑系と機械学習の接点の最初の一歩という感じ。複雑系はかじってみると結構たのしい。
S.Hayakawa, Y.Takida, M.Imaizumi, H.Wakaki, Y.Mitsufuji (2025), "Distillation of Discrete Diffusion through Dimensional Correlations", PMLR: International Conference on Machine Learning, to appear. arXiv:2410.08709 code
早川さん・瀧田さん（SONY）たちとの共同研究。早川さん達がひたすら賢い手を打っていく様子を眺める研究で、思考力の重要性を常に実感していた。あと拡散モデル研究（ないし生成モデル研究）は実験の負担がすごい。
S.Nakakita, M.Imaizumi (2025), "Benign Overfitting in Time Series Linear Model with Over-Parameterization", Bernoulli, to appear.
仲北さん（東大）との共同研究。仲北さんがうちの研究室に来て初めての投稿論文で、査読に3年くらいかかった。査読者のひとりが情熱的で、査読プロセスを通して自分も勉強させられたと思う。
Y.Norimatsu, M.Imaizumi (2025), "Encode-Decoder-based GAN for Estimating Counterfactual Outcomes under Sequential Selection Bias and Combinatorial Explosion", PMLR: Causal Learning and Reasoning, to appear.
乗松さん（三菱電機）との共同研究。乗松さんの実直さが現れた論文。時系列上の組合せ爆発という面白い問題を扱っている。今回はアプローチは自然なのだが、手法としてももっと拡張の余地はありそう。
G.Braun, M.Quang, M.Imaizumi (2025), "Learning a Single Index Model from Anisotropic Data with Vanilla Stochastic Gradient Descent", PMLR: Artificial Intelligence and Statistics, to appear.
Guillaumeさん（理研）の研究。自分にとっては初めてのCSQ論文だし、理研チームからの初論文かもしれない。Guillaumeさんの数学力が遺憾無く発揮されている。CSQ関連理論の重要な基盤を作ることができた良い論文だと思う。
T.Tsuda, M.Imaizumi (2024), "Benign Overfitting of Non-Sparse High-Dimensional Linear Regression with Correlated Noise", Electronic Journal of Statistics, 18(2). arxiv:2304.04037 paper
津田さん（東大）との共同研究。CGMTを使った初めての論文で、津田さんの計算力に圧倒されつつそれを制御することを頑張った。津田さんはアイビーリーグの博士課程に進まれてグローバルエリートになった。眩しい。
R.Okano, M.Imaizumi (2024), "Distribution-on-Distribution Regression with Wasserstein Metric: Multivariate Gaussian Case", Journal of Multivariate Analysis, 203. arXiv:2307.06137 paper
岡野さん（東大）の研究。最適輸送を使ったアイディアはカッコいいし、論文としてはよく書けている。自分も昔やったテンソルデータ解析のノウハウが活かせて嬉しかった。が、冷静に考えるとあんまり応用が効かない気もする。もう少し最適輸送の根本の部分と紐づけられても良かったかもしれない。SNSで宣伝したら、研究論文としてはちょっとバズった。Wasserstein空間の接平面の図はSNSで映える。
M. Sugimoto, R. Okano, M. Imaizumi (2024) "Augmented Projection Wasserstein Distances: Multi-Dimensional Projection with Neural Surface", Journal of Statistical Planning and Inference, 233. paper
杉本さん（東大）の卒論。アイディアはシンプルだが、結果的に杉本さんがその周辺トピックを理解するのに良いきっかけになった気はする。でも実験は大変だった（杉本さんが頑張った）。
S. Kashiwamura, A. Sakata, M.Imaizumi (2024) "Effect of Weight Quantization on Learning Models by Typical Case Analysis", IEEE International Symposium on Information Theory, to appear. arXiv:2401.17269
柏村さん（東大）と坂田さん（統数研）との共同研究。柏村さんは物理系からやってきているので、自分にとって初めての情報統計力学の研究で、やってるうちにだんだん分かってきた。量子化は実務系の人にとてもウケが良い。発表はギリシャのアテネで、パルテノン神殿を見ながら柏村さんと鈴木先生（阪大）と飲んだビールが美味しかった。
S.Nakakita, P.Alquier, M. Imaizumi (2024), "Dimension-free Bounds for Sum of Dependent Matrices and Operators with Heavy-Tailed Distribution", Electronic Journal of Statistics, 18(1). arXiv:2210.09756 paper
仲北さん（東大）とPierre（理研）との共同研究。Pierreはずっと前から憧れの研究者なので、共同研究でミーハー心が満たされた。ただ自分は従属データ系のトピックであまり直感が働かずにやや難産感があったが、仲北さんはこれ以後これに関連する変分推論の研究をいくつか進めてくれているので、きっかけとして良かったのかもしれない。Pierreが駒場の近くに住んでいるので、駒場の美味しい定食屋に何度も一緒に行けたのも良かった。
Y.Takida, M.Imaizumi, T.Shibata, C.Lai, T.Uesaka, N.Murata, Y.Mitsufuji (2024), "SAN: Inducing Metrizability of GAN with Discriminative Normalized Linear Layer", International Conference on Learning Representations. paper arxiv:2301.12811
瀧田さん（SONY）との共同研究。瀧田さんの多様で多彩な思考力とお付き合いできる良い経験だった。シンプルかつ賢いアイディアで良い性質と高い性能を発揮できる、GANのとても良い研究。性能もGANとしてのSOTAかその次くらいに良いらしい。あと7年早ければもっとバズったかもしれない。
D.Ponnoprat, R.Okano, M.Imaizumi (2024), "Uniform Confidence Band for Optimal Transport Map on One-Dimensional Data", Electronic Journal of Statistics, 18(1). arxiv:2307.09257 paper
Donlaparkさん（CMU）との共同研究。CMUはチェンマイ大学の略。実は数学的には古典的結果に包含されるのだが、Donlaparkさんの各種技術が綺麗すぎて論文になった。日本を訪問したDonlaparkさんを高島屋のタイ料理屋に連れていったら、タイのタイ料理よりずっと美味しいって言われた良い思い出。
A. Okuno, M.Imaizumi (2024), "Minimax Analysis for Inverse Risk in Nonparametric Planer Invertible Regression", Electronic Journal of Statistics, 18(1).arXiv:2112.00213 paper comment
奥野さん（統数研）との共同研究。当時東大にいた手嶋さんのNormalizing Flow研究が面白いのでなんか似たようなことやろうぜってなってこの研究になった。最終的にはミニマックスレートの解析になっているが、内部では奥野さんが数学的に面白いことを色々やっているので、それがもっと表に出るような研究にしても良いと思っている。ミニマックスレートではこの研究の面白さを捉えきれない。
T.Wakayama, M.Imaizumi (2024), "Fast Convergence on Perfect Classification for Functional Data". Statistica Sinica, 34. paper arXiv:2104.02978
若山さん（東大）との共同研究。自分としては面白いネタだと思っていたのだが、査読者的には自明といえば自明だったらしい。指数減衰と多項式減衰の境界が理論と実験で整合していて感動した記憶。SinicaのIFハックのせいで出版年がだいぶ遅い。
R.Okano, M.Imaizumi (2024), "Inference for Projection-Based Wasserstein Distances on Finite Spaces", Statistica Sinica, 34. arXiv:2202.05495 paper.
岡野さん（東大）の修論。初めての指導学生との論文。岡野さんがしっかりしすぎていて、自分は見ているだけだった気がする。何気に線形代数の古の結果を掘り返さないと証明が通らなかったりする。雑誌なのに投稿から採択まで三ヶ月弱だった気がする。でもSinicaはIFハックのために論文を採択してから掲載するまで2年くらい据え置くので、出版年がだいぶ遅くなった。
J.Komiyama, M.Imaizumi (2023), "High-dimensional Contextual Bandit Problem without Sparsity", Advances in Neural Information Processing Systems, 36. arxiv:2306.11017 paper
小宮山さん（NYU）との共同研究。初めてのバンディット論文。高次元統計の応用論文で数学的な新しさは控えめだが、小宮山さんの腕によって綺麗な論文になり、査読で評価されて良かった。小宮山さんはNYの高いステーキを奢ってくれた。最高。
R.Zhang, M.Imaizumi, B.Schölkopf, K.Muandet (2023), "Instrumental Variable Regression via Kernel Maximum Moment Loss". Journal of Causal Inference, 11(1). paper arXiv:2010.07684.
Krimamol（MPI）のグループとの研究。主著のRuiがパワフルで、それを制御するのをKrikamolと頑張った。自分はU統計量の評価などをやって地味に面白かった。Krimamolの書くイントロの綺麗さに感動した記憶がある。天下のBernardはごく稀にMTGに来ては10分くらいで去っていった。アイディアがとても良いのだが、むしろ良すぎたためKrikamolが類似のことを他にたくさんやっており、結果的に新規性の部分で査読で苦労した。ここで因果推論をやったので、それ関連の仕事がこのあと来ている気がする。
M.Kato, M.Imaizumi, K.Minami (2023), "Unified Perspective on Probability Divergence via Maximum Likelihood Density Ratio Estimation: Bridging KL-Divergence and Integral Probability Metrics", PMLR: Artificial Intelligence and Statistics, 20. paper arXiv:2201.13127.
加藤（真）さんの密度比論文。加藤（真）さんが長年やっていたらしいプロジェクトに最後だけ参加して図を書いたりした。
M. Imaizumi, J. Schmidt-Hieber (2023), "On Generalization Bounds for Deep Networks Based on Loss Surface Implicit Regularization", IEEE Transaction on Information Theory, 69(2). arXiv:2201.04545 paper press.
Johannes（Twente大学）との研究。Johannesはとても誠実で、私の趣味のような研究に根気よく付き合ってくれた。なおJohannesのところに滞在すると移動用に自転車を貸してもらえるのだが、オランダの自転車は大きすぎて私が乗ると足が地面につかない。論文としては直感に寄りすぎて、発展や数学的な進展がない。ただ直感的なので一般受けは良く、これを講演で話すのは好き。東大でプレスリリースを出してもらったら、アクセス数が群を抜いていたらしい。
M.Imaizumi (2022), "In Estimating Functions with Singularity on Hypersurfaces and Advantages of Deep Neural Networks", Journal of the Japan Statistical Society, Japanese Issue (Special Topic: The JSS Ogawa Prize Lecture) 52, paper.
日本統計学会での受賞記念論文。締め切りを破ってしまって怒られた。
M.Imaizumi, K.Fukumizu, (2022), "Advantage of Deep Neural Networks for Estimating Functions with Singularity on Hypersurface". Journal of Machine Learning Research, 23(111). arXiv:2011.02256 paper.
以前の深層学習論文の拡張版。結果は分かってるのに厳密化のために一年以上ずっと書いてた気がする。 研究としては非生産的に感じてしまうので会議論文のジャーナル化は先延ばししがち。
M.Imaizumi, H.Ota, T.Hamaguchi (2022), "Hypothesis Test and Confidence Analysis with Wasserstein Distance on General Dimension", Neural Computation, 34(6). arXiv:1910.07773 paper.
初めての最適輸送論文。この後いくつかやった最適輸送研究のきっかけ。でもこの研究は高次元統計を何かに応用したかったときに、Wasserstein距離の双対表現がたまたまその対象だったというだけ。髪を切りに行っていて暇をしている時に思いついた。
M.Kato, M.Imaizumi, K.McAlinn, S.Yasui, H.Kakehi (2022) "Learning Causal Models from Conditional Moment Restrictions by Importance Weighting", International Conference on Learning Representations (spotlight). paper
加藤（真）さん（CA）の論文。加藤（真）さんの密度比パワーはすごい。
K.Takeuchi, M.Imaizumi, S.Kanda, K.Fujii, M.Ishihata, T.Maekawa, K.Yoda, Y.Tabei (2021) "Frechet Kernel for Trajectory Data Analysis", ACM SIGSPATIAL, paper.
竹内さん（NTT）と仲良く共同研究をした。自分はカーネル法のあれこれを話した。
A.Sannai, M.Imaizumi, M.Kawano, (2021), "Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces", PMLR: Uncertainty on Artificial Intelligence 2021. arXiv:1910.06552 paper.
三内さん（慶應）との論文。純粋数学の人と初めて共同研究した。アイディアは良かったが詰めきれなかった感じもある。今ならもっと魅力的な形に仕上げられると思う。地味に評価されてる気がする。三内さんの選ぶ珈琲屋さんのセンスは素敵。
M.Imaizumi (2021), "Analysis on Mechanism of Deep Learning: Perspective of Generalization Error", Journal of the Japan Statistical Society, Japanese Issue (Special Section: Machine Learning and Its Related Fields) 50. paper
日本統計学会誌の特集号の論文。割と読まれているようで嬉しい。
R.Nakada, M.Imaizumi (2020), "Adaptive Approximation and Generalization of Deep Neural Network with Intrinsic Dimensionality", Journal of Machine Learning Research 21(174). paper arXiv:1907.02177 press.
中田さん（東大）との論文。理研日本橋のオープンスペースでいろいろ議論した。自分の目の付け所もある程度は良かったと思うが、何より中田さんが面白いアイディアと証明法を追加でどんどん出してくれて、とても良い論文になったと思う。中田さんとコラボした人はみな口を揃えて "Ryumei is wonderful."という（Ryumeiは中田さんのファーストネーム）。
K.Hayashi, M.Imaizumi, Y,Yoshida (2020), "On Random Subsampling of Gaussian Process Regression: A Graphon-Based Analysis", PMLR: Artificial Intelligence and Statistics 2020. paper arXiv:1901.09541.
吉田（悠）さん（NII）の持ちネタを使いましょう論文。吉田さんのクロージング能力がすごい。吉田さんは当時は定数時間アルゴリズムの人だった気がするが、最近は平均感度の人になっている。武器が多い。
M.Imaizumi, K.Fukumizu (2019). "Deep Neural Networks Learn Non-Smooth Functions Effectively". PMLR: Artificial Intelligence and Statistics 2019. paper arXiv:1802.04474
初めての深層学習論文。統数研の廊下を歩いているときに思いついたので、あの長い廊下には意味があった。自分の研究スタイルをトピック・方法論の両方で確立させる良い経験だったと思う。素人考え・玄人行動みたいなスタイルがハマった良い例。いろいろとウケが良かったのでいろんな場所で話した。リアルに50回くらい。楽しかった。
M.Imaizumi, K.Kato (2019), "A simple method to construct confidence bands in functional linear regression". Statistica Sinica. 29. paper arXiv:1612.07490
初めての統計的推論の論文。加藤（賢）さんになんかもういろいろお世話になった。加藤（賢）さんはセミナーで人をボコボコにしてから手厚くヘルプしてくれるので感情の起伏がすごい。
M.Imaizumi, T.Maehara, Y.Yoshida (2018). "Statistically Efficient Estimation for Non-Smooth Probability Densities". PMLR: Artificial Intelligence and Statistics 2018 (Best Paper Award). paper
グラフ理論（というかグラフォン理論）をノンパラ統計に使ってみた論文。待ち合わせに30分くらい早く着いてラウンジで待っている時に、たまたまそこにいた前原さん（理研）と駄弁っていて思いついた記憶。あんまり応用はないが、深掘れたら面白く発展する理論だと思っている、やってないけど。学会発表はモロッコ沖のカナリア諸島で、ヨーロッパ人にとってのハワイみたいな場所らしく、行くのが大変だったが場所は非常に良かった。
M.Imaizumi, K.Kato (2018). "PCA-based estimation for functional linear regression with functional responses". Journal of Multivariate Analysis 163. paper arXiv:1609.00286
初めての関数データ論文。加藤（賢）さん（東大）に統計研究のイロハを教えてもらった。本当に手取り足取り教えてもらって非常に幸運だった。
M.Imaizumi, T.Maehara, K.Hayashi (2017) "On Tensor Train Rank Minimization: Statistical Efficiency and Scalable Algorithm". Advances in Neural Information and Processing Systems 30. paper arXiv:1708.00132
大艦巨砲趣味が出てしまった論文。この辺りからテンソルデータ解析が綺麗な数学で書けないことで飽き始めた気もする。研究は面白かったが結果にはあまり冒険心を感じなかったので学会発表はほぼしなかったけど、査読受けは良かった。研究人生、割とずっとそんな感じ。
M.Imaizumi, K.Hayashi (2017). "Tensor Decomposition with Smoothness". PMLR: International Conference on Machine Learning 2017. paper
自明なアイディアの論文。林さんも新しさに懐疑的だったし、他の先生にもつまらないアイディアだと言われた。でも論文は綺麗に書けて査読とか通りそうだなって思ったし、学会受けも査読受けもよかった。林さんのおかげ。画像の復元実験で綺麗な画像が出力できた時はフーリエ変換すごいなって思った。
M.Imaizumi, R.Fujimaki (2017). "Factorized Asymptotic Bayesian Policy Search for POMDPs". Proc. of International Joint Conference of Artificial Intelligence. paper
NECでのインターン先で書いて、メンターの藤巻さん（NEC）にめっちゃ直された。締め切り前オフィスで日付変わるまで一緒に頑張って、終わってからはシリコンバレーを車で家まで送ってくれた藤巻さんは優しい。内容は強化学習への応用論文で、FIC・FABの手計算を頑張った努力賞的論文。
M.Imaizumi, K.Hayashi (2016). "Doubly Decomposing Nonparametric Tensor Regression". PMLR: International Conference on Machine Learning 2016. paper arXiv:1506.05967
最初の論文。林さん（NII）に論文のイロハを教わった。アイディアは林さんとの最初の1時間ミーティングで出た記憶。当時勉強していたベイズ事後分布の測度集中理論を使えて楽しかった。