Other Publications and Talks 

Survey Articles, Books, Research Reports

• 1. 二反田篤史．深層学習の基礎．深層学習からマルチモーダル情報処理へ，12ー72，サイエンス社，2022年11月．(著者: 中山英樹，二反田篤史，田村晃裕，井上中順，牛久祥孝)

  2. 二反田篤史．機械学習と学習理論．理論計算機科学事典，392ー413，朝倉書店，2022年．(編集: 徳山豪，小林直樹)

  3. 二反田篤史．確率的最適化法の収束解析．第32回RAMPシンポジウム論文集，2020年．

  4. 二反田篤史．ニューラルネットワークの最適化理論．オペレーションズ・リサーチ， 65(12):643ー649, 2020．

  5. 二反田篤史．確率的勾配降下法とニューラルネットワーク．数理科学「統計的思考法のすすめ」, 58 (9):22ー28, サイエンス社，2020年9月 ．

  6. 鈴木大慈，二反田篤史，村田智也．機械学習問題における確率的最適化技法．オペレーションズ・リサーチ，64 (6):360—367, 2019.

  7. 鈴木大慈，二反田篤史，村田智也．構造のある機械学習問題における最適化技法．第29回RAMPシンポジウム論文集，2017年

  8. Atsushi Nitanda and Taiji Suzuki. A stochastic optimization method and generalization bounds for voting classifiers by continuous density functions, 信学技報, 116(500), 63--69, 2017. 

  9. Atsushi Nitanda and Taiji Suzuki. Stochastic Particle Gradient Descent for the Infinite Majority Vote Classifier. IEICE technical report, 116(300), 235—241, 2016．

  10.  Hiroshi Yamashita, Hiroshi Yabe and, Atsushi Nitanda. A globally and superlinearly convergent trust-region SQP method without a penalty function for nonlinearly constrained optimization.  統計数理研究所共同研究リポート 306 「最適化：モデリングとアルゴリズム 25」,  306:75—104, 2013．

  11. 二反田篤史，白川達也，山下浩．オンラインアルゴリズムを用いた大規模機械学習，日本計算機統計学会シンポジウム論文集，26(0):123—126, 2012.

Talks, Presentations

• 1. Atsushi Nitanda. Mean-field Optimization and its Application. RIKEN AIP & A*STAR-CFAR Joint Workshop on Machine Learning and Artificial Intelligence, A*STAR CFAR (Singapore), June 25th, 2024.

  2. Atsushi Nitanda. Primal and Dual Analysis of Mean-field Models. RIKEN-AIP & PRAIRIE Joint Workshop on Machine Learning and Artificial Intelligence, RIKEN AIP (Tokyo, Japan), March 20-21st, 2023.

  3. Atsushi Nitanda. Optimization Theory of Neural Networks under Mean-field Regime. Workshop on Optimization and Machine Learning, Fraunhofer IIS (Forschungscampus, Germany), March 13-14th, 2023.

  4. Atsushi Nitanda. Primal and Dual Analysis of Mean-field Models. EPFL-CIS & RIKEN AIP Joint Workshop on Machine Learning, EPFL (Lausanne, Switzerland), March 9-10th, 2023.

  5. Atsushi Nitanda. Parameter Averaging for SGD Stabilizes the Implicit Bias towards Flat Regions. First A*STAR CFAR - RIKEN AIP Joint Workshop on AI and Machine Learning,  Singapore, December 16th, 2022.

  6. Taiji Suzuki, Atsushi Nitanda, Denny Wu, and Kazusato Oko. Convergence of mean field gradient Langevin dynamics for optimizing two-layer neural networks. 15th International Conference of the ERCIM WG on Computational and Methodological Statistics (CMStatistics 2022), King's College London (London, UK), December 18th, 2022.

  7. Atsushi Nitanda, Denny Wu, and Taiji Suzuki. Convex Analysis of the Mean Field Langevin Dynamics. Conference on the Mathematical Theory of Deep Neural Networks (DeepMath), San Diego, CA, USA, November 17th, 2022. (selected to 20mins talks)

  8. 菊池竜平，前田修吾，二反田篤史．平均化確率的勾配降下法による平坦性を指向する帰納バイアスの強化．情報論的学習理論ワークショップ (IBIS)，つくば国際会議場（つくば），2022年11月22日.

  9. 橋本悠香，園田翔，石川勲，二反田篤史，鈴木大慈．Koopman作用素を用いたニューラルネットワーク解析．情報論的学習理論ワークショップ (IBIS)，つくば国際会議場（つくば），2022年11月21日.

  10. 二反田篤史．ニューラルネットワークの平均場解析．第46回IBISML研究会，ハイブリッド - 琉球大学50周年記念館（沖縄），沖縄，2022年6月27日．

  11. 大古一聡，鈴木大慈，二反田篤史, Denny Wu. Particle Stochastic Dual Coordinate Ascent: Exponential Convergent Algorithm for Mean Field Neural Network Optimization．情報論的学習理論ワークショップ (IBIS)，オンライン，2021年11月10日.

  12. 二反田篤史，大古一聡，Denny Wu，鈴木大慈．平均場ニューラルネットワークの効率的最適化法．統計関連学会連合大会，オンライン，2021年9月8日.

  13. 二反田篤史．平均場ニューラルネットワークの収束率保証付き最適化．日本応用数理学会年会，オンライン，2021年9月8日.

  14. Atsushi Nitanda and Taiji Suzuki. Fast learning rates of averaged stochastic gradient descent for over-parameterized neural networks. The 4th International Conference on Econometrics and Statistics (EcoSta), online, June 25th, 2021.

  15. Taiji Suzuki, Atsushi Nitanda, and Kazuma Tsuji. Optimality and superiority of deep learning for estimating functions in variants of Besov spaces. The 4th International Conference on Econometrics and Statistics (EcoSta), online, June 25th, 2021.

  16. 二反田篤史．二層ニューラルネットワークの最適化理論．第2回若手数学者交流会，オンライン，2021年3月13日．（ポスター発表）

  17. Shun-ichi Amari, Jimmy Ba, Roger Grosse, Xuechen Li, Atsushi Nitanda, Taiji Suzuki, Denny Wu, and Ji Xu. When Does Preconditioning Help or Hurt Generalization?. The 12th OPT Workshop on Optimization for Machine Learning. December 11th, 2020. (student paper award)

  18. 森雄人，二反田篤史，武田朗子．二段階最適化によるモデル抽出攻撃に対する防御．情報論的学習理論ワークショップ (IBIS)，オンライン，2020年11月25日. （優秀プレゼンテーション賞ファイナリスト）

  19. 二反田篤史，Denny Wu,  鈴木大慈．粒子双対平均化法：平均場ニューラルネットワークの大域的収束保証付最適化法．情報論的学習理論ワークショップ (IBIS)，オンライン，2020年11月24日. 

  20. 二反田篤史，鈴木大慈．確率的勾配降下法のNTK理論による最適収束率．統計関連学会連合大会，オンライン，2020年9月12日.

  21. 二反田篤史．識別問題に対する高次元二層ニューラルネットの大域収束性と汎化性能解析．情報系 WINTER FESTA Episode 5．一橋講堂（東京），2019年12月26日．

  22. 二反田篤史，鈴木大慈．高次元二層ニューラルネットに対する勾配降下法による識別誤差の大域収束性と汎化性能解析．情報論的学習理論ワークショップ (IBIS)，ウインクあいち（愛知），2019年11月21日. 

  23. 原聡，二反田篤史，前原貴憲．SGDの挙動解析に基づくデータクレンジング．情報論的学習理論ワークショップ (IBIS)，ウインクあいち（愛知），2019年11月21日.（ベストプレゼンテーション賞）

  24. 八嶋晋吾，二反田篤史，鈴木大慈．Random Featureを用いた確率的勾配法の期待識別誤差の収束解析．情報論的学習理論ワークショップ (IBIS)，ウインクあいち（愛知），2019年11月20日．（学生優秀プレゼンテーション賞ファイナリスト）

  25. 八嶋晋吾，二反田篤史，鈴木大慈．カーネル法におけるrandom featureを用いた確率的勾配法の期待識別誤差の線形収束性．統計関連学会連合大会，滋賀大学（彦根），2019年9月12日.

  26. 二反田篤史，鈴木大慈．識別問題に対する高次元二層ニューラルネットの勾配法による汎化性能解析．統計関連学会連合大会，滋賀大学（彦根），2019年9月11日.

  27. 二反田篤史，鈴木大慈．識別問題に対する高次元ニューラルネットの勾配降下法の大域収束性と汎化性能解析．日本応用数理学会年会，東京大学（駒場），2019年9月5日.

  28. Atsushi Nitanda, Taiji Suzuki. Exponential convergence of stochastic gradient descent for binary classification problems. The Conference of Data Science, Statistics & Visualisation (DSSV), Doshisha University, August 13, 2019. 

  29. 二反田篤史，鈴木大慈．強低ノイズ条件下識別問題に対する確率的勾配降下法の線形収束性．情報論的学習理論ワークショップ (IBIS)，かでる2.7，2018年11月6日． 

  30. 二反田篤史，鈴木大慈．確率的勾配降下法による期待識別誤差の線形収束性．統計関連学会連合大会，中央大学，2018年9月13日． 

  31. 二反田篤史，鈴木大慈．関数微分法による深層ニューラルネットワークの構築．情報論的学習理論ワークショップ (IBIS)，東京大学，2017年11月10日． 

  32. 二反田篤史，鈴木大慈．輸送写像による確率測度の最適化とその応用．統計関連学会連合大会，南山大学，2017年9月6日． 

  33. Atsushi Nitanda, Taiji Suzuki. A stochastic optimization method and generalization bounds for voting classifiers by continuous density functions.  情報論的学習理論と機械学習研究会 (IBISML) ，東京工業大学，2017年3月7日． 

  34. Atsushi Nitanda, Taiji Suzuki. Stochastic Particle Gradient Descent for the Infinite Majority Vote Classifier. 情報論的学習理論ワークショップ (IBIS)，京都大学，2016年11月17日． 

  35. 二反田篤史，鈴木大慈．確率的DCアルゴリズムと深層ボルツマンマシン学習への応用．統計関連学会連合大会，金沢大学，2016年9月6日． 

  36.  二反田篤史，山下浩，矢部博．ペナルティ関数を利用しないSQP法について．研究集会「最適化：モデリングとアルゴリズム25」，政策研究大学院大学， 2013年3月15日．

  37. 二反田篤史，白川達也，山下浩．オンラインアルゴリズムを用いた大規模機械学習．日本計算機統計学会 第26回シンポジウム，東京大学，2012年11月2日． 

  38. Tomohito Okamura, Kenji Tsuzaki, Kohei Harada, Atsushi Nitanda, Takahito Tanabe, Kaoru Kawamoto, Toshihiro Nitta, Naoki Shimada, Keisuke Kawata, and Tomokazu Ueda. Automatic Scheduling System of LNG Storage Operations using Mathematical Programming. Informs annual meeting, Phoenix, October 17th, 2012.

  39. 津崎賢治，河本薫，岡村智仁，上田智一，河田啓介，田辺隆人，原田耕平，二反田篤史，新田利博，島田直樹．LNG基地におけるタンクオペレーション計画導出支援システム．日本オペレーションズ・リサーチ学会 2012年春季研究発表会，防衛大学校，2012年3月27日． 

  40. 二反田篤史．The Growth of the Nevanlinna Proximity Function．多変数関数論冬セミナー，熊本大学，2008年12月26日.

Talks (Invited)

• 1. Atsushi Nitanda. Improved Particle Approximation Error for Mean Field Neural Networks. Learning and Optimization in Luminy (LOL2024),  CIRM (Luminy), June 18th, 2024.

  2. Atsushi Nitanda. Convex Analysis of Mean-Field Optimization. Deep Learning: Theory, Applications, and Implications (DL2024), Tokyo, March 20th, 2024.

  3. Atsushi Nitanda, Denny Wu, and Taiji Suzuki. Convergence theory for mean-field optimization methods. Minisymposium: Recent advances on non-convex optimization in inverse problems, imaging and machine learning. International Council for Industrial and Applied Mathematics (ICIAM), Waseda (Tokyo), August 23rd, 2023.

  4. Atsushi Nitanda. Optimisation Theory of Neural Networks and Implicit Bias Towards Flat Minima. CFAR Rising Star Lecture Series, Online, February 8th, 2023.

  5. Atsushi Nitanda. Convex Analysis of the Mean Field Langevin Dynamics. Workshop on Functional Inference and Machine Intelligence, Online, March 30th, 2022.

  6. 二反田篤史．平均場ニューラルネットワークの最適化法．日本オペレーションズ・リサーチ学会九州支部 2021年度第1回講演会・研究会，オンライン開催，2021年7月24日．

  7. 二反田篤史．確率的最適化法の収束解析．第32回RAMP数理最適化シンポジウム (RAMP 2020)，オンライン開催，2020年10月 27日．

  8. 二反田篤史．学習アルゴリズムの大域収束性と帰納的バイアス．情報論的学習理論ワークショップ (IBIS)，ウインクあいち（愛知），2019年11月22日. 

  9. 二反田篤史．高次元ニューラルネットに対する勾配法の大域収束性と汎化性能解析．日本オペレーションズ・リサーチ学会 研究部会 最適化とその応用 (OPTA) ，中央大学（後楽園），2019年9月7日．

  10. Atsushi Nitanda. Stochastic Gradient Descent with Exponential Convergence Rates for Classification Problems. Summer School 2019 on Transfer Learning, Neuburg am Inn, Passau, Germany, June 5th, 2019.

  11. 二反田篤史，鈴木大慈．残差ネットワークの種々の数理的側面について．次世代の科学技術を支える数値解析学の基盤整備と応用展開，RIMS共同研究(特別招待講演)，京都大学，2018年11月15日．

  12. 二反田篤史．ResNet型勾配ブースティング法の収束解析．統計・機械学習若手シンポジウム，一橋講堂，2018年8月12日．

  13. 鈴木大慈，二反田篤史，村田智也．構造のある機械学習問題における最適化技法．第29回RAMPシンポジウム，筑波大学，2017年10月12日． 

Others

1. Atsushi Nitanda. Efficient optimization methods for two-layer neural networks in mean-field regime. CREST-Deep meeting, online, December 14th, 2021.

2. 二反田篤史．平均場ニューラルネットワークの効率的最適化．AI数理セミナー，オンライン，2021年11月16日．

3. Atsushi Nitanda. Optimization for two-layer neural networks with quantitative global convergence analysis. AIP Open Seminar, online, April 7th, 2021.

4. Atsushi Nitanda. Optimization of neural networks in function spaces. CREST-Deep meeting, online, August 11th, 2020.

5. 二反田篤史．強低ノイズ条件下識別問題に対する確率的勾配降下法の線形収束性．基盤(S) 離散構造処理系プロジェクト 短期滞在セミナー週間 (SSSW)，北海道大学，2019年3月12日．

6. 二反田篤史．機械学習分野における最適化研究の進展．NeurIPS読み会2018，オムロン京都センタービル，2019年1月12日．

7. 二反田篤史．輸送写像による確率測度の最適化とその応用．グラフマイニング&WEB&AIセミナー，国立情報学研究所，2017年6月22日.

Patents

• 1. 津崎賢治，河本薫，岡村智仁，谷博雅，上田智一，橋本伸昭，河田啓介，田辺隆人，原田耕平，二反田篤史，新田利博. 貯蔵タンク運用計画導出システム及び方法. 特許5809520, 2015年9月18日．

Lectures

• 1. 確率的最適化理論 (Stochastic Optimization Theory)，九州工業大学 (大学院講義)，2022 2023．

  2. 機械学習 (Machine Learning)，九州工業大学 (学部講義)，2022, 2023．

  3. 機械学習概論 (Introduction to Machine Learning)，東京大学エクステンション株式会社 データサイエンススクール，2019, 2020．

  4. 機械学習 (Machine Learning)，東京大学エクステンション株式会社 データサイエンススクール，2019, 2020, 2023.