田中 秀宣

Group Leader, NTT Research at Harvard University

理論物理学, 機械学習, 脳神経科学

email: hidenori_tanaka [at] fas.harvard.edu, [twitter]

ニュース:

2023年3月: 論文がICML 2023にアクセプトされました。

2023年1月: 論文がICLR 2023にアクセプトされました。

2022年11月: CMSA Colloquium, Harvard Universityで講演します。

2022年9月: Harvard ML Foundations Seminarで講演します。

2022年6月: Fatih Dincさん (スタンフォード大学), Max Aaltoさん (コロンビア大学), Ekdeep Singh Lubanaさん (ミシガン大学), Ziyin Liuさん (東京大学)をインターンに迎えました。

2022年3月: ハーバード大学 脳科学センターにアソシエイトメンバーとして着任しました。

2022年1月: Neural Network Groupはハーバード大学 脳科学センターと共同研究契約を結びました。

2021年10月: Gautam Reddyさん (ハーバード大学)を迎えました。

2021年9月: 2本の論文がNeurIPS 2021にアクセプトされました。

2021年4月: Ekdeep Singh Lubanaさん (ミシガン大学) と Daniel Kuninさん (スタンフォード大学) をインターンに迎えました。

2021年1月: 論文がICLR 2021にアクセプトされました。

2020年9月: 論文がNeurIPS 2020にアクセプトされました。

2019年9月: 論文がNeurIPS 2019にアクセプトされました。


略歴:

2022年3月   - 現在: アソシエイトメンバー, ハーバード大学 脳科学センター

2019年12月 - 現在: グループリーダー, NTT Physics & Informatics Laboratories, USA. 

2019年12月 - : スタンフォード大学 客員研究員

2018年6月 - 2019年12月: スタンフォード大学 博士研究員 (Profs. Surya Ganguli & Daniel Fisher)

2014年9月 - 2018年4月: ハーバード大学 博士号 (Ph.D.) 修得 (Profs. David Nelson & Michael Brenner)

2014年4 - 7月: 東京大学 物理工学科 修士課程 (中退)

2014年3月: 京都大学 理学部 物理 卒業 (川上 則雄先生、前野 悦輝先生)

2010年3月: 東京学芸大学附属高校 卒業


インターン生:



受賞歴・フェローシップ等:

Selected Publications:

Science of Deep Learning

E.S. Lubana, E.J. Bigelow, R.P. Dick, D. Krueger, H. Tanaka

"Mechanistic Mode Connectivity"

ICML (International Conference on Machine Learning) (2023) [pdf]


L. Ziyin, E.S. Lubana, M. Ueda, H. Tanaka

"What shapes the loss landscape of self-supervised learning?"

ICLR (International Conference on Learning Representations) (2023) [pdf]


E.S. Lubana, R.P. Dick, H. Tanaka

"Beyond BatchNorm: Towards a Unified Understanding of Normalization in Deep Learning"

NeurIPS (Advances in Neural Information Processing Systems) (2021) [pdf] [tweet-print]


D. Kunin*, J. Sagastuy-Brena, S. Ganguli, D.L.K. Yamins, H. Tanaka*

"Neural Mechanics: Symmetry and Broken Conservation Laws in Deep Learning Dynamics"

ICLR (International Conference on Learning Representations) (2021) [pdf] [tweet-print] [StanfordAI Blog]


H. Tanaka, D. Kunin

"Noether’s Learning Dynamics: Role of Symmetry Breaking in Neural Networks"

NeurIPS (Advances in Neural Information Processing Systems) (2021) [pdf] [tweet-print]


H. Tanaka*, D. Kunin*, D. Yaimns, S. Ganguli

"Pruning neural networks without any data by iteratively conserving synaptic flow"

NeurIPS (Advances in Neural Information Processing Systems) (2020) [pdf] [tweet-print]


Theoretical Neuroscience and Biophysics

N. Maheswaranathan*, L.T. McIntosh*, H. Tanaka* (co-first author), S. Grant*, D.B. Kastner, J.B. Melander, A. Nayebi, L. Brezovec, J. Wang, S. Ganguli, S.A. Baccus

"Interpreting the retinal neural code for natural scenes: from computations to neurons"

Neuron, in press, (2023)


H. Tanaka, A. Nayebi, N. Maheswaranathan, L. McIntosh, S.A. Baccus, S. Ganguli

"From deep learning to mechanistic understanding in neuroscience: the structure of retinal prediction"

NeurIPS (Advances in Neural Information Processing Systems) (2019) [pdf]


G. Reddy, L. Desban, H. Tanaka, J. Roussel, O. Mirat, C. Wyart (2022) [pdf]

"A lexical approach for identifying behavioural action sequences"

PLoS Computational Biology


H. Tanaka, D.R. Nelson

"Non-Hermitian quasi-localization and ring attractor neural networks"

Physical Review E, selected for the Editors' Suggestion (2018) [pdf] 


H. Tanaka, H.A. Stone, D.R. Nelson

"Spatial gene drives and pushed genetic waves"

PNAS (Proceedings of the National Academy of Sciences) (2017) [pdf]


H. Tanaka, A.A. Lee, M.P. Brenner 

"Hot particles attract in a cold bath"

Physical Review Fluids (2017) [pdf]


H. Tanaka, Z. Zeravcic, M.P. Brenner

“Mutation at expanding front of self-replicating colloidal clusters”

Physical Review Letters, selected for the Editors' Suggestion (2016) [pdf]