Kevin Xu
Ph.D. Student at the University of Tokyo, advised by Prof. Issei Sato, Apr. 2024 - Present
Theoretical Analysis, Algorithm-Hardware Co-Design for DNN
Ph.D. Student at the University of Tokyo, advised by Prof. Issei Sato, Apr. 2024 - Present
Theoretical Analysis, Algorithm-Hardware Co-Design for DNN
博士課程では、Transformerの能力や計算の仕組みを理論的に解き明かすことに取り組んできました。特に、同じネットワークを繰り返し適用するLooped Transformerにいち早く着目し、近似能力の分析と各ループにタイムステップの情報を与える設計(ICML 2025)や、Chain-of-Thought(CoT)との比較を通じた計算能力の解析を行いました(ICML 2026)。
その後、理論から得た知見を実際の計算基盤に役立て、産業界にも貢献したいという思いから、LLM推論の効率化に取り組み始めました。特に、メモリ内計算(in-memory computing)という新しい計算方式に対して、モデルの特性に合わせて演算の手法を設計することで、LLM推論の高速化を実現しました(arXiv 2026)。
現在は、VLA(Vision-Language-Action)モデルやDiffusion PolicyなどのPhysical AIにも関心を持っています。ハードウェアとアルゴリズムの協調設計に加え、実社会で役立つ推論システムや、オープンソースソフトウェアの開発に取り組みたいと考えています。
Kevin Xu, Tatsuya Kubo, Daichi Tokuda, Shinya Takamaeda-Yamazaki, and Issei Sato, “Accelerating LLM Decoding with In-DRAM Parallelism” (preprint) 📄
Kevin Xu and Issei Sato, “A Formal Comparison Between Chain of Thought and Latent Thought” (ICML 2026) 📄 🛠️
Kevin Xu and Issei Sato, “On Expressive Power of Looped Transformers: Theoretical Analysis and Enhancement via Timestep Encoding” (ICML 2025) 📄 🛠️
Part-time Research Engineer at Preferred Networks, Japan, Feb. 2024 - Sep. 2026
Ph.D. in Computer Science, The University of Tokyo, Apr. 2024 – Present
M.S., The University of Tokyo, Apr. 2022 – Mar. 2024
B.S., The University of Tokyo, Apr. 2018 – Mar. 2022