About Me

Education

Ph.D. in Applied Physics, Waseda University, Tokyo, Japan (April 2022–present)

Supervisor: Prof. Shigeo Morishima 

Advisor: Prof. Kazuyoshi Yoshii (Kyoto University)

M.E. in Applied Physics, Waseda University, Tokyo, Japan (April 2020–March 2022)

Thesis title: VAE-Based Pitch, Timbre, and Volume Disentanglement of Musical Instrument Sounds. 宮部賞 (物理応物実験系修士論文賞). 

Supervisor: Prof. Shigeo Morishima

B.S. in Physics, Waseda University, Tokyo, Japan (April 2016–March 2020)

Supervisor: Prof. Shigeo Morishima

Research Interests

Music information retrieval

Automatic music transcription

Pitch and timbre interpretation

Machine learning

Deep Bayesian model

Disentangled representation learning

Zero-shot learning

Audio-visual multimodal

Audio-visual speech enhancement

Visual speech recognition

Publications

International Conference Papers (reviewed, first author)

Keitaro Tanaka, Yin-Jyun Luo, Kin Wai Cheuk, Kazuyoshi Yoshii, Shigeo Morishima, Simon Dixon:

On the Use of Synthesized Datasets and Transformer Adaptors for Musical Instrument Recognition,

International Society for Music Information Retrieval (ISMIR) Late-Breaking Demo, LP-10, November 2023. [Paper]

Tomoya Yoshinaga*, Keitaro Tanaka*, Shigeo Morishima (* - equal contribution):

Audio-Visual Speech Enhancement With Selective Off-Screen Speech Extraction,

European Signal Processing Conference (EUSIPCO), pp. 595–599, September 2023. Best Student Paper Contest Finalist. [DOI] [arXiv] [Contest]

Sara Kashiwagi*, Keitaro Tanaka*, Qi Feng, Shigeo Morishima (* - equal contribution):

Improving the Gap in Visual Speech Recognition Between Normal and Silent Speech Based on Metric Learning,

Annual Conference of the International Speech Communication Association (Interspeech), pp. 3397–3401, August 2023. [DOI] [arXiv]

Keitaro Tanaka, Yoshiaki Bando, Kazuyoshi Yoshii, Shigeo Morishima:

Unsupervised Disentanglement of Timbral, Pitch, and Variation Features From Musical Instrument Sounds With Random Perturbation,

Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), pp. 709–716, November 2022. [DOI] [PDF]

Keitaro Tanaka, Ryosuke Sawata, Shusuke Takahashi:

Manifold-Aware Deep Clustering: Maximizing Angles between Embedding Vectors Based on Regular Simplex,

Annual Conference of the International Speech Communication Association (Interspeech), pp. 1134–1138, August 2021. [DOI] [arXiv]

Keitaro Tanaka, Ryo Nishikimi, Yoshiaki Bando, Kazuyoshi Yoshii, Shigeo Morishima:

Pitch-Timbre Disentanglement of Musical Instrument Sounds Based on VAE-Based Metric Learning,

IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), pp. 111–115, June 2021. IEEE SPS Japan Student Conference Paper Award. [DOI]

Keitaro Tanaka, Takayuki Nakatsuka, Ryo Nishikimi, Kazuyoshi Yoshii, Shigeo Morishima:

Multi-Instrument Music Transcription Based on Deep Spherical Clustering of Spectrograms and Pitchgrams,

International Society for Music Information Retrieval (ISMIR), pp. 327–334, October 2020. Azusa Ono Memorial Award. [DOI]

International Conference Papers (reviewed, co-author)

Taichi Higasa, Keitaro Tanaka, Qi Feng, Shigeo Morishima:

Keep Eyes on the Sentence: An Interactive Sentence Simplification System for English Learners Based on Eye Tracking and Large Language Models,

ACM CHI Conference on Human Factors in Computing Systems Late-Breaking Work, No. 211, pp. 1–7, May 2024. 2024年度大学院生等海外派遣助成. [DOI]

Taichi Higasa, Keitaro Tanaka, Qi Feng, Shigeo Morishima:

Gaze-Driven Sentence Simplification for Language Learners: Enhancing Comprehension and Readability,

ACM International Conference on Multimodal Interaction (ICMI) workshops, Multimodal, Interactive Interfaces for Education, pp. 292–296, October 2023. [DOI] [arXiv]

Shinei Arakawa, Hideki Tsunashima, Daichi Horita, Keitaro Tanaka, Shigeo Morishima:

Memory Efficient Diffusion Probabilistic Models via Patch-based Generation,

IEEE/CVF Computer Vision and Pattern Recognition Conference (CVPR) workshops, Generative Models for Computer Vision, No. 9, June 2023. [arXiv]

Asuka Hirata, Keitaro Tanaka, Masatoshi Hamanaka, Shigeo Morishima:

Audio-Driven Violin Performance Animation with Clear Fingering and Bowing,

ACM International Conference and Exhibition on Computer Graphics and Interactive Techniques (SIGGRAPH) Posters, No. 7, pp. 1–2, August 2022. [DOI]

Asuka Hirata, Keitaro Tanaka, Ryo Shimamura, Shigeo Morishima:

Bowing-Net: Motion Generation for String Instruments Based on Bowing Information,

ACM International Conference and Exhibition on Computer Graphics and Interactive Techniques (SIGGRAPH) Posters, No. 40, pp. 1–2, August 2021. [DOI]

国内発表 (査読なし, 主著)

田中 啓太郎, 錦見 亮, 坂東 宜昭, 吉井 和佳, 森島 繁生:

変分自己符号化器を用いた距離学習による楽器音の音高・音色分離表現,

情報処理学会 第131回音楽情報科学研究会・第137回音声言語情報処理研究会共催研究会, June 2021. [Link]

田中 啓太郎, 中塚 貴之, 錦見 亮, 吉井 和佳, 森島 繁生:

スペクトログラムとピッチグラムの深層クラスタリングに基づく複数楽器パート採譜,

情報処理学会 第128回音楽情報科学研究会, August 2020. ベストプレゼンテーション賞. [Link]

田中 啓太郎, 中塚 貴之, 錦見 亮, 吉井 和佳, 森島 繁生:

深層クラスタリングを用いた任意楽器パートの自動採譜,

情報処理学会 第82回全国大会, pp. 365–366, March 2020. 学生奨励賞, 大会奨励賞. [PDF]

国内発表 (査読あり, 共著)

柏木 爽良, 田中 啓太郎, 森島 繁生:

通常発声と無音発声の動画を用いた発話内容推測における距離学習に基づく精度差改善手法,

Visual Computing (VC) Long Track, No. 37, September 2023.

Tomoya Yoshinaga, Keitaro Tanaka, Shigeo Morishima:

Audio-Visual Speech Enhancement With Preserving Specific Off-Screen Speech,

Visual Computing (VC) Short Track, No. 39, September 2023.

Taichi Higasa, Asuka Hirata, Keitaro Tanaka, Qi Feng, Shigeo Morishima:

Detecting Unknown Multiword Expressions in Natural English Reading via Eye Gaze,

Visual Computing (VC) Short Track, No. 38, September 2023.

荒川 深映, 綱島 秀樹, 堀田 大地, 田中 啓太郎, 森島 繁生:

パッチ分割による拡散確率モデルのメモリ消費量削減の検討,

画像の認識・理解シンポジウム (MIRU) ポスター発表, IS2-59, July 2023.

平田 明日香, 田中 啓太郎, 浜中 雅俊, 森島 繁生:

運指と運弓を反映した音響信号からのヴァイオリン演奏アニメーションの自動生成,

Visual Computing (VC) Short Track, No. 28, October 2022.

平田 明日香, 田中 啓太郎, 島村 僚, 森島 繁生:

弓遣いに基づく弦楽器演奏モーションの自動生成,

Visual Computing (VC) Short Track, No. 33, September 2021.

国内発表 (査読なし, 共著)

吉永 朋矢, 田中 啓太郎, 森島 繁生:

動画内話者の音声強調における特定背景音声の透過,

情報処理学会 第85回全国大会, pp. 443–444, March 2023.

神庭 有花, 田中 啓太郎, 平田 明日香, 森島 繁生:

覚醒度と感情価に基づく音楽による画像スタイル変換,

情報処理学会 第85回全国大会, pp. 403–404, March 2023. 学生奨励賞.

柏木 爽良, 田中 啓太郎, 森島 繁生:

口パク動画の発話内容推測における距離学習に基づく精度向上手法,

情報処理学会 第85回全国大会, pp. 287–288, March 2023. 学生奨励賞.

樋笠 泰祐, 平田 明日香, 田中 啓太郎, 森島 繁生:

視線情報と比喩度に基づく英語フレーズの理解度推定,

インタラクティブシステムとソフトウェアに関するワークショップ (WISS), 1-B16, December 2022. [PDF]

吉永 朋矢, 田中 啓太郎, 森島 繁生:

入力動画に対する動画内話者と特定背景話者の同時音声抽出,

ビジュアルコンピューティングワークショップ (VCWS), No. 3, November 2022.

柏木 爽良, 田中 啓太郎, 森島 繁生:

口パク動画の発話内容推測における距離学習に基づく精度向上手法の検討,

ビジュアルコンピューティングワークショップ (VCWS), No. 2, November 2022.

Shinei Arakawa, Hideki Tsunashima, Daichi Horita, Keitaro Tanaka, Shigeo Morishima:

Patch-based Memory Efficient Diffusion Probabilistic Models,

Visual Computing (VC) Posters, No. 10, October 2022.

樋笠 泰祐, 平田 明日香, 田中 啓太郎, 森島 繁生:

視線情報を用いた英語フレーズの理解度推定,

情報処理学会 第84回全国大会, pp. 559–560, March 2022.

平田 明日香, 田中 啓太郎, 島村 僚, 森島 繁生:

弓動作を反映した演奏モーションの自動生成,

情報処理学会 第83回全国大会, pp. 263–264, March 2021. 学生奨励賞.

平田 明日香, 田中 啓太郎, 島村 僚, 森島 繁生:

弓動作に着目した弦楽器演奏モーションの自動生成,

Visual Computing (VC) Posters, No. 42, December 2020.

Awards & Honors

Awards

European Signal Processing Conference (EUSIPCO) 2023 Best Student Paper Contest Finalist, August 10th, 2023.

情報処理学会 第85回全国大会 学生奨励賞 (筆頭著者：柏木爽良), March 6th, 2023.

情報処理学会 第85回全国大会 学生奨励賞 (筆頭著者：神庭有花), March 2nd, 2023.

早稲田大学物理応物修士論文賞 (宮部賞), March 26th, 2022.

IEEE Signal Processing Society (SPS) Japan Student Conference Paper Award, December 28th, 2021.

Waseda University Azusa Ono Memorial Award, March 26th, 2021.

情報処理学会 第83回全国大会 学生奨励賞 (筆頭著者：平田明日香), March 18th, 2021.

情報処理学会 第128回音楽情報科学研究会 夏のシンポジウム ベストプレゼンテーション賞, August 25th, 2020.

情報処理学会 第82回全国大会 大会奨励賞, May 28th, 2020.

情報処理学会 第82回全国大会 学生奨励賞, March 6th, 2020.

Fellowships & Grants

2024年度大学院生等海外派遣助成 (for attending CHI), 早稲田大学, May 10th–18th, 2024.

Super Global University (for visiting Queen Mary University of London), from ICT & Robotics, Waseda University, March 24th, 2023‒September 19th, 2023.

Research Fellowship for Young Scientists (DC1), from Japan Society for the Promotion of Science (JSPS), April 1st, 2022‒March 31st, 2025.

Media

日本音響学会 学生・若手フォーラム ASJ Freshニュース 第99号, APSIPA ASC参加報告, December 1st, 2022. [Link]

早稲田ウィークリー「ぴーぷる」, 夢に向かって進め！ 輝く同級生ぴーぷる【2021年度卒業記念号】, March 25th, 2022. [Link]

早稲田ウィークリー「ぴーぷる」, 誰でも“耳コピ”できる？ 早大院生、楽器音から高精度の楽譜を自動生成, June 8th, 2021. [Link]

Work Experiences

Queen Mary University of London, London, United Kingdom, Visiting Researcher (March 2023–September 2023)

Mentor: Prof. Simon Dixon

National Institute of Advanced Industrial Science and Technology (AIST), Tokyo, Japan, Research Intern (August 2022–October 2022)

Mentor: Dr. Yoshiaki Bando

Kyoto University, Kyoto, Japan, Joint Research (August 2021–October 2021)

Mentor: Prof. Kazuyoshi Yoshii

Sony, Tokyo, Japan, Research Intern (February 2021–February 2021)

Mentor: Mr. Ryosuke Sawata and Mr. Shusuke Takahashi

Fujitsu, Tokyo, Japan, Development Intern (September 2020–September 2020)

Mentor: Mr. Kaname Takaochi

Kyoto University, Kyoto, Japan, Adjunct Researcher (August 2020–September 2020)

Mentor: Prof. Kazuyoshi Yoshii

Contact

E-mail: phys.keitaro1227[at]ruri.waseda.jp

Address: 55N406, 3-4-1 Okubo, Shinjuku, Tokyo, 169-0072, Japan (Shigeo Morishima Lab. [Link])

Phone: +81-3-5286-3510 (Shigeo Morishima Lab.)

Twitter: @Kakanat1105

ORCID: 0009-0005-4338-5224