About Me

Profile

Junior Researcher (Assistant Professor), Waseda Research Institute for Science and Engineering, Tokyo, Japan (April 2025–present) [Link]

情報処理学会 音楽情報科学研究会 SIGMUS 運営委員 (April 2025–present) [Link]

More information coming soon...

Education

Ph.D. in Applied Physics, Waseda University, Tokyo, Japan (April 2022–March 2025)

Dissertation title: Music Signal Representation and Transcription Based on Pitch and Timbre Disentanglement [DOI]

Supervisor: Prof. Shigeo Morishima 

Advisor: Prof. Kazuyoshi Yoshii (Kyoto University)

M.E. in Applied Physics, Waseda University, Tokyo, Japan (April 2020–March 2022)

Thesis title: VAE-Based Pitch, Timbre, and Volume Disentanglement of Musical Instrument Sounds. 宮部賞 (物理応物実験系修士論文賞). 

Supervisor: Prof. Shigeo Morishima

B.S. in Physics, Waseda University, Tokyo, Japan (April 2016–March 2020)

Supervisor: Prof. Shigeo Morishima

Research Interests

Music information retrieval

Automatic music transcription

Pitch and timbre interpretation

Machine learning

Deep Bayesian model

Disentangled representation learning

Zero-shot learning

Audio-visual multimodal

Audio-visual speech enhancement

Visual speech recognition

Publications

International Journal (first author)

Keitaro Tanaka, Kazuyoshi Yoshii, Simon Dixon, Shigeo Morishima:

Unsupervised Pitch-Timbre-Variation Disentanglement of Monophonic Music Signals Based on Random Perturbation and Re-entry Training,

APSIPA Transactions on Signal and Information Processing. Vol. 14, No. 1, e4, 2025. [DOI]

International Journal (co-author)

Tomoya Yoshinaga, Keitaro Tanaka, Yoshiaki Bando, Keisuke Imoto, Shigeo Morishima:

Onset-and-Offset-Aware Sound Event Detection via Differentiable Frame-to-Event Mapping,

IEEE Signal Processing Letters, Vol. 32, pp. 186–190, 2024. Azusa Ono Memorial Award. [DOI]

International Conference Papers (reviewed, first author)

Hiroki Nishizawa*, Keitaro Tanaka*, Asuka Hirata*, Shugo Yamaguchi, Qi Feng, Masatoshi Hamanaka, Shigeo Morishima (* - equal contribution):

SyncViolinist: Music-Oriented Violin Motion Generation Based on Bowing and Fingering,

IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pp. 5419–5428, March 2025. [CVF] [arXiv] [Code]

Keitaro Tanaka, Yin-Jyun Luo, Kin Wai Cheuk, Kazuyoshi Yoshii, Shigeo Morishima, Simon Dixon:

On the Use of Synthesized Datasets and Transformer Adaptors for Musical Instrument Recognition,

International Society for Music Information Retrieval (ISMIR) Late-Breaking Demo, LP-10, November 2023. [Paper]

Tomoya Yoshinaga*, Keitaro Tanaka*, Shigeo Morishima (* - equal contribution):

Audio-Visual Speech Enhancement With Selective Off-Screen Speech Extraction,

European Signal Processing Conference (EUSIPCO), pp. 595–599, September 2023. Best Student Paper Contest Finalist. [DOI] [arXiv] [Contest]

Sara Kashiwagi*, Keitaro Tanaka*, Qi Feng, Shigeo Morishima (* - equal contribution):

Improving the Gap in Visual Speech Recognition Between Normal and Silent Speech Based on Metric Learning,

Annual Conference of the International Speech Communication Association (Interspeech), pp. 3397–3401, August 2023. [DOI] [arXiv]

Keitaro Tanaka, Yoshiaki Bando, Kazuyoshi Yoshii, Shigeo Morishima:

Unsupervised Disentanglement of Timbral, Pitch, and Variation Features From Musical Instrument Sounds With Random Perturbation,

Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), pp. 709–716, November 2022. [DOI] [PDF]

Keitaro Tanaka, Ryosuke Sawata, Shusuke Takahashi:

Manifold-Aware Deep Clustering: Maximizing Angles between Embedding Vectors Based on Regular Simplex,

Annual Conference of the International Speech Communication Association (Interspeech), pp. 1134–1138, August 2021. [DOI] [arXiv]

Keitaro Tanaka, Ryo Nishikimi, Yoshiaki Bando, Kazuyoshi Yoshii, Shigeo Morishima:

Pitch-Timbre Disentanglement of Musical Instrument Sounds Based on VAE-Based Metric Learning,

IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), pp. 111–115, June 2021. IEEE SPS Japan Student Conference Paper Award. [DOI]

Keitaro Tanaka, Takayuki Nakatsuka, Ryo Nishikimi, Kazuyoshi Yoshii, Shigeo Morishima:

Multi-Instrument Music Transcription Based on Deep Spherical Clustering of Spectrograms and Pitchgrams,

International Society for Music Information Retrieval (ISMIR), pp. 327–334, October 2020. Azusa Ono Memorial Award. [DOI]

International Conference Papers (reviewed, co-author)

Tomoya Yoshinaga, Yoshiaki Bando, Keitaro Tanaka, Keisuke Imoto, Masaki Onishi, Shigeo Morishima:

Training Onset-and-Offset Aware Sound Event Detection on a Heterogeneous Dataset via Probabilistic Sequential Modeling,

Annual Conference of the International Speech Communication Association (Interspeech), Accepted. 

Shunsuke Mitsumori, Sara Kashiwagi, Keitaro Tanaka, Shigeo Morishima:

Cross-lingual Data Selection Using Clip-level Acoustic Similarity for Enhancing Low-resource Automatic Speech Recognition,

Annual Conference of the International Speech Communication Association (Interspeech), Accepted. [arXiv]

Kaoru Sasaki, Kazuhito Sato, Shugo Yamaguchi, Keitaro Tanaka, Shigeo Morishima:

Hide A Bit: A Training-Free and High-Fidelity Steganography Method for 3D Gaussian Splatting Based on Bit Manipulation and RSA Encryption,

ACM International Conference and Exhibition on Computer Graphics and Interactive Techniques (SIGGRAPH) Posters, No. 70, pp. 1–2, August 2025. ACM Student Research Competition Semi-Finalist. [DOI]

Yuto Shibata, Keitaro Tanaka, Yoshiaki Bando, Keisuke Imoto, Hirokatsu Kataoka, Yoshimitsu Aoki:

Formula-Supervised Sound Event Detection: Pre-Training Without Real Data,

IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), pp. 1–5, April 2025. [DOI] [arXiv] [Code]

Sara Kashiwagi, Keitaro Tanaka, Shigeo Morishima:

Capturing Dynamic Identity Features for Speaker-Adaptive Visual Speech Recognition,

Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), pp. 1–6, December 2024. [DOI] [PDF]

Taichi Higasa, Keitaro Tanaka, Qi Feng, Shigeo Morishima:

Keep Eyes on the Sentence: An Interactive Sentence Simplification System for English Learners Based on Eye Tracking and Large Language Models,

ACM CHI Conference on Human Factors in Computing Systems Late-Breaking Work, No. 211, pp. 1–7, May 2024. 2024年度大学院生等海外派遣助成. [DOI]

Taichi Higasa, Keitaro Tanaka, Qi Feng, Shigeo Morishima:

Gaze-Driven Sentence Simplification for Language Learners: Enhancing Comprehension and Readability,

ACM International Conference on Multimodal Interaction (ICMI) workshops, Multimodal, Interactive Interfaces for Education, pp. 292–296, October 2023. [DOI] [arXiv]

Shinei Arakawa, Hideki Tsunashima, Daichi Horita, Keitaro Tanaka, Shigeo Morishima:

Memory Efficient Diffusion Probabilistic Models via Patch-based Generation,

IEEE/CVF Computer Vision and Pattern Recognition Conference (CVPR) workshops, Generative Models for Computer Vision, No. 9, June 2023. [arXiv]

Asuka Hirata, Keitaro Tanaka, Masatoshi Hamanaka, Shigeo Morishima:

Audio-Driven Violin Performance Animation with Clear Fingering and Bowing,

ACM International Conference and Exhibition on Computer Graphics and Interactive Techniques (SIGGRAPH) Posters, No. 7, pp. 1–2, August 2022. [DOI]

Asuka Hirata, Keitaro Tanaka, Ryo Shimamura, Shigeo Morishima:

Bowing-Net: Motion Generation for String Instruments Based on Bowing Information,

ACM International Conference and Exhibition on Computer Graphics and Interactive Techniques (SIGGRAPH) Posters, No. 40, pp. 1–2, August 2021. [DOI]

国内発表 (査読なし, 主著)

田中 啓太郎, 吉井 和佳, Simon Dixon, 森島 繁生:

変分オートエンコーダを用いた単旋律音楽信号の音高・音色・変動への分解,

情報処理学会 第141回音楽情報科学研究会, August 2024. ベストプレゼンテーション賞 (Best Research 部門), COCOTONE賞 (スポンサー賞), 山下記念研究賞 (内定). [Link]

田中 啓太郎, 錦見 亮, 坂東 宜昭, 吉井 和佳, 森島 繁生:

変分自己符号化器を用いた距離学習による楽器音の音高・音色分離表現,

情報処理学会 第131回音楽情報科学研究会・第137回音声言語情報処理研究会共催研究会, June 2021. [Link]

田中 啓太郎, 中塚 貴之, 錦見 亮, 吉井 和佳, 森島 繁生:

スペクトログラムとピッチグラムの深層クラスタリングに基づく複数楽器パート採譜,

情報処理学会 第128回音楽情報科学研究会, August 2020. ベストプレゼンテーション賞. [Link]

田中 啓太郎, 中塚 貴之, 錦見 亮, 吉井 和佳, 森島 繁生:

深層クラスタリングを用いた任意楽器パートの自動採譜,

情報処理学会 第82回全国大会, pp. 365–366, March 2020. 学生奨励賞, 大会奨励賞. [PDF]

国内発表 (査読あり, 共著)

佐々木 馨, 佐藤 和仁, 山口 周悟, 田中 啓太郎, 森島 繁生:

ビット操作に基づく学習不要かつ高セキュリティな3D Gaussian Splattingステガノグラフィ,

Visual Computing (VC) 口頭発表, Accepted.

佐々木 馨, 佐藤 和仁, 山口 周悟, 田中 啓太郎, 森島 繁生:

Hide A Bit: 3D Gaussian Splattingに対するビット操作とRSA暗号に基づく学習不要な高品質ステガノグラフィ,

画像の認識・理解シンポジウム (MIRU) 口頭発表, OS1C-02, July 2025. MIRUオーディエンス賞, MIRU学生優秀賞.

柏木 爽良, 田中 啓太郎, 森島 繁生:

話者固有の発話特性に着目したマルチタスク学習に基づく読唇精度向上手法,

Visual Computing (VC) Long Track, No. 42, September 2024. VC学生研究賞, CGVI研究会学生発表賞.

柏木 爽良, 田中 啓太郎, 森島 繁生:

通常発声と無音発声の動画を用いた発話内容推測における距離学習に基づく精度差改善手法,

Visual Computing (VC) Long Track, No. 37, September 2023.

Tomoya Yoshinaga, Keitaro Tanaka, Shigeo Morishima:

Audio-Visual Speech Enhancement With Preserving Specific Off-Screen Speech,

Visual Computing (VC) Short Track, No. 39, September 2023.

Taichi Higasa, Asuka Hirata, Keitaro Tanaka, Qi Feng, Shigeo Morishima:

Detecting Unknown Multiword Expressions in Natural English Reading via Eye Gaze,

Visual Computing (VC) Short Track, No. 38, September 2023.

荒川 深映, 綱島 秀樹, 堀田 大地, 田中 啓太郎, 森島 繁生:

パッチ分割による拡散確率モデルのメモリ消費量削減の検討,

画像の認識・理解シンポジウム (MIRU) ポスター発表, IS2-59, July 2023.

平田 明日香, 田中 啓太郎, 浜中 雅俊, 森島 繁生:

運指と運弓を反映した音響信号からのヴァイオリン演奏アニメーションの自動生成,

Visual Computing (VC) Short Track, No. 28, October 2022.

平田 明日香, 田中 啓太郎, 島村 僚, 森島 繁生:

弓遣いに基づく弦楽器演奏モーションの自動生成,

Visual Computing (VC) Short Track, No. 33, September 2021.

国内発表 (査読なし, 共著)

岩片 彰吾, 元田 智大, 山田 亮佑, 牧原 昂志, 中條 亨一, 田中 啓太郎, 片岡 裕雄, 森島 繁生:

数式ドリブン事前学習に基づくロボットの方策学習の検証,

画像の認識・理解シンポジウム (MIRU) ポスター発表, IS3-197, August 2025.

西澤 大樹, Seong Jong Yoo, 田中 啓太郎, 山口 周悟, 馮 起, 森島 繁生:

AcousticPerformer: 再構成音を用いた双ドメイン損失による楽器演奏モーション生成,

画像の認識・理解シンポジウム (MIRU) ポスター発表, IS2-117, July 2025.

三森 俊祐, 柏木 紗良, 田中 啓太郎, 森島 繁生:

口パク動画の発話内容推測モデルの学習における効率的な他言語データ活用に向けて,

画像の認識・理解シンポジウム (MIRU) ポスター発表, IS2-071, July 2025.

吉永 朋矢, 田中 啓太郎, 坂東 宜昭, 井本 桂右, 大西 正輝, 森島 繁生:

音響イベント検出のための隠れセミマルコフモデルに基づくユニバーサル・イベント単位学習,

情報処理学会 第87回全国大会, pp. XX–XX, March 2025.

三森 俊祐, 柏木 爽良, 田中 啓太郎, 森島 繁生:

低リソース言語の自動音声認識における他言語データの効率的利用,

情報処理学会 第87回全国大会, pp. XX–XX, March 2025.

Hiroki Nishizawa, Keitaro Tanaka, Asuka Hirata, Shugo Yamaguchi, Qi Feng, Masatoshi Hamanaka, Shigeo Morishima:
SyncViolinist: Music-Oriented Violin Motion Generation Based on Bowing and Fingering,
情報処理学会 第142回音楽情報科学研究会 国際既発表セッション, 25-2, March 2025.

吉永 朋矢, 田中 啓太郎, 坂東 宜昭, 井本 桂右, 大西 正輝, 森島 繁生:

汎用事前学習済みモデルを用いた音響イベント検出のためのHSMMに基づくイベント単位学習,

日本音響学会 応用/電気音響(EA)研究会, EA2024-44, November 2024. 学生研究奨励賞.

吉永 朋矢, 坂東 宜昭, 田中 啓太郎, 井本 桂右, 大西 正輝, 森島 繁生:

音響イベント検出のための隠れセミマルコフモデルに基づくイベント単位損失,

日本音響学会 第152回 (2024年秋季) 研究発表会, 2-11-5, September 2024. 学生優秀発表賞.

柴田 優斗, 田中 啓太郎, 坂東 宜昭, 井本 桂右, 片岡 裕雄, 青木 義満:

音源信号の数式ドリブン合成に基づく音響イベント検出の事前学習,

日本音響学会 第152回 (2024年秋季) 研究発表会, 2-11-4, September 2024.

吉永 朋矢, 田中 啓太郎, 森島 繁生:

動画内話者の音声強調における特定背景音声の透過,

情報処理学会 第85回全国大会, pp. 443–444, March 2023.

神庭 有花, 田中 啓太郎, 平田 明日香, 森島 繁生:

覚醒度と感情価に基づく音楽による画像スタイル変換,

情報処理学会 第85回全国大会, pp. 403–404, March 2023. 学生奨励賞.

柏木 爽良, 田中 啓太郎, 森島 繁生:

口パク動画の発話内容推測における距離学習に基づく精度向上手法,

情報処理学会 第85回全国大会, pp. 287–288, March 2023. 学生奨励賞.

樋笠 泰祐, 平田 明日香, 田中 啓太郎, 森島 繁生:

視線情報と比喩度に基づく英語フレーズの理解度推定,

インタラクティブシステムとソフトウェアに関するワークショップ (WISS), 1-B16, December 2022. [PDF]

吉永 朋矢, 田中 啓太郎, 森島 繁生:

入力動画に対する動画内話者と特定背景話者の同時音声抽出,

ビジュアルコンピューティングワークショップ (VCWS), No. 3, November 2022.

柏木 爽良, 田中 啓太郎, 森島 繁生:

口パク動画の発話内容推測における距離学習に基づく精度向上手法の検討,

ビジュアルコンピューティングワークショップ (VCWS), No. 2, November 2022.

Shinei Arakawa, Hideki Tsunashima, Daichi Horita, Keitaro Tanaka, Shigeo Morishima:

Patch-based Memory Efficient Diffusion Probabilistic Models,

Visual Computing (VC) Posters, No. 10, October 2022.

樋笠 泰祐, 平田 明日香, 田中 啓太郎, 森島 繁生:

視線情報を用いた英語フレーズの理解度推定,

情報処理学会 第84回全国大会, pp. 559–560, March 2022.

平田 明日香, 田中 啓太郎, 島村 僚, 森島 繁生:

弓動作を反映した演奏モーションの自動生成,

情報処理学会 第83回全国大会, pp. 263–264, March 2021. 学生奨励賞.

平田 明日香, 田中 啓太郎, 島村 僚, 森島 繁生:

弓動作に着目した弦楽器演奏モーションの自動生成,

Visual Computing (VC) Posters, No. 42, December 2020.

Awards & Honors

Awards

情報処理学会 2025年度山下記念研究賞, 内定.

画像の認識・理解シンポジウム (MIRU) 学生優秀賞 (筆頭著者：佐々木馨), August 1st, 2025.

画像の認識・理解シンポジウム (MIRU) オーディエンス賞 (筆頭著者：佐々木馨), August 1st, 2025.

ACM Student Research Competition Semi-Finalist, June 11th, 2025.

Waseda University Azusa Ono Memorial Award (筆頭著者：吉永朋矢), March 26th, 2025.

情報処理学会 音楽情報科学研究会 2024年度 COCOTONE賞, March 8th, 2025.

日本音響学会 2024年秋季研究発表会 学生優秀発表賞 (筆頭著者：吉永朋矢), December 23rd, 2024.

日本音響学会 電気音響研究会 学生研究奨励賞 (筆頭著者：吉永朋矢), November 24th, 2024.

情報処理学会 コンピュータグラフィックスとビジュアル情報学 (CGVI) 研究会 学生発表賞 (筆頭著者：柏木爽良), September 25th, 2024.

Visual Computing 2024 VC学生研究賞 (筆頭著者：柏木爽良), September 12th, 2024.

情報処理学会 第141回音楽情報科学研究会 夏のシンポジウム ベストプレゼンテーション賞 (Best Research 部門), August 27th, 2024.

European Signal Processing Conference (EUSIPCO) 2023 Best Student Paper Contest Finalist, August 10th, 2023.

情報処理学会 第85回全国大会 学生奨励賞 (筆頭著者：柏木爽良), March 6th, 2023.

情報処理学会 第85回全国大会 学生奨励賞 (筆頭著者：神庭有花), March 2nd, 2023.

早稲田大学物理応物修士論文賞 (宮部賞), March 26th, 2022.

IEEE Signal Processing Society (SPS) Japan Student Conference Paper Award, December 28th, 2021.

Waseda University Azusa Ono Memorial Award, March 26th, 2021.

情報処理学会 第83回全国大会 学生奨励賞 (筆頭著者：平田明日香), March 18th, 2021.

情報処理学会 第128回音楽情報科学研究会 夏のシンポジウム ベストプレゼンテーション賞, August 25th, 2020.

情報処理学会 第82回全国大会 大会奨励賞, May 28th, 2020.

情報処理学会 第82回全国大会 学生奨励賞, March 6th, 2020.

Fellowships & Grants

FS研究, キオクシア, June 23rd, 2025–February 28th, 2026.

2024年度大学院生等海外派遣助成 (for attending CHI), 早稲田大学, May 10th–18th, 2024.

Super Global University (for visiting Queen Mary University of London), from ICT & Robotics, Waseda University, March 24th, 2023‒September 19th, 2023.

Research Fellowship for Young Scientists (DC1), from Japan Society for the Promotion of Science (JSPS), April 1st, 2022‒March 31st, 2025.

Media

Waseda University Top Global University Project, Study Abroad Report: Keitaro Tanaka, February 15th, 2024. [Link]

スーパーグローバル大学創成支援「Waseda Ocean構想」, 海外派遣学生リポート：田中啓太郎, February 13th, 2024. [Link]

日本音響学会 学生・若手フォーラム ASJ Freshニュース 第99号, APSIPA ASC参加報告, December 1st, 2022. [Link]

早稲田ウィークリー「ぴーぷる」, 夢に向かって進め！ 輝く同級生ぴーぷる【2021年度卒業記念号】, March 25th, 2022. [Link]

早稲田ウィークリー「ぴーぷる」, 誰でも“耳コピ”できる？ 早大院生、楽器音から高精度の楽譜を自動生成, June 8th, 2021. [Link]

Work Experiences

Queen Mary University of London, London, United Kingdom, Visiting Researcher (March 2023–September 2023)

Mentor: Prof. Simon Dixon

National Institute of Advanced Industrial Science and Technology (AIST), Tokyo, Japan, Research Intern (August 2022–October 2022)

Mentor: Dr. Yoshiaki Bando

Kyoto University, Kyoto, Japan, Joint Research (August 2021–October 2021)

Mentor: Prof. Kazuyoshi Yoshii

Sony, Tokyo, Japan, Research Intern (February 2021–February 2021)

Mentor: Mr. Ryosuke Sawata and Mr. Shusuke Takahashi

Fujitsu, Tokyo, Japan, Development Intern (September 2020–September 2020)

Mentor: Mr. Kaname Takaochi

Kyoto University, Kyoto, Japan, Adjunct Researcher (August 2020–September 2020)

Mentor: Prof. Kazuyoshi Yoshii

Contact

E-mail: keitaro[at]aoni.waseda.jp (Changed!)

Address: 55N406, 3-4-1 Okubo, Shinjuku, Tokyo, 169-0072, Japan (Morishima-Lab. [Link])

Phone: +81-3-5286-3510 (Morishima-Lab.)

X: @Kakanat1105

ORCID: 0009-0005-4338-5224

researchmap: keitarotanaka