〒135-0064 東京都江東区青海2-4-7産業技術総合研究所 臨海副都心センター 別館s.fukayama[at]aist.go.jp

CV : [pdf]

Google Scholar : [Link]

深山 覚(ふかやま さとる)

国立研究開発法人 産業技術総合研究所 人工知能研究センター 知的メディア処理研究チーム 主任研究員。専門は音楽音声情報処理・地震波形処理。

経歴

  • 2003年 岡山白陵中学校・高等学校 卒業

  • 2008年 東京大学理学部地球惑星物理学科 卒業; 学士(理学)

  • 2010年 東京大学大学院情報理工学系研究科システム情報学専攻 修士課程修了; 修士(情報理工学)

    • 2011年8月 フランス国立情報学自動制御研究所(INRIA Rennes)滞在

  • 2013年 東京大学大学院情報理工学系研究科システム情報学専攻 博士課程修了; 博士(情報理工学)

  • 2013年 独立行政法人産業技術総合研究所 入所; 研究員

  • 2015年 国立研究開発法人産業技術総合研究所(法改正); 研究員

  • 2017年- 国立研究開発法人産業技術総合研究所; 主任研究員

    • 2018年4月-9月 中央研究院(台北)訪問學人

研究内容

信号処理・機械学習を活用する人工知能技術の研究を行っています。専門技能を必要とする処理を人と計算機が協働する方法を考え、様々な産業分野や社会における課題の発見・定式化・解決を推進しています。

  • キーワード:音楽・音声・身体動作の情報処理・地震波形処理

音楽自動生成

  • 確率モデルを用いたメロディー・和音・ドラムパートの自動生成

  • メロディ自動和声付け

  • 自動編曲(ピアノ・ギター・弦楽四重奏・合唱・ジャズスタイル)

  • 演奏表情付け・自動演奏

  • 日本語歌詞からの歌唱曲自動生成

ダンス情報処理

  • ダンス自動推定

  • ダンス動作による音楽検索

  • ダンス動作編集支援

  • 二次元画像からの姿勢推定

歌詞情報処理

  • 歌詞創作支援インタフェース

  • 歌詞言語モデル

  • A Melody-conditioned Lyrics Language Model, Kento Watanabe, Yuichiroh Matsubayashi, Satoru Fukayama, Masataka Goto, Kentaro Inui, Tomoyasu Nakano, Proceedings of the 16th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 163-172, June 2018.

  • Modeling Storylines in Lyrics, Kento watanabe, Yuichiroh Matsubayashi, Kentaro Inui, Satoru Fukayama, Tomoyasu Nakano, Masataka Goto, IEICE Transaction on Information and Systems, Vol. E101.D, No. 4, pp. 1167-1179, 2018.

  • LyriSys: An Interactive Support System for Writing Lyrics Based on Topic Transition, Kento Watanabe, Yuichiro Matsubayashi, Kentaro Inui, Tomoyasu Nakano, Satoru Fukayama, Masataka Goto, Proceedings of the International Conference on Intelligent User Interfaces (ACM IUI2017), pp.559-563, Mar. 2017

  • Modeling Discourse Segments in Lyrics Using Repeated Patterns, Kento Watanabe, Yuichiro Matsubayashi, Naho Orita, Naoaki Okazaki, Kentaro Inui, Satoru Fukayama, Tomoyasu Nakano, Smith Jordan, Masataka Goto, Proceedings of the 26th International Conference on Computational Linguistics (COLING2016), pp.1959-1969, Dec. 2016

音楽情報検索

  • 音楽印象分析

  • 歌唱者ダイアライゼーション

  • 拍節構造推定

  • 音楽推薦

  • オンセット検出・自動採譜

  • 能動的音楽鑑賞インタフェース・音楽パズル

  • Automatic Singing Transcription based on Encoder-Decoder Recurrent Neural Networks with a Weakly-Supervised Attention Mechanism, Ryo Nishikimi, Eita Nakamura, Satoru Fukayama, Masataka Goto, Kazuyoshi Yoshii, 44th International Conference on Acoustics, Speech, and Signal Processing (ICASSP2019), pp. 161-165, May 2019.

  • Joint Transcription of Lead, Bass, and Rhythm Guitars based on a Factorial Hidden Semi-Markov Model, Kentaro Shibata, Ryo Nishikimi, Satoru Fukayama, Masataka Goto, Eita Nakamura, Katsutoshi Itoyama, Kazuyoshi Yoshii, 44th International Conference on Acoustics, Speech, and Signal Processing (ICASSP2019), pp. 236-240, May 2019.

  • Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic Anonymity, Kosetsu Tsukuda, Satoru Fukayama, Masataka Goto, The 19th International Society for Music Information Retrieval Conference (ISMIR 2018), pp. 687-694, Sep. 2018.

  • Instrudive: A Music Visualization System Based on Automatically Recognized Instrumentation, Takumi Takahashi, Satoru Fukayama, Masataka Goto, The 19th International Society for Music Information Retrieval Conference (ISMIR 2018), pp. 561-568, Sep. 2018.

  • Comparing RNN Parameters for Melodic Similarity, Tian Cheng, Satoru Fukayama, Masataka Goto, The 19th International Society for Music Information Retrieval Conference (ISMIR 2018), pp. 763-770, Sep. 2018.

  • Convolving Gaussian Kernels for RNN-based Beat Tracking, Tian Cheng, Satoru Fukayama, Masataka Goto, The 26th European Signal Processing Conference (EUSIPCO 2018), pp. 1919-1923, Sep. 2018.

  • ChordScanner: Browsing Chord Progressions based on Musical Typicality and Intra-Composer Consistency, Hiromi Nakamura, Tomoyasu Nakano, Satoru Fukayama, Masataka Goto, The 43rd International Computer Music Conference (ICMC 2018), pp. 250-255, Aug. 2018.

  • The CrossSong Puzzle: Developing a Logic Puzzle for Musical Thinking, Jordan B. L. Smith, Jun Kato, Satoru Fukayama, Graham Percival, Masataka Goto, Journal of New Music Research, vol. 46, issue 3, pp.213-228, Mar. 2017

  • Music Emotion Recognition with adaptive aggregation of Gaussian Process Regressors, Satoru Fukayama, Masataka Goto, Proceedings of the 41st IEEE International Conference on Acoustics, Speech and Signal Processing (IEEE ICASSP2016), pp.71-75, Mar. 2016

  • CrossSongPuzzle: Generating and Unscrambling Music Mashups with Real-time Interactivity, Smith Jordan, Graham Percival, Jun Kato, Masataka Goto, Satoru Fukayama, Proceedings of the 12th Sound and Music Computing Conference (SMC2015), pp.61-67, Jul. 2015

音声・マルチメディア情報処理

  • 音声感情認識

  • 音響・物体除去

  • Exploiting Fine-tuning of Self-supervised Learning Models for Improving Bi-modal Sentiment Analysis and Emotion Recognition, Wei Yang, Satoru Fukayama, Panikos Heracleous, Jun Ogata, Interspeech (to appear), 2022

  • Applying Generative Adversarial Networks and Vision Transformers in Speech Emotion Recognition, Panikos Heracleous, Satoru Fukayama, Jun Ogata, Yasser Mohammad, HCI International 2022 - Late Breaking Papers. Multimodality in Advanced Interaction Environments, LNCS, vol. 13519, pp. 67-75, 2022

  • Audio-Visual Object Removal in 360-Degree Videos, Ryo Shimamura, Feng Qi, Yuki Koyama, Takayuki Nakatsuka, Satoru Fukayama, Masahiro Hamasaki, Masataka Goto, Shigeo Morishima, The Visual Computer, 36, pp. 2117–2128, Jul. 2020

博士論文

査読付き学術論文

  1. Singer Diarization for Polyphonic Music with Unison Singing, Hitoshi Suda, Daisuke Saito, Satoru Fukayama, Tomoyasu Nakano, Masataka Goto, IEEE-ACM Transaction on Audio Speech and Language Processing, vol. 30, pp. 1531-1545, 2022 doi: 10.1109/TASLP.2022.3166262.

  2. MirrorNet: A Deep Reflective Approach to 2D Pose Estimation for Single-Person Images, Takayuki Nakatsuka, Kazuyoshi Yoshii, Yuki Koyama, Satoru Fukayama, Masataka Goto, Shigeo Morishima, Journal of Information Processing, Feb. 2021

  3. Automatic melody harmonization with triad chords: A comparative study, Yin-Cheng Yeh, Wen-Yi Hsiao, Satoru Fukayama, Tetsuro Kitahara, Benjamin Genchel, Hao-Min Liu, Hao-Wen Dong, Yian Chen, Terence Leong, Yi-Hsuan Yang, Journal of New Music Research, vol. 50, issue 1, pp. 37-51, Jan. 2021

  4. Audio-Visual Object Removal in 360-Degree Videos, Ryo Shimamura, Feng Qi, Yuki Koyama, Takayuki Nakatsuka, Satoru Fukayama, Masahiro Hamasaki, Masataka Goto, Shigeo Morishima, The Visual Computer, 36, 2117–2128, Jul. 2020

  5. INSTRUDIVE: 楽器編成の自動認識に基づく楽曲探索システム, 髙橋 卓見, 深山 覚, 後藤 真孝, 情報処理学会論文誌 61(4), 777-788, 2020-04-15, 2020

  6. TransDrums:ドラムのフィルインとドラムパターン遷移確率に着目した2曲間のドラムパターン対応付け手法, 澤田 隼, 深山 覚, 後藤 真孝, 平田 圭二, 情報処理学会論文誌, 61(4), 768-776, 2020-04-15, 2020

  7. 歌声と楽曲構造を入力とした歌唱時の表情アニメーション自動生成手法, 加藤 卓哉, 深山 覚, 中野 倫靖, 後藤 真孝, 森島 繁生, 画像電子学誌 第48巻 第2号 (通巻248号), pp. 303-314, 2019

  8. Modeling Storylines in Lyrics, Kento Watanabe, Yuichiroh Matsubayashi, Kentaro Inui, Satoru Fukayama, Tomoyasu Nakano, Masataka Goto, IEICE Transaction on Information and Systems, Vol. E101.D, No. 4, pp. 1167-1179, 2018

  9. The CrossSong Puzzle: Developing a Logic Puzzle for Musical Thinking, Jordan B. L. Smith, Jun Kato, Satoru Fukayama, Graham Percival, Masataka Goto, Journal of New Music Research, vol. 46, issue 3, pp.213-228, Mar. 2017

  10. AutoGuitarTab: Computer-Aided Composition of Rhythm and Lead Guitar Parts in the Tablature Space, McVicar James Matthew, Satoru Fukayama, Masataka Goto, IEEE Transactions on Audio Speech and Language Processing, 23-7, pp .1105-1117, Apr. 2015

  11. Melody harmonisation with interpolated probabilistic models, Stanislaw. Raczynski, Satoru Fukayama, Emmanuel. Vincent, Journal of New Music Research, vol. 42, issue 3, pp. 223-235, Oct. 2013

  12. 創作過程の分類に基づく自動音楽生成研究のサーベイ, 松原 正樹, 深山 覚, 奥村 健太, 寺村 佳子, 大村 英史, 橋田 光代, 北原 鉄朗, コンピュータソフトウェア, 2013 年 30 巻 1 号 p. 1_101-1_118, 2013

  13. 音楽要素の分解再構成に基づく日本語歌詞からの旋律自動作曲, 深山 覚, 中妻 啓, 酒向 慎司, 西本 卓也, 小野 順貴, 嵯峨山 茂樹, 情報処理学会論文誌 54(5), 1709-1720, 2013-05-15, 2013

著書

  1. Chapter “Automatic Composition with Probabilistic Methods” in Acoustical Keyword Book, S. Fukayama, Corona Publishing, 2016

  2. An Introduction to Digital Signal Processing with Exercises on Excel, Y. Fukayama, O. Fukayama, S. Fukayama, Corona Publishing, 2013

  3. Chapter “Statistical modeling of expressive polyphonic piano renditions” in “Handbook of Computing Expressive Music Performance (eds. E. Miranda, A. Kirke), T. H. Kim, S. Fukayama, T. Nishimoto, S. Sagayama, Springer Verlag, 2012

招待・依頼講演

  1. 自動作曲への飽くなき挑戦, 深山覚, IPSJ-ONE 2021, 2021/03/20

  2. Mining Creation Methods from Music Data for Automated Content Generation, Satoru Fukayama, Masataka Goto, Machine Learning for Music Discovery Workshop, ICML, Sydney, Australia, 2017/08/11

  3. パネルディスカッション:人工知能は作曲家/演奏家になれるか?, 平田 圭二, 伊藤 貴之, 深山 覚, 北原 鉄朗, 今井 慎太郎, 持橋 大地, 2017年度人工知能学会全国大会(第31回), 名古屋, 2017/5/24

  4. Adaptive Aggregation of Regression Models for Music Emotion Recognition, Satoru Fukayama, Masataka Goto, ASA ASJ Joint Meeting, Hawaii, USA, 2016/11/29

  5. 招待講演「音楽とコンテンツ生成」, 深山 覚, 後藤 真孝, 情報処理学会 第112回音楽情報科学研究発表会, 東京理科大学 野田キャンパス, 2016/07/31

  6. チュートリアル「音楽情報処理の基礎知識」, 深山 覚, 情報処理学会 第111回 音楽情報科学研究会(音学シンポジウム2016), 東京, 2016/05/22

解説・総説

  1. 音楽とコンテンツ生成, 深山 覚, 後藤 真孝, 情報処理(情報処理学会誌), 57-6, pp.516-518, 2016

  2. 自動作曲・自動編曲の現状と課題, 北原 鉄朗, 深山 覚, 電子情報通信学会誌, 98-6, pp.475-479, 2015

  3. 確率的手法による歌唱 曲の自動作曲, 嵯峨山茂樹, 酒向慎司, 堀玄, 深山覚, システム/制御/情報, Vol.56, No.5, pp.219-225, 2012

  4. 日本語歌詞からの自動作曲, オペレーションズリサーチ, 嵯峨山茂樹, 中妻啓, 深山覚, 酒向慎司, 西本卓也, Vol.54, No.9, pp.546-553, 2009