深層学習に基づく音声合成と音声なりすまし検出の敵対的構築に関する研究

セコム科学技術振興財団 挑戦的研究助成 2017/04 ~ 2020/03

概要 (abstract)

メンバー (member)

高道 慎之介

東京大学 助教

研究代表者

郡山 知樹

東京大学 助教

研究分担者

発表文献 (publication)

学術論文 (Journal)

  1. Three papers submitted.
  2. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Vocoder-free text-to-speech synthesis incorporating generative adversarial networks using low-/multi-frequency STFT amplitude spectra," Computer Speech & Language, Vol. 58, pp. 347--363, Nov. 2019.
  3. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Statistical Parametric Speech Synthesis Incorporating Generative Adversarial Networks," IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 1, pp. 84--96, Jan. 2018. 第34回 電気通信普及財団 テレコムシステム技術学生賞, IEEE SPS Japan Student Journal Paper Award

国際会議論文 (International conference)

  1. Taiki Nakamura, Yuki Saito, Shinnosuke Takamichi, Yusuke Ijima and Hiroshi Saruwatari, "V2S attack: building DNN-based voice conversion from automatic speaker verification," Proc. The 10th ISCA SSW, Vienna, Austria, Sep. 2019.
  2. Tomoki Koriyama, Shinnosuke Takamichi and Takao Kobayashi, "Sparse Approximation of Gram Matrices for GMMN-based Speech Synthesis," Proc. The 10th ISCA SSW, Vienna, Austria, Sep. 2019.
  3. Hiroki Tamaru, Yuki Saito, Shinnosuke Takamichi, Tomoki Koriyama, and Hiroshi Saruwatari, "Generative moment matching network-based random modulation post-filter for DNN-based singing voice synthesis and neural double-tracking," Proc. ICASSP, pp. 7070--7074, Brighton, United Kingdom, May 2019. (preprint) (poster)
  4. Hitoshi Suda, Gaku Kotani, Shinnosuke Takamichi, Daisuke Saito, "A revisit to feature handling for high-quality voice conversion," Proc. APSIPA, pp. 816--822 , Hawaii, U.S.A., Nov. 2018. (slide)
  5. Masakazu Une, Yuki Saito, Shinnosuke Takamichi, Daichi Kitamura, Ryoichi Miyazaki, Hiroshi Saruwatari, "Generative approach using the noise generation models for DNN-based speech synthesis trained from noisy speech," Proc. APSIPA, pp. 99--103, Hawaii, U.S.A., Nov. 2018. (slide) Invited special session
  6. Sayaka Shiota, Shinnosuke Takamichi, Tomoko Matsui, "Data augmentation with moment-matching networks for i-vector based speaker verification," Proc. APSIPA, pp. 345--349, Hawaii, U.S.A., Nov. 2018. Invited special session
  7. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Text-to-speech synthesis using STFT spectra based on low-/multi-resolution generative adversarial networks," Proc. ICASSP, pp. 5299--5303, Calgary, Canada, Apr. 2018. (poster)
  8. Shinnosuke Takamichi, "Modulation spectrum-based speech parameter trajectory smoothing for DNN-based speech synthesis using FFT spectra," Proc. APSIPA ASC, Kuala Lumpur, Malaysia, Dec. 2017. (slide) Invited special session
  9. Shinnosuke Takamichi, Tomoki Koriyama, and Hiroshi Saruwatari, "Sampling-based speech parameter generation using moment-matching network," Proc. INTERSPEECH, pp. 3961--3965, Stockholm, Sweden, Aug. 2017. (preprint) (poster) INTERSPEECH2017 Travel Grant Award

国内論文 (Domestic conference)

  1. 中村 泰貴,齋藤 佑樹,高道 慎之介,井島 勇祐,猿渡 洋,”話者V2S攻撃:話者認証から構築される声質変換とその音声なりすまし可能性の評価,” コンピュータセキュリティシンポジウム, 2E1-2, Nov. 2019.
  2. 田丸 浩気,齋藤 佑樹,高道 慎之介,郡山 知樹,猿渡 洋,"ユーザ歌唱のための generative moment matching network に基づくneural double-tracking," 日本音響学会2019年秋季研究発表会講演論文集, *-**-*, Sep. 2019.
  3. 郡山 知樹,高道 慎之介,小林 隆夫,"グラム行列のスパース近似を用いた生成的モーメントマッチングネットワークに基づく音声合成の検討," 情報処理学会研究報告, 2018-SLP-126, no. ***, pp. ***--***, Feb. 2019.
  4. 田丸 浩気, 齋藤 佑樹, 高道 慎之介, 郡山 知樹, 猿渡 洋, "モーメントマッチングに基づくDNN 合成歌声のランダム変調ポストフィルタとニューラルダブルトラッキングへの応用," 情報処理学会研究報告, 2018-SLP-125, no. 20, pp. 1--6, Dec., 2018. (slide)
  5. 塩田 さやか,高道 慎之介,松井 知子,"Moment-matching networkによるi-vector生成を用いた話者照合," 日本音響学会2018年春季研究発表会講演論文集, 2-8-3, 2018. 日本音響学会 第44回粟屋 潔学術奨励賞
  6. 園部 良介,高道 慎之介,猿渡 洋,"JSUTコーパス:End-to-End音声合成に向けたフリーの大規模日本語音声コーパス," 日本音響学会2018年春季研究発表会講演論文集, 1-Q-37, 2018. (poster)
  7. 溝口 聡, 齋藤佑樹,高道慎之介, 猿渡 洋, "カートシスマッチングに基づく低ミュージカルノイズDNN音声強調の評価," 電子情報通信学会技術研究報告, EA2018-121, no. 4, pp. 1--6, Nov. 2018. (poster)
  8. 溝口 聡,齋藤 佑樹,高道 慎之介,猿渡 洋,"カートシスマッチングと深層学習に基づく低ミュージカルノイズ音声強調," 日本音響学会2018年秋季研究発表会講演論文集, 2-1-7, 2018. (slide) 日本音響学会 第18回学生優秀発表賞
  9. 須田 仁志,小谷 岳,高道 慎之介,齋藤 大輔,"高品質声質変換のための特徴量分析再訪," 日本音響学会2018年春季研究発表会講演論文集, 2-Q-27, 2018. (poster)
  10. 齋藤 佑樹,高道 慎之介,猿渡 洋, "多重周波数解像度のSTFTスペクトルを⽤いた敵対的DNN⾳声合成," 日本音響学会2018年春季研究発表会講演論文集, 3-8-14, 2018. (slide)
  11. 宇根 昌和, 齋藤 佑樹, 高道 慎之介, 北村 大地, 宮崎 亮一, 猿渡 洋, "雑音環境下音声を用いた音声合成のための雑音生成モデルの敵対的学習," 情報処理学会研究報告, 2017-SLP-118, no. 1, pp. 1--6, Sep. 2017. (slide)
  12. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "敵対的DNN音声合成におけるダイバージェンスの影響の調査," 日本音響学会2017年秋季研究発表会講演論文集, 1-8-7, 2017. (slide)
  13. 高道 慎之介, 郡山 知樹, 齋藤 佑樹, 猿渡 洋, "Moment-matching networkに基づく一期一会音声合成における発話間ゆらぎの評価," 日本音響学会2017年秋季研究発表会講演論文集, 1-8-9, 2017. (slide)
  14. 高道 慎之介, 郡山 知樹, 猿渡 洋, "Moment-matching networkに基づく音声合成における音声パラメータのランダム生成," 情報処理学会研究報告, 2017-MUS-115, no.15, pp. 1--6, Jun., 2017. (poster)

受賞 (awards)

  1. IEEE SPS Japan Student Journal Paper Award (受賞者: 齋藤 佑樹)
  2. 一般社団法人 総合研究奨励会 総合研究奨励賞 (受賞者:高道 慎之介)
  3. 日本音響学会 第44回粟屋 潔学術奨励賞 (受賞者:塩田 さやか)
  4. 日本音響学会 第18回学生優秀発表賞 (受賞者:溝口 聡)
  5. 第34回 電気通信普及財団 テレコムシステム技術学生賞 (受賞者: 齋藤 佑樹)
  6. Travel Grant Award in INTERSPEECH 2017 (受賞者:高道 慎之介)

招待講演 (invited talks)

  1. 高道 慎之介, 亀岡 弘和, "音声分野における敵対的学習の可能性と展望," IBIS2018 企画セッション, Nov. 2018.
  2. 高道 慎之介, "分布あるいはモーメント間距離最小化に基づく統計的音声合成," 第18回ステアラボ人工知能セミナー招待講演, Oct. 2018.
  3. Shinnosuke Takamichi, "What can GAN and GMMN do for augmented speech communication?," GMI workshop, Hiroshima, Japan, Aug. 2018.
  4. 高道 慎之介, "騙し騙され音声合成," IPSJ-ONE, 情報処理学会 第80回全国大会, Mar. 2018.
  5. Shinnosuke Takamichi, "Modulation spectrum-based speech parameter trajectory smoothing for DNN-based speech synthesis using FFT spectra," Proc. APSIPA ASC, Kuala Lumpur, Dec. 2017.
  6. 高道 慎之介, "最先端の統計的音声処理," 徳山高専テクノ・アカデミア 技術セミナー, Sep. 2017.
  7. 高道 慎之介, "深層学習を深く学習するための基礎," 日本音響学会2017年秋季研究発表会 ビギナーズセミナー, Sep. 2017.

その他 (others)

  1. JSUT corpus
  2. JSUT-song corpus
  3. JSUT-vi corpus