従来個別に評価・開発が行われてきたフレームワークに対し、以下の図のように、これらのブロックを統合して扱う「環境音をセグメンテーション」というタスクを定義し、研究を行っております。 

提案した統合フレームワークである「環境音をセグメンテーション」手法は、誤差の蓄積を防ぐことができ、また、従来の深層学習モデルよりも高精度に環境認識を行うことができます。 

Unlike conventional framework consists of individual function blocks that have been evaluated and developed separately, we have defined and studied a task called "Environmental Sound Segmentation" that deals with these blocks in an integrated manner. 

The proposed integrated framework, the "Environmental Sound Segmentation" method, can prevent the accumulation of errors and can also perform environmental recognition with higher accuracy than conventional deep learning models. 

 ジャーナル / Journal

• Y. Sudo, K. Itoyama, K. Nishida, and K. Nakadai, "Sound event aware environmental sound segmentation with Mask U-Net," Journal of Advanced Robotics; 2020. DOI: 10.1080/01691864.2020.1829040.

• Y. Sudo, K. Itoyama, K. Nishida, and K. Nakadai, "Multichannel Environmental Sound Segmentation with Separately Trained Spectral and Spatial Features,"  Journal of Applied Intelligenece, 2021, doi.org/10.1007/s10489-021-02314-5. 

講演 / Tech talk

• 周藤 唯, "深層学習を用いた音源定位、音源分離、クラス分類の統合　〜環境音セグメンテーション手法の紹介〜, " Tokyo BISH Bash #05, online, 2021