Neural double-tracking

ダブルトラッキング (DT) とは，同一フレーズを複数回歌唱してミックスすることで，歌声に厚みを持たせる方法です．これは，人間が「歌うたびに声が異なる（＝発話間変動がある）」ことを利用しています．しかしながら，今の歌声合成は「楽譜が決まると声は常に同じ（＝発話間変動がない）」であるため，歌声に厚みを持たせることができません．そこで，DNNを使って発話間変動をモデル化することで，歌声としての自然性を保ったまま，合成歌声をランダム変調して加工してミックスできます．提案法は，データドリブンで発話間変動をモデル化するため，従来の信号処理的方法 (ADT) よりも優れた重ね録り感を実現できます．

Double-tracking (DT) involves two or more vocal performance uttered by one singer that are combined in a mix. It gives layeredness in the mixed voices thanks to the singer's inter-utterance variation. On the other hand, current singing voice synthesizers synthesize only one voice from one musical score (= no inter-utterance variation), and they cannot synthesize layered (double-tracked) voices. We proposed a DNN-based approach to model the inter-utterance variation and a post-filter to randomly modulate the synthesized voice without degrading its quality. Because our method learns voice randomness from data, it can synthesize perceptually natural voices than the conventional signal-processing-based method (ADT).

我々の方法は，合成歌声だけではなく人間の歌声に対しても適用できます．すなわち，ユーザが一度だけ歌った歌声から，その人が複数回歌ってミックスされたような歌声を自動生成できます．

Our method can be applied to not only synthesized voices but also human singers' voices. Namely, the naturally layered (double-tracked) voice is automatically synthesized from one vocal performance.