Embedded Files
コード進行を考慮して多様なメロディを生成するTransformerとVAEの複合モデル
コード進行を考慮して多様なメロディを生成するTransformerとVAEの複合モデル
寺島凌，阿部由吾（東京大学大学院，equal contribution）
モデルによって生成されたサンプル音源
モデルによって生成されたサンプル音源
コード進行に基づくメロディ生成（伴奏は所与、モデルがメロディを生成）
コード進行に基づくメロディ生成（伴奏は所与、モデルがメロディを生成）
人が与えたコード進行に対して、提案手法がメロディを生成した例です。
（実際には、コード進行はtest datasetから選ばれましたが、任意のコード進行を指定することが可能です）
各mp3ファイルは前半が伴奏＋メロディ、後半がメロディのみとなっています。
伴奏は与えられたコード進行を機械的に変換したものです（モデルの出力ではありません）。
いずれの生成例も、コード進行に比較的沿ったメロディになっていることが確認できるかと思います。
Melody 1.mp3生成例 1
0:00～0:13 伴奏＋メロディ
0:18～0:31 メロディのみ
Melody 3.mp3生成例 2
0:00～0:21 伴奏＋メロディ
0:25～0:47 メロディのみ
Melody 2 (Fig3).mp3生成例 3（論文Fig. 3の上から3段目、τ=0.9）
0:00～0:46 伴奏＋メロディ
0:49～1:34 メロディのみ
Melody 5 (Fig6).mp3生成例 4（論文Fig.6の上段）
0:00～1:07 伴奏＋メロディ
1:11～2:18 メロディのみ
より複雑なデータセット＋データ表現を用いた生成例（コード進行による操作は無し）
より複雑なデータセット＋データ表現を用いた生成例（コード進行による操作は無し）
本研究の今後の課題として、コード進行の重要性がより高いポップス音楽等のデータセットに提案手法を適用することが挙げられます。
例として、[Huang & Yang 2020] のデータセット及びデータ表現（REMI）を採用し、提案手法でメロディを生成した例を紹介します。
ただし、これらの生成例では基本的にコード進行を考慮できていません。
ユーザーが指定した任意のコード進行に基づき、このように複雑なメロディを生成できるモデルを作ることが今後の目標です。
Yu-Siang Huang and Yi-Hsuan Yang. 2020. Pop Music Transformer: Beatbased Modeling and Generation of Expressive Pop Piano Compositions. In 28th ACM International Conference on Multimedia (MM ’20), October 12–16, 2020, Seattle, WA, USA.. ACM, New York.
https://doi.org/10.1145/3394171.3413671, https://github.com/YatingMusic/remi
long_melody.mp3Long melody example（5:49）
short_melody_1.mp3Short melody example 1（0:19）
short_melody_2.mp3Short melody example 2（0:18）
Page updated
Google Sites
Report abuse