Search this site

Embedded Files

河本サイト

ページのCVRNN を用いた演奏スタイルを

制御可能な演奏表情付け

日本大学文理学部情報科学科

北原研究室河本大和

概要

近年, 深層学習を用いたピアノ演奏生成の研究が進展し, 楽譜情報に基づいて人間らしい演奏表情を付与する試みが多数報告されている. 一方で, 多くの既存研究は, 生成結果をユーザの意図に沿って再現性高く調整することには依然として課題が残る.
そこで本研究では, 条件付き変分リカレントニューラルネットワーク（Conditional Variational Recurrent Neural Network; CVRNN）を基盤とし, 演奏表情の制御性と潜在表現の解釈可能性を高めるための二つの拡張手法を提案する.
第一に, 演奏全体の大域的な統計量（平均テンポ, 平均ベロシティ）を低次元のスタイルベクトルとして条件入力に追加し, 推論時にこのベクトルを操作することで, 演奏の速度感や強弱感を明示的に調整可能な生成モデルを構築する.
第二に, 学習済み CVRNN の潜在変数に対して, 目的とする演奏属性（テンポ, ベロシティ）と相関する方向ベクトルを線形回帰により推定し, さらに直交化を用いて属性間の干渉を低減する事後的制御手法を提案する. これにより, 再学習を伴わずに「テンポを保ったまま強弱のみを変える」といった操作可能性を検証する.
評価として,ピアソン相関係数を用いて定量化する客観評価と,聴取実験による主観評価実験１、実験２を行った.
客観評価では, テスト曲から抽出した各サンプルについて, 先頭 20 ノートをプライミング区間として正解の演奏特徴量を入力し, 続く 40 ノートをモデルに生成させた. 生成区間に対して, 正解系列と生成系列のピアソン相関係数を特徴量ごとに算出し, Zero 条件（$z=\mathbf{0}$）と Prior 条件（$z \sim p(z)$）を比較した. その結果, Duration の相関が最も高く（0.54--0.56）, Velocity がそれに続いた（0.43 前後）一方, Timing と Tempo は 0.30 前後に留まった.
主観評価（実験1）では, 同一楽曲について「楽譜通り（score）」「人間演奏（Human）」「生成演奏（Proposed）」を提示し, 7 段階で人間らしさや表現の豊かさなどを評価した. 人間らしさは Proposed が 4.12 で score1.92を大きく上回り, 表現の豊かさも Proposed が 4.46 と Human4.78に近い値を示した. したがって, 提案モデルは機械的な演奏から改善しつつ, 一定の自然さ・表現力を持つ演奏を生成できることが示唆された.
主観評価（実験2）では, スタイルベクトルを 4 象限に対応させて生成した「激しく」「軽快に」「穏やかに」「重く」の演奏をランダムに提示し, 被験者に最も適切な印象語を 4 択で選択させた.意図した印象が選ばれた割合は「軽快に」83.8\%, 「穏やかに」77.5\%, 「激しく」62.5\%, 「重く」55.0\%であった. この結果から, 平均テンポ・平均ベロシティの 2 次元スタイル条件により, 速度感と強弱感をある程度制御できることが確認された. 一方で, 「重く」と「穏やかに」の混同（重く$\rightarrow$穏やかに 25.0\%）なども見られ, 平均統計量だけでは印象の分離が不十分な場合があることも示唆された.

卒業研究発表資料　

卒業論文

プログラム（Google Colab）

Report abuse

Page details

Page updated

Report abuse