Dance AI for Beginners

ダンサーが着用するセンシングデバイスとして本作ではスマートフットウェアOrpheを使用している。Orpheの靴底にはセンサーモジュールが内蔵されており、専用のデスクトップアプリケーションを利用することで加速度や角速度のようなモーションデータをBluetooth経由でリアルタイムに取得することができる。今回はBreakingにおける基本動作の加速度を記録したCSVファイルを学習データとする深層学習モデル（CNNによるクラス分類）を構築した。また、この学習済みモデルを前述したアプリケーションに組み込むことで、リアルタイムに受信した加速度データに対する基本動作分類を可能にした。

Breakingにおける代表的な技の1つであるウィンドミルの熟達度判定にも上記と同じシステムを使用している。技の「綺麗さ」「速さ」という2つの指標を元に色々な完成度のウィンドミルを実際に行なってデータを収集、その学習済みモデルの分類結果を元に一定時間中の動きに対してシステム内で加点していき最終的にSCOREとしてビジュアライズした。

ちなみにウィンドミルのようなパワームーブと言われるジャンルの動きは身体的ダメージが非常に大きく、データ収集のために長時間繰り返し何パターンもの技を実演したHirasawaとShimizuは大変苦労した。今回は制作メンバーのダンススキル的な制約もあり1つの技のみの熟達度判定となったが、過去にパワームーブにおける他の技も含めた動作分類の検証も行っておりシステムの拡張は可能と思われる。

当時は DanceAI Project を開始して約1年が経過しており、本プロジェクトのまとめとなるような紹介映像を制作した。世の中におけるストリートダンスの普及も踏まえ、一般の人にも広く受け入れられやすいような内容を意識している。特に教育現場においてダンスが必修化となった現状も考慮し、実際の現場に本システムが導入されることも想定した追加機能の開発や映像の見せ方に拘った。