THE FRESHEST AI

まず、ダンサーは各自が創造した動きに対して4段階評価（Level1~4）を行う。目安として、レベル1はブレイクダンスにおいてもベーシックと言われるような動きに近いもの、対してレベル4はダンスシーンにおいてシグニチャーとも言われるような各ダンサーを代表する特徴的な動きを中心に構成してもらった。加えて、ダンスバトルのような現場を想定し、直立状態や歩行といったダンス以外に起こりうる動作をその他（Other）とした。そして、それらの動作中における加速度データを収集し、CNNによる分類モデルに学習させた。

本制作に合わせて、加速度データ収集用のデバイス検討を行った。そこで、まずはプロトタイプとして「Arduino + モバイルバッテリー + 取付バンド」一体型の専用デバイスを開発した。

センシングデバイスとしては、最も小型かつ安価であることから Arduino nano を採用した。慣性センサ付きのデバイスである。電源供給には、試作段階で検証効率を上げるためモバイルバッテリーを利用した。これら Aruduino・モバイルバッテリーを巻き込みながら取付バンドで足首に固定する形とした。

また Aruduino 内部のアプリケーションとしては、付属の慣性センサから取得した加速度データを Bluetooth で PC 側のデータ受信用アプリに送信するものを実装した。受信用の PC アプリケーションは別途専用で開発した。

実際に試作したデバイスを取り付けて実験したところ、計測自体は可能であった。しかし、モバイルバッテリーの影響でデバイスのサイズが大きくなってしまっていたため、ダンス動作の邪魔になる問題があった。また、特に Bluetooth 通信の不安定さが目立ち、デバイスが体で隠れるような動きやパワームーブのような激しい動きなど、動き方によってはデータがうまく送受信できずに欠損してしまうといった問題が判明した。これらの点を受け、より使いやすく安定した計測が可能なデバイスの再検討を行った。

今回の制作で最終的に採用したデバイスが MbientLab の "MetaMotionR" である。

MetaMotionR は小型かつ比較的安価であり、9軸センサを搭載したウェアラブル向けのデバイスである。デバイスとすぐ連携可能なスマホアプリが提供されており、加えて Developer 向け Open Source API まで公開している点も魅力であった。また MbientLab 社は小型 Bluetooth デバイスを数多く取り扱っており、ウェアラブルなセンシングデバイスの実績も多く見受けられため、今回の採用に至った。

また MetaMotionR の採用に合わせ、センサーデータを受信するための専用アプリケーション「DanceAI Hub App」を開発した。デバイスと PC 間で Bluetooth 通信で接続し、受信した加速度データをテキスト形式で記録できる。計測時に接続するデバイスはデバイス ID 一覧から選択することができる。GUI 上に加速度グラフや RSSI 値を表示しており、リアルタイムな接続状況の確認も可能となっている。なお開発には MbientLab が提供する Swift APIs を利用した。

DanceAI Hub App はデータ計測機能だけでなく、AI によるリアルタイム推論機能も搭載している。アプリに学習済みの機械学習モデルを組み込んでおり、受信したセンサーデータから直接推論することができる。またセンサーデータと同様に、推論結果もテキスト形式での記録が可能である。

さらに、DanceAI Hub App と連携して各種データを可視化する専用システム「DanceAI Visualizer」も開発した。OSC 通信で連携しており、受信したデータを元に様々な可視化を行うことができる。

ダンサーへのフィードバックを目的とした可視化であるため、データ表示方法には様々な工夫を施している。例えば「評価レベル推移グラフ」である。本システムでは常にリアルタイム評価を行うが、ダンサーにとって踊りながら各瞬間ごとの評価値を見ることは容易ではない。そこで、ムーブ中の評価レベルの軌跡を可視化することで、1ムーブ終えたタイミングで今までの一連の動作の評価値をすぐ振り返ることができるようにした。また「加速度推移グラフ」を実装しており、これらのグラフを同時に表示することで、"動きの激しさ" と "自身のオリジナリティ評価" の関係性が見えやすくなるようにした。

また同時にパフォーマンス用を目的とした可視化であるため、テキストアニメーションやパーティクルシステムなど、インタラクティブシステムとしての視覚的な面白さも重要視した。これらを両立するため、開発には openFrameworks を採用し、大規模演出ながら高速なアプリケーション動作を実現している。

なお可視化アプリの画面設計当時は、ダンサーにとってより良いフィードバック方法を実現するため、事前に様々な表示用コンポーネントやレイアウトパターンを実装し、実際に自身らで踊ってみた所感を踏まえながら開発を進めた。一連の検討の結果、各瞬間ごとの評価ラベルを最大に表示することが最も効果的ではないかとの結論となった。

最終的なシステム構成は上図のようになった。ダンサーが両足首に装着したMetaMotionRから得られる加速度データに対してリアルタイムでAIによる推論を実行し、その結果を可視化&フィードバックする仕組みとなっている。