Visualization of Dancer’s Emotional State by Deep Learning

本システムでは情動状態として、Russell の円環モデルを参考に、覚醒度（arousal）の両極の状態（覚醒度の高い"aggressive"、覚醒度の低い"passive"）に着目した（※1）。ダンサーには Breaking における基本動作（SixStepなど）を異なる情動状態の想定のもとに踊ってもらうことで、それぞれの状態における加速度データを収集した。

データ収集には iPhone の慣性センサーからデータをCSVファイルとして記録する専用のiOSアプリを開発した（これはGitHubにてソースコードを公開している）。加速度データの学習にはKerasを使いCNNによる分類モデルを構築した。加えてCoreMLでその学習済みモデルを変換し上記のiOSアプリやBluetoothにてセンサーデータの通信を行うMacOSアプリ（別途開発）にも組み込んだ。また、情動状態に関する様々な可視化のためにopenFrameworksを使用したデスクトップアプリも加えて開発した。MacOSアプリとOSC通信を行いリアルタイムでダンサーの情動状態の可視化を行なった。

なお可視化の際には、情動状態が直感的に理解しやすいよう、覚醒度の高い状態を赤色、覚醒度の低い状態を青色で表した。これはチーム内での活発な試行錯誤の結果と、色覚と心理状態との関連性を調べた研究に基づいたものである（※2）

前作「Dance AI for Beginners」で使用したスマートフットウェアOrpheは脚部動作の特徴を捉えるセンシングデバイスとして非常に有用であった。ただ今回はより手が届きやすく一般的にも普及しているデバイスとしてOrphe以外の選定を行った。その結果、今回は加速度のようなモーションデータが取得でき無線通信もできる身近なものとしてiPhoneを採用した。

iPhone を使用する上で苦労した点の1つとして身体への固定方法がある。まずデバイスの固定部位として、ダンス動作の特徴がモーションデータによく現れ、かつ装着時の違和感が少ないという点を考慮し足首を選定した。更にその装着方法としていくつか検討した結果、ランナーがスマートフォンを腕に固定するための専用ケースを流用した。

検証の結果、Orpheの時と同様に基本のダンス動作や情動状態の分類がある程度可能ということが確認できた。しかし、ある程度は予想していたもののiPhoneのサイズ的にダンス動作中の邪魔になりやすく、本システムの開発・学会での発表以降は新たな計測デバイスの選定や開発を始めることとなった。