手法メモ

Scratchでモーションキャプチャ

ポーズの認識をする

Google Teachable Machine　ポーズの分類を使う。おそらく1名だけ認識可能。

iMac本体のWebカメラまたは外付けUSBカメラで撮影して姿勢を分類する
P5.js 　または　Max用に用意したパッチコード　を利用して作品に利用する

2019 - 2021 のメディアアートの作品で利用アリ

関節の画面上のx,y座標を取得する

要検証。ブラウザ上で動く。
Max8のNode for Maxでnode.jsを動かしてローカルサーバ上のJavaScriptで動作すると思う。
そこからMax8にOSCかJSから直接、姿勢情報を取得する。
複数人の認識が可能らしい（FPSは落ちる）

関節の空間上のx,y,z座標を取得する

KinectV2OSC
Microsoftの昔の製品、ゲームコントローラ KinectV2 を使う。専用カメラをWindowsPCに接続して、OSCでiMacのMax8に情報を渡す。
複数人の同時認識可能。

kinect2Scratch 昔の環境。kinectとScratchをネットで接続する。昔に動かしたことがある。

Kinect 初代　MMDに接続して使う。Max8で使うには画面キャプチャ経由で画像解析で試そうかな。

ViveとVive Trackerを使う。Unityで制作する。

Azure Kinectを使う。Unityで制作する。
探せばOSC関連も有りそう。または自作する。OSC通信はC++ とopenFrameworksとTidal Cyclesで試したことが有る。

ハンドキャプチャ

Google Teachable Machine　画像の分類を使う。指の座標は利用できない。

Leap Motion を使う。両手の3D座標と指関節を認識できる。Unityを使うことになる思う。
昔に動かしたことが有る。SNAP!と連動できた。

HMDのOculus(Meta) Questがハンドキャプチャに対応している。Unity使うとできそう。