Motion Capture, Human Pose Estimation

Motion Capture, Human Pose Estimation(姿勢推定)

• (日本語Wiki)

最近のはやりはAIによる姿勢推定。センサが不要で、画像から直接推定できる。カメラを使ったリアルタイム推定も可。

各種実例

• OpenPose

  • コマンドライン・スクリプトで実行するタイプ。

  • これが一番推定能力が高い感じがする。

  • GPUの性能は必須。

• tensorflow/PoseNet

  • Webブラウザで動作で、クライアント側だけで計算。WebGLを使っているので、GPUは必須。

  • デモはお手軽。実装もJavascriptで。

  • Three.jsをモデル描画に作って動かす作例。https://note.com/copipetech/n/n29f0fe474bff 

  • scratchで入門的な本があるらしい。https://fabcross.jp/news/2020/20200629_scratch.html 

  • 利用例：3D-Posenet

• tensorflow/BodyPix

  • Google Developers Japanの記事

  • Github(tfjs-models/body-pix)

  • GPUは必須。PoseNet + bodyにカラーマッピングっぽい。

• tensorflow/tfjs-modelsには他にも顔の表情だけ、手だけを細かく推定するモデルもある様子。

• 論文の世界（理解できてないが、ベースの話なので）

  • 【2019年版】姿勢推定モデルの最新動向について(翻訳)

• Yukihiko_aさんの実装(Qiita)(GitHub)(twitter) 

  • Unity。バーチャルキャラが動く。

  • 現状、一人のみ。

• VMC(Virtual Motion Capture)

• Vroid Studio

これ自体は違うが、推定した結果を与える3Dキャラクタを作る方法の一つ。フリーのサンプルが欲しいかも。