20190717 : AzureKinect DK 触ってみる会

Azure Kinect DK触ってみる会」に参加してきました.開催者の皆さん,いろいろアドバイスしていただいた中村さん.周囲の皆さん,どうもありがとうございました.

  1. 全日準備(これが大切でした)
    1. 参考:kaorun55 さんのページ Azure Kinect SDKのインストールと各種ツールの使い方
    2. Azure Kinect SDK 1.1.
      1. C:\Program Files\Azure Kinect SDK v1.1.1\tools
    3. NVidia driver 最新版
    4. Azure Kinect Body Tracking SDK 0.9.0
    5. CUDA 10.0
    6. cuDNN v7.5.x for CUDA 10.0
    7. Visual C++ Redistributable for Visual Studio 2015
  2. 箱から開封(わざわざきれいに箱に収めた状態で貸してもらえました)
  3. SDK
    1. Azure Kinect Viewer
      1. Start
        1. 右下にある Start ボタンを押して開始
        2. パラメータ変更は Stop してから
        3. 2D/3D で画面が切り替わる
      2. 表示はきれい (color, IR, depth)
        1. カラー画像がきれい
        2. 人体や物体のエッジがきれい
        3. 短い髪の毛の認識はやや難しいかも
      3. NFOV : Narrow FOV
        1. ガラス越しOK
      4. WFOV:Wide FOV
        1. ガラス越し NG(遠かったせいかもしれない)
        2. IR、depth は魚眼
        3. 4:3 にすると横120度x縦120度くらい
        4. 1.5mくらいまで
      5. 加速度計とGyro
        1. 3Dスキャンの際にカメラ位置と向きをとれる
        2. Gyro の下のセンサー温度が,depth 画面のところのものより低い(40℃<->27℃)
    2. Recorder
      1. SDKの絶対パスで起動可能
        1. mkv で録画
        2. 動画プレイヤーだとそのまま動画で表示
        3. AzureKinectViewer で開くと,3Dデータで表示
  4. Body Tracking
    1. CUDA, cudnn 必要
      1. cudnn*.dll を実行ファイルのあるフォルダーへコピー
    2. フォルダーを開き,k4abt_simple_3d_viewerを起動
    3. 表示
      1. 表示はきれい
      2. 一瞬遅れている程度の追随
      3. 顔に目と鼻・口を認識?
      4. キーボード操作で表示変更:
        1. ESC (quit)
        2. b (body visuallization mode) : 各人体ノードの方向ベクトル表示 ON/OFF
        3. k (3d window layout) :1 window <-> 4 window
  5. unity
    1. 2019.01 へ version up が必要
    2. https://github.com/curiosity-inc/azure-kinect-dk-unity
    3. 時間切れで試せず

AzureKinectViewer :

ガラスの向こうの段ボール箱等が NFOV では見えるが,WFOV では見えない

AzureKinectViewer : WFOV, 4:3, 2D

  • depth でガラスの向こうのダンボールが見えない
  • IR, depth が魚眼

AzureKinectViewer : NFOV, 4:3, 2D

  • depth でガラスの向こうのダンボールが見える

AzureKinectViewer : WFOV, 4:3, 3D, Shade

  • あまり遠くまで映らない

AzureKinectViewer : NFOV, 4:3, 3D, Simple

Body Tracking Viewer :

画面に映るためにやや無理な態勢で

k4abt_simple_3d_viewer : 4 windows

k4abt_simple_3d_viewer : 1 window