Intel Real Sense Depth Camera

D435i

Post date : 2020-08-01 (Last update : 2020-08-02)

Data

Ref.

  1. Intelサポートページ (https://www.intel.co.jp/content/www/jp/ja/support/products/190004/emerging-technologies/intel-realsense-technology/intel-realsense-cameras/intel-realsense-depth-camera-d435i.html )
  2. RealSense Videos & Tutorials (https://www.intelrealsense.com/videos-and-tutorials/ )
  3. Switch Science (https://www.switch-science.com/catalog/5235/ )
  4. RealSense D415とD435 および D435iとT265の比較と選び方 (https://www.tegakari.net/2019/04/realsense_compare/ )
  5. SkeltonTracking SDK by CUBEMOS (https://www.intelrealsense.com/skeleton-tracking/)
  6. OpenNI2 に関して
    1. Intel® RealSense™ SDK 2.0 and OpenNI2® ( https://www.intelrealsense.com/openni2-for-intel-realsense-sdk/)
    2. github librealsense/wrappers/openni2/ (https://github.com/IntelRealSense/librealsense/tree/development/wrappers/openni2)
    3. Windows上で RealSense SDK を BUILD する (Python + OpenNI2) (https://nw.tsuda.ac.jp/lec/NtRealSense/build_win/)
    4. RealSense 以外
      1. SimpleOpenNI (Processing)

ubuntu18.04 : RealSense2 SDK package (2020-08-01)

  1. librealsense2 のインストール
    1. サーバ公開鍵の登録
      • $ sudo apt-key adv --keyserver keys.gnupg.net --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE
    2. リポジトリ登録
      • $ sudo add-apt-repository "deb http://realsense-hw-public.s3.amazonaws.com/Debian/apt-repo bionic main" -u
    3. $ sudo apt-get install librealsense2-dkms librealsense2-utils librealsense2-dev librealsense2-dbg
  2. デバイス確認
    • $ lsusb
    • Bus 003 Device 002: ID 8086:0b3a Intel Corp.
    • $ modinfo uvcvideo | grep "version:"
    • version: 1.1.2.realsense-1.3.14
    • srcversion: BE1821F94C3D410077ACD10
  3. realsense-viewer
    • $ realsense-viewer
  4. Python
    • $ sudo pip install pyrealsense2


OpenNI2 は NG

  1. OpenNI2 (https://structure.io/openni)
  2. OpenNI2 wrapper (https://github.com/IntelRealSense/librealsense/tree/master/wrappers/openni2)
  3. 以下はまだ...
    1. ソースからコンパイル必要がある (librs2driver.so )
    2. copy librs2driver.so and librealsense2.so to OPENNI2_DIR/Samples/Bin/OpenNI2/Drivers/
      1. cd OPENNI2_DIR/Samples/Bin/OpenNI2/Drivers/
      2. package でインストールした場合は /usr/lib/x86_64-linux-gnu/librealsense2.so . (librs2driver.so が含まれていないのでNG)

ubuntu18.04 : RealSense2 SDK + OpenNI2 (2020-08-03)

  1. OpenNI2 のインストール
    1. Download (https://structure.io/openni)
    2. $ sudo mv OpenNI-Linux-x64-2.2 /usr/local/OpenNI
    3. $ cd /usr/local/OpenNI
    4. $ sudo sh ./install.sh
    5. $ source OpenNIDevEnvironment
  2. Nite2インストール
  3. RealSense2 SDK のインストール (https://github.com/IntelRealSense/librealsense/blob/development/doc/installation.md )
    1. $ sudo apt-get install git libssl-dev libusb-1.0-0-dev pkg-config libgtk-3-dev
    2. $ sudo apt-get install libglfw3-dev libgl1-mesa-dev libglu1-mesa-dev
    3. $ git clone https://github.com/IntelRealSense/librealsense.git
    4. $ cd librealsense
    5. $ ./scripts/setup_udev_rules.sh
    6. $ ./scripts/patch-realsense-ubuntu-lts.sh
    7. $ vi wrappers/openni2/CMakeLists.txt
      • set(OPENNI2_DIR "/usr/local/OpenNI" ...)
      • set(REALSENSE_DIR "/usr/local" ...)
      • include_directories($(OPENNI2_DIR}/Include)
    8. $ makdir build; cd build
    9. $ cmake ../ -DCMAKE_BUILD_TYPE=Release -DBUILD_EXAMPLES=true -DBUILD_OPENNI2_BINDINGS=true
    10. $ make unistall && make clean && make
    11. $ sudo make install
    12. ドライバインストール
      1. $ cp _out/rs2driver.so /usr/local/OpenNI/Samples/Bin/OpenNI2/Drivers/
      2. $ cp _out/rs2driver.so /usr/local/OpenNI/Tools/OpenNI2/Drivers/
      3. $ cp _out/rs2driver.so _NiTE2DIR_/Samples/OpenNI2/Drivers/
  4. プログラムの実行
    1. RealSense SDK
      1. $ realsense-viewer
    2. OpenNI
      1. SimpleViewer
        1. $ cd /usr/local/OpenNI/Samples/Bin/
        2. $ ./SimpleViwer
      2. NiViewer
        1. $ cd /usr/local/OpenNI/Tools/
        2. $ ./NiViewer
    3. NiTE2
      1. $ cd _NiTE2DIR_/Samples/Bin/
      2. $ ./UserViewer

Ref.

Windows10 : RealSense2 SDK package (2020-08-01)

Installation

  1. SDK2.0 download
    1. https://github.com/IntelRealSense/librealsense/releases/ から最新の正式版を選ぶ (pre-release は使わない)
      • https://github.com/IntelRealSense/librealsense/releases/tag/v2.36.0
    2. Intel.RealSense.SDK-WIN10-X.XX.X.XXXX.exe をダウンロード
  2. Intel Real Ssense SDK 2.0 のインストール
  3. 動作テスト : IntelRealSsense.Viewer.exe 起動
    1. (必要だと言ってきたら)Firmware update
    2. StereoModule ON
    3. RGB Camera ON
    4. MotiooModule ON
    5. Default recording folder : C:\Users\ttks\Documents
      • Record ボタンを押すと,date_time.bag が保存される

Python (Anaconda)

  1. Anaconda PowerShell Prompt を開く
    1. pip install pyrealsense2
    2. pip install opencv-python
    3. pip install opencv-contrib-python
  2. サンプルファイルダウンロード (https://github.com/IntelRealSense/librealsense/tree/development/wrappers/python/examples )
    1. Tutorial 1
    2. NumPy and OpenCV
    3. OpenCV software renderer
  3. Spyderを開く
    1. 各サンプルを実行 (別 Window で実行するものもあり)

Processing

  1. スケッチ->ライブラリをインポート->ライブラリを追加
    1. Intel RealSense for Processing をインストール
    2. サンプルの PointCloudViewer を使う場合は、peasy もインストール
  2. サンプルを実行

OpenNI2

  1. RealSense SDK 2.0 を設定を変えてコンパイルする必要あり (rs2driver.dll が必要)
    1. NiTE2 で骨格認識ができるようになるはず
    2. 座標系を一致させるところの作りこみがまだとの情報あり

WSL1 ubuntu18.04 (2020-08-01) : デバイスが認識できません

  1. librealsense2 のインストール
    1. サーバ公開鍵の登録
      • $ sudo apt-key adv --keyserver keys.gnupg.net --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE
    2. リポジトリ登録
      • $ sudo add-apt-repository "deb http://realsense-hw-public.s3.amazonaws.com/Debian/apt-repo bionic main" -u
    3. $ sudo apt-get install librealsense2-dkms librealsense2-utils librealsense2-dev librealsense2-dbg
  2. vcXsrv 起動
  3. realsense-viewer : ERROR
    • vcXsrv を最新版 (1.20.8.1) に上げたら起動 -> センサーが見つからない
    • vcXsrv が古い場合 (2018年版を使っていた)
      • $ realsense-viewer
      1. libGL error: No matching fbConfigs or visuals found
      2. libGL error: failed to load driver: swrast
      3. OpenGL 3.0 or ARB_vertex_array_object extension required!
      • glxgears は動くので、3番目のエラーが解消すれば動くと思われるたが、vcXsrv のバージョンアップで解消した模様

そもそも

  • lsusb で USBデバイスが表示されない -> WSL1 では USB Camera 等の認識もダメらしい -> WSL2に期待 ??