Cardboard

[ 2017-03-26 updated ]

Google VR SDK では Android SDK API 19 (Android 4.4 KitKat)以上が必要です

Processing for Android (Pre 4.0+) で Cardboard ライブラリが使用できるようになりました。

Android mode 0256 以降にはCardboard libarary が同梱されています。

既に P3D で作成したプログラムであれば、簡単に VR 版が作成できます。

Install 手順 (Windows10):

1. Processing-3.2.x をダウンロードし，インストール
2. Java SE Development Kit 8をインストール
3. Android Studioをインストール
   • SDK Manger で Android 5.1などの対応バージョン, USB driver を忘れずに追加
4. Android Mode (Pre 4.0+) を Processing/modes にインストール (私が利用したのは 0255)
5. Android mode 0256 までの場合は、processing-cardboard libraryを Processing/libraries にインストール
6. Processing
   1. Android Mode に設定 (slelect path で SDK のフォルダーを指定: 全てのフォルダが見えるように設定が必要。うまくいかない場合は sdk -> Sdk と指定してみる。)
   2. ツールバーメニューで Android - Cardboard (この指定が無いと動きません!!)
   3. Android device を USB debug mode で接続し、ツールバーメニューの Android - connect devicesで確認
   4. run でコンパイルし、実機で動作(インストールもされる)

Code の注意:

• import processing.cardboard.*;
• setup() で
  • 2眼モードなら
    • fullScreen(PCardboard.STEREO)
  • 1眼モードなら
    • fullScreen(PCardboard.MONO)
• Cardboard では上下逆転するので、scale(1,-1,1) が必要
• camera について
  • draw() で camera を設定しない
    • 設定するとカメラが固定され、周囲を見回せない (動体に固定する場合は指定する)
  • Cardboard での中心座標
    • translate(0,0,(float(height)/2.0) / tan(PI/6.0)) で原点を中心に持ってこれる
    • PGraphicsCardboard.java では、
      • camera(0.0f, 0.0f, cameraZ, 0.0f, 0.0f, 0.0f, 0.0f, 1.0f, 0.0f);
      • 通常は,
        • camera(width/2.0, height/2.0, (height/2.0) / tan(PI*30.0 / 180.0), width/2.0, height/2.0, 0, 0, 1, 0);
  • camera のfar 設定がやや近い
    • Processing のデフォルトは
      • perspective(PI/3.0, width/height, cameraZ/10.0, cameraZ*10.0);
  • カメラの設定等はPGraphicsCardboard.java

public void beginDraw() { 

    super.beginDraw(); 

    pgl.viewport(viewPort.x, viewPort.y, viewPort.width, viewPort.height); 

    camera(0.0f, 0.0f, cameraZ, 0.0f, 0.0f, 0.0f, 0.0f, 1.0f, 0.0f); 

    setProjection(perspectiveMatrix); 

    preApplyMatrix(viewMatrix); 

  } 

... 

protected void headTransform(HeadTransform headTransform) { 

    initCardboard();  

    // Get the head view and rotation so the user can use them for object selecton and 

    // other operations. 

    headTransform.getHeadView(headView, 0); 

    headTransform.getQuaternion(headRotation, 0); 

} 

protected void eyeTransform(Eye eye) { 

    eyeType = eye.getType(); 

    viewPort = eye.getViewport(); 

     // Matrices in Processing are row-major, and Cardboard API is column-major 

    float[] p = eye.getPerspective(cameraNear, cameraFar); 

    perspectiveMatrix.set(p[0], p[4],  p[8], p[12], 

                          p[1], p[5],  p[9], p[13], 

                          p[2], p[6], p[10], p[14], 

                          p[3], p[7], p[11], p[15]); 

     float[] v = eye.getEyeView(); 

    viewMatrix.set(v[0], v[4],  v[8], v[12], 

                   v[1], v[5],  v[9], v[13], 

                   v[2], v[6], v[10], v[14], 

                   v[3], v[7], v[11], v[15]); 

} 

• データファイルの読み込みも可能
  • data フォルダー内はOK
• BUGS?
  • コンパイルはできても、実機での起動で落ちることもある(接点の多い shape の利用?)
  • STEREOモードの片目だけ表示され，ハングアップする場合あり(データ量が多い?)
• Reference:
  • Introduction to Cardboard (Processing for Android 内の Cardboard ライブラリの解説)
  • Processing for Android / Reference (Processing for Android 用 API の解説)

• THETA の 360度画像の表示
  • TextureSphere.pde を利用する。
    • void draw() { translate(0,0, (float(height)/2.0) / tan(PI/6.0)); pushMatrix(); scale(-1,-1,1); noStroke(); textureMode(IMAGE); texturedSphere(globeRadius, texmap); popMatrix(); }
  • MONOで利用(奥行きがないので STEREO 表示は無意味？)