マニュアル

As of 2018/06/08

Hitogataのマニュアルです。
とりあえず作った感じ。

 1. モデルを指定する

モデルウィンドウにあるボタンを選択すると、そのモデルが表示されます。


ウィンドウバーにある下画像のボタンで、一覧を読み込みなおすこともできます。



 2. フェイストラッキング

フェイストラッキングを開始するには、「FaceTracking」ボタンを押します。
すると、別ウィンドウで顔認識画面が表示されます。

なお、トラッキングが開始されたときの認識状態が初期値となるため、開始時はできるだけ口を閉じて、正面を向いた状態にしてください。


・動画からFaceTracking
 Webカメラ画像ではなく、動画ファイルを読み込んで、フェイストラッキングを行います。

・リセット
  トラッキングの状態をリセットします。顔の位置や口の開きなどの初期値も初期化されるので、できるだけ口を閉じて、正面を向いてリセットしてください。

・モーションREC
  トラッキング時の上半身ー上半身2-首ー頭の動き、左右の目、口モーフをMikuMIkuDance(以下MMD)のVMD形式で保存することができます。
  口モーフは、「あ」「い」「う」で保存されます。
  口を縦に開くと「あ」、横に開くと「い」、口をすぼめると「う」になります。

  なお、保存時のVMDモーションファイルは、平滑化されていない生データであり、動きにノイズが入っています。
  保存時に平滑化オプションが選択できますので、平滑化が必要な場合はここを選択してください。通常は3フレームで十分です。


・感度
  口(くち)トラッキングの3Dモデルへの反映度合いを指定します。
  値を大きくすると、3Dモデルへの反映が大きくなります。

・平滑化
  3Dモデルの上半身~頭の動きを平滑化する度合いです。
  値が大きいと動きが滑らかになりますが、遅延が大きくなります。

・Webカメラコントロール
  Webカメラの操作を行います。露光や色変更が可能です。
  なお、Windows Driver Model (WDM) に対応しているデバイスのみ可能です。

・まばたき認識
  まばたきの認識方法を指定することができます。
  トラッキング状況によっては、まばたきがあまり認識されません。そのときは「自動まばたき」や「なし」を指定してください。

 まばたき認識 フェイストラッキングによりまばたきを認識させます。
 自動まばたき 定期的にまばたきさせます。
 なし まばたきしません。

・ミラーモード
3Dモデルの動きを、鏡に映ったような動きにします。
通常のトラッキングでは、自分が右を向くと3Dモデルも右を向きますが、これをONにすると3Dモデルは左を向くようになります。

・笑い認識
Webカメラの顔画像から、笑ったときに3Dモデルも笑うようになります。ただし、モデルに「笑い」モーフが必要です。

・Kinect v1のカメラを利用する場合
  FaceTrackingウィンドウの下あたりにある「Kinectカメラ利用」にチェックを入れて、フェイストラッキングを開始してください。

・カメラ画像の表示
  デフォルトでは、Webカメラの画像自体は表示されません。
  Webカメラの映り具合や、角度など調整するときに画像を表示させたい場合は、FaceTrackingウィンドウの一番下にある「カメラ画像」を「ON」にしてください。
  警告ダイアログが表示され、OKを押すと画像が表示されます。

・録画
  フェイストラッキングの顔認識ウィンドウ下の「REC開始」を押すことで、Webカメラの画像を動画として保存可能です。
  後でこの動画を使ってトラッキングさせるために使うことができます。

 3. Perception Neuronによるフルボディトラッキング

FaceTrackingの「Neuron」にチェックを入れて、Perception Neuronを起動するだけで、3Dモデルに動きが反映されます。
全身(フルボディトラッキング)か、上半身(腰から上だけ反映)を選択することができます。
また、FaceTrackingを行わないこともできます(NeuronのみでWebカメラは使用しない場合です)。



なお、NeuronAxisにて以下のように設定してください。
基本、デフォルトで動作します。

Fileメニューから「Settings」を選択

 大項目 項目 設定値
 General IP 自端末のIPアドレス(通常、自動で入力されています)
 Output Format
 Rotation YXZ(デフォルト)
  Displacement ON(デフォルト)
 Broadcasting Tcp/Udp TCP(デフォルト)
  BVH Enable
 ON(デフォルト)
  BVH ServerPort
 7001(デフォルト)
  BVH Format Binary(デフォルト)




4. マイク

マイクウィンドウの「マイク」ボタンを押すことにより、マイク入力から口パクさせることができます。
マイク音量によって、口の開きが決まります。


・音声ファイル
  音声ファイルを読み込み、それに合わせて口パクさせることができます。
  ファイルを指定すると、オーディオプレイヤーが開きます。

・音量
  音量を調整します。これはマイク入力からの口パクには影響しません。

・範囲
  口パクさせる音量範囲を調整します。この範囲で口が動きます。
  下のレベルメーターを見ながら、上限と下限を調整してください。

・反映方法
  モデルへの口パク反映方法です。マイク音量のみで口パクさせるか、マイク音量による口パクに、トラッキングによる口パクをくわえるかを選択できます。


 5. モーション

フェイストラッキングでは顔や顔の位置・方向しか認識しないため、腕などは動きません。
あらかじめ用意されたモーションを指定して、モデルを動かすことができます。なお、上半身~頭までの動きはトラッキング優先になります。


このモーションは、MMDやMikuMikuMoving(以下MMM)で自作することができます。
「Motions」フォルダに、以下の2つのファイルを置くことで、モーションを用意することができます。

・VMDモーションファイル
  MMDやMMMで作成可能なモーションファイルです。

・moファイル
  拡張子「.mo」のモーション指定ファイルです。中身はテキストファイルです。
  以下の項目を指定することができます。

 Name モーションボタンに表示する文字です。4文字以上は入りきらない場合があります。
 MotionFile VMDモーションファイルのパスを指定します。
 MarginFrame モーション開始位置までモデルをもってくる期間です。フレーム数で指定します。
 MotionSpeed モーション速度です。FPS(フレーム/秒)で指定します。通常だと30です。
 Repeat モーションを繰り返すかどうかを指定します。true/false で指定します。
 Morph モーフ名を指定します。
 BlinkOff このモーション中、まばたきを抑制するかどうかを指定します。true/false で指定します。
 EffectFile エフェクトファイルのパスを指定します。



 6. カメラ

カメラは、画面上で右マウスドラッグで回転、ホイールボタンドラッグで移動させることができます。
またホイールでズームさせることができます。

カメラウィンドウでは、カメラやスクリーンの操作をすることができます。



・カメラの初期化
  カメラボタンを右クリックして出るコンテキストメニューから「初期化」を選択してください。

・カメラ位置の保存
  現在のカメラ位置を保存したい場合は、カメラボタンを右クリックして出るコンテキストメニューから「現位置で保存する」を選択してください。

・カメラ1/2/3
  カメラは3つあり、それぞれを切り替えて使うことができます。
  シーンの切り替え等に利用可能です。

・スクリーン
  背景や、3D空間内のスクリーンにデスクトップの画面や他のウィンドウ画面を表示させることができます。

  デスクトップ画面の範囲を指定して表示する場合は、ディスプレイアイコンをクリックして、その後、左マウスドラッグで範囲を指定します。
  特定のウィンドウ画面を指定して表示する場合は、ディスプレイアイコンを左マウスドラッグして、対象のウィンドウにドロップします。

  なお、重い処理になるため注意してください。


 7. 部屋

3D空間内に背景を置くことができます。
部屋ウィンドウから、ボタンで指定してください。


なお、この部屋は自作することができます。
「Rooms」フォルダに、以下の2つのファイルを置くことで、モーションを用意することができます。

・モデルファイル
  以下のモデルファイルが使用可能です。

 Xファイル Microsoft DirectX9時代のモデルファイル
 MQOファイル メタセコイアのモデルファイル


・roomファイル
  拡張子「.room」のモーション指定ファイルです。中身はテキストファイルです。
  以下の項目を指定することができます。

 Name モーションボタンのToolTipに表示する文字です。
 ModelFile モデルファイルのパスを指定します。
 PoseFile この部屋が指定されたときのモデルのポーズを指定するファイル。vpd形式です。
 ArmIK 腕IKを使用するかどうかを指定します。true/falseで指定します。
 EffectFile エフェクトファイルのパスを指定します。




 8. 画面

画面ウィンドウにて、画面サイズや背景色を指定することができます。


・別
  モデルを別ウィンドウで表示させます。

・大/中/小
  画面サイズを指定します。

  16:9 4:3
 大 1920 x 1080
1440 x 1080
 中1280 x 720
 960 x 720
 小 854 x 480
640 x 480

・背景色
  背景色を指定します。



 9. キャラメイキング

・3Dモデルキャラクターを作成する

上の「ツール」メニューから、「キャラメイキング」を押すと、パーツを選択することでキャラクターを作り出すことができます。



キャラクターを作成したら、必ず左上の「保存」ボタンにてモデルを保存してください。


また、キャラクターを保存すると同時に、同フォルダに.cfgの構成ファイルが作成されます。
この.cfgファイルをキャラメイク時に読み込むことにより、同じキャラクターを再現させることができます。
キャラクター作成後に変更・修正したい場合に便利です。

読み込むには、キャラクターメイキングダイアログのファイルメニューから「キャラ構成ファイルを開く」を選択してください。


構成ファイルだけ保存することもできます。同メニューから「キャラ構成ファイルを保存」を選択してください。

・作成したモデルをエクスポートする

作成したモデルを、FBXもしくはPMXファイルとして保存することができます。
ファイルメニューから「モデルのエクスポート」を選択してください。


「ファイルの種類」にて、PMXかFBXかを選択し、保存します。

・固定パーツをインポートする

自作した固定パーツをインポートすることができます。
ファイルメニューから「パーツファイルのインポート」を選択してください。
詳細は「固定パーツの作り方」を参照してください。


10. モデルのインポート

FBXやVRMモデルを読み込むには、ファイルメニューから「外部モデルを開く」を選択して、インポートするファイルを指定してください。


・FBXファイルの場合
FBXファイルの場合、モデルの大きさやボーンの指定を行う必要があります。
下のようなダイアログが表示されますので、ボーンを適切に指定してください。




11. 設定

上の「ツール」メニューから、「設定」を押すと、Hitogataの設定をすることができます。


基本
 カメラ画像表示時に警告を表示する Webカメラ画像をONにするときに、警告ダイアログを表示するかどうかを指定します。
 スクリーン更新頻度 背景や3Dスクリーンにキャプチャ画像を表示するときの更新頻度です。更新頻度を遅くすると、軽くなります。

FaceTracking
 トラッキング最大人数
複数人トラッキングできますが、現在モデルに反映できるのは1人のみなので、1人を指定してください。
 Webカメラ解像度
Webカメラの解像度を指定します。解像度を大きくするとトラッキング処理が重くなりますが、精度は上がります。
 視線 視線トラッキング方法を指定します。トラッキングにより視線を動かすか、カメラ方向を自動で向かせるか、そもそも視線を動かさないかを指定可能です。
 録画・モーション猶予時間 録画やモーションRECするときの開始までの猶予時間を指定します。

Neuron
 IPアドレス
Axis Neuronから受信するIPアドレスです。
 BVHポート番号
BVHデータを受信するポート番号です。
 Calcurationポート番号Calcurationデータを受信するポート番号です。



 11. その他