MR Puncture (HoloLens2)

ホロレンズ2を用いた複合現実（Mixed reality）下の針穿刺ガイド

Overview (概要)


What's new

How to Use (General)

【Common functions】

- A hand menu appears if you look at your left palm. 

- Three methods are available to move each object after displaying a blue box by selecting each button. 

(1) Grasp a blue box with your single hand or hand ray (blue spheres are for rotation). 

(2) Press handle buttons (long press is for continuous movement). 

(3) Speech voice commands. 

- Check boxes are for switching the display of each object.



【共通操作】

・左手のひらを正面視するとメニューが現れる。

・各物体の移動は、各ボタンで選択して青枠が出現した状態で以下を行う。

（1）青枠をつかむ（近い場合は直接手でつかむ、遠い場合はハンドレイでつまむ、片手操作のみ、青玉は回転用）

（2）操作ボタンを押す（長押しは連続で移動）

（3）音声入力（表記のwordを発声する）

・Homeに戻ると上記青枠が消えて動かない状態になる。

・チェックボックスのオン・オフで表示の有無を切り替える。

How to Use (Virtual Protractor/仮想分度器)

Adjust the angle with CT plane 

- Press [CT plane] (1) and grasp the blue handle box to move the XYZ-axes. 

- Adjust the angle of the yellow X-axis to the real CT plane by handling the blue spheres or pressing [Turn right/left] (2). 

- Or, press [Reset Grid] to face the XYZ-axes to the camera. 

- Press [Home] (3). 


Place the protractor at an entry point

- Press [Protractor] (4). Handle the blue spheres or press [Turn right/left] (5) to rotate and adjust the angle of the protractor to any angle against the CT plane. Press [Roll] (5) to display a target angle. 

- Grasp the blue box to adjust the center of the protractor to an entry point. 

- Or press [Fix On Screen] (6) to display and fix the protractor in the center of the screen. 

- Or press [QR Tracking] after placing a real QR code (more than 7 cm with white margin) with adjusting the left upper corner (1 x 1 cm outside from the inner black area) on the entry point. Press [QR Stop] and [Home]. 

- Or press [Tap to Place] for placing the protractor by finger air tap after moving it along the surface of physical objects using a hand ray. 


Needle puncture with Bull’s eye method. 

- Move your head until one of the white lines becomes a dot. Advance a real needle along the line with the Bull’s eye method or while referring from two directions.



CTと角度を合わせる

・ [CT plane] （1）から青枠をつかんでXYZ軸を移動する。

・青玉をつかんで回転、もしくは  [Turn right/left] （2）で、X軸（黄色線）の角度をCT装置の断面に合わせる。もしくは [Reset Grid] (2) でXYZ軸をカメラの方に向けて合わせる。

・ [Home] （3）で戻る。


仮想分度器を刺入点に配置

・ [Protractor] （4）から青玉をつかむ、もしくは  [Turn right/left] (5) で仮想分度器をCT断面に対し任意の角度に回転させる。[Roll] (5) で目的の角度の線を表示する。

・青枠をつかんで手動で仮想分度器の中心を刺入点に合わせる。

・もしくは、 [Fix On Screen] (6) で仮想分度器を画面中心に固定表示する。

・もしくは、QRコード（7cm以上推奨、周囲に白枠必須、模様は何でも可）の左上の内側の角（黒い部分）から1 x 1 cm外側を刺入点に合わせて置き、  [QR Tracking] を押してからQRコードを正面視して読み込み配置する。 [QR Stop] 、 [Home] で戻る。

・もしくは、 [Tap to Place] を押して、ハンドレイで空間の物体上に仮想分度器を移動し、指のエアータップで配置する。


Bull’s eye法で穿刺

・刺入したい角度の線が点状に見える位置に頭を移動し、Bull’s eye法で（または2方向から確認しながら）針を穿刺する。

How to Use (Multi-function)

Display needle distance on virtual protractor

- Place the protractor in the same way with the virtual protractor.

- Press [Target] (1) and adjust the needle length (from tip to hub) by using the pinch slider (2). 

- Press [On Protractor] (3) and move the target with the blue box to the place with any distance and angle. 

- Advance a real needle until the needle’s hub reaches the red ball. 


Utilize CT coordinates

- Press [Target] (1) or [Needle] and place each object by inputting each parameter and coordinate obtained from CT images after pressing [Calculator] (4) and clicking each cell by handray.

- Press [Auto angle] (5) to face the needle to the target. 

- Press [CT plane] and adjust the position of the XYZ-axes to the CT laser completely. 

- Advance a real needle with Bull’s eye method or while referring from two directions. 


Registration with 3 points method

- Place a target and needle by using the coordinates as mentioned above.

- Press [Mark 1/2/3] (6) and place each mark on each characteristic point or attached marker on the body surface by using the coordinates.

- Press [Mark1] (6) and adjust the position of the Mark1. 

- Press [Center] (7) to adjust the position of the Mark2 by rotating with the blue spheres. 

- Press [Mark2] and [Center] (8) to adjust the position of the Mark3 by rotating with the blue spheres.



仮想分度器に針長も表示させる方法

・ [Simple] と同様に、仮想分度器を配置する。

・ [Target]（1）から上方のスライダー（2）で実際の針長（針先からハブ付け根まで）に合わせる。

・ [On Protractor] （3）を押し、青枠等で標的を目的の角度と深さに移動させる。

・Bull’s eye法で穿刺し、ハブの付け根が赤点まで達したら針先が標的の深さに相当する。


CT座標情報を利用する方法

・ [Target] （1）と [Needle] から [Calculator] （4）を選択し、ハンドレイで各セルをクリックしてバーチャルキーボードでCT撮影時の各パラメーターと画像のpixel情報を入力し、それぞれ配置する。

・ [Auto angle] （5）で針を標的の方向に向ける。

・ [CT plane] からXYZ軸をCTのレーザーに合わせる。

・Bull’s eye法で（または2方向から確認しながら）穿刺する。


三点法で位置合わせする

・上記と同様に座標情報を用いて、TargetとNeedleを配置する。

・ [Mark1] （6）、 [Mark2] 、 [Mark3]  から体表の特徴点や貼付したマーカーの座標情報を用い、Mark1、2、3をそれぞれ配置する。

・ Mark1 の位置を合わせる。

・ [Center] （7）を押し、青玉で全体を回転させて、Mark2の位置を合わせる。

・ Mark2 の [Center] （8）を押し、青玉で全体を回転させて、Mark3の位置を合わせる。

How to Use (3D Organ)

- Press the [Import] button to import 3D models (FBX, OBJ, STL) created with workstations and saved in a folder of the HoloLens in advance. 

- Multiple organs with the same location created on workstations can be imported by loading them one by one. After loading all the organs, press the [Confirm] button. Please wait a moment for the 3D model to appear. 

- If you [Import] multiple organs as one FBX, you can easily color code them.

- Adjust the magnification, direction, & color of the model, by pressing each button multiple times. 

- The center of the model (yellow ball) can be adjusted by pressing the [Move Center] button. 

- The 3D model can be placed on the left upper corner (1 x 1 cm outside from the inner black area) of a QR code (more than 7 cm with white margin, any QR code is possible) by pressing the [QR Tracking] button.

- Press the [QR Flat Tracking] button, and the 3D model can be placed similarly while keeping the horizontal angle flat. 

- Press the [Tap to Place] button for placing the 3D model by finger air tap after moving it along the surface of physical objects using a hand ray. 



- HoloLensに、予めWorkstationで作成した3Dモデル（FBX、OBJ、STL）を保存しておき、[Import] ボタンを押して取得する。

- 臓器を一つづつインポートして、最後に [Confirm] ボタンを押せば、同じ位置情報を持つ複数の臓器を取り込むことができる。

- 複数の臓器を一つのFBXとして [Import] すれば、色分け等が簡単にできる。

- 拡大率、方向、色は、各ボタンを複数回押すことで調節する。

- [Move Center] ボタンを押せば、3Dモデルの中心位置を微調節できる（体表の目印となる構造（胸骨や恥骨等）に移動しておけば、QRやTapで利用可能）。 

- 予めQRコード（7cm以上推奨、周囲に1cmの白枠、模様は何でも可）を準備しておき、[QR Tracking] ボタンを押してからQRコードを正面視すれば、3DモデルはQRコードの左上の内側の角（黒い部分）から1 x 1 cm外側に表示される。

- [QR Flat Tracking] ボタンを押せば、水平を平行に維持したまま同様に表示される。

- [Tap to Place] ボタンを押し、ハンドレイで空間上の物体の表面に3Dモデルを移動し、エアータップ（人差し指と親指をつかむ）することで配置する。

【Privacy Policy】

This application does not collect or publish any personal information. This application does not use any identifying information that can be linked to a specific device or individual. The application does not require an Internet connection. The application does not access user data stored on the device. This application may use local location data and cameras to provide augmented reality features, but does not use GPS data to specify location.


【Application Terms of Use】

This application is not for clinical use. Please use it for research purposes and experiments only. Users shall use this application at their own risk, and shall be responsible for any and all actions taken in this application and the results thereof. The developer assumes no responsibility for any consequences that may result from this application. The developer does not warrant, expressly or impliedly, that this application is free from defects in fact or in law (including defects in safety, reliability, accuracy, integrity, effectiveness, fitness for a particular purpose, security flaws, errors or bugs, or infringement of rights). This application may be subject to change in whole or in part in its specifications or its availability may be discontinued without notice. This application was supported by JSPS Grant-in-Aid for Scientific Research (KAKENHI) grant number JP18K07648. The copyright of this application is held by Tokyo Women's Medical University.


【プライバシーポリシー】

このアプリケーションは個人情報を収集したり公開することはありません。このアプリケーションは特定の端末や個人と結びつけることができる識別情報を利用しません。このアプリケーションはインターネットへの接続を必要としません。このアプリケーションは端末に保存されているユーザーデータにアクセスしません。このアプリケーションは拡張現実の機能を提供するためにローカルの位置情報とカメラを利用することがありますが、特定の地点を示すGPSデータを利用しません。


【ソフトウエア使用許諾】

このアプリケーションは診療用ではありません。研究目的・実験にのみお使いください。利用者は、ご自身の責任においてこのアプリケーションを利用するものとし、本アプリケーションにおいて行った一切の行為及びその結果について一切の責任を負うものとします。開発者は、このアプリケーションに起因して生じたあらゆる結果について一切の責任を負いません。開発者は、このアプリケーションに事実上または法律上の瑕疵（安全性、信頼性、正確性、完全性、有効性、特定の目的への適合性、セキュリティなどに関する欠陥、エラーやバグ、権利侵害を含みます）がないことを明示的にも黙示的にも保証しておりません。このアプリケーションは予告なく全部または一部の仕様を変更したり、その提供を中止することがあります。このアプリケーションはJSPS科研費JP18K07648の助成を受けたものです。


【Limitations】

- Various factors including the device's performance, surrounding environment, temporal change, and problems of the application, can cause errors. We cannot guarantee the accuracy of this application. Otherwise, see the Application Terms of Use. 

- 装置の性能、周囲の環境、経時的変化、アプリの不具合、その他種々の要因により誤差が生じます。精度は保証しません。利用に当たってはApplication Terms of Use（ソフトウエア使用許諾）を参照して下さい。

Written and developed by Satoru Morita.