AR Puncture (iOS/Android)

Medical AR Viewer & virtual protractor for needle guide & surgery 

医療用3D画像を取り込み簡単に配置&仮想分度器による針穿刺ガイド 

What's new

English

- AR Puncture is a free navigation app using augmented reality (AR) on smartphones to simulate needle puncture and surgery (for research purposes and experiments). 

- 3D organ models (FBX, OBJ, STL) can be easily imported and placed from your mobile phone’s folder without pre-processing. The position, size, and color can be easily adjusted. 

- A 3D virtual protractor or a target positioned relative to an entry point for needle puncture using the Bull's eye method can be also easily displayed.

- Three registration methods are available (Fix On Screen, Tap To Place, or QR Tracking). In the Fix On Screen mode, the center of the 3D model / entry point is always displayed at the center of the screen, which can be adjusted to the real entry point or merkmal by moving the device. In the Tap To Place mode, it is placed at the tapped position. In the QR Tracking mode, it is placed on the dedicated QR code, which is downloaded and printed in advance (see below). 

- The protractor can be rotated in 3 directions against the CT plane. 

- The target can be placed relative to the entry point by inputting data from the CT images. 

- “MR Puncture” for HoloLens2 has similar functions partially to this application.


【How to use】

< Common >

0. Swing your smartphone left and right slowly for obtaining spatial mapping until the grid becomes stable (important). 

1. Rotate the grid with 1 finger swipe to adjust the angle to the CT plane or body axis. If the [Reset Grid] button is pressed after facing the CT or body axis, the grid faces that direction (toward the camera). 

- Press the [3D Organ], [Entry/Target], or [Protractor] button.


<3D Organ>

2. First, press the [Import 3D] button to import 3D models (FBX, OBJ, STL) saved in advance in your smartphone. Multiple models with the same location created on workstations can be imported without processing. By moving the model with a swipe of 1-3 fingers and aligning the center (square frame) with any point on the skin, it can be placed at that position on the body surface in the Tap To Place or QR Tracking mode. The magnification, color, and direction of the model can be changed with each button.


< Protractor >

2. Rotate (Pan/Tilt) the protractor with the allow buttons (long press for continuous rotation). The protractor angle can be reset and each mode (Pan/Tilt) can be changed by pressing the angle button. Roll the protractor with the roll button. The protractor position can be adjusted using 2-3 finger swipes after pressing the [Fix] button in the Tap To Place mode and after pressing the [Stop QR Tracking] in the QR Tracking mode. 


< Entry and Target >

2. Input the coordinates of X- and Y-axes (pixel) from the CT images and table positions (mm) of Z-axis of the target and entry point. Input the display FOV (dFOV) (mm), which can be entered by using the dFOV button,  and pixel number (usually 512). 


< Common >

3. For the Fix On Screen mode, the entry point / center of the 3D model is always displayed at the center of the screen. For the Tap To Place mode, it is placed by tapping one of the featured points displayed on the screen. For the QR Tracking mode, it is placed by watching the printed QR code, described below, from the front. 

4. Place a needle using the Bull's eye method by moving the smartphone to face one of the target lines or the target with the entry point from the front. 


- For the Tap To Place and QR Tracking modes, misregistration of position can occur. For the QR Tracking mode, misregistration can be recognized with the red frame. If it occurs, watch the QR code from the front again.

- Both landscape and portrait orientation are available. 

- You can switch to right hand mode by pressing the [Rt] button. 

- Press the [Grid On] button during each mode to rotate and adjust the grid.

- In the Fix On Screen mode, press the [↔] button to flip the protractor back and forth (used when aligning the grid from the other side).

- For the Tap To Place and QR Tracking modes, scales are available (from the protractor center to the proximal point of the line, 3.5 cm; to the distal point, 7 cm, and to the thick black marker, 5 cm). If the depth of the protractor is not matched, the values are incorrect. 


【Preparation for QR Tracking mode】

1. Download the designated QR code at the website, AR/MR Needle Guide, described below.

2. Print it in 7 x 7 cm size (black dot area = 5 x 5 cm). Never use any other size, which causes discrepancies in registration. 

3. You can cut the corner at the puncture point for needle placement.

Japanese

- AR Punctureは 穿刺手技や手術向けの, 拡張現実 (AR) を用いた スマートフォン用の 無料ナビゲーションアプリです (研究や実験目的用) .

- スマートフォン内の フォルダから, [臓器等の3Dモデル] (FBX, OBJ, STL) を 特別な 前処置なしに 取り込み, 簡単に 配置できます. 位置, 大きさ, 色の調整も 簡単にできます。

- また, Bull's eye法による 三次元的な穿刺 も可能な [分度器] や [刺入点と標的] を, 配置できます.

- 3つの位置合わせ法 ([Fix On Screen], [Tap To Place], [QR Tracking]) が可能です. モデルの中心 / 刺入点は, [Fix On Screen] モードでは 常に 画面の中央に 表示され, デバイスを 動かすことで 実際の 目印や 刺入点に 合わせます. [Tap To Place] モードでは タップした位置に, [QR Tracking] モードでは 予め印刷した 専用のQRコード (後述) の上に, 配置されます.

- [分度器] は 任意の断面 に対し, 3方向に 回転できます.

- [刺入点と標的] は CT画像の 座標情報を 入力することで, 刺入点に対する 相対的な位置に, 標的を 配置できます.

- HoloLens2用のアプリ MR Puncture は 一部, 同様の機能を 有します.

 

【使い方】

<共通>

0. スマートフォンを ゆっくり左右に動かし, Gridが安定するまで 周囲の空間を スキャンする (重要) .

1. 1本指で 画面を左右に スワイプし, Gridを CT断面 または体軸の向き に合わせる. CT装置や体軸を 正面視してから, [Reset Grid] ボタンを押せば, Gridが その方向 (カメラ向き) を向く.

- [3D Organ] か [Entry/Target] か [Protractor] を選択する. 

 

<三次元臓器>

2. [Import 3D] から スマートフォンに 予め保存した 3Dモデル (FBX, OBJ, STL) を 取り込む. Workstationで作成した 同じ位置情報を持つ 複数モデルを, 加工せず そのまま 取り込むことも可能. 1-3本指の スワイプ操作で モデルを動かし, 中心 (四角枠) を 皮膚の任意の点に 合わせておけば, [Tap To Place] や [QR Tracking] モードで その位置に 配置できる. モデルの倍率, 方向, 色は 各ボタンを 複数回押すことで 調節する.

 

<仮想分度器>

2. 矢印ボタン (長押しで連続回転) で, 分度器を CT断面に対し 目的の角度まで 回転 (Pan/Tilt) する. 角度ボタンを 押せば 角度が0度に戻り, それぞれの 回転モードを 切り替え可能. Rollボタンで 分度器を縦回転 (Roll) すれば, 縦方向も 1度毎の表示が可能. [Tap To Place] モードでは, [Fix] ボタンを 押せば 固定後も スワイプ (2本指で左右前後, 3本指で高さ) で 分度器の位置を 微調節できる. [QR Tracking] モードでは, [Stop QR Tracking] を押せば 同様に 微調節できる.

 

<刺入点と標的>

2. CT画像より 刺入点と標的の X座標と Y座標 (pixel) を 入力する. Z座標は テーブル位置 (mm) を 入力する. コンソールより 表示視野 (dFOV) (mm) (再構成視野: ボタンでも入力可能) と画素数 (Pixel) (通常は512) を入力する.

 

<共通>

3. 刺入点/モデルの中心は, [Fix On Screen] モードでは, 常に 画面の中央に 配置される. [Tap To Place] モードでは, オレンジ色の 特徴点を タップして 配置する. [QR Tracking] モードでは, 印刷した QRコード (後述) を 正面視して 配置する.

4. 目的の角度線, もしくは刺入点と標的が 点状になる位置に スマートフォンを動かし, Bull's eye法で 穿刺する.

 

- [Tap To Place] と [QR Tracking] モードでは, 位置ずれが 生じる可能性が あります. [QR Tracking] モードでは, 赤枠で 位置ズレを 認識し, ずれた場合は QRコードを 正面視することで 再度合わせる事が できます.

- 縦画面と横画面の 両方利用可能です.

- [Rt] ボタンで 右手モードになります.

- 各モード中に [Grid On] ボタンを押せば, Gridを回転して 向きを微調節する ことができます.

- [Fix On Screen] モードでは, [↔] ボタンを押せば, 分度器が 前後反転します (反対側から 見る時に使用) .

- [Tap To Place] と [QR Tracking] モードでは, 1cm間隔の 目盛りがあります (中心から角度線の近位まで 3.5 cm, 遠位まで7 cm, 太い黒色マーカーまで5 cm) . ただし, 深さが合っていないと 正しい値になりません.

 

【QR Trackingモードのための準備】

1. 専用のQRコードを 下記HPより ダウンロードして下さい.

2. 白枠が7x7cm大, 黒い部分が5x5cmに なる様に印刷 して下さい (下図) . このサイズ以外では 位置ズレ が生じるため, 必ず この大きさで 印刷して下さい.

3. 穿刺点の角を 切っておくと 穿刺しやすくなります (下図) . 

Privacy Policy & Application Terms of Use

【Privacy Policy】

This application does not collect or publish any personal information. This application does not use any identifying information that can be linked to a specific device or individual. The application does not require an Internet connection. The application does not access user data stored on the device. This application may use local location data and cameras to provide augmented reality features, but does not use GPS data to specify location.

【Application Terms of Use】

This application is not for clinical use. Please use it for research purposes and experiments only. Users shall use this application at their own risk, and shall be responsible for any and all actions taken in this application and the results thereof. The developer assumes no responsibility for any consequences that may result from this application. The developer does not warrant, expressly or impliedly, that this application is free from defects in fact or in law (including defects in safety, reliability, accuracy, integrity, effectiveness, fitness for a particular purpose, security flaws, errors or bugs, or infringement of rights). This application may be subject to change in whole or in part in its specifications or its availability may be discontinued without notice. 

【Limitations】

Various factors including the device's performance, surrounding environment, temporal change, and problems of the application, can cause errors. We cannot guarantee the accuracy of this application. Otherwise, see the Application Terms of Use. 


プライバシーポリシー】

このアプリケーションは個人情報を収集したり公開することはありません。このアプリケーションは特定の端末や個人と結びつけることができる識別情報を利用しません。このアプリケーションはインターネットへの接続を必要としません。このアプリケーションは端末に保存されているユーザーデータにアクセスしません。このアプリケーションは拡張現実の機能を提供するためにローカルの位置情報とカメラを利用することがありますが、特定の地点を示すGPSデータを利用しません。

【ソフトウエア使用許諾】

このアプリケーションは診療用ではありません。研究目的・実験用としてお使いください。利用者は、ご自身の責任においてこのアプリケーションを利用するものとし、本アプリケーションにおいて行った一切の行為及びその結果について一切の責任を負うものとします。開発者は、このアプリケーションに起因して生じたあらゆる結果について一切の責任を負いません。開発者は、このアプリケーションに事実上または法律上の瑕疵(安全性、信頼性、正確性、完全性、有効性、特定の目的への適合性、セキュリティなどに関する欠陥、エラーやバグ、権利侵害を含みます)がないことを明示的にも黙示的にも保証しておりません。このアプリケーションは予告なく全部または一部の仕様を変更したり、その提供を中止することがあります。

【Limitations】

装置の性能、周囲の環境、経時的変化、アプリの不具合、その他種々の要因により誤差が生じます。精度は保証しません。利用に当たってはApplication Terms of Use(ソフトウエア使用許諾)を参照して下さい。

Movie (YouTube)

Screen shots

QR Code for tracking

- Download the designated QR code.

- Print it in 7 x 7 cm size (black dot area = 5 x 5 cm). Never use any other size, which causes discrepancies in registration. 

- You can cut the corner at the puncture point for needle placement.


- 上記のQR codeの白枠が7x7cm大(黒い部分が5x5cm)になる様に印刷して下さい。このサイズ以外では位置ズレが生じるため、必ずこの大きさで印刷して下さい。

- 穿刺点の角を切っておくと穿刺しやすくなります。

Download by right click

Written and developed by Satoru Morita.