AR Puncture (iOS/Android)
Medical AR Viewer & virtual protractor for needle guide & surgery
医療用3D画像を取り込み簡単に配置&仮想分度器による針穿刺ガイド
What's new
May-12 2023. Awarded (Silver medal) in JRC 2023. 日本医学放射線学会で受賞。
20230508updated: Added a function that easily imports and places 3D models (FBX, OBJ, STL) from folders in smartphones. スマートフォン内のフォルダから、3Dモデル(FBX、OBJ、STL)を簡単に取り込み、配置する機能を追加。
Nov-Dec 2022. Awarded (Certificate of Merit) in RSNA 2022. 北米放射線学会で受賞。
20221129updated:- Changed not to reset the protractor angle when returning to Home. - If you press the "Grid On" button in each mode, you can rotate the grid with a swipe operation and finely adjust the grid angle with the CT plane. - In Fix On Screen mode, the protractor can be flipped back and forth with the "↔" button (used when aligning the grid from the opposite side).- Homeに戻る時に、分度器の角度をリセットしない仕様に変更した。-各モード中に「Grid On」ボタンを押せば、スワイプ操作でGridを回転してCT断面との角度を微調節できる仕様にした。- Fix On Screenモードでは、「↔」ボタンで分度器を前後反転できる様にした(反対側からGridを合わせる場合に使用)。
20221105updated:- Added Entry/Target mode, which allows a target to be displayed relative to an entry point by inputting the CT coordinates. - Added introduction video. - 刺入点と標的モード(CT座標を入力して刺入点に対する相対位置に標的を表示する)を追加した。- 使い方の動画を追加した。
20220608updated:The name of “Centering” mode is changed to “Fix On Screen” mode. The protractor can be rotated to the tilt direction. Centeringの名称をFix On Screenに変更した。Tilt方向にも分度器を回転できる仕様にした。
20220522-24updated:For Japanese users, explanations were displayed in Japanese. Scales were added for the QR Tracking mode and Tap To Place mode. 説明文を日本語対応にした。QR TrackingモードとTap To Placeモードで、長さの目盛りを追加。
20220519: "AR Puncture", iOS app derived from "AR Needle Guide for Android", was released in App Store. The name of "AR Needle Guide for Android" was changed to "AR Puncture".
20220430-0508updated: The protractor can be rolled by pressing the roll button. Explanations are displayed by touching the screen. Rollボタンで分度器を縦回転(Roll)すれば、縦方向も1度毎の表示が可能に。画面のタッチで説明文を表示。説明画像の動画追加
20220414updated: Rotation of the protractor is obtained by pressing the allow buttons (long press for continuous rotation). Landscape mode is available by tilting your Android. The [Rt] button is for right hand mode. 仮想分度器は矢印ボタンで回転する仕様に変更した(長押しで連続回転)。横向きも可能にした。 [Rt] と [Lt] ボタンで右手モードと左手モードを切り替えられる様にした。
20220406updated: In the centering mode, the protractor center is always centered on the screen. You can puncture with the bull’s eye method after adjusting the protractor center to the entry point by moving your smartphone. 仮想分度器を常に画面中央に表示するモード(Centering)を追加した。
20220403updated: The buttons are placed at the bottom of the screen for one-hand operation. The grid can be moved in the center of the screen with the angle adjusted to the camera by pressing the [Reset Grid] button. For QR Tracking mode, the protractor position can be adjusted using 2-3 finger swipes after pressing the [Stop QR Tracking] button. For Tap To Place mode, the protractor can be moved after displaying the protractor with tapping. 片手操作できる様に、ボタンを画面下に移動した。 [Reset Grid] ボタンを押せば、Gridをカメラの向きにして画面中央に移動する様にした(これで角度を合わせる事も可能に)。QR Trackingモードで、 [Stop QR Tracking] を押した後に2-3本指で仮想分度器の位置を微調節できるようにした。Tap To Placeモードで、TapでProtractorを表示後に回転可能にした。
20220321updated: You can reset the protractor angle by pressing the angle button during rotating the protractor. You can move the protractor by 2-3 fingers swipe even after fixing it. 仮想分度器の回転時に角度ボタンをタップすると角度を0にリセットできる様にした。仮想分度器のFix後でも2-3本指で移動可能にした。
English
- AR Puncture is a free navigation app using augmented reality (AR) on smartphones to simulate needle puncture and surgery (for research purposes and experiments).
- 3D organ models (FBX, OBJ, STL) can be easily imported and placed from your mobile phone’s folder without pre-processing. The position, size, and color can be easily adjusted.
- A 3D virtual protractor or a target positioned relative to an entry point for needle puncture using the Bull's eye method can be also easily displayed.
- Three registration methods are available (Fix On Screen, Tap To Place, or QR Tracking). In the Fix On Screen mode, the center of the 3D model / entry point is always displayed at the center of the screen, which can be adjusted to the real entry point or merkmal by moving the device. In the Tap To Place mode, it is placed at the tapped position. In the QR Tracking mode, it is placed on the dedicated QR code, which is downloaded and printed in advance (see below).
- The protractor can be rotated in 3 directions against the CT plane.
- The target can be placed relative to the entry point by inputting data from the CT images.
- “MR Puncture” for HoloLens2 has similar functions partially to this application.
【How to use】
< Common >
0. Swing your smartphone left and right slowly for obtaining spatial mapping until the grid becomes stable (important).
1. Rotate the grid with 1 finger swipe to adjust the angle to the CT plane or body axis. If the [Reset Grid] button is pressed after facing the CT or body axis, the grid faces that direction (toward the camera).
- Press the [3D Organ], [Entry/Target], or [Protractor] button.
<3D Organ>
2. First, press the [Import 3D] button to import 3D models (FBX, OBJ, STL) saved in advance in your smartphone. Multiple models with the same location created on workstations can be imported without processing. By moving the model with a swipe of 1-3 fingers and aligning the center (square frame) with any point on the skin, it can be placed at that position on the body surface in the Tap To Place or QR Tracking mode. The magnification, color, and direction of the model can be changed with each button.
< Protractor >
2. Rotate (Pan/Tilt) the protractor with the allow buttons (long press for continuous rotation). The protractor angle can be reset and each mode (Pan/Tilt) can be changed by pressing the angle button. Roll the protractor with the roll button. The protractor position can be adjusted using 2-3 finger swipes after pressing the [Fix] button in the Tap To Place mode and after pressing the [Stop QR Tracking] in the QR Tracking mode.
< Entry and Target >
2. Input the coordinates of X- and Y-axes (pixel) from the CT images and table positions (mm) of Z-axis of the target and entry point. Input the display FOV (dFOV) (mm), which can be entered by using the dFOV button, and pixel number (usually 512).
< Common >
3. For the Fix On Screen mode, the entry point / center of the 3D model is always displayed at the center of the screen. For the Tap To Place mode, it is placed by tapping one of the featured points displayed on the screen. For the QR Tracking mode, it is placed by watching the printed QR code, described below, from the front.
4. Place a needle using the Bull's eye method by moving the smartphone to face one of the target lines or the target with the entry point from the front.
- For the Tap To Place and QR Tracking modes, misregistration of position can occur. For the QR Tracking mode, misregistration can be recognized with the red frame. If it occurs, watch the QR code from the front again.
- Both landscape and portrait orientation are available.
- You can switch to right hand mode by pressing the [Rt] button.
- Press the [Grid On] button during each mode to rotate and adjust the grid.
- In the Fix On Screen mode, press the [↔] button to flip the protractor back and forth (used when aligning the grid from the other side).
- For the Tap To Place and QR Tracking modes, scales are available (from the protractor center to the proximal point of the line, 3.5 cm; to the distal point, 7 cm, and to the thick black marker, 5 cm). If the depth of the protractor is not matched, the values are incorrect.
【Preparation for QR Tracking mode】
1. Download the designated QR code at the website, AR/MR Needle Guide, described below.
2. Print it in 7 x 7 cm size (black dot area = 5 x 5 cm). Never use any other size, which causes discrepancies in registration.
3. You can cut the corner at the puncture point for needle placement.
Japanese
- AR Punctureは 穿刺手技や手術向けの, 拡張現実 (AR) を用いた スマートフォン用の 無料ナビゲーションアプリです (研究や実験目的用) .
- スマートフォン内の フォルダから, [臓器等の3Dモデル] (FBX, OBJ, STL) を 特別な 前処置なしに 取り込み, 簡単に 配置できます. 位置, 大きさ, 色の調整も 簡単にできます。
- また, Bull's eye法による 三次元的な穿刺 も可能な [分度器] や [刺入点と標的] を, 配置できます.
- 3つの位置合わせ法 ([Fix On Screen], [Tap To Place], [QR Tracking]) が可能です. モデルの中心 / 刺入点は, [Fix On Screen] モードでは 常に 画面の中央に 表示され, デバイスを 動かすことで 実際の 目印や 刺入点に 合わせます. [Tap To Place] モードでは タップした位置に, [QR Tracking] モードでは 予め印刷した 専用のQRコード (後述) の上に, 配置されます.
- [分度器] は 任意の断面 に対し, 3方向に 回転できます.
- [刺入点と標的] は CT画像の 座標情報を 入力することで, 刺入点に対する 相対的な位置に, 標的を 配置できます.
- HoloLens2用のアプリ MR Puncture は 一部, 同様の機能を 有します.
【使い方】
<共通>
0. スマートフォンを ゆっくり左右に動かし, Gridが安定するまで 周囲の空間を スキャンする (重要) .
1. 1本指で 画面を左右に スワイプし, Gridを CT断面 または体軸の向き に合わせる. CT装置や体軸を 正面視してから, [Reset Grid] ボタンを押せば, Gridが その方向 (カメラ向き) を向く.
- [3D Organ] か [Entry/Target] か [Protractor] を選択する.
<三次元臓器>
2. [Import 3D] から スマートフォンに 予め保存した 3Dモデル (FBX, OBJ, STL) を 取り込む. Workstationで作成した 同じ位置情報を持つ 複数モデルを, 加工せず そのまま 取り込むことも可能. 1-3本指の スワイプ操作で モデルを動かし, 中心 (四角枠) を 皮膚の任意の点に 合わせておけば, [Tap To Place] や [QR Tracking] モードで その位置に 配置できる. モデルの倍率, 方向, 色は 各ボタンを 複数回押すことで 調節する.
<仮想分度器>
2. 矢印ボタン (長押しで連続回転) で, 分度器を CT断面に対し 目的の角度まで 回転 (Pan/Tilt) する. 角度ボタンを 押せば 角度が0度に戻り, それぞれの 回転モードを 切り替え可能. Rollボタンで 分度器を縦回転 (Roll) すれば, 縦方向も 1度毎の表示が可能. [Tap To Place] モードでは, [Fix] ボタンを 押せば 固定後も スワイプ (2本指で左右前後, 3本指で高さ) で 分度器の位置を 微調節できる. [QR Tracking] モードでは, [Stop QR Tracking] を押せば 同様に 微調節できる.
<刺入点と標的>
2. CT画像より 刺入点と標的の X座標と Y座標 (pixel) を 入力する. Z座標は テーブル位置 (mm) を 入力する. コンソールより 表示視野 (dFOV) (mm) (再構成視野: ボタンでも入力可能) と画素数 (Pixel) (通常は512) を入力する.
<共通>
3. 刺入点/モデルの中心は, [Fix On Screen] モードでは, 常に 画面の中央に 配置される. [Tap To Place] モードでは, オレンジ色の 特徴点を タップして 配置する. [QR Tracking] モードでは, 印刷した QRコード (後述) を 正面視して 配置する.
4. 目的の角度線, もしくは刺入点と標的が 点状になる位置に スマートフォンを動かし, Bull's eye法で 穿刺する.
- [Tap To Place] と [QR Tracking] モードでは, 位置ずれが 生じる可能性が あります. [QR Tracking] モードでは, 赤枠で 位置ズレを 認識し, ずれた場合は QRコードを 正面視することで 再度合わせる事が できます.
- 縦画面と横画面の 両方利用可能です.
- [Rt] ボタンで 右手モードになります.
- 各モード中に [Grid On] ボタンを押せば, Gridを回転して 向きを微調節する ことができます.
- [Fix On Screen] モードでは, [↔] ボタンを押せば, 分度器が 前後反転します (反対側から 見る時に使用) .
- [Tap To Place] と [QR Tracking] モードでは, 1cm間隔の 目盛りがあります (中心から角度線の近位まで 3.5 cm, 遠位まで7 cm, 太い黒色マーカーまで5 cm) . ただし, 深さが合っていないと 正しい値になりません.
【QR Trackingモードのための準備】
1. 専用のQRコードを 下記HPより ダウンロードして下さい.
2. 白枠が7x7cm大, 黒い部分が5x5cmに なる様に印刷 して下さい (下図) . このサイズ以外では 位置ズレ が生じるため, 必ず この大きさで 印刷して下さい.
3. 穿刺点の角を 切っておくと 穿刺しやすくなります (下図) .
Privacy Policy & Application Terms of Use
【Privacy Policy】
This application does not collect or publish any personal information. This application does not use any identifying information that can be linked to a specific device or individual. The application does not require an Internet connection. The application does not access user data stored on the device. This application may use local location data and cameras to provide augmented reality features, but does not use GPS data to specify location.
【Application Terms of Use】
This application is not for clinical use. Please use it for research purposes and experiments only. Users shall use this application at their own risk, and shall be responsible for any and all actions taken in this application and the results thereof. The developer assumes no responsibility for any consequences that may result from this application. The developer does not warrant, expressly or impliedly, that this application is free from defects in fact or in law (including defects in safety, reliability, accuracy, integrity, effectiveness, fitness for a particular purpose, security flaws, errors or bugs, or infringement of rights). This application may be subject to change in whole or in part in its specifications or its availability may be discontinued without notice.
【Limitations】
Various factors including the device's performance, surrounding environment, temporal change, and problems of the application, can cause errors. We cannot guarantee the accuracy of this application. Otherwise, see the Application Terms of Use.
【プライバシーポリシー】
このアプリケーションは個人情報を収集したり公開することはありません。このアプリケーションは特定の端末や個人と結びつけることができる識別情報を利用しません。このアプリケーションはインターネットへの接続を必要としません。このアプリケーションは端末に保存されているユーザーデータにアクセスしません。このアプリケーションは拡張現実の機能を提供するためにローカルの位置情報とカメラを利用することがありますが、特定の地点を示すGPSデータを利用しません。
【ソフトウエア使用許諾】
このアプリケーションは診療用ではありません。研究目的・実験用としてお使いください。利用者は、ご自身の責任においてこのアプリケーションを利用するものとし、本アプリケーションにおいて行った一切の行為及びその結果について一切の責任を負うものとします。開発者は、このアプリケーションに起因して生じたあらゆる結果について一切の責任を負いません。開発者は、このアプリケーションに事実上または法律上の瑕疵(安全性、信頼性、正確性、完全性、有効性、特定の目的への適合性、セキュリティなどに関する欠陥、エラーやバグ、権利侵害を含みます)がないことを明示的にも黙示的にも保証しておりません。このアプリケーションは予告なく全部または一部の仕様を変更したり、その提供を中止することがあります。
【Limitations】
装置の性能、周囲の環境、経時的変化、アプリの不具合、その他種々の要因により誤差が生じます。精度は保証しません。利用に当たってはApplication Terms of Use(ソフトウエア使用許諾)を参照して下さい。
Movie (YouTube)
Screen shots
QR Code for tracking
- Download the designated QR code.
- Print it in 7 x 7 cm size (black dot area = 5 x 5 cm). Never use any other size, which causes discrepancies in registration.
- You can cut the corner at the puncture point for needle placement.
- 上記のQR codeの白枠が7x7cm大(黒い部分が5x5cm)になる様に印刷して下さい。このサイズ以外では位置ズレが生じるため、必ずこの大きさで印刷して下さい。
- 穿刺点の角を切っておくと穿刺しやすくなります。
Download by right click
Written and developed by Satoru Morita.