This is an augmented reality (AR) software to assist CT-guided procedure.

An AR coordinate system is presented for CT guided procedure based on DICOM standard, allowing the virtual protractor to be displayed at the desired coordinates. In addition, the inclination angle of the puncture needle recognized by the iPhone camera is measured in a non-contact manner and displayed in real time.

1. Setting coordinate system

 Scan the feature points around the CT scanner with your iPhone or iPad to stable spatial anchor.

 "Anchor" at the left laser aperture of CT. Set laser aperture in the center target scope of the screen and press "Anchor" button to set spatial anchor. Then, anchor at the right laser aperture.

 Default Z-offset of scan plane is 300mm headward from the midpoint of the two laser apertures. The coordinate origin is set at the left upper corner of CT field of view (FOV). Size of FOV and Z-offset can be configured with preferences button ("Gear" button).

 When the coordinate system deviates from the actual space, press "Reset Anchor" button to reconfigure the coordinate system.

2. Determination of puncture position

 A virtual protractor is initially displayed at 1m caudal to the scanning isocenter (z -1000mm).

 The virtual protractor can be moved in the CT scan plane (XY-plane) with one finger, and along to the Z-axis direction with two fingers. 

 Alternatively, coordinates can be entered directly with "Input Target" button.

 When the CT gantry is tilted to perform a procedure, the angle of the virtual protractor can be also tilted with three fingers. The Z coordinate of the center of the tilted plane including the center of the virtual protractor is displayed, which can be used to determine the scaning position.

 Pinch in and out with two fingers to change the size of the virtual protractor.

3. Puncture needle tracking

 For some specific puncture needles, the tilt and roll angles are displayed as they are recognized from the camera.

 Tilting was defined according to the tilting of the CT gantry so that rolling would match the angle measured in the CT images.

The following biopsy needles are currently supported.

• TEMNO Evolution (Merit Medical)

• STARCUT (TSK Laboratory, back side only)

• BARD MISSION (BD)

• Quick-Core (Cook Medical)

• “KAKENHI” sticker (purple color)

 Turn on LED torch of iPhone to improve the accuracy of needle tracking.

Related article:

Noncontact measurement of puncture needle angle using augmented reality technology in computed tomography-guided biopsy: stereotactic coordinate design and accuracy evaluation. Int J Comput Assist Radiol Surg. 2022. doi: 10.1007/s11548-022-02572-9.

拡張現実 (AR) の技術を用いて、CT (computed tomography) ガイド下手技の位置決めを支援します。

CT装置の座標系と一致するAR座標系を構築し、仮想分度器を目的の座標に表示させることができます。

また、iPhoneのカメラで認識した特定の穿刺針の傾き角を非接触で計測してリアルタイムに表示します。

1. 座標系の決定

　iPhoneやiPadのカメラを使って、CTスキャナを中心に部屋をスキャンします。CT装置の左側のレーザー照射孔が画面の中央に来るようにして「アンカー設置」ボタンを押して、空間アンカーを設置します。同様に、右側の照射孔にも空間アンカーを設置します。タップする前にレーザー照射孔とその周囲を違う角度から見回したり、レーザー照射孔の周囲に他の模様などの特徴点が多いと、位置が安定してずれにくくなります。座標系が実際の空間とずれた場合、「アンカー修正」ボタンを押して座標系の設定をやり直すことができます。

　初期設定では、レーザー照射孔の中点からアイソセンターまでのZ軸上の距離を300mm、FOVの大きさを400mmとしていますが、この数値は初期設定画面から変更できます。FOVの大きさの正方形のスキャン範囲を想定し、その左上隅に原点が置かれます。これは患者が仰臥位で頭入れの状態を想定したDICOM座標系になります。

2. 仮想分度器の操作

　初期状態では、CTのスキャン平面の中心 (アイソセンター) から尾側に1mの位置に仮想分度器が表示されます（Z -600mm）。

　仮想分度器は、1本指でスクロールするとスキャン平面 (XY平面) 内の移動、2本指で上下にスクロールすると体軸方向 (Z軸方向) の移動ができます。または、数値入力パネルに直接座標の値を入力できます。

　CTのガントリーを傾ける (チルトさせる) 場合、3本指で上下にスクロールすることで仮想分度器の角度もチルトさせることができます。このとき仮想分度器の中心を含むチルトした平面の中心のZ座標が表示されるので、チルトした時の撮影位置の決定に利用できます。

　2本指でピンチイン・ピンチアウトすると仮想分度器の大きさを変えられます。

3. 穿刺針の角度の測定

　一部の特定の穿刺針については、カメラから認識させることでその角度が表示されます。

　角度はCTのZ軸を基準に縦方向のチルトと横方向のロールの成分に分けて表示され、穿刺針のチルトの角度をCTガントリーのチルト角度と一致させると、ロール角度がCT画像平面内の傾きと一致します。

　現在対応している穿刺針は以下になります。

・TEMNO Evolution (Merit Medical、推奨)

・STARCUT (TSK Laboratory、裏面のみ)

・BARD MISSION (BD)

・Quick-Core（Cook Medical、限定的）

・「科研費」シール（紫色）

　「LED」ボタンを押して背面のLEDを点灯させると認識精度が向上します。

関連論文:：

Noncontact measurement of puncture needle angle using augmented reality technology in computed tomography-guided biopsy: stereotactic coordinate design and accuracy evaluation. Int J Comput Assist Radiol Surg. 2022. doi: 10.1007/s11548-022-02572-9.