メカトロニクス研究室
Mechatronics Laboratory

ロボット支援腹腔鏡下腎部分切除術（RALP）のVRサポートシステムに関する研究

　対象臓器の3次元モデルをCT/MRI等で撮影した患者の腹部の断層画像群（DICOM）から生成します．また，腹腔内の3次元点群をdaVinciのステレオ内視鏡映像から生成します．これらを重ね合わせて表示することで，臓器内にある血管や腫瘍等を可視化します．臓器モデルと点群のマッチングには，ICPアルゴリズムを使用しています．また，臓器モデルの初期位置・姿勢を直感的に操作するため，VRインタフェースを利用しています．2014年頃から京都大学病院と共同して研究・開発を進めています．

Visual SLAMによる内視鏡カメラ位置・姿勢計測の精度向上に関する研究

　拡張現実感（AR）実現のためには，カメラの位置・姿勢情報が必要です．しかし，手術機器の清潔確保や手術室の物理的な制約などにより，センサやマーカ等を使った位置・姿勢推定システムの利用は困難です．そこで，内視鏡映像のみを用いて内視鏡カメラ位置・姿勢推定する，特徴点ベースのVisual SLAMの利用を試みています．しかし，手術中の内視鏡映像には鉗子等の手術器具が大きく映り込んで，カメラの前で大きく動作する状況が多発します．そのため，特徴点を安定して取得することができず，カメラ位置・姿勢推定が失敗したり，精度が大幅に低下する問題があります．そこで，画像処理や機械学習，深層学習等を用いて，手術器具上に発生する特徴点を除去することで，カメラ位置・姿勢推定精度の改善を試みています．

顕微鏡下脳外科手術ナビゲーションシステムに関する研究

　脳外科を行うには，頭蓋を開いて脳を露出させる必要がありますが，中，には，脳自体が沈み込む現象（ブレインシフト）が発生します．ブレインシフトが起きると，術前にCT/MRIで計測したDICOMと術中の脳とのズレが発生してしまい，腫瘍の位置を正確に取得することができなくなります．そこで，術中に発生するブレインシフトを計測してDICOMとのズレを補正するシステムの開発に取り組んでいます．脳外科手術ではステレオ（双眼）顕微鏡を用いて実施します．顕微鏡映像から脳の形状を3次元計測するため，顕微鏡カメラのカメラパラメータ推定を取り組んでいます．本研究は，2015年ごろから関西医科大学と共同して進めています．

VRを用いた幻肢痛改善システムに関する研究

幻肢痛は，手や足が切断された後にその欠損部に痛みを感じる症状です．この治療法のひとつとして，VRを用いた鏡療法（VR鏡療法）があります．VR鏡療法では，VR空間上に表示された仮想の幻肢により患肢が動く疑似体験ができ，脳の指令と現実とのギャップが解消されることで幻肢痛の緩和が期待できます．我々は，どこでも誰でも手軽に治療に励むことが可能なVR鏡療法システムを川崎医療福祉大学と共同で開発しています．

高齢者の転倒後症候群改善を目指したVRシステムに関する研究

　高齢者が転倒を経験すると，健康であるにも関わらず，歩くことが不安になったり，恐怖で歩けなくなる症状を，転倒後症候群と言います．転倒後症候群になると引きこもりがちになるため足腰が弱り，さらに歩けなくなる，という悪循環に陥るため，歩く自信を付けてもらう必要があります．そこで我々は，VRによるエクスポージャ（暴露療法）システムを開発しています．高齢者は，座布団やマット，電気コード，敷居のような小さな段差などで転倒することが多いという調査結果があります．我々のVRシステムでは，これらのオブジェクトをVRで生成した和室内に配置し，安全に歩行の練習ができるようなシステムを目指しています．本研究は，2017年ごろから奈良学園大学と共同して進めています．

手術シミュレータに関する研究

　手術シミュレータは既に様々なシステムが開発・販売されていますが，それぞれの患者に合わせたシミュレーションはまだほとんど実現できていません．また，腹腔内に多数存在する膜の構造や動きをリアルに再現したシミュレータや，膜の剥離手技をトレーニングできるシミュレータは存在しません．そこで我々は，患者の断層画像群（DICOM）をもとに切開可能なCGを生成し，切断感覚を提示できるシミュレータや，膜をリアルに表現するシミュレータの開発に取り組んでいます．

電気メス等による臓器への熱損傷，腎冷却時の腎内部温度推定に関する研究

　電気メスは，人体ーメス間，もしくは鉗子間に高周波電流を流したときに発生するジュール熱を使って臓器を切断する装置で，外科手術では一般的に使用されています．しかし，電気メスが切開時に発生する熱が臓器に与える影響は，これまでほとんど調査・解析されていませんでした．また，腎部分切除時に氷などで腎を冷却して腎臓の損傷を抑える腎冷却法では，腎内部温度を適切に調整する必要がありますが，臓器の大きさや形状は個人差があり，冷却に必要な時間も異なります．そこで我々は，コンピュータシミュレーションにより臓器における熱の伝わり方（熱伝導）を解析するシステムを開発しています．

• • その他

• • 研究機材（一部）

    • MHD Meta Quest Pro

    • HMD Meta Quest3

    • HMD Meta Quest2

    • HMD HTC Vive Pro2

    • モーショントラッカー HTC VIVE Ultimate Tracker

    • モーショントラッカー HTC VIVE Tracker 3.0

    • モバイルモーションキャプチャー SONY mocopi

    • VRカメラ Insta360 Pro

    • VRカメラ Vuze XR

    • VRカメラ RICHO THETA SC2

    • 大型グラスレス3Dモニタ REGZA 55X3

    • 空間再現ディスプレイ SONY ELF-SR2

    • 小型3Dモニタ MITSUBISHI RDT233WX-3D

    • 単軸ロボット MISUMI RS1

    • 触覚グローブ SenseGlove Nova2

    • 触覚グローブ bHaptics TactGlove DK1

    • 装着型全身モーションキャプチャ Perception Neuron

    • アームバンド型ジェスチャコントローラ Myo

    • AIマシンビジョンセンサ HuskyLens

    • Depth AIカメラ OAK-D

    • Depthカメラ RealSense D455

    • ステレオカメラ ELP  ELP-1080P2CAM-V90

    • 力覚提示装置 3D System Touch

    • 力覚提示装置 Phantom Omni

    • 液晶タブレット XP-Pen Artist15.6

    • 3Dプリンタ Original Prusa i3 MK3S+