岡山県立大学 情報工学部 人間情報工学科
メカトロニクス研究室
Mechatronics Laboratory
本研究室では,主にロボット工学,医用工学,VR/ARインタフェース等の研究を行っています.
場所:情報工学部 教育・研究棟 2909室
ロボット支援腹腔鏡下腎部分切除術(RALP)のVRサポートシステムに関する研究
対象臓器の3次元モデルをCT/MRI等で撮影した患者の腹部の断層画像群(DICOM)から生成します.また,腹腔内の3次元点群をdaVinciのステレオ内視鏡映像から生成します.これらを重ね合わせて表示することで,臓器内にある血管や腫瘍等を可視化します.臓器モデルと点群のマッチングには,ICPアルゴリズムを使用しています.また,臓器モデルの初期位置・姿勢を直感的に操作するため,VRインタフェースを利用しています.2014年頃から京都大学病院と共同して研究・開発を進めています.
Visual SLAMによる内視鏡カメラ位置・姿勢計測の精度向上に関する研究
拡張現実感(AR)実現のためには,カメラの位置・姿勢情報が必要です.しかし,手術機器の清潔確保や手術室の物理的な制約などにより,センサやマーカ等を使った位置・姿勢推定システムの利用は困難です.そこで,内視鏡映像のみを用いて内視鏡カメラ位置・姿勢推定する,特徴点ベースのVisual SLAMの利用を試みています.しかし,手術中の内視鏡映像には鉗子等の手術器具が大きく映り込んで,カメラの前で大きく動作する状況が多発します.そのため,特徴点を安定して取得することができず,カメラ位置・姿勢推定が失敗したり,精度が大幅に低下する問題があります.そこで,画像処理や機械学習,深層学習等を用いて,手術器具上に発生する特徴点を除去することで,カメラ位置・姿勢推定精度の改善を試みています.
顕微鏡下脳外科手術ナビゲーションシステムに関する研究
脳外科を行うには,頭蓋を開いて脳を露出させる必要がありますが,中,には,脳自体が沈み込む現象(ブレインシフト)が発生します.ブレインシフトが起きると,術前にCT/MRIで計測したDICOMと術中の脳とのズレが発生してしまい,腫瘍の位置を正確に取得することができなくなります.そこで,術中に発生するブレインシフトを計測してDICOMとのズレを補正するシステムの開発に取り組んでいます.脳外科手術ではステレオ(双眼)顕微鏡を用いて実施します.顕微鏡映像から脳の形状を3次元計測するため,顕微鏡カメラのカメラパラメータ推定を取り組んでいます.本研究は,2015年ごろから関西医科大学と共同して進めています.
高齢者の転倒後症候群改善を目指したVRシステムに関する研究
高齢者が転倒を経験すると,健康であるにも関わらず,歩くことが不安になったり,恐怖で歩けなくなる症状を,転倒後症候群と言います.転倒後症候群になると引きこもりがちになるため足腰が弱り,さらに歩けなくなる,という悪循環に陥るため,歩く自信を付けてもらう必要があります.そこで我々は,VRによるエクスポージャ(暴露療法)システムを開発しています.高齢者は,座布団やマット,電気コード,敷居のような小さな段差などで転倒することが多いという調査結果があります.我々のVRシステムでは,これらのオブジェクトをVRで生成した和室内に配置し,安全に歩行の練習ができるようなシステムを目指しています.本研究は,2017年ごろから奈良学園大学と共同して進めています.
手術シミュレータに関する研究
手術シミュレータは既に様々なシステムが開発・販売されていますが,それぞれの患者に合わせたシミュレーションはまだほとんど実現できていません.そこで我々は,患者の断層画像群(DICOM)をもとに切開可能なCGを生成し,切断感覚を提示できるシミュレータの開発に取り組んでいます.
電気メス等による臓器への熱損傷に関する研究
電気メスは,人体ーメス間,もしくは鉗子間に高周波電流を流したときに発生するジュール熱を使って臓器を切断する装置で,外科手術では一般的に使用されています.しかし,電気メスが切開時に発生する熱が臓器に与える影響は,これまでほとんど調査・解析されていませんでした.そこで我々は,コンピュータシミュレーションにより臓器における熱の伝わり方(熱伝導)を解析するシステムを開発しています.
その他
研究機材(一部)
MHD Meta Quest Pro
HMD Meta Quest3
HMD Meta Quest2
HMD HTC Vive Pro2
モーショントラッカ HTC VIVE Ultimate Tracker
モーショントラッカ HTC VIVE Tracker 3.0
VRカメラ Insta360 Pro
VRカメラ Vuze XR
VRカメラ RICHO THETA SC2
大型グラスレス3Dモニタ REGZA 55X3
小型3Dモニタ MITSUBISHI RDT233WX-3D
単軸ロボット MISUMI RS1
装着型全身モーションキャプチャ Perception Neuron
アームバンド型ジェスチャコントローラ Myo
Depth AIカメラ OAK-D
Depthカメラ RealSense D455
ステレオカメラ ELP ELP-1080P2CAM-V90
力覚提示装置 Phantom Omni
液晶タブレット XP-Pen Artist15.6
3Dプリンタ Original Prusa i3 MK3S+
3Dプリンタ ENTINA TINA2S