本專題研究是針對舌下影像的分割與辨識,透過拍攝舌下部位以此來做影像分割,並且辨識分割出來的影像是否符合冠狀動脈心臟病(coronary heart disease, CAD)。首先將舌下影像的多餘影像部分利用語義分割(semantic segmentation)切割掉,留下舌部的部分,這裡使用了 U-Net Model來進行分割,大部分圖像可以達到95%的IoU(intersection over union),可以精確分割出舌下影像,接著再經由OpenCV對影像進行處理,降低舌頭的口水反光對機器判斷的影響,最後再經由卷積神經網路(convolutional neural network, CNN)的判斷陰性或陽性。
與高醫中醫部合作進行影像的收集。之後使用OpenCV進行影像的處理,處理完成後使用U-Net進行影像的分割。最後再使用CNN來進行有病沒病的偵測。
本專題研究製作一個APP可以連接至Server來進行切割以及辨識,並將結果回傳至手機上,方便使用者使用。
CNN架構圖
U-Net架構圖
對於舌下影像的切割,手機APP端功能也都已經完成,之後可以做進一步的優化或是新的功能。而辨識的部分還在等待醫院收集更多的影像,目前經過交叉驗證(cross validation)能達到83%的成功率(accuracy)以及87%的召回率(recall)。未來收集到更多資料後,可以再進一步訓練模型。
10-fold Cross Validation
APP介面