Research Interests
研究興趣
研究興趣
跌倒是全球個人受傷或意外死亡的主因之一,特別是在年老族群上更為嚴重。以長照的角度來說,一個可以讓跌倒受傷老年人能得到立即救護的跌倒偵測系統有很大的市場需求。先前關於跌到偵測的研究大多缺乏對實際情況的考量,包括相機架設的角度、日夜照明差異、以及用戶的隱私保護。
實驗使用紅外線深度影像與熱影像作為跌倒偵測系統的輸入;如此一來,系統不會捕捉到任何用戶的臉部細節以確保隱私,並且不受照明環境的影響。然而,相較於一般正常活動,跌倒意外事件的發生率相對較小,導致相關的應用在監 督式學習下容易面臨訓練資料有類別分佈不均的問題。因此改採用非 監督式學習的方式來進行異常偵測,也就是只讓模型學習用戶的一般正常活動,而將跌倒意外定義成要被偵測的異常事件。
因為使用深度影像作為輸入,要處理深度影像中嚴重的雜訊問題,所以除了對輸入影像作前處理外,更在模型架構中加入了抗噪機制,讓影像有更好的生成效果。而系統運行穩定而不受雜訊干擾的關鍵在於: 系統的推論階段,使用影像連續幀編碼後特徵向量的相似度比對方式來取代一般像素與像素間的比對計算,以減少雜訊干擾所觸發的 false alarm,大幅提高系統穩定度。
研究中提出一基於生成對抗(GAN)架構的系統,以序列幀的影像為輸入來預測接下來的序列幀影像,所提 出的系統可達到 (1)多人偵測、(2)以動作觸發的即時跌倒偵測、(3)可處理用戶在跌倒後被遮蔽的情況、(4)對深度影像分析上的降噪方案。而實驗結果顯示:所提出的系統在效能上具有競爭力且能成功地應對現實生活中的複雜情況。
乳癌的全玻片病理影像中找出病灶並預測乳癌分型:利用深度學習模型學習癌細胞形態與病灶樣式特徵,以實現輔助臨床診斷的病灶偵測與病灶分類任務。
針對全玻片數位病理影像對於不同放大倍率下採樣影像區塊以觀察細胞形態或病灶特徵。也就是在大倍率下觀察細胞形態以偵測出病灶位置,再從中低倍率下根據病灶特徵進行乳癌分型。
除了系統對病灶的偵測與分類效能外,研究中側重在深度學習模型的特徵可視化分析與醫師臨床診斷經驗的相互對應,為所開發的電腦輔助診斷系統提出模型的可解釋性以增加臨床醫師的接受度。
全玻片(WSI)病理影像分類 (腦癌、乳癌、肺癌、肝癌、直腸癌5大癌別,再延伸至12大癌別),開發過程中只有全玻片影像的癌別診斷的結果,而無對應癌別病灶所在的輪廓標註。
監督式的學習方式需要大量且精準的標註資訊,在醫學領域上會大幅提高電腦輔助診斷系統的開發成本。尤其是涉及到 gigapixel 量級的數位病理全玻片影像,對應的病灶區域標註 不但耗時且需要非常專業的病理知識,成為數位病理在 AI 輔助系統開發上的瓶頸。
弱監督學習方式在系統開發上只需要數位玻片的分類資訊而不需要全玻片影像中對應代表特徵或病灶的區域輪廓標註,對數位病理領域上有很大的研究動機。弱監督學習中非直接標註的問題轉換成帶噪學習的應用,雖然模型的訓練集中參雜了許多非該標註類別所對應的代表性採樣,可藉由挑選不受雜訊樣本污染且泛化性良好的特徵來達到降低雜訊影響的效果。
所提出的系統在 5 分類與 12 分類的測試集上分別達到了96.03% 與 92.12%的分類準確率。訓練模型在統計上的重要特徵分析結果也顯示: 模型能有效地找出各類別所對應的代表特徵採樣,為帶噪學習訓練下的模型提供了有效性與可解釋性。
三維電子顯微鏡影像中的粒線體分割 ( 3D Mitochondria EM Segmentation )
醫學上發現粒線體的大小、數量與癌症息息相關,然而,電子顯微鏡影像中針對粒線體的三維實例分割(instance segmentation)卻有長度特徵難以捕捉與運算資源過高的挑戰。
研究期望不但能提高偵測與分割的效能,並大幅降低運算資源需求,提出了一種兩階段的卷積神經網路(CNN)架構以實現自動化的三維粒線體分割: 第一階段是透過多幀融合快速地找出每個粒線體可能的三維偵測框,並輸入至第二階段模型輸入的其中一個channel中以作為分割的線索。接著第二階段則是進行三維的卷積神經網路分割,第二階段的模型在每個粒線體在前一階段的線索指引下,能同時兼顧學習像素特徵和其在三維的連通資訊,達到較好的三維實例分割結果。
在眼底鏡影像分析上,許多研究利用計算杯盤比作為判斷青光眼的特徵;然而,以計算杯盤比作為青光眼診斷並非唯一且絕對的判讀指標,也並非全部的青光眼案例在眼底鏡影像上都符合高杯盤比的特性。此外,青光眼在視神經盤外的病灶損傷也很難反映在眼底鏡影像上而被一般肉眼上觀察到,成為眼底鏡影像在青光眼的早期病灶診斷上的瓶頸。因此,青光眼的臨床診斷上需要同時參照病患的OCT影像以得到更多細節的資訊。
令人感興趣的是,過去有研究指出深度學習模型在眼底影像上的判讀似乎能觀察到眼科專家無法察覺的視網膜神經纖維層厚度其細微變化;此外,也有研究實驗更進一步證實深度學習模型可利用視神經盤區域以外的特徵來判別青光眼案例,此舉並不符合臨床上眼科醫師主要觀察眼底鏡影像中視神經盤區域的判讀經驗。該實驗結果顯示深度學習的模型似乎可以在眼底鏡影像中觀察到一般肉眼無法察覺到的細微形態特徵,並用於青光眼的預測診斷上。
研究中欲證明所提出的假設:『深度學習模型在青光眼的判讀上,除了判讀視神經盤上青光眼的病灶損傷外,亦有能力可觀察到黃斑部GCC厚度其細微變化反應在眼底影像上的形態特徵,用以分辨早期青光眼案例。』,以為深度學習在早期青光眼輔助診斷上提供模型的可解釋性與有效性驗證。