資料擴增技術在深度學習網路中扮演著重要的角色,尤其在需要大量訓練資料的情況下。本研究旨在提出一種端到端的方法,用於生成具備霧、雨和雪等降水特性的天氣影像。這些降水特性是高頻且不明顯的特徵,而生成影像的不完美可能會產生雜訊。本研究從降水特性出發,提出一種基於降水特徵的新深度學習網路進行弱監督訓練,並引入三重內容損失將天氣特性轉移到另一張影像以實現天氣影像生成。除了展示了天氣影像生成的可能性外,間接證明在弱監督場景中監督接近雜訊特性的高頻特徵的可行性,而且不需要參考此特徵的基準真相,提供影像生成問題的另一種解決思路。
深蹲運動在現今運動競技中佔有重要的地位,迄今,深蹲運動分析最常見的是以教練用肉眼進行判斷、使用加速規測量肌肉的加速度或是在感興趣關節點處貼標籤並進行生物力學重建分析。但這些方法可能會造成量測不準確或受測者在測試的過程中感到不適。本研究提出另類的量測解決方案,在此方案中獲取深蹲膝蓋角度的做法是以手機鏡頭拍攝深蹲過程的視訊後再運用姿態估測與回歸分析等處理技術。我們比較了數個已知的回歸器與本研究所提出的回歸器的性能,實驗結果顯示,自製回歸網路用於膝蓋彎曲角度擬合有最低的平均絕對誤差,其中左右膝蓋分別為4.3°與4.5°。此準確度已符合許多應用所需,驗證了此種新量測方案的可行性。
本研究提出了一個基於多任務學習架構的超解析度成像技術,該架構可以同時處理多種超解析度問題。為了驗證這個架構的可行性,我們選擇了衛星影像、空拍影像和路側影像這三個場景進行研究。這些影像在當今社會中具有廣泛的應用,例如衛星影像可用於國土變異的判斷,空拍影像可用於特定物件的監測,路側影像可用於路況監測等。本研究分為兩個階段:第一階是段評估現有方法並檢視其問題,第二階段是提出新的模型架構並探討其效能。
在第一階段中,我們應用了傳統的Bicubic方法和深度學習方法(SRCNN、FSRCNN、SRResNet和EDSR)在三個監測系統上進行超解析度處理。結果顯示這些方法都能改善影像的解析度,其中EDSR效果最為顯著。我們使用了三種不同類型影像的資料庫來訓練超解析度網路模型,發現單一資料庫訓練的模型在單一超解析度任務中表現較好。然而,在處理其他任務時,影像解析度改善的幅度較低,需要使用多個網路模型來處理。使用混合資料庫訓練的模型效能無法超越單一影像資料庫訓練的模型。最後,使用常見的超解析度資料庫DIV2K訓練的模型在三種類型的影像上的效能都不如特定使用三種類型影像訓練出的模型。
在第二階段中,我們提出了一個新的超解析度模型架構,包括融合式特徵提取器、超解析度組件和分類器。本研究構建的創新架構旨在透過整合多類型影像的特徵資訊,全面提升超解析度影像重建的性能表現。為了進一步提升模型的生成效能,我們在整體超解析度架構中整合了一個分類器,從而讓模型在訓練和生成過程中能夠利用類別相關的資訊來更加精確地輔助影像重建。該超解析度模型架構在衛星影像、空拍影像及路側影像的測試中展現出優越性,並在PSNR和SSIM指標上有顯著改善。物件偵測結果顯示,提高影像解析度能夠改善物件偵測的準確性和性能。
本研究提出一新架構,透過多任務學習與融合不同影像特徵,旨在同時處理多種超解析度問題。研究結果顯示,新架構在多種場景如衛星、空拍和路側影像中均達到卓越表現,並在多項評估指標上優於其他方法,確實提升了影像品質和物件偵測的準確性。未來可運用於遙感和環境監測、城市規劃和交通管理。這種多任務學習架構也可能適用於醫療影像,如X光、MRI和CT掃描,以獲得更清晰的結果。未來研究可以探索模型的實時運行能力,以及如何最有效地將這種技術應用於邊緣運算或嵌入式系統中。
在濃霧場景中如何除霧使檢測物體的效能提升是自動駕駛中的一個重要課題。目前的影像除霧方法大致上可分成深度學習與先驗法兩大類。大多數深度學習的方法都是使用合成的濃霧資料,難以顯現在真實道路中的除霧性能;先驗方法則是需要手動設置各種參數。本研究則使用真實的濃霧資料並提出了一種新穎的除霧方法,此方法利用立體深度估測網路和光達來估測大氣散射模型中的透射圖和散射係數並且考量了光達的訊號衰減。為了解決手動設置霧霾相關參數的缺點,本研究使用基於大氣散射模型的架構,它可以經由訓練區分輕霧和濃霧,並採取對應的最佳模型參數。實驗結果顯示,比起其他除霧方法,以本研究所提方法除霧後的復原影像在基於相機的物體檢測中可呈現出更高的平均精度,特別是在IoU= 0.75時的平均精度(mAP75)。
(Enhancing Recognition Performance of Weather Classification for Deep Learning Neural Networks with Data Augmentation Using Generative Adversarial Networks)
在一個天氣辨識系統中,數據集中不同天氣類型的圖片數量不平衡導致在非晴天天氣識別性能較差。甚至需要人工製作的數據集來填充天氣圖像,例如:在鏡頭前灑水拍攝形成雨天數據集,這種數據集不但不能確保網路辨識效能的提升,反而更容易造成天氣辨識上的混淆。因此,本研究的目標是透過生成對抗網路生成天氣影像,補充非晴天天氣圖片進而提升深度學習網路辨認天氣的性能。實驗結果顯示,在相同的訓練集數據量之下,CycleGAN生成的擬真數據確實能夠提升四種天氣類別的辨識準確度,且在VGG16以及ResNet50兩種網路中,當生成數據佔訓練集的百分之四十時,準確度分別有達到96.78%和96.19%的表現。此外,本研究也進行了用傳統數據擴增法生成影像的實驗。結果顯示,傳統擴增方法訓練下的準確度分別為93.26%和93.68%,低於以CycleGAN擴增數據的表現。因此以CycleGAN生成影像的數據擴增法在天氣辨識網路上比用傳統的數據擴增方法有更好的效能。
膠囊內視鏡與傳統有線式內視鏡都是現今常用的腸胃道檢測方法,隨著光學鏡頭製程技術的進步,內視鏡檢測效能也迅速提升。而要精確的從腸胃道影像或影片中找出腸胃道疾病與問題至今仍是關鍵的課題,逐張影像檢查或長時間注視著螢幕觀看,造成醫師診斷上很大的負擔,並且也不符合效益。因此,本研究旨在研發出內視鏡影像的自動辨識系統,減少醫師進行診察所需觀看的影像數量,藉此改善醫師在診斷過程花費大量時間的問題,爭取醫療的時效性。經過多次與醫生面談後得出結論,現在主流的疾病物件偵測並無法滿足醫生需求,更容易誤判造成醫生困擾,所提出的系統只需要判斷出是否有異常即可,而疾病判斷的責任還是交還給醫生。本研究提出一套系統,利用深度學習網路來做內視鏡影像辨識。在此處是用卷積神經網路(CNN, Convolutional neural network)所衍伸出的各種不同網路模型如VGG16和VGG19。第一部份的研究,是利用同一筆腸胃道影像Kvasir資料庫,比較出何種網路更適合用在醫療用腸胃道影像,而第二部份研究則是關於內視鏡影像的正常與異常檢測,此部份才是真正能帶給醫生實際幫助的研究。實驗結果顯示,在第一部份Kvasir資料庫的辨識中VGG16與VGG19皆表現出不錯的性能,而在第二部份正常與異常辨識則是VGG16有最好的表現。結果顯示VGG16搭配上來自於ImageNet的Transfer Learning最適合用在內視鏡影像的自動檢測上,正確率最高來到94.60%。
本研究將利用手機前置鏡頭錄影之影像區分為白天或夜間影像,分別針對此兩種模式進行影像的處理,以加快系統的處理速度,達到即時性的偵測。對於白天,我們使用 SSD 深度學習網路搭配 MobileNet 網路直接進行臉部以及眼睛偵測;對於夜間,則增加一個額外的預處理步驟:把於使影像從 RGB 彩色空間轉成 CIE L*a*b* 彩色空間,在利用調整 L* 通道來進行增強影像,以利系統進行後續的偵測。如果沒有偵測到眼睛的連續影像張數超過一個預設的門檻,則系統會對駕駛發出警訊。
本研究採用深度學習類神經網路來做物件偵測。首先利用前後期影像常態化差異值植生指標(Normalized Difference Vegetation Index, NDVI)的差異找出變遷地區,去除人為開發地區、農業區及季節因素產生之變遷,以偵測出疑似崩塌地之區域。將疑似崩塌之區域的影像進行手動標記樣本後,再透過訓練類經網路讓其可以判斷衛星影像中疑似崩塌區域。最後此訓練過的類神經網路會將影像中與項目相似的區域框選取來,並將判斷出來的相似程度給予其百分比數值。
本研究將原先判斷日夜所需的影像處理成直接擷取曙暮光資訊以減少計算量,並且針對台灣較常遇到的兩種不良天氣,我們新增了雨天模式及霧天模式,再進行車輛偵測時,先將汙染影像進行復原,以此提高系統在天氣不佳下的準確度。
提出一個改良的彩色影像增強方法,它同樣在色調不變的條件下,能將輸入影像自動分類成暗影像、亮影像和高反差影像等類型,搭配適合各類型影像的亮度等化法並建議較佳的u值範圍來控制飽和度,同時保留影像的真實狀況。實驗結果顯示我們成功地改善上述的彩色影像增強法,在保留影像真實面貌的條件下,有效地改善影像的亮度和對比度並提升視覺的舒適度,而在主觀心理評量的結果中,本文所提方法的輸出結果滿足了使用者對品質的要求而受到使用者的喜愛。