一、 近五年內最具代表性之學理創新或應用技術突破
主持人研究主要專注於整合多元嵌入式行動裝置與多元物聯雲霧計算平台、智慧影像分析與視覺伺服控制系統技術,這一系列研究主要針智慧載具與智慧製造產業所使用之各種嵌入式系統與智慧終端運算平台上,進行智慧影像與資訊分析、智慧駕駛、物聯網與雲端平台、人機互動、互動數位學習、機器視覺伺服控制、智慧節能及系統整合技術應用之需求,開發一系列輕量化與低功率消耗、多核心運算最佳化、與高準確率演算法與平台最佳化實現之創新演算法技術與產業應用解決方案。申請人近年主持與執行多項重要研究計畫、產學合作,包其含主持「發展工業感測物聯雲與實境人機介面技術平台於高效率智慧馬達工廠之CPS系統驗證」、「發展智慧物聯雲監控技術暨智慧載具於異質生產設備整合與加值應用」等兩項科技部大型整合型專案研究計畫,以及「發展結合物聯雲霧計算平台與異質生產設備之智慧化資安技術暨攻防演練場域驗證」國研院整合型專案研究計畫,對於領導推動智慧物聯雲與智慧影像感測分析技術於先進智慧製造技術產業升級,有著顯著成果與貢獻。而主持人所主持「基於智慧影像分析與物聯雲霧計算之移動交通整合系統」(科技部控制學門優秀年輕學者計畫)、「提供肢障病友個人化生活輔助功能之穿戴式眼控實境互動輔具系統」(科技部智慧計算學門優秀年輕學者計畫),需要進行大量高複雜度運算之智慧多元資料分析辨識與人機互動控制演算法,得以結合各種智慧感測裝置與物聯網技術,整合實現於各種行動智慧終端、車載與穿戴式行動智慧運算平台之上,進而大幅提升各種智慧行動運算平台之應用範疇與產業應用價值。
主持人近五年研發成果與貢獻簡述如下(詳細論文、計畫與專利請參閱主持人C302-C304資料):
近五年發表SCI/SSCI國際期刊論文共21篇(包含18篇SCI期刊論文與3篇SSCI期刊論文)、以及國際研討會論文共30篇。主持人的學術著作,根據Scopus資料庫統計,共計被引用1179次,h-index指標為17。(https://www.scopus.com/authid/detail.uri?authorId=35322122400&origin=AuthorEval )
近五年(105年迄今)主持10件科技部一般型與專案研究計畫、及12件技術轉移案(共獲技術移轉金555.7萬元)、24件產學合作計畫案(包含主持業界與法人產學合作案13件、主持8件科技部產學計畫、及分項主持產學合作計畫3件,共獲產學合作經費2,556萬元)。主要合作對象有義隆集團、福壽集團、東元集團、緯創資通、國研院儀科中心、創意金點科技、技嘉科技、敦捷光電、華創車電、資策會等單位)
主持科技部先進製造技術專案計畫:「發展工業感測物聯雲與實境人機介面技術平台於高效率智慧馬達工廠之CPS系統驗證(105年度)」、「發展智慧物聯雲監控技術暨智慧載具於異質生產設備整合與加值應用(107年度)」
主持國研院製造資安實測場域整合型專案研究計畫:「發展結合物聯雲霧計算平台與異質生產設備之智慧化資安技術暨攻防演練場域驗證」(109年度)。
研發成果獲11件國內外發明專利(4件美國、5件台灣、與2件中國發明專利)。
109年4月榮獲IET Fellow(國際工程技術學會會士)。
獲臺北科技大學108年度傑出產學合作獎與103年度傑出研究獎
1、智慧交通影像分析與自駕車技術:
主持人針對國內特有交通狀況發展一系列輕量化智慧影像分析技術之智慧交通與駕駛輔助系統關鍵技術,並實際於國內多個路口場域架設驗證、與實際進行實車道路測試。這系列技術主要包含:適應性車輛與行人偵測與追蹤技術、智慧路況分析、多重感測器融合、視覺伺服控制等技術,並整合於自動駕駛輔助、車輛動態控制等車載系統。這一系列智慧影像分析與車載智慧控制技術模組,不僅可以有效在日夜間與全天候複雜道路環境中,成功準確偵測分辨在多車道各種並行的行人與汽機車、以及路況資訊,能提供有效的自動駕駛輔助與交通狀況判別機制,使其能完善達成整合人、車、路之智慧交通系統,達成駕駛判斷路況、用路人保護、與自動化駕駛控制。
全天候日夜間全周環境感知
主持人透過多部攝影機與自行研發之日夜間多感知任務方法,完成全周交通物件暨障礙物偵測、距離推估與環境語意解析,避免障礙物或交通物件出現於駕駛死角、幫助自動駕駛決策與路徑規劃等。主持人團隊以單模態多任務模型實現可有效於日夜間完成全周智慧環境感知自駕車平台,並研發低運算量與低功耗演算法系列研究加以延伸發展,包含以YOLO系列輕量化模型為基礎,並導入YOLOR隱性知識與自身所提出之輕量化方法將模型縮減,並透過加速方法使運算效率達100fps以上且mAP達90.01以上。除了物件偵測與辨識外,主持人團隊更是針對JDE這項追蹤技術,在維持追蹤效果的狀態下,以自身所提出之輕量化方法縮減15%左右的參數量,將原本僅8FPS左右的運算速度提升近15FPS,大幅提升此模型的可被利用價值。除此之外,更是提出自有資訊補償方法,使套用量化方法之已訓練深度學習模型可以較少的模型儲存位元數達到近似甚至超越全精度的模型效能。主持人團隊所開發之輕量化高準確度智慧影像分析技術模組,並實現於各種多元嵌入式運算平台,如:TI車規DSP數位訊號處理平台、NVIDIA Tegra系列、及國產聯發科MTK MT8666等多核心運算平台等,以落實多樣化產品化與實用化需求,業已與華創車電公司、鉅怡智慧公司、資策會、佐臻科技公司進行合作與技轉,並實際整合落地於華創後續ADAS車用電子產品。
此外,基於車輛周遭障礙物與道路狀況資訊,主持人進一步整合多元汽車電子感測器資訊,發展模糊理論之智慧控制機制之智慧自動駕駛與車輛動態伺服控制系統,並應用於發展車道變換與超車時之自動化車輛動態操控,以及半主動式懸吊系統之動態最佳化控制系統,以提升行車安全性與舒適性,達成發展整合式自動化駕駛輔助控制系統之目標,以為汽車電子與交通監控產業提供低成本、高效能解決方案,使合作廠商之模組產品得以成為一套自動化行車輔助整合型的解決方案,更有機會開發出level3甚至level4的先進駕駛輔助系統(ADAS)。
智慧交通物件軌跡與駕駛行為分析
主持人針對交通物件行駛於道路上會面臨許多不同的交通狀況,如道路臨時施工、緊急車輛靠近,而國內除了上述之交通狀況外更有許多特有的道路交通狀況,包含機車突然切入、搶黃燈等,因此針對國內道路交通狀況特別開發相對應的策略系統是相當有必要的。主持人針對交通物件突然切入的狀況開發整合車距估算與前車軌跡分析,進行前車駕駛行為分析,以利車輛做相對應的決策。
除了針對智慧車輛相關技術進行開發外,更是針對駕駛人之行為分析進行相關研究。透過架設於路口的路測裝置蒐集交通物件移動軌跡相關資訊,結合主持人團隊所開發之多交通物件跨裝置重新識別技術與智慧事件標註系統,可針對多車輛進行移動軌跡的長期追蹤,尤其針對機車這項國內具有高佔比的交通物件,推薦人團隊提出最佳化與改良模型,使模型可透過改良後架構獲得更良好的學習效果。以重新識別結果為基礎,透過深度學習技術可建構一足以預測交通物件行徑軌跡方向之多交通物件駕駛行為智慧分析技術,現有文獻中,多半皆以行人為目標進行行為的分析,推薦人團隊以現有文獻為基礎,加入交通物件駕駛行為特性分析模組,使所訓練之模型得以針對多交通物件達到準確分析與路徑的規劃。此項技術有利於未來車聯網等相關智慧交通系統的開發,有效解決受限制視角區域之駕駛安全性評估與受限制視角之行車規劃應用等。目前主持人團隊所研發相關技術已與資策會合作於國內多個路口:如台北、基隆與高雄內所架設之路側裝置於相對應場域進行實際場域驗證測試。
2、智慧物聯雲霧計算技術整合應用:
主持人針對工業4.0發展趨勢,針對傳統製造業產線工業4.0智慧化升級之需求,與東元電機公司合作,運用智慧虛實整合系統(CPS)技術,對於工廠的「實體」產線設備,發展基於LoRa與NB-IoT異質物聯感測網路技術,並結合雲端運算平台、擴增實境人機互動、智慧影像分析等「虛擬」平台技術,並藉由開發新一代智慧化感測器與無線感測網路等技術將廠區設備「實體」與「虛擬」平台整合,達成導入CPS虛實整合平台建構工廠智慧化Ecosystem之目標,期能將能為國內工業4.0的實現與轉型提供一個完整的解決方案與示範。
主持人透過與東元電機公司與東捷資訊服務公司合作進行場域驗證與落地,於東元電機中壢廠區及家電與商用空調部門合作建立示範場域,發展基於LoRa與NB-IoT異質工業物聯網與雲霧端平台技術,其透過佈設於場區運轉機台之感測器物聯網路,透過多元訊號與影像感測技術,即時擷取分析機台稼動運轉狀態、訊號資料、與影像資料,並藉由整合雲霧端平台技術以及穿戴式人機互動介面系統,達成關鍵設備稼動率及能耗監控、產線機台與環安設備效能監控、產品統計品管數據分析之目標。以先前合作企業東元電機為例,主持人協助導入一系列智慧物聯於產品加值與產線智動化,目前已協助增加東元集團家電產品年營收成長達10%做出了貢獻。
為進一步提升製程整線效率最佳化,主持人團隊並進一步發展智慧無人載具AGV派車管控平台,並且透過智慧化的派車系統將廠區的產線與廠房進行鏈結,以強化提升廠區跨製程產線機台的稼動率,達到整廠整線之目的。透過上述計畫發展資料驅動多元物聯雲霧計算,以數據分析及人工智慧服務為主軸並搭配數位服務應用,來針對多產業客戶所面臨之問題,如客製化產品、提生產線效率、設備壽命與產值提升、能源節約、 倉儲管理、 人員管制、環境品質等議題,進行改善及優化,以提升用戶之產值並且讓相關數據成為資產,轉成服務並締造商機。目前已橫向發展將技術套用至不同領域與場域落地使用,如智慧商用空調(桃園機場、中華郵政、宅配通、中華印刷、兆豐集團、基隆港務局、World Gym集團等)、宅配通智慧行控中心(全台物流車輛管控)、智慧物聯養殖漁業監控應用(屏東佳冬魚塭、雲林口湖魚塭等),創造智慧物聯多元產業加值應用成果。主持人透過整合這些關鍵技術協助傳統製造業產線進行生產設備虛實整合、客製化產品、提生產線效率、預知保養、能源節約、人機協作之改善與最佳化,並提供智慧資料集標註平台、數據分析、及轉換人工智慧模型建立客製化服務為主軸,並搭配數位服務應用以協助各合作企業達成製造業之數位轉型,並應用於智慧漁業、智慧交通與駕駛系統等領域,達成服務加值與技術升級之效益。
再者,因應工廠的升級,廠區資訊傳遞無線化與雲端化,進而衍生出資安防護的相關議題,主持人與製造產業合作,研發邊霧雲三段式網路架構落實至其數位生管平台管理上。透過OPC UA Gateway的資安架構導入,其是用於連接OPCUA的一個橋梁,透過OPC UA Gateway來查看與管理工控端的Server並收集OT設備端的運作數據資料,如台中廠區與飼養環境的感測資訊,並將這數據資料安全傳輸給Client端,以提升IT端的資安防護,強化整體廠區OT端營運與提供穩定作業環境,維持廠區長期正常運作產值。其產業應用實際成果如下:
Ø 客制化工控安全閘道器系統,實現可跨不同網域的OPC UA Sever Client裝置,可隔離不安全的裝置或設備,提高安全性。
Ø 透過Kubernetes MEC架構,提供所有服務虛擬化為微服務,並建立負載平衡及備援機制。且本微服務可以進行快速部署,只需進行些微調整即可擴展至其他廠區。
Ø 本架構將實現落地於該企業台中廠區,並依IEC62443規範以強化廠區資訊安全與工控安全標準的提升,降低被攻擊可能性。
Ø 透過物聯網、數位轉型,達成節省人力,進行從養殖場、子公司與總公司的資料整合串聯,提供更完整的管理機制。
Ø 該食品產業集團目前已與計畫團隊簽訂二年產學合作合約與提供驗證場域,後續將規劃承接技轉本案發展資安關鍵技術。
3、智慧物聯網與多模式自然人機互動介面技術:
針對各種行動智慧裝置、穿戴式與物聯網裝置應用需求,申請人發展了一系列新一代多模式智慧影像分析與人機互動操控介面相關技術,包含行動智慧影像分析、多點觸控、穿戴式體感手勢動作、視線動態、實境介面之低運算量高準確率辨識分析技術,以整合應用於各種行動與智慧終端裝置(聯網電視機上盒、智慧家電、智慧工廠、智慧物聯裝置、智慧機器人系統等)之嵌入式運算處理器平台與不同類型影像感測裝置上。申請人針對智慧辨識技術之學理,發展出一系列針對即時多目標物件分類辨識之低運算量快速辨識與追蹤演算法,使人體特徵辨識分類器,能夠整合實現於各種嵌入式與智慧終端平台上,達到即時且準確之辨識運算結果。申請人並針對此類智慧影像分析技術執行於各種智慧行動與穿戴式終端裝置時,造成這類裝置的嵌入式處理器長時間處於高負載狀態,以致消耗過多電源功率而減少其續航力之議題,申請人亦研發嵌入式終端平台之即時處理器電壓與運算頻率動態調整機制,以提供智慧手持行動終端裝置對於執行各種多媒體運算與人機互動應用時,提供最佳化之處理器效能與功耗,進而有效延長使用裝置時間與提升使用體驗。
SLAM場景重建系統
基於3D點雲資訊移動載具人物追隨系統
人流偵測系統
人流偵測系統
穿戴式視線動態追蹤及人眼視線追蹤系統
穿戴式視線動態追蹤及人眼視線追蹤系統
此外,主持人針對近年來相當熱門的螢幕下指紋辨識技術進行研究,其為最新的智慧行動裝置人機互動與身分辨識應用。與敦泰電子子公司敦捷光電股份有限公司合作,協同開發基於光學式感測器之螢幕下指紋辨識技術,結合傳統影像處理與深度學習技術,實現一應用於行動智慧裝置之智慧指紋辨識系統。這一系列對於處理人機互動指令識別所需之影像辨識運算,並結合即時處理器電壓與運算頻率動態調整機制,以提供使用者透過多元自然人機互動介面,與各種生活中的裝置設備進行長時間之互動操作應用,提升各種生活娛樂品質與生活輔助便利性。其對於提供聯網電視、穿戴式智慧影像裝置、汽車電子、智慧工廠、醫療照護、互動式機器人、數位教育學習、互動式遙測監控與顯示系統等需要大量使用視覺人機互動應用之產業與應用,提供了極具價值之解決方案。
二、近五年協助產業發展績效:技術移轉、著作授權、產學合作、協助產業發展、實作研究上之成果與貢獻、產業規範/標準之建立。
智慧物聯雲霧計算技術整合應用:本團隊發展物聯網技術平台針對東元傳統製造業產線工業4.0智慧化升級之需求,運用智慧虛實整合系統(CPS)技術整合智慧瑕疵檢測與轉子動平衡輔助技術,對於工廠的「實體」產線設備,發展基於LoRa與NB-IoT異質物聯感測網路技術,並結合雲端運算平台及MES系統來進行產線廠房的產能提升與最佳化。這一系列應用於智慧工廠虛實整合系統之物聯雲平台與智慧影像分析技術成果均密切與東元集團等相關企業合作,並提供關鍵技術模組解決方案,主持人目前產學合作對象包含東元集團東元電機與東捷資訊等公司(合作研發各項應用於智慧製造、物聯雲霧平台、能源管理與產線機台之智慧影像/資料分析與行動終端技術,共計5件技術移轉與1件產學案,獲技轉金260萬元與產學經費80萬元,並於105-109年持續獲5件科技部產學計畫補助與配合款共計503萬元)、並技轉元件瑕疵檢測智慧影像分析函示庫技術予致茂電子(技轉金81萬元)等。主持人透過整合上述智慧製造物聯雲關鍵技術,落地於智慧化客製化轉子產品量產、自動化影像檢測操控平台、智慧商用空調設備管控、節能與預知保養,足以證明主持人所研發這一系列技術可以有效整合人工智慧於實體產線設備,將可提供合作企業進行產線最佳化、降低維修護之成本、提昇產品良率與附加價值,並進而提升各合作企業產值。
智慧物聯裝置之智慧影像分析與自然人機互動介面技術。這一系列技術亦密切與產業界合作與提供關鍵技術模組解決方案,申請人與技嘉科技公司(合作開發3D深度攝影機關鍵技術模組與加值應用系統,共2件技術移轉案(技轉金100萬元,並獲107年度科技部產學計畫)、敦泰集團敦捷科技公司(合作開發螢幕指紋辨識系統模組,獲科技部109年產學合作計畫)、創意金典公司(數位病理玻片標註系統技術移轉,技轉金75萬元),將上述相關技術應用於嵌入式自動化影像檢測操控平台、智慧人機互動、螢幕指紋辨識、及互動照護智慧機器人等相關產品技術應用上,相關技術並已獲得美國發明專利3件、及台灣發明專利2件,足證主持人研發這一系列技術可以廣泛提升各種智慧物聯與行動載具相關消費性電子產品之操控便利性與使用者經驗,並大幅提升相關產品的附加價值。
智慧交通系統與視覺伺服駕駛輔助系統。申請人這一系列智慧交通影像分析與自駕車系統技術與華創車電、資策會等單位長期合作,共同探討台灣特有之道路情境狀態,並且針對特有情境開發相對的演算法架構,並與其合作開發車周障礙物辨識技術成果已應用於後續使用華創系統的裕隆車款的ADAS系統。這些創新技術成果並獲得7件台美發明專利,在與產業界進行創新技術合作成果方面,除執行科技部自駕車專案計畫外,包含與華創車電公司的產學合作發展基於快速物件偵測分類技術與融合LIDAR多重感測器融合技術之車輛全周障礙物視覺辨識技術(105-108年,合作經費共計285萬元)。再者,主持人並與資策會合作,落實發展一系列新一代基於輕量化深度學習之多感測器融合之多重障礙物偵測分類、軌跡辨識、事件標記與分析技術、車聯網視訊群播應用等系列技術(近五年執行7件合作案),並與該單位合作協助智慧自駕車與智慧交通相關產業進行技術升級,以提供駕駛更為安全便利的智慧自駕與交通資訊系統關鍵技術整合。
三、近五年國內外之成就與榮譽:
109年四月榮獲國際工程技術學會-會士,IET Fellow
獲109年度控制學門優秀年輕學者計畫:基於智慧影像分析與物聯雲霧計算之移動交通整合系統
獲106年度智慧計算學門優秀年輕學者計畫:提供肢障病友個人化生活輔助功能之穿戴式眼控實境互動輔具系統
110年8月榮獲中華民國系統學會110年度「傑出產業貢獻獎」
110年5月榮獲國立臺北科技大學電資學院110年度「傑出研究獎」
108年10月榮獲國立臺北科技大學-“108年度傑出產學合作獎"
111年8月起擔任期刊編輯Associate Editor, IEEE Consumer Electronics Magazine
110年5月起擔任期刊編輯Associate Editor, IEEE Access, Section on Consumer Technology
108年擔任Guest Editor, MDPI Sensors, Selected Papers from the IEEE International Conference on Consumer Electronics – Taiwan (IEEE 2019 ICCE-TW)
110年9月起擔任中華民國系統學會理事
110年1月起獲選擔任IEEE SMC Taipei Chapter Chair支會主席
107年迄今擔任中華民國消費性電子學會理事、監事
107年擔任Guest Editor, MDPI Sensors, SI: Selected Papers from the 7th IEEE International Symposium on Next-Generation Electronics (ISNE 2018)
主辦2023 IEEE International Conference on Consumer Electronics, Taiwan (ICCE-TW 2023)國際研討會,擔任大會主席General Chair職務。
參與主辦2022 International Conference on System Science Engineering (ICSSE 2022)國際研討會擔任議程Program Chair。
參與主辦2019 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS 2019)國際研討會擔任Exhibition Chair,並組織特別議程
多年參與主辦(2014-2022) IEEE International Conference on Consumer Electronics, Taiwan (ICCE-TW),歷任TPC Chair, Publication Chair, Exhibition Chair職務,並組織特別議程
108年起擔任Technical Committee on Intelligent Transportation Systems - IEEE Systems, Man, and Cybernetics (SMC) Society
107-109年擔任Treasurer, ACM SIGSpatial Taipei Chapter
榮獲「109年度科技部工程司開發型產學合作計畫機電能源領域」《產學成果海報展示優良獎》
榮獲「105年度科技部工程司開發型產學合作計畫電子資通訊領域」《產學成果海報展示佳作獎》
四、近五年在人才培育、研究團隊建立及服務方面的重要貢獻及成就:
110年5月榮獲教育部智慧聯網技術與應用人才培育計畫「優良推廣教材獎」
109年3月榮獲教育部智慧聯網技術與應用人才培育計畫-智慧製造影像暨產線系統設計與應用-課程優良獎
109年與馬來西亞國立博特拉大學(UPM)資訊學院副院長Dr. Norwati Mustapha合組研究團隊,針對智慧影像分析技術進行合作,並獲科技部自由型國際加值(add-on)合作計畫案補助
擔任國立臺北科技大學USR計畫漁業智慧資訊系統之鍵結-以養殖為例子計畫主持人,並於雲林縣口湖鄉建置養殖漁業智慧物聯網環境感測系統並與當地進行相關養殖經驗之交流
主持教育部106-108年教育部智慧聯網技術與應用跨校教學聯盟中心計畫-智慧製造電子應用聯盟-課程(模組)發展計畫-智慧製造影像暨產線系統設計與應用課程模組開發
109年指導學生參加2020年ITSA全國大專校院程式設計極客挑戰賽,獲得第二名
指導學生參加2021年教育部第二屆自駕車專題競賽,獲得第二名。
110年12月指導學生參加2021年教育部ITSA全國大專校院程式設計極客挑戰賽,獲得第一名
110年10月指導學生獲得2021 IEEE 10th Global Conference on Consumer Electronics (GCCE 2021)最佳學生論文獎(Excellent Student Paper Award Gold Prize)