得獎獎項 

ICPR Automated Crop Disease Diagnosis from Hyperspectral Imagery 3rd Challenge 獲得冠軍

恭喜 林宇凡 鄭敬恒 邱勃誠 康成駿 李家銘 參加 ICPR Automated Crop Disease Diagnosis from Hyperspectral Imagery 3rd Challenge 獲得冠軍。本次競賽要求參賽者利用大量的多光譜/高光譜遙感影像資料集，提高識別作物病害的準確性和效率，為永續農業實踐和全球糧食安全做出貢獻。本次競賽的特點是在於影像的spatial resolution特別的小，只有20*20，要同時區分大範圍區域的農作物的狀況並避免過擬合實屬不易。同學們設計一個基於高光譜特性的半監督學習框架，同時利用Endmember和關鍵特徵來進行預測，最後在數個來自不同國家的隊伍中脫穎而出，獲得全球冠軍。

不過，多光譜與高光譜影像性質確實跟一般影像不太一樣，也花費了不少時間去了解，但好在這一兩年的耕耘沒有白費，因此同學們也頗能很快上手。再次恭喜！

Yu-Fan Lin, Ching-Heng Cheng, Bo-Cheng Qiu, Cheng-Jun Kang, Chia-Ming Lee, Chih-Chung Hsu, "Self-supervised Fusarium Head Blight Detection with Hyperspectral Image and Feature Mining", ICPR 2024 Competition: Beyond Visible Spectrum: AI for Agriculture

CODE and Results will be released soon.

Official Website: https://han-research.gitlab.io/Agvision/

ACMMM SMP競賽獲得優異效能獎

本校數據所許志仲副教授帶領學生李家銘, 林宇凡, 周依璇, 以及專任研究助理簡志宇, 蔡其翰，獲得美國電腦協會國際多媒體年度學術研討年會 (ACM Multimedia 2024) 之「社群媒體預測分析競賽」(Social Media Headline Prediction Challenge) 效能優異獎 (Top-Performance Award)。ACM Multimedia 2024於10月28日於澳洲墨爾本盛大舉行，預計將吸引大批多媒體領域中頂尖研究學者參與。

ACMMM 舉辦以來，每年錄取率均控制於20-30%左右，為目前全球多媒體研究最重要之學術交流研討會，根據Google Scholar排名，ACM Multimedia為多媒體領域中Top-1之研討會。此競賽因為入門門檻高，一直以來，參賽的對象都是世界頂尖的專家學者，延續前面幾年ACVLAB對於社群媒體資料的相關研究，本年度同學們進一步探討了現今以CLIP為主流的多模態特徵在社群媒體預測任務上的特徵適應與微調的傾向與特性，為社群媒體預測提供了具有前瞻性的分析，同學們設計出的模型亦在多個來自不同國家的隊伍中脫穎而出，最後受頒Top performance award。許老師之參與競賽之團隊相關技術亦同時將發表於ACM Multimedia為口頭報告，歡迎有興趣者一起交流。 

CVPR NTIRE2024 Image super-resolution 競賽成果排名全球 Top 3%

恭喜 @李家銘 @周依璇 在CVPR NTIRE2024 Image super-resolution上斬獲全球第6! (6/199 = Top3%)。NTIRE是每年都會在CVPR上舉辦的知名workshop，其促進了研究人員對影像復原、增強和操作等關鍵電腦視覺任務的廣泛理解及討論。具體來說，是關於如何恢復退化的影像內容並填充缺失的信息，或實現所需目標（增強關於感知品質、內容、或處理此類影像的應用程式的性能）。

現今大家都透過swin-transformer為基礎模型去嘗試增大模型receptive field或設計複雜的模塊來增強模型萃取特徵的能力。然而，我們觀察出了一個普遍的現象，就是特徵圖的強度分布往往會隨著網路深度增加而變大，但在最末端的時候被抑制到一個較小的區間，這可能隱式地限制了模型的效能上界，因為空間訊息會因為遭逢資訊瓶頸而丟失，而導致大家需要設計非常複雜的網路或模塊才能推進SR模型的上界。因此，我們提出了Dense-residual-connected Transformer (DRCT) 旨在透過結合dense-connection來穩定前向過程，讓SR模型能夠”遠離”資訊瓶頸，相比於現今SOTA模型省了33%的參數量就能在效能上有所突破!

CVPR DEF-AI-MIA Covid-detection challenge上榮獲全球第三

恭喜 李家銘 范姜揚 周依璇 簡志宇 戴勝捷 蔡其翰 再次在CVPR DEF-AI-MIA Covid-detection challenge上斬獲佳績，榮獲全球第三! 本競賽的目的在於給定不同解析度或是切片長度的電腦斷層掃描影(CT)，來去判讀患者是否有罹患肺炎。相較於過去幾年的內容有所不同，之前都是著重在設法提高模型的準確度，但關於可解釋性和公平性等的相關議題一直都很缺乏，現實中因為不同病患或儀器等造成的distribtution shift並沒有在過去得到適當的關注，所以今年競賽的內容設計更偏重於這方面。

 @李家銘@范姜揚@周依璇 三位來自成大不同科系(分別來自成大數據所、電機系和統計系，值得注意的是後面兩位目前才大四! )的學生，基於@蔡其翰@簡志宇@戴勝捷等三位ACVLAB元老的研究經驗，聯合發想出一套density-aware slice sampling的方式來改善以往random sampling可能引發的data leakage的問題，同時能夠根據分布來自適應地對scan的全局特徵進行取樣，即便是在訓練資料不足或是因為儀器問題引發的noisy sequence的情況下都能夠有很好的性能，只需要1%的訓練資料就能夠有跟SOTA接近的效能，並且透過結合統計檢定還能夠具有一定的可解釋性和穩健性。相關程式碼即將開源，歡迎大家使用我們的方法。

ICIP，Auto-WCEBleedGen Challenge，全球第二

許志仲副教授帶領ACVLAB，參加IEEE訊號處理協會(Signal Processing Society, SPS) 旗下的頂級會議ICIP(IEEE Conference on Image Processing)舉辦的Auto-WCEBleedGen Challenge (Automatic Classification between Bleeding and Non-Bleeding frames and further Detection and Segmentation of the Bleeding Region) 競賽，榮獲世界第二。本競賽主要目的是透過AI來預判腸胃道出血，具有重大臨床應用意義。胃腸道 (GI) 出血是一種以胃腸道出血為特徵的疾病，胃腸道包括食道、胃、小腸、大腸（結腸）、直腸和肛門。由於血液流入胃腸道，就會出現一系列風險，從直接危險到潛在的長期後果。胃腸道出血過多失血可能導致血壓下降、器官和組織供氧減少以及可能危及生命的器官功能障礙。因此，若有可靠的AI來進行準確的出血預測，將可大幅降低判斷時的人力需求。

本次競賽團隊由碩一李家銘為首，以及兩位成大數據所準新生，林宇凡及邱勃誠兩位同學組成團隊參與此次競賽。此競賽的目的在於設計一個多任務學習框架(multi-task learning)，需同時完成疾病分類與病灶的精確定位，並提供具解釋性的結果供腸胃科醫生分析。本次競賽僅由學生自行討論，藉著碩一李家銘同學豐富的經驗，設計了兩階段的(Divide and Grounding)訓練架構，並且透過 affirmative ensembling 有效集成不同模型，以提升整體效能，最後斬獲全球第二之佳績，也僅次於全球知名的印度理工大學 (IIT) 之研究團隊。

IEEE ICIP為IEEE旗下影像處理領域中旗艦研討會，每年吸引許多影像與訊號處理的專家學者參與。IEEE ICIP 2023於印度 Jammu舉行，總共吸引全球超過 1200 人位研究人員及從業人士參與，並由 MISAHUB（醫學成像和信號分析中心）主持相關內容。本年度IEEE ICIP將在十月下旬於阿拉伯阿布達比舉辦，預計同樣也會受到相關領域專家學者與會。我們亦受邀線上參與本次競賽中來發表解法細節，相信在與國際專家學者交流底下，必然收穫滿滿。本會議受到國際許多知名影視訊處理研究團隊的重視，此次兩位碩零同學能在初次參賽便有此亮眼成績，實屬不易，更難得的是在ICIP中亦獲得多個研究團隊之重視與討論，可見本團隊提出之解法確有獨到之處。

Website: https://misahub.in/ICIP/index.html#challenge

恭喜參加Kaggle比賽奪得金牌！

成大數據所許志仲副教授指導研究助理蔡其翰(kaggle name : fate)與研究生馬欣蒂(kaggle name : cindy ma)組成的團隊，日前參加全球最大數據科學競賽平台Kaggle舉辦的年度盛事,在眾多選手中脫穎而出,奪得該競賽的最高榮譽金牌。這項極具競爭力的國際賽事,每年吸引來自全球數以萬計的頂尖數據科學家參賽,奪金之險峻可想而知。本次獲勝的競賽是在kaggle上的UBC 舉辦的Ovarian Cancer Subtype Classification and Outlier Detection (UBC-OCEAN)競賽。台灣每年平均能獲得金牌的人數皆於3-5人之間，其翰與欣蒂能獲此殊榮實屬不易。
UBC-OCEAN這個競賽是由UBC主辦的，主要是對卵巢癌不同亞型及異常型做分類。由主辦方的說明影片得知，卵巢癌主要是透過病理組織切片來判斷的，但卵巢癌是一個包括5種主要亞型的癌症，不同亞型有不同的嚴重度與治療方法，目前領域專家對不同亞型判斷的kappa coefficient有0.89，然而普通的病理學家kappa coefficient大概只有0.54-0.67(判斷一致性低)，所以主辦方出於這個原因辦了這個競賽。

這個競賽的困難點有幾個：
1.Data來自各大洲的二十幾個醫學中心(training data只有13個醫學中心)，這些來自各個醫學中心的病理切片染色方法不盡相同
2.Data包括Whole Slide Imaging(WSI)以及Tissue Microarray(TMA)，training data有5百多個WSI以及25個TMA案例，但我們主要預測的TMA佔大多數
3.要預測罕見的亞型Outlier，但training data完全沒有Outlier案例

本團隊研究方法主要是把WSI切成tiles (原始 WSI尺寸很大，此為常見手法)，然後用模型預測tiles得到預測值與真實亞型的不一致性當成偽標籤，再把偽標籤當成輔助損失 (aux loss)，與真實亞型一起重新訓練；最後用偽標籤當成是否微異常值的判斷標準，如果不是異常值再判斷是屬於何種亞型。
我們是金牌區少數不用External Data (競賽官方之外data)的團隊，也是少數不用Multiple instance learning方法的團隊；我想我們獲勝的關鍵在於預測TMA的Outlier的案例的能力比其他隊伍更好，才能在眾多頂尖隊伍的夾殺下，獲得第9名(金牌)的成績。

Kaggle是一個數據科學競賽平台，舉辦各式各樣的競賽，吸引全球數據科學家和頂尖工程師參與，甚至包括像任職Nvidia、META、Microsoft、Google這樣的頂尖AI公司的工程師，共同挑戰各種數據科學問題。要取得佳績,選手必須在限定的時間內,對給定的大量資料進行處理、特徵工程,並設計出創新且高效的AI模型。每場競賽都會有新難題需要解決。獲獎選手展現了對各種演算法的靈活運用,以及針對實際複雜問題建模與優化的能力。
其翰表示,能夠代表台灣拿下金牌,實現他從事數據科學研究以來的目標。這不僅是團隊的最大榮耀,也展現台灣已經有能力與世界一流高手一決高下的實力。

競賽網址：https://www.kaggle.com/competitions/UBC-OCEAN
排行榜　：https://www.kaggle.com/competitions/UBC-OCEAN/leaderboard

ACM Multimedia Asia (MMAsia) 比賽-獲得世界第二!!

本校數據所許志仲副教授帶領數據所研究生曾文海、吳明軒、黃韋晧、李家銘四位同學，參加 ACM Multimedia Asia (MMAsia) 中舉辦的自駕車魚眼影像物件偵測上 (Embedded AI Object Detection Model Design Contest on Fish-eye Around-view Cameras) 獲得世界第二的佳績。MMAsia是電腦視覺的頂尖會議，每年吸引許多學術圈與知名業界研究人員參與，也因此上面的各種學術競賽總是特別競爭，這些競賽不見得參加人非常多，但都是知名學術與研究團隊，因此要從中獲得好成績相對不容易。我們本次由於時間有限，因此在模型選擇與資料處理上面格外小心，但也因為數據所的訓練就是理解資料，因此在正確的分析結論下，加上同學日夜搏鬥，終於獲得國際第二的佳績，實屬不易。

由於自駕車受到極大的重視，而且自駕車有許多需要注意的問題，不論車道辨別、物件偵測、車禍預測、可行駛路徑，都是自駕車必須要考慮的問題。其中自駕車應用最重要的一環就是視覺感知，也就是透過攝影機來偵測或理解道路的資訊，以輔助決策。本次MMAsia舉辦的競賽是道路上即時物件偵測，由於偵測目標分為行人、車輛、腳踏車、摩托車，很多場景其他三類對比車輛來說相對很小，傳統在物件偵測中，單一畫面直接偵測極小物件通常會因為特徵圖過小而產生特徵消失問題 (Feature vanishing)，導致最後下游偵測器無法偵測到。我們經過分析之後，發現Parallel Residual Bi-Fusion Feature Pyramid Network (PRB-FPN) 可有效的避免特徵消失的問題，提高物件偵測方法對於小物件的偵測能力，同時能保有Real time (即時) 的效果。然而對於此次競賽，所提供測試和訓練的資料是不相同的，測試的資料是魚眼圖像，但是我們的訓練資料是一般圖像，所以我們利用Knowledge Distillation (知識蒸餾) 以及Pseudo-label (偽標籤)，來幫助模型在不同的資料形態下還能保有原本的預測能力。基於巨人肩膀上，我們引入了PRB到Yolov7中，建構了一個新的模型，有效的將成績進一步往上提升，最終獲得第二名的好成績。值得一提的是，大多數遇到這種資料不相同時會使用圖片變換，先將魚眼圖片轉成一般圖片再進行預測，但這樣對於實際應用上並不是理想策略，除了效果僅有些許的改善，更重要這種方法並不通用，需要針對不同的魚眼相機做出不同的轉換，因此我們不採用此策略，也因此，任務變得更加艱難，要從中想出新的應對方法，相對更不容易。此次能獲得佳績，四位同學的努力功不可沒。

相關競賽連結：https://aidea-web.tw/topic/2be7c481-0e16-43b8-8d5d-fb181172144b?focus=intro

IEEE MMSP 競賽第四名

本校資管系許志仲助理教授指導大四生李俊毅、馬欣蒂，共同在本年度IEEE International Conference on Multimedia and Expo (ICME)，國際知名的多媒體研討會中，參加Grand Challenge-Embedded Deep Learning Object Detection Model Compression Competition for Traffic in Asian Countries (低運算複雜度之物件偵測競賽)中，在全球133隊參賽隊伍中，獲得世界第四名的好成績。此物件偵測競賽，借助去年學長們參賽經驗，加入最新的EfficientDet的技術，成功的將計算複雜度壓低，並保持其偵測的正確度，最終獲得第四名，比去年進步一名。值得一提的是，兩位參賽同學僅僅是大四學生，但卻已獲過多次國際獎項。物件偵測系統是各種視覺輔助系統的重要前處理技巧之一，例如自駕車非常倚賴物件偵測系統，來判斷前方是否有障礙物或是行人或車輛等，本次我們發展之技術，將非常有助於將物件偵測系統轉移到低耗電的設備中，例如手機、平板、或嵌入式系統，以提高應用價值。

https://pairlabs.ai/icme2020-grand-challenge-pair-%e7%ab%b6%e8%b3%bd-%e5%9c%93%e6%bb%bf%e8%90%bd%e5%b9%95/

VCIP 2019 競賽獎

ACVLAB之碩一學生洪慶豪、碩二生簡志宇、莊易修，共同在本年度影像視訊國際研討會 2019 IEEE International Conference on Visual Communications and Image Processing (VCIP) 當中舉辦的Grand Challenges on Vehicle ReIdentification，獲得世界第3的好成績。Vehicle ReIdentification是自駕車、道路安全防護網中非常重要的一個議題，從眾多監視器蒐集到的資量中，快速過濾並比對出此Query image是屬於資料庫中哪一個身分，不僅要非常快速的演算法，亦須要非常好的特徵擷取方法才能做到。本計畫採用了Stronger baseline network，運用了最先進的深度神經網路架構，以及特殊的Data augmentation方法，最中獲得世界第三好成績。

本競賽衍生研究成果也被VCIP接受，將於12月1號-4號至澳洲進行發表以及接受頒獎。

http://www.multimediauts.org/VCIP_2019_V1/VReID_challenges.html

MMSP 2019 競賽獎

本實驗室碩二生簡志宇、莊易修，共同在本年度多媒體國際知名研討會 IEEE 21st International Workshop on Multimedia Signal Processing (MMSP) 當中舉辦的Embedded Deep Learning Object Detection Model Competition (由台灣工研院承接競賽網站)，在全球121隊參賽隊伍中，以第二名之成績闖入總決賽，在決賽中，最終獲得世界第5的好成績。Object detection不管在任何視覺相關的應用，都是屬於非常基礎且重要的研究，例如自駕車在視覺偵測的第一階段，即為偵測出各種物件 (人、車等)，然而，此競賽為了提高運算速度，要求競賽者需要以最低複雜度達到最高效能，是難度相當高的挑戰。資管系簡志宇同學不斷探索現階段one-stage object detection的各種技巧，宜路過關斬將，以第二名之姿闖入決賽，可惜最終在決賽僅拿下第五。

https://aidea-web.tw/topic/28f4dad1-420a-435c-8afd-fd161728f5db

ICIP19 Best Student Paper Award

本實驗室碩士生莊易修榮獲今年 (2019) IEEE International Conference on Image Processing (ICIP) 之Best Student Paper Award. ICIP會議是IEEE學會旗下國際旗艦型會議之一，26年來首次來臺舉辦，為影像處理領域首屈一指的頂尖國際研討會。這屆大會收到的影像處理相關論文共有2,071篇，只有945篇通過將在會中發表，接受率約45%，其中，來自中國的論文最多，共有336篇，超過總論文量的三分之一；而論文數量第二多的是美國121篇、第三是日本59篇、再來是法國54篇等；而臺灣則有43篇獲選。以往臺灣研究能量大概有20、30篇，由於臺灣今年為地主國，難得地突破了40篇的規模，與會者更是上看1,500人。許志仲助理教授之研究論文 (科技部計畫成果)—Detecting Generated Image based on A Coupled Network with Two-Step Pairwise Learning—從兩千多篇投稿論文中，一路過關斬將，進入最佳論文候選名單 (共選20篇，約1%機率)，最終在Best Award Committee投票中，獲得第四名的成績 (4/2071) ，被遴選為最佳學生論文獎，這也是今年ICIP台灣唯一獲獎論文。易修並於9/25當日早上以全英文口頭報告論文，獲得非常不錯的回饋與響應。

值得關注的是，此偽造人臉偵測的Project，已經受到Google & Facebook的極大重視，最近將展開大規模的研究，本論文探討偽造人臉的共同特徵，在方法與前瞻性上都有相當的貢獻，這也是本次論文能獲獎的主要原因。

ICCV19 L2D 第三名

ACVLAB之專題生楊皓珽、曾文海專題生，在本屆IEEE International Conference on Computer Vision (ICCV) 研討會之自駕車會議 (Autonomous Driving Workshop, sponsored by Toyota) 中舉辦的自動駕駛預測技術 (Learning to Drive Challenge)，獲得世界第三之成績，並受邀於會議中演講本競賽之關鍵技術。本次競賽難度比以往過去競賽來的高，除了要在競賽的預測效能名列前茅，同時主辦單也要求參賽者須要將競賽方法寫成一個Technical Report，最終排名將由競賽的預測效能，以及方法的獨特性來決定，許老師與皓珽、文海，共同研發的SAFE model (Self-Attention Mechanism Feature Extractor for Anticipating Driving Behaviors) 藉由引入自我關注機制以及Feed-Forward Network，來即時 (Real-Time) 預測駕駛行為 (Steering Angle and Speed)，其中本方法不只效能優異，更重要的事也非常快­，而參賽並沒有要求要快，此一優勢，也成為最終本團隊的方法受到競賽評審的推薦的原因，且效能排行亦屬頂尖 (第四)，因而獲得主辦單位蘇黎世聯邦理工學院(ETH Zürich) 團隊從全世界205個團隊中邀請，對相關領域超過兩百個專家學者的Track上進行演講，與會者除了學術單位，其受邀演講者還包含Uber ATG (自駕車先進技術集團)、UC Berkeley等團隊之專家學者。 

ICCV論文錄用率非常低，目前在世界上不分領域的國際研討會排第三名，本年度與會者超過7500人，且與會者都是AI/CV領域的專家，且業界的參與人數相當多，例如台灣聯發科、韓國Samsung等都有派員參加，來了解目前最新的AI進展，並如何開展研究。ICCV於2019/10/27-2019/11/2在韓國首爾舉辦。

ICCV19 AIM 第五名

本實驗室與成大電機林家祥教授合作發展影像超解析度技術 (Image Super-Resolution)，在本屆IEEE International Conference on Computer Vision (ICCV) 研討會之Advances in Image Manipulation (AIM) Workshop中舉辦的Real-World Super-Resolution Challenge，以世界第三名闖入決賽，決賽獲得世界第五的佳績。其衍伸的論文Dual Reconstruction with Densely Connected Residual Network for Single Image Super-Resolution亦被ICCV AIM Workshop所接受。ICCV論文錄用率非常低，目前在世界上不分領域的國際研討會排第三名，因此吸引全球相關領域的頂尖專家學者投稿並展示最新的研究成果，本年度預計與會人數超過10,000人。許志仲助理教授將於本年度 (2019) 十月底至韓國首爾進行論文之交流與競賽頒獎。