賽事影片精華生成

計畫目標

近年來，影片數量的驚人增長使它在日常生活中無處不在，尤其是體育領域充滿了豐富的影片內容。體育賽事影片不僅是公眾娛樂的來源，更能為運動員提供分析、反饋與表現評估的依據，幫助他們持續提升。然而，龐大的影片量使得有效檢索成為挑戰。視訊摘要（Video Summarization）是一種有效的方法，透過提取影片精華並去除冗餘部分，形成精簡且資訊豐富的視訊摘要片段（Video Summary Clips）。這些片段讓使用者能更快速瀏覽影片，節省時間，並輕鬆消化龐大的數據量。傳統上，視訊摘要通常由人工完成，但這既耗時又費力，而自動化視訊摘要技術的出現，有望幫助解決此一問題。因此，自動化視訊摘要已成為當前研究的關鍵，致力於縮短摘要製作時間並降低人力需求。本研究將專注於自動生成羽毛球比賽的視訊摘要，涵蓋各種用途，包括特定球員/球種剪輯、賽事亮點、球員宣傳片等。對於計畫中其他子計畫的相關互動，子計畫一可以利用此項目生成的視訊摘要製作出高品質的文章內容，實現從報導到精華影片的豐富流程，並且發佈在Coach AI 社群平台上。

(三) 特徵特徵萃取架構圖

我們認為球員位置與擊球球種是分析賽事影片的關鍵特徵。為此，我們設計了專用的圖片編碼器和影片編碼器，分別萃取球員位置及擊球球種的特徵。透過標記資料集生成的文字-圖片對，我們微調 CLIP 模型 (圖片編碼器)，以獲取選手位置的圖片特徵；同樣地，我們微調 CLIP 和 MLP 模型 (影片編碼器) 以獲得擊球球種的影片特徵。最後，經過圖片與影片編碼器的微調，我們進一步萃取每一拍的視訊片段特徵，用於訓練精彩度和相似度模組。

(四) 關鍵分提取

連續對打片段 (包含連續的幀) 可以提供該分資訊，對於用戶來說更容易理解，因此我們專注於關鍵擊球的提取任務。我們提議在羽毛球賽事影片中利用 CLIP (對比語言-圖像預訓練) 進行關鍵擊球的提取任務。具體而言，我們使用單次擊球和相應的文本描述來對 CLIP 進行微調。我們提議在這個微調過程中使用 Supervised Contrastive loss (SupCon loss)，對比學習的目標是在類似的擊球-文本組合中會有較高的相似性。在我們的案例中，正配對由屬於同一類別的樣本組成，也就是相同的擊球類型。例如：如果我們有一個“扣殺”擊球，所有“扣殺”擊球的實例將形成正配對。另一方面，負配對由屬於不同類別的樣本組成，代表不同的擊球類型。例如: 一個“扣殺”擊球將與其他擊球類型（如“挑球”、“挑高球”或“切球”）的實例配對。這些負配對捕捉了不同擊球類型之間的對比關係。

在訓練過程中，我們將 Spatial-Temporal Auxiliary Network (STAN) 整合至我們提出的時序模型方法中，每次擊球的影片將經由改善後的 CLIP 圖像編碼器處理 。同樣地，我們使用 CLIP 文本編碼器對擊球的文本描述進行編碼。為了計算 SupCon loss，我們考慮一組標準點樣本，這些樣本是擊球的視覺和文本。SupCon loss 使標準點樣本與其他正樣本的相似度最大化，同時使標準點樣本與負樣本的相似度最小化，促使正配對的相似度高於負配對的相似度。透過在這些羽毛球數據上訓練 CLIP 並優化 SupCon loss，我們使其能夠在不同球種上學習影像和文本資訊之間的對應關係。這個微調過程增強了 CLIP 理解羽毛球比賽中具體動作的能力。 

(二) 基於文本查詢的精華影片生成

本子計畫預計結合精彩度模組和相似度模組，透過自動化流程從賽事影片中提取最具價值的視訊片段。精彩度模組是使用微調後的影片編碼器萃取影片的特徵，將這些特徵輸入到一個 MLP 模型中進行訓練，從而得到該影片的精彩度分數。而相似度模組則是使用基於文本查詢的時刻檢索模組，得到預測的視訊片段與其相似度分數。

整體流程從使用者輸入文本描述和賽事影片開始，系統透過兩個模組的篩選與評估，並根據綜合分數對視訊片段進行排序，最終，這些片段將會連結成一個精華影片 (Query-based Highlight)。為了提供使用者友好的互動與觀看體驗，我們開發了一個網頁來展示檢索結果。

各年度目標 & 成果

第三年 

延續第⼆年研究主題。預計實現的應⽤⽬標是相同的，要⽣成特定⾵格剪輯和特定球員剪輯。具體⽽⾔，我們以完整的影⽚和基於⽂本的查詢作為輸⼊，並使⽤第⼆年的⽅法來檢索⼀些受查詢條件限制的視訊剪輯。最終將檢索總分較⾼的多個視訊⽚段，重新組織以形成基於查詢的視訊摘要。

第四年 

透過使⽤多個影⽚⽽不是單個影⽚來⽣成宣傳視訊摘要，我們更有可能可以製作出有趣和有吸引⼒的剪輯。對於這個任務，我們預計探討另⼀種⾯向，了解同⼀主題影⽚之間的互補性。這種⽅法認為集合中的每個影⽚可能包含與其他影⽚不同的訊息，因此探索影⽚之間的關係將有助於我們⽣成多樣化且有趣的視訊摘要。