YouTube

這是一個革命性的MR混合實境舞蹈遊戲系統，專為現代舞蹈愛好者和學習者而設計。它打破了傳統舞蹈遊戲的硬件限制，使用者只需使用手機進行影像辨識，並搭配MR頭戴式眼鏡，即可輕鬆享受遊戲樂趣。在遊戲過程中，提供多種控制方式，包括手把控制器和手部操控，增加了遊戲的多樣性和互動性。使用者可以輕鬆瀏覽曲目，查看舞蹈動畫和詳細資訊，實時獲得舞蹈遊戲反饋。此系統的影片轉換功能使所有使用者能夠輕鬆匯入自己喜歡的舞蹈影片，並透過MotionBERT機器學習技術將資料自動轉換為可遊玩的舞蹈資料。同時，使用者還可以進行自主調整，實現更加個性化的遊戲體驗。這種創新的設計讓舞蹈愛好者更輕鬆地融入遊戲中，同時擁有更具互動性的學習體驗。

隨著虛擬實境（Virtual Reality，VR）技術的進步與應用範圍不斷擴大，相較 於多年之前，互動性有了明顯的提升，這也使的 VR 的技術從最一開始遊戲相關的 領域逐漸往更多元的領域延伸，例如：醫療、培訓等等的領域都可以看見 VR 的應 用，儘管如此，硬體設備成本的高昂仍是該技術發展與普及的阻礙之一，VR 眼鏡 與動作捕捉裝置的價格實在是讓人望而卻步。此次研究的目的在於保留現有的互 動方式，同時希望能夠壓低硬體設備的開銷。為達到此目的，我們計畫將全身動作 辨識的部分使用成本較低的硬體設備（一般的電腦鏡頭）結合影響處理與人工智慧 的技術來替代，從而降低使用者的投入成本。 

本研究目的在探討混合實境與材質分類技術的結合，以使系統能夠感知環境材質並賦予物體相應的物理特性，從而實現更沉浸的虛擬物體與真實環境之間的物理互動。本研究提出了一種創新的方法，鼓勵使用者在系統預測錯誤時使用光源照射目標材質，以突顯材質表面光源特性，進一步提高材質預測的準確性。此外，本研究還探討了材質分類領域面臨的資料量不足問題，該問題限制了模型的泛化能力。為了解決這個問題，本研究使用合成資料集來彌補資料量的不足。實驗結果表明，使用合成資料能夠提高模型的泛化能力。本研究也強調了表面光照特徵的重要性。觀察到表面光照特徵的引入能夠有效提高材質分類的準確性，從而提升了在混合實境中材質分類的準確性和穩定性。在應用實驗中，本研究將分類的材質簡化到室內環境中常見的五類，以利日常操作使用，實驗結果也證明，本研究的模型在目前常見的材質分類資料集都能夠擁有超過80%的準確率，模型的泛化能力也足以面對日常的使用環境。綜上所述，本研究結合混合實境和材質分類技術，通過使用光源照射目標材質和引入表面光照特徵的方式，提高了混合實境系統對環境資訊的感知能力，實現了更真實、更具互動性的虛實環境。同時，使用合成資料集彌補了材質分類領域資料量不足的問題，提升了模型的泛化能力。