本作品目的為實作出一套應用於穿戴式裝置的家俱佈置系統，使用者透過在混合實境中佈置虛擬的家俱模型，模擬未來購置家俱後呈現的理想畫面，並且能自行拍攝喜好的真實家俱，經由系統對圖像進行三維重建後，得到對應的家俱模型，增加了另一種獲取家俱模型的途徑。 系統主要有兩項功能： 

(一) 家俱三維重建 系統使用MCC(Multiview Compressive Coding)模型對使用者拍攝的單視角RGBD圖像進行三維重建，讓使用者能自行拍攝家俱後得到家俱模型。

 (二) 虛擬家具佈置 系統透過穿戴式裝置對環境進行掃描，構建出與現實場景高度相符的物理邊界，讓使用者在混合實境下能夠精準地佈置家俱模型 

當今流行的閱讀方式已逐漸地由傳統的紙本閱讀轉型成電子式的閱讀，而在這變遷的過程中，藉由擴增實境技術達成虛實表達共存的「AR閱讀」也應際而生，藉由紙本上的感應圖標、連結或QR Code，能連結其他電子設備以查看預藏多的媒體內容，藉此跳脫純紙本的單調體驗。然而現今AR閱讀的相關產品大多數沒有統一規範，不同產品須搭配不同的配套程式，五花八門的操作介面和操作邏輯容易讓使用者感到混亂。而我們團隊所提出的「混合實境文本閱讀之沉浸式體驗」則希望利用目前蓬勃發展中的混合實境技術，帶來與以往不同的閱讀體驗的同時，解決包括但不限於過往AR閱讀所遇到的問題。 本系統以混合實境、文字辨識及AI生圖...等技術為基底，以唐詩-登鸛鵲樓為例，使用者在混合實境的環境下藉由閱讀不同來源的文字(紙本、電子)，系統能辨識出文字中的關鍵字，如詩中「白日依山盡」句裡的太陽和山，並生成對應的圖像及3D模型，呈現在使用者所在的環境當中並可與之互動，增強閱讀體驗的沉浸感。該作品不限於使用特定紙本或虛擬文本使用，解決前面所敘之受限於配套程式之問題，並希望藉由混合實境內直覺式的體感操作，減少使用者適應操作所需的時間。 

這是一個革命性的MR混合實境舞蹈遊戲系統，專為現代舞蹈愛好者和學習者而設計。它打破了傳統舞蹈遊戲的硬件限制，使用者只需使用手機進行影像辨識，並搭配MR頭戴式眼鏡，即可輕鬆享受遊戲樂趣。在遊戲過程中，提供多種控制方式，包括手把控制器和手部操控，增加了遊戲的多樣性和互動性。使用者可以輕鬆瀏覽曲目，查看舞蹈動畫和詳細資訊，實時獲得舞蹈遊戲反饋。此系統的影片轉換功能使所有使用者能夠輕鬆匯入自己喜歡的舞蹈影片，並透過MotionBERT機器學習技術將資料自動轉換為可遊玩的舞蹈資料。同時，使用者還可以進行自主調整，實現更加個性化的遊戲體驗。這種創新的設計讓舞蹈愛好者更輕鬆地融入遊戲中，同時擁有更具互動性的學習體驗。

隨著虛擬實境（Virtual Reality，VR）技術的進步與應用範圍不斷擴大，相較 於多年之前，互動性有了明顯的提升，這也使的 VR 的技術從最一開始遊戲相關的 領域逐漸往更多元的領域延伸，例如：醫療、培訓等等的領域都可以看見 VR 的應 用，儘管如此，硬體設備成本的高昂仍是該技術發展與普及的阻礙之一，VR 眼鏡 與動作捕捉裝置的價格實在是讓人望而卻步。此次研究的目的在於保留現有的互 動方式，同時希望能夠壓低硬體設備的開銷。為達到此目的，我們計畫將全身動作 辨識的部分使用成本較低的硬體設備（一般的電腦鏡頭）結合影響處理與人工智慧 的技術來替代，從而降低使用者的投入成本。 

本研究目的在探討混合實境與材質分類技術的結合，以使系統能夠感知環境材質並賦予物體相應的物理特性，從而實現更沉浸的虛擬物體與真實環境之間的物理互動。本研究提出了一種創新的方法，鼓勵使用者在系統預測錯誤時使用光源照射目標材質，以突顯材質表面光源特性，進一步提高材質預測的準確性。此外，本研究還探討了材質分類領域面臨的資料量不足問題，該問題限制了模型的泛化能力。為了解決這個問題，本研究使用合成資料集來彌補資料量的不足。實驗結果表明，使用合成資料能夠提高模型的泛化能力。本研究也強調了表面光照特徵的重要性。觀察到表面光照特徵的引入能夠有效提高材質分類的準確性，從而提升了在混合實境中材質分類的準確性和穩定性。在應用實驗中，本研究將分類的材質簡化到室內環境中常見的五類，以利日常操作使用，實驗結果也證明，本研究的模型在目前常見的材質分類資料集都能夠擁有超過80%的準確率，模型的泛化能力也足以面對日常的使用環境。綜上所述，本研究結合混合實境和材質分類技術，通過使用光源照射目標材質和引入表面光照特徵的方式，提高了混合實境系統對環境資訊的感知能力，實現了更真實、更具互動性的虛實環境。同時，使用合成資料集彌補了材質分類領域資料量不足的問題，提升了模型的泛化能力。