CETT文創科教智囊團

展演模組名稱(實驗名稱): AR Sandbox擴增實境沙箱光學原理大集合

團隊成員:游恩承、陳家揚、高子承、盧禹道

儀器說明

形形色色的感測器充斥於我們的生活中,像是超音波感測器、紅外線感測器分別應用在醫療、居家生活、高科技儀器之中,利用訊號的發送與反射便能完成生活大小事呢!這次的裝置,連接著xbox感測器和投影機,搭配擴增實境的技術,xbox感測器會按照沙盒內沙子不同的高度來量測,藉由電腦程式碼的演算之後,投影機投射出類似地圖上的等高線色彩圖。

使用AR Sandbox,你除了可以及時地跟電腦互動,更能親手打造山脈、小溪、海洋及任何想到的東西,觀察他們是如何相互影響的,現在就動手打造屬於自己的大地地景吧!

展演流程

-實驗演示影片照片

AR Sandbox操作演示:

1.地貌:

2.下雨:

AR Sandbox涵蓋了光的反射、折射、繞射、干涉四大原理,為了幫助大家更了解這些現象,我們將進行以下的演示:

1.光的反射與折射演示:彎折的鉛筆(常態)、消失的燒杯(例外)

2.光的繞射與干涉演示:光柵眼鏡

原理說明

AR Sandbox是一個可以透過玩家互動來傳達地理概念的裝置,透過擴增實境的技術,藉由投影賦予沙丘地貌不同的顏色,完美傳達了等高線的地理概念。隨著我們親手撥動沙子改變地貌,感測器可偵測到投影的深度變化,將偵測到的資料回傳,經由軟體運算,可即時更新投影顏色,重新改變等高線的分布。以下將深入介紹擴增實境(AR)、Xbox感測器、沙箱製程的原理。

擴增實境(AR):

擴增實境,就是將虛擬物件與現實世界的場景結合的技術,而且能即時互動。要完成AR的呈現,首先需要影像擷取,攝影機要即時擷取使用者周遭環境的畫面,畫面中包含的訊息有物件的位置和角度,再來是軟體的運作,透過軟體即時分析影像中各個物件的角度和遠近等資訊,建立場景的座標,並將虛擬物件的3D影像結合到座標上。

為了讓使用者對於虛擬物件感到逼真,可以事先將物件和場景結合成一個畫面再由螢幕顯示出來,或是影像不事先經過整合,而是利用光學投影技術(將物件的成像利用面鏡反射及透鏡組折射來調整大小及位置),使虛擬物件的光線和真實場景一同進入使用者的眼睛。後者可以減少因視訊造成的失真,但比較需要幾何光學的技術來完成。

Xbox感測器:

想要達到AR的效果,最重要的關鍵就是Xbox感測器!Xbox在沙盒的運作中扮演非常重要的角色,它有三顆鏡頭,可以一次擷取彩色影像、3D深度影像、聲音訊號。中間鏡頭為RGB彩色攝影機,左右兩邊為紅外線發射器及由紅外線攝影機所構成的3D深度感應器。

Xbox包含了我們所要介紹的重點—四大光學原理:反射、折射、繞射、干涉。這些光學原理應用於Light Coding這項技術中,用來偵測沙子的高低起伏,利用發出連續的紅外線,透過鏡頭前的diffuser將雷射光均勻分布投射在測量空間中,此即為折射搭配繞射、干涉的效果(見右上方圖),讓散斑擴散後均勻地分佈在空間中,再利用紅外線攝影機記錄空間中的每個散斑,擷取原始資料後,即可透過晶片運算形成具有3D深度的圖像。

什麼是散斑呢?散斑就是在雷射光照射到粗糙物體或穿透毛玻璃後,所形成的隨機反射斑點,它具有高度隨機性,會隨著距離而變換圖案,空間中任何兩處的散斑都會是不同的圖案,等於是將整個空間加上了標記,所以任何物體進入該空間、以及移動時,都可確切紀錄物體的位置。Light Coding發出雷射光對測量空間進行編碼,就是指產生散斑。

沙箱製程:

沙箱在實驗中必須承載大量的沙子,因此結構的穩定性非常重要!過多的沙子可能會使沙箱難以負荷,但若沙量過少以致於內部深度不足,則會造成玩家無法徹底體驗等高線的分布和地貌的改變。為了要完美呈現投影結果及良好的互動品質,結合了眾多因素與考量,我們決定出所需的投影面積與深度,再透過沙子的密度,計算出需要約108公斤的沙量(體積*密度=質量)。

此時,就要利用靜力學來分析當沙子放入沙箱後,所有支撐點所能承受多大的重量,為了減輕沙箱的負擔,我們將沙箱與地面之間設計為面狀,並選擇負重量較佳又堅固的甲板而非貼皮的木心板,雖然價格上昂貴許多,但比較不容易形變,相對穩固。在確保整個沙箱維持靜力平衡和轉動平衡之後,大家就可以在安全無虞的環境下盡情體驗!另外,考量到整體的機動性與組裝的便利性,我們將背後的固定支臂設計為可拆式的,中央的沙箱槽也是採獨立包覆,沒有使用外邊的結構當擋牆,這樣比較不會有縫隙,沙子便不容易外漏,最後,由於投影範圍的需要,我們將沙箱頂端改為採用角鋼設計,雖然較不美觀,但能夠藉此自由調整投影機和Xbox的位置,以達到最佳的呈現效果。

生活應用

還記得高中地理課那難以理解的等高線地形圖嗎?還記得風靡一時的電玩wii嗎?還記得第一次看到時令人雙眼為之一亮的電子白板嗎?還記得劃時代的創新3D掃描嗎?讓我們來探究其中奧秘吧!

隨著擴增實境技術的應用越來越廣泛,現今的地理老師只要擁有一台AR sandbox,就能突破空間的限制,使教學內容更為生動、真實,讓學生透過實際體驗立刻搞懂地形圖!當擴增實境的技術運用在教學用的沙盒上時,同時也是利用科技打造了一個新型態的「玩具」,在視覺效果與互動上成功開拓教育方式的未來性,同時也成為大學部建築、工業設計等系所製作模擬模型的利器!

Xbox除了在AR sandbox模組中扮演了不可或缺的角色之外,其實也與我們小時候為過的電玩wii大有關聯,準確地說,Xbox是wii的進化版,所謂「身體就是控制器」,Xbox不只承襲了wii利用紅外光感測身體的移動來操控的技術,更新增了骨架追蹤系統,該系統最多可同時偵測到6個人,包含同時辨識2個人的動作;每個人共可記錄20組細節,包含軀幹、四肢以及手指等都是追蹤的範圍,達成全身體感操作。

電子白板和3D掃描也都是Xbox應用的延伸,運用了紅外光偵測與散斑,精準地定位出目標物的所在位置,這項涵蓋了光的反射、折射、繞射、干涉的技術,是我們邁向E世代的一大助力!


參考資料

Augmented Reality Sandbox https://arsandbox.ucdavis.edu/

微軟Kinect https://www.techbang.com/posts/2936-get-to-know-how-it-works-kinect