Embedded Files
科技部計畫「視障人士的智慧夥伴」
科技部計畫「視障人士的智慧夥伴」
本計畫旨在幫助視障人士能夠不藉由任何幫助，如導盲犬等，即可獨自外出，搭乘交通工具，滿足生理需求等日常需求。
本系統會在NVIDIA Jetson AGX Xavier Module（AGX）的環境下進行深度模型的開發和研究，該電腦的架構在運行機器學習模型的速度及性能會優於一般輕量化電腦。影像的資訊則是透過ZED Stereo深度攝影機來獲取，該攝影機包含兩個RGB攝影機，藉由兩個攝影機模擬出人體兩眼的視差，經過計算後得到影像中物體和鏡頭的深度距離。同時，因本系統的主要使用者為視障人士，故所有的系統操作與回饋將會藉由聲音來進行呈現。
計畫中，我們子計畫所涵蓋的開發部分有：
超商自動門偵測及引導進入系統
穿越馬路時的車輛偵測及危機警示系統
超商自動門偵測及引導進入系統
當使用者走到超商附近時，利用招牌辨識功能使其更靠近超商(綠框)，接著透過超商自動門辨識(紅框)功能，引導並確定使用者行進方向為超商入口，若途中遇到障礙物，本系統也含有避障功能，會辨別路上是否有障礙物，協助使用者避開，最後抵達超商。
【展示影片】
車輛偵測及危機警示系統
當主系統偵測到使用者正在穿越馬路時，會將本系統開啟，實時偵測並追蹤前方特定目標物件（如車輛、行人等）。追蹤中的目標會以綠框標示，並計算該目標的移動方向、速度等資訊，進一步預測目標未來的移動方向，藉此判斷是否會與使用者發生碰撞。若可能會產生碰撞情形時，目標會改以紅框標示，同時並發出嘟聲提醒使用者。
永安海螺文化體驗園區海客文史調查暨策展規劃案
永安海螺文化體驗園區海客文史調查暨策展規劃案
本計畫旨在利用姿勢辨識與手勢辨識，實作出一些跟客家文化相關的體驗應用程式，並放置於桃園永安漁港的永安海螺文化體驗園區。
本計畫主要使用的攝影機為ZED 2和intel的SR300，以提取較清晰的影像與人體的深度資訊。石滬體驗應用程式使用Mediapipe，而牽罟體驗應用程式則是使用Open Pose，來提取人體的骨架資料。這些程式利用Unity作為開發環境，且在此環境中生成虛擬場景與虛擬物件。使用者可透過攝影機做出指定的動作，與虛擬物件互動，以體驗客家文化的活動場景。
計畫中，本實驗室所涵蓋的開發部分有：
網頁導覽系統
石滬體驗應用程式
牽罟體驗應用程式
網頁導覽系統
含有闖關遊戲的介紹網站。
網站裡面含有永安漁港附近的27個地點，每個地點在對應的現實場景裡都有QRcode可以掃描，掃描過後即可在個人帳號中留下足跡，同時，在每個地點裡也有包含著各地點的圖文介紹，讓用戶可以快速地了解客家文化的前世今生。
【展示影片】
石滬體驗應用程式
此程式的攝影機位於螢幕下方。通過攝影機偵測手部的位置，讓程式產生虛擬手，並藉由手勢辨識操控虛擬手的動作。目標就是讓使用者撿起水中的石頭，然後將所有7顆石頭疊到虛擬石滬的缺口處，以防止魚群從石滬的內部遊出去。
牽罟體驗應用程式
此程式可以讓使用者體驗客家傳統文化中的牽罟。
當使用者進入標示的區域，透過相機偵測人體的骨架位置，產生虛擬的手拉住繩子，再做出拉繩子的動作，把虛擬漁網拉上岸。此程式的目標是左右兩邊使用者動作一致的盡量多拉漁網，把漁網裡的魚捕上岸。
利用深度感測器進行實時音樂演奏的3D 手部辨識暨影像辨識
利用深度感測器進行實時音樂演奏的3D 手部辨識暨影像辨識
在這項研究中，我們透過深度感測對演奏中的雙手進行手部辨識，並依此達成精確識別手勢。在過去幾年中，我們發表了一組虛擬樂器與MINE虛擬樂隊，並能在實驗室環境與專業舞台上測試。
【計畫內容】
Page updated
Google Sites
Report abuse