人機介面-應用於電子寵物互動

此頁面在介紹如何透過自動化手勢以及語音辨識技術結合漸進式學習機制應用於擬真電子寵物互動之研究

近年來由於人類生活壓力日益增大，電子寵物將逐漸扮演陪伴人類或娛樂之用途。因此為求提高與電子寵物互動之可能性，本研究目的為建立一擬真電子寵物互動技術。

在研究中，電子寵物對於輸入之訊息透過麥克風及攝影機擷取(分別扮演電子寵物之耳朵與眼睛之功能)，並對於輸入之訊息求取參數及編碼作為學習機制之輸入信號。在學習機制建立一命令獎懲回饋及電子寵物行為之關連性後，利用此關連性以漸近學習之方式，逐漸建立命令及互動訊息所對應之認知模型。因此，對於輸入之外界訊息可透過學習後之認知模型作迅速之回應，以達到與電子寵物(狗)透過互動達到意圖產生及學習成長之目標，並提高電子寵物在互動性及娛樂性上之價值。

電子寵物互動之實際成果:

此影片中之電子寵物已經透過先前一段時間的互動訓練，所以互動過程中，電子寵物已經能夠適度的理解主人所傳達的意圖而做出適當的回應。

除了電子寵物本身所被賦予的一些本能動作，透過互動技術所建立之認知模型包含對於接收到主人呼叫名字的反應以及接收到動作命令的反應)。

其說明以及影片如下:

此研究包含三個模組: 辨識模組，學習模組，以及動畫動畫模組

其中紅色區塊為辨識模組:包含語音辨識以及手勢辨識技術，辨識結果會顯現在對話空以及左下角動畫中

而綠色區塊則為學習模組:以獎懲方式建立電子寵物與飼主意圖之關聯( 如果電子寵物所針對主人的命令回應是對的話即給予獎勵反之則給予懲罰，因此在反覆的學習後電子寵物即可建立一適當的認知模型)

藍色區塊則為初步的3D動畫模組

影片:

在電子寵物互動上，目前尚有許多問題需要被克服，此為我們初步之產學研究成果。

參與此計劃之人員: 成功大學鄭憲宗老師團隊張惇育等人，資策會 林瑞堂 朱家德 許進順等人以及成功大學吳宗憲老師團隊林仁俊 魏文麗等人。

參考文獻:

朱家德, 林仁俊, 魏文麗, 吳宗憲: 線性融合語音與手勢辨識作為電子寵物互動遊戲之應用. 台灣網際網路研討會TANET, 2010

林仁俊, 魏文麗, 吳宗憲, 林瑞堂, 朱家德, 許進順: 基於強健性特徵擷取之動態手勢辨識. 全國計算機會議NCS, 2009

林仁俊, 魏文麗, 吳宗憲, 林瑞堂, 朱家德, 許進順: 以卡曼濾波器為基礎之動態手勢特徵重估測技術. 資訊技術應用及管理研討會ITAMC, 2009

林仁俊, 魏文麗, 吳宗憲, 林瑞堂, 朱家德, 許進順: 結合運動估測及膚色偵測之動態手勢偵測技術. 數位生活科技研討會-人本智慧生活科技DLT, 2009