溝通是人的本能，但對於語言障礙者(像是漸凍人、腦性麻痺及其他特殊原因)造成 構音障礙之吶語症患者，與人溝通變成一種困難，也造成無法融入人群中，長期下 來害怕與人溝通，不僅影響工作，也不想與人群接觸，進而與社會更加疏離，容易 產生自我否定、憂鬱悲傷等情緒。為了協助這些語言障礙者可以順利跟人家溝通 ，走出自我的象牙塔，本計劃之目的是在本研究團隊累積多年的研究成果下，以數 位科技，特別是AI技術，我們結合了語音訊號處理、AI深度學習、自然語言處理 ，及社工身心障礙領域一同來協助這些弱勢朋友，建立溝通輔具，適用到像漸凍人 及其他的語言障礙者，可以協助這些朋友與人溝通。

本計劃分成四個子計劃：

子計劃一：標準語音資料庫之建立、標註、合成

子計劃二：深度學習為基礎嚴重吶語症個人化語音辨識 

子計劃三： 包容溝通支持多模態跨語言任務導向對話系統 

子計劃四：語言障礙者溝通輔具之需求、支持與推廣

整體計劃之目標：

1.以Voice Bank支援漸凍病友及構音障礙語音收集、串接SMLTK與 VoiceBank及語音系統。 

                                                           2. 建構個人化構音障礙者之語音辨識模型及輔具，以支 援構音障礙者正確語音表達。 

 3. 建構支援在地化醫療照護為應用場域端至端 (end to end) 多模態跨語言任務導向對話系統。

                          4. 分析及探討相關服務人員對科技溝通 輔具接受態度及試用者於輔具介入前與輔具介入後之生活狀況改變。 

                                                          5. 促進科技 溝通輔具之推廣與運用，達到數位支持、溝通無礙之終極目標 。 

    對於漸凍人或言語障礙，像是吶語症患者，由於各種語言神經受損，講話不清楚，造成無法清楚的表達。本計劃之目的是在本研究團隊累積多年的研究成果下，以數位科技，特別是AI技術，我們結合了語音訊號處理、AI深度學習、自然語言處理，及社工身心障礙領域一同來協助這些弱勢朋友，建立溝通輔具, 團隊已經利用多年的時間，透過深度學習技術，並且開發了系統及APP，期望可以精確的翻譯這類患者的語音，支持及協助這些了朋友走入人群，自由自在的與人溝通。

近年來教育部一直在推所謂的「大學社會責任 USR」。同樣的，任何研究人員及研究計 畫都應以解決各種問題為主，為國家之進步而努力，因此研究社會責任 RSR 也應是研究人員應 該要思考及努力。本研究團隊已經完成五年的先期研究，也完成初步的成果，當事人受到總統 教育獎之鼓勵，更值得研究人員協助及與他相同的弱勢族群。本團隊認為這主要是一個社會責 任，重點是在於趕快完成系統開發，可以讓使用者可以上線，協助使用，協助使用者可以順利 的開口溝通。本團隊即然有這麼優秀人才，且是他本身的問題，我想研究更應該協助解決他的 問題，因此本團隊願意接下來的三年花更多的研究能量於解決此一問題，並開發這方面的系統。 

江振宇教授於 2020 年起與漸凍人協會合作，先前參與國科會「研發整合漸凍症病友智慧溝通系統-成果加值及落地應用 (MOST-109-3011-F-011-001-)」，為「子計畫二：回聲計畫 - 漸凍症病友文字轉語音系統之建立」之主持人，計畫目的在建立漸凍症病友客製化的文字轉語音系統，讓病友能在輔具上輸入文字後，以病友自己特有的聲音發聲，截至 2021 年底，研究團隊立了 20 位病友的客製化文字轉語音系統，目前漸凍症病友客製化的文字轉語音系統皆以網路服務放置於 「語音系統」網站 ，研究團隊並建立 「VoiceBank 語音銀行」網站，方便病友以及語音捐贈者至網站自行錄音並儲存語音，目前已有 66 位語音捐贈者錄音，從 2022/10 到目前為止已提供 22 位病友 VoiceBank 帳號密碼，其中有 12 位已錄音達到足以建立語音系統之最少語音數量。為了永續提供病友文字轉語音的服務，研究團隊亦將建立病友語音系統的工具(SLMTK, Speech Labeling and Modeling Toolkit) 公開成網頁版提供學術用途。江教授的研究團隊將 「VoiceBank 語音銀行」、「語音系統」、以及「SLMTK」做為長期永續研發項目，期望本研究案的資源挹注能加速改進「語言障礙者溝通輔具」，透過語音訊號的分析、標註等技術，將患者的語音特徵擷取出來，再使用語音合成技術，讓患者未來可以利用他自己的語音音色來發出聲音。另外，子計劃一的技術剛好與子計劃二的吶語症語音辨識技術有關聯，可以用於子計劃二的語音特徵擷取，以強化語音辨識的準確度。

張玉山教授在吶語症之語音辨識已有多年的經驗，也有一些成果，這個成果主要是針對黃同學(重度的吶語症，構音障礙者)，可以發現黃同學的語音是完全聽不懂。雖然如此，但我們還是努力達到不錯的成效。目前可以正常的轉譯的比例大約是 62%左右，我相信未來經過 子計劃一及子計劃三的協助，應該可以達到更高的準確度。由上可知我們已經建構了一套吶語 症的語音辨識系統，可以讓吶語症的朋友自由自在的講話，只是目前這個系統尚未來 100%的 轉譯，我們透過子計劃一的吶語症語音特徵擷取的輔助及子計劃三的自然語言處理的協助，並 且透過三年的計劃收集更多吶語症患者的語音，我相信在計劃結果前一定可以達到 90%以上的 準確度，可以造福更多的語言障礙者溝通的問題。 

戴敏育教授在自然語言處理上是學有專精。因為在重度的語言障礙者語音辨 識的困難度是非常高，一般的語音辨識系統所需要的語音檔案至少要數千萬到數億個語音檔，但是對重度的吶語症患者，要收集到這麼多的語音檔案是不太可能的，因此對嚴重吶語症患者 要有一個好的溝通輔具，除了語音特徵技術及語音辨識模型外，尚需要自然語言處理，透過自 然語言處理的協助，可以將符合詞性的語句組合出來，再透過深度學習的模型及技術來產生出正確及有意義的句子。因此多模態跨語言之對話系統可以輔助正確語句的產生。 

林昭吟教授是社工系主任，長期以來的研究領域在於健康照顧、障礙研究、社 會政策等領域，近年來亦關注身心障礙者在數位經濟下的處境，如其 109 年度之科技部研究「由 社會投資觀點探討數位經濟下的身心障礙就業：以資訊系所大專畢業生為例」。由於語言障礙 者的樣態相當多元，所面臨的問題與需求不盡相同，所需要解決與克服的技術問題也不相同， 社工人員可協助發掘更多潛在的使用者，了解語言障礙者的不同需求並適時反映，進而優化溝 通輔具技術之研發。其次，語言障礙者本人及其家人在試用溝通輔具的過程中，例如如何收音、 如何使用 App、有何突發問題，亦需要長期的支持及追蹤，適時協助處理其技術面或社會面問 題，並評估科技輔具對其生活品質之改善情形，故建構適宜的科技輔具服務支持系統有其必要 性。而此支持服務系統需要相關專業人員的參與，例如語言治療師、社工師、特教老師等等， 故擬對於相關專業人員進行教育訓練，例如辦理說明會或工作坊，以強化相關專業人員對於此 溝通輔具之知能及服務。第三，溝通輔具之推廣亦需要跨組織、跨部門的合作，例如病友團體、 社福組織、地方或中央政府等等，故藉由辦理成果發表會及透過新聞傳播媒介，讓社會大眾亦 能正視溝通輔具的重要性及其用途，進而減少對於語言或溝通障礙者的歧視。