VoiceMed 包含兩個子系統:語音藥袋APP以及音箱式藥盒,運用影像辨識與文字轉語音技術,讓用戶輕鬆聆聽藥袋資訊。同時提供自動服藥提醒與藥盒管理功能,確保準時用藥,希望能幫助長者和視障人士更方便地服藥並管理藥物。
專題老師 : 李文廷 教授 專題學生 : 林姿均、周雅婷、楊昀恩
背景動機
隨著人口高齡化,許多長者以及視障人士在服藥管理上面臨許多挑戰:
1.錯服或漏服藥物
因為難以正確辨認藥袋上的資訊,導致錯服或漏服藥物,這可能會嚴重影響到他們的健康。
2.操作難易度高
雖然市面上已經有服藥提醒的系統,但這些系統尚未滿足語音化、易操作性以及多語言支持等需求。
系統功能與特色
根據以上問題發現,我們開發一款友善長者及視障人士的服藥管理系統,
首先是藥袋語音化功能,讓使用者輕鬆了解藥袋上的資訊;
第二,app結合音箱式藥盒提供服藥提醒功能,達到正確並準時服藥的目標;
第三,系統提供機器人回覆,讓使用者能及時獲取服藥問題的初步回答;
最後是提供友善的介面、簡易的操作和不同系統語言來滿足使用者的需求。
藥袋掃描
透過掃描拍照或上傳照片擷取藥袋上的文字並將文字轉換為語音,提供使用者中文或英文的選擇,讓使用者可以用聆聽的方式來理解藥品資訊。
藥物查詢
透過掃描藥袋上的QR code來獲取藥物的詳細資訊,包括使用方法、警示標語、功效、副作用等,並支援中、英的文字及語音,使資訊更容易被吸收。
服藥提醒
透過掃描藥袋初步獲取服藥時間預設,使用者可進入此功能再自行設定鬧鈴,系統將APP設定聯動至音箱式藥盒,進行響鈴以及燈光提醒使用者服藥。
常見問題
本系統蒐集來自各醫院網站的常見問題,採用機器人答覆方式,提供使用者點選詢問有關服藥的問題,使其更了解藥物使用及相關事宜。
系統架構及工具
系統分為語音藥袋與音箱式藥盒兩部分,使用者可在app上使用藥袋掃描、藥物查詢、服藥提醒、常見問題等功能;並於音箱式藥盒獲得服藥提醒,且能調整提醒音量。此外,app還內建一個SQLite輕量級資料庫,來存放服藥提醒資訊。
VoiceMed語音藥袋 App是透過 Flutter 進行實作,並搭配 SQLite 存取資料, 音箱式藥盒使用 Arduino ESP32 實作,並使用Wi-Fi模組與app互動,並連接NTP模組來抓取現在時間。我們的系統還有串接三個 Google Cloud API 來實現文字辨識、文字轉語音以及翻譯的技術。
開發與測試:
版本控制:
API部署:
硬體成果
系統成果
未來展望
技術層面
提升表格辨識率
加強邊緣偵測、傾斜校正等影像處理技術提高表格之辨識率。
藥袋掃描通用性
提升藥袋辨識功能,使其可運用至各種藥袋。
使用者體驗
新增台語選項
語音選項上提供台語版,滿足使用者需求。
常見問題語音化
常見問題結合文字轉語音功能,讓使用者可語音詢問。
服藥獎勵機制
設計獎勵機制提升使用者的服藥動力。
提醒內容詳述
在螢幕上精準告知使用者應服用之藥物。
藥盒防呆裝置
硬體上新增確認功能,防止使用者取錯藥物。