鈴木プロジェクト

〜手話話者との対話を目的としたウェアラブルデバイスの開発〜

メンバー紹介

鈴木 裕信(先生)

工藤 光(PC)

鍛冶 直希(DS)

藤代 仁(NS)

プロジェクト概要

「発話を文字として表示する」「手話を翻訳し音声にする」という、AI/IoT技術を応用した2つのサブシステムからなるシステムにより、手話話者との円滑なコミュニケーションを実現しようとする研究開発プロジェクトです。


前者は手話話者への意思伝達を行うためのデバイスで、自らの声を認識して文字に変換・文字表示するシステムです。後者は手話翻訳を行うデバイスで、手話を認識して文章に変換・音声出力するシステムです。IoTハードウェアにM5Stackを利用し、音声認識・音声変換・手話認識などのシステムにはAzure AI等のクラウド技術を応用します。


最終的にデバイスをウェアラブル化し手話を未学習の人が装着することにより、手話話者側に負担をかけずに対話が可能となることを示します。

活動スケジュール

・顔合わせ

・方向性、テーマ決め

・ESP32についての調査

・開発環境の調査、検討、構築

・手話の認識モデルについて事例や論文の調査

・音声をテキストに変換するシステムのテスト実装

・中間発表準備

・音声をテキストに変換するシステムのテスト実装

・中間発表(7/13)

・夏季休暇

・オンラインミーティングの開催

・手話話者の方々との対話

・夏季休暇

・各自家で作業

・オンラインミーティングの開催

・夏季休暇中の成果確認

・今期の最終目標の設定

・機械学習に使用する手話の動画の撮影

・最終発表へ向けた準備の開始

・最終発表用のポスターの制作

・最終発表(12/14)

中間発表

(7月13日 土曜日)

ポスター展示・内容紹介

前期の成果についてまとめた発表のポスターを並べて、本プロジェクトについての説明をおこなった。訪れた人が椅子に座りながら説明を聞けるようにした。

体験ブース

実際に前期の段階で開発した機能を紹介して体験できるようにした。中間発表の段階ではマイクに話した言葉をM5Stack上にテキスト表示するところまでできた。

最終発表

(12月14日 土曜日)


ポスター展示・内容紹介

今回のプロジェクトの概要について、各システムについて、プロジェクト全体の進行について計4枚のポスターを作成し来場していただいたお客さんに解説をした。

音声をテキストに変換するシステムの紹介

前期に作成し中間発表の時に展示したものに改良を加え、表示される文字のスクロールやよりシンプルな形態にした物を展示した。今回も実際に体験できるようになっている。

手話の動作を音声に翻訳するシステムの体験スペース

主に後期に作成したシステムで手話の動きをカメラで読み取り、何を表しているかをPCが読み上げる仕組みになっている。今年度は「おはようございます」「こんにちは」「こんばんは」「待機状態」の4種類の実装をした。最終発表では、メンバーがそれらの手話を教えて実際にシステムを体験できるスペースを設けた。また、どのように読み取ったりシステムが動いているかを大きなスクリーンで見れるようになっている。

最終成果映像


27_鈴木プロジェクト2024.mp4

鈴木プロジェクト最終成果映像URL: drive.google.com/file/d/1jsKlcRq0rNhc1DoY3mmqdTY9nwfbsK4R/view?usp=sharing