A Preliminary Study on Understanding Voice-only Online Meetings Using Emoji-based Captioning for Deaf or Hard of Hearing Users

コロナ禍において、オンライン会議を行う機会が急増している。オンライン会議に参加している聴覚障害者は、声が聞こえないために他の話し手の感情的な状態を捉えることが困難なことが多い。最近の研究では、音声が聞こえないことによって損失してしまう感情に関する情報を補うために、話し言葉を絵文字付きテキストで表現することが有効であることが示されている。しかし、他の人の表情を認識できない音声のみのオンライン会議において、絵文字付きテキストでの表現が、聴覚障害者が話し手の感情を理解するのにどのように役立つのかはまだ明らかになっていない。そこで我々は、絵文字付きキャプショニングシステムを利用して、音声のみのオンライン会議における絵文字付きテキストでの表現の効果を理解するための予備的な実験を行った。その結果、聴覚障害者に音声のみのオンライン会議をより有意義に理解してもらうための先進的なシステム設計の必要性が示された。

大森功太郎、設楽明寿、皆川達也、Sarcar Sayan、落合陽一

ACM ASSETS 2020 Poster

Paper