ARと機械音声を用いた記憶力の違い

背景

コロナの影響で、近年ではオンラインによる会議や授業が激増している。そのような状況下において、話者の顔や声の様子で、聞き手の話に対する集中力や記憶力、安心感は異なるのかを調べ、今後のオンライン環境下でのやり取りをより有意義なものにすべく、今回の研究を行った。

方法

被験者　２１歳の男子大学生４名　

材料　　　

・動画16種類

人間の顔かつ通常の声（Ⅰ）、人間の顔かつ合成音声（Ⅱ）、ARによる馬の顔かつ通常の声（Ⅲ）、ARによる馬の顔かつ合成音声（Ⅳ）の４条件において、以下の4種類の文章（一部抜粋）をそれぞれ朗読した、計16種類の動画。1動画あたりの時間は約4分。

港千尋「芸術回帰論　イメージは世界をつなぐ」＜平凡社＞・・・A

島田雅彦「いまを生きるための教室　死を想え　国語・外国語」＜角川書店＞・・・B

日高敏隆「人間についての寓話」・・・C

山鳥重「『わかる』とはどういうことか」＜筑摩書房＞・・・D

・上記の文献を基に作成した記憶力を測るテスト用紙４種類

・各動画に対する理解度を尋ねたアンケート用紙

以下、テスト問題の一例

　　　　　　　　　　図１：(人間の声と顔)から(機械音声と動物の顔)の条件で比較したβ帯域のパワーのt値

図１は人間の声と顔、機械音声と動物の顔の各周波数帯のパワーでt検定を行った時のグラフである。実験の結果から人間の声と顔の動画を視聴している時の方がβ帯域のパワーが強く出ていたことが分かった。また実験後のアンケートの結果から、被験者自身も人間の声と顔から条件を変化させない方が内容を記憶しやすいと感じていた。これらのことから人間の声と顔の条件でコミュニケーションをとった方が、集中力が向上し内容を記憶しやすいのではないかと推測できる。また、β帯域は適度な緊張状態においてもよく出る周波数帯でもある。したがって、人の顔を見ている時の方が、適度な緊張感でコミュニケーションを行うことができるのではないかとも推測できる。

図２：(人間の声と顔)から(機械音声と人間の顔)の条件で比較したα帯域のパワーのt値

また図２のα帯域の結果をみてみると、人間の声から機械音声に変えたときにα帯域のパワーが増加していた。このことから、機械音声は人にリラックス効果を促す可能性があるのではないかと推測できる。

本サイトで用いた画像はすべて、本研究の段階で創作されたものである。