教育･研究の取り組み

＜Zoomを通すと声紋パターンが変わる＞

次に三つの図を示しますが、これは音声をAD変換して、音響分析してスペクトログラムを抽出したものです。『くれよん』の冒頭の「なつのひる」の部分を切り出しました。スペクトログラムという言葉は、聞きなれないかもしれませんが、声紋（せいもん）と言うと聞いたことがあると思います。テレビ番組で、白衣を着たおじさん(?) が、芸能人の声から心の状態を読み取ろうとしている時がありますが、そういうときは、この声紋パターンを分析していることが多いです。

縦軸の周波数帯域は、20kHzで終わってます。人間の耳は20kHzまでが聞こえる帯域だと言われてますので、人間の声を録って人間に聞かせることを前提にするなら、【音声１】のように、20kHzまで収録していれば、情報をしっかり記録していると言えます。

Zoomの声を聞いて、生で聞くより少しこもった声になっているなと感じる人がいるかもしれません。例えば、1万円もするイヤホンと数百円の安いイヤホンの違い、あるいは高いスピーカーとちょっと安いスピーカー、一般的なスピーカーとパソコンのスピーカーを通したものの違いと言ってもいいかもしれませんが、きちんと高域まで出してくれるかどうかは、音響機器、音を再生する、あるいは音を伝送するときの着眼点の一つです。

【音声２】と【音声3】はZoomを通していますが、スペクトルの高域の成分がかなり削られているのが分かります。12kHzあたりから上がすっからかんになってます。西村さんの自宅にあるUSBマイクロフォンも12～13 kHzぐらいで切れている。高域が切れることで、どのぐらい相手が聞き取るのに困るのかというのが、一つ知りたいところだと思います。

スペクトログラムの図で確認したように、Zoomを通したものは12～13kHzぐらいが境界ですので、そういった意味では聞き取りに影響を与えるというほどではないでしょう。しかし、それは母語話者同士、日本人が日本語を話して、それを日本人が聞くということなら、そうかもしれませんが、場合によっては、私の日本語を留学生が聞くことになると、少し聞き取りにくいということも起こりえます 。

これは皆さんが英語で会話をしていて、「電話越しは苦手」というのと全く同じ理由です。ただし、それが4kHz、かつての黒電話のところまで質を落としたら聞き取りが難しいのか、10 kHzで難しいのか、12 kHzでも難しいのかというのは、皆さんの英語力に依存するところだと思います 。Zoom が登場するまでは、Skype がよく使われていましたが「Skype を通した英語音声だと聞き取りにくい」と言っていた日本人の英語学習者もいましたよ。

ー男女の差が出ることはありますか？

峯松：　Zoomのほうで「女性だから高域もちゃんと保持してあげよう」「男だから切っちゃえ」とか、そういう区別をしているとは思えません。では、男女の声の違いで聞き取りやすさに違いが出るのかということですが、これは実験してないので分かりませんが、Zoomを通したから女の人の声のほうが聞き取りにくくなるということも聞かないので、一般的にはないと思います。

ただし、声紋パターンで上のほうが切られてしますので、上のほうに情報が乗ってくる話し方をしている人は、Zoomを通すことで声の質は変わってくると思います。

音声認識アプリでは、8kHz までを使うことが一般的です。それを考えると、男性でも女性でも8kHz まで保存していれば問題ないはずです。ただし、男性と女性で、上の方の周波数帯域を使っているのはどちらか？というと女性です。これは、一般に女性の体格が小さく、喉が短いことが原因です。したがって、8kHz 以下まで落とし始めると、女性の声のほうが聞き取りにくくなる可能性は高いと思います。

＜マスク、フェイスシールド装着、webカメラ内蔵マイクを使い、少し離れて話す＞

ー「くれよん」の音声について復習すると、やや高額のUSBマイクのみ、やや高額のUSBマイクでZoomを通したもの、手ごろな価格のUSBマイクでZoomを通したものの３種類を比較しました。しかし実際のオンライン授業の現場では、マイクの違いだけでなく、特にハイブリッド授業で目の前に学生さんがいれば、マスクをしたりフェイスシールドをつける必要がでてきます。うしろの黒板やホワイトボードに文字を書く際に、マイクから離れることもあります。そのような場面設定を考えて、先生に音声資料を事前送付し、分析していただきました。

峯松：【音声４】（下図↓）では、西村さんの自宅で、ラップトップのコンピュータから1.5メートルほど離れて、フェイスシールドをつけて「くれよん」を音読してもらいました。【音声５】では、フェイスシールドに加えて、N95 マスクをつけて話してもらいました。N95 は、医療現場で使われている感染防御性能の高いマスクで、広く使われている不織布マスクよりも顔面密着性が高いです。

【音声４】と【５】で使われたのは、ラップトップに内蔵されたマイクですが、【音声６】は、webカメラとマイクがセットになった製品を外付けしています。家電量販店で安いものだと３千円くらいで売っていますね。自宅で仕事する人が増えて、手持ちのPCにカメラがついていないということで、こういったマイク内蔵のwebカメラを購入した人は多いようです。【音声５】と【音声６】は、マイク以外は同じ条件、すなわち1.5メートル離れて、フェイスシールドとN95マスクを装着して話してもらいました。

マスクやフェイスシールドを装着すると、話し方も変わってきます。これは皆さん体験されていると思いますが、マスクのゴムで耳元が引っ張られて、痛いな、かゆいなと感じることもあるし、口周りの動きが制限されます。不織布マスクよりもN95のほうが顔面密着性が高い分、話しづらいところがあるでしょう。またフェイスシールドがあると顔全体の動きや視野が少し制限された感じになると思います。仮に話し方を変えなかったとしても、マスクやフェイスシールドをすることで音響的に変わってきます。

【音声４】のスペクトログラムを、先ほど示した【音声１～３】と比較してみてください。【音声１】は周波数帯域が20kHzまで出ていましたが、この３つは上半分がスカスカで情報がかなり欠落しています。それでも12KHzぐらいまでは出ているのは、Zoomを通しているからでしょう。【音声４】は、マイクから1.5メートル離れてフェイスシールドだけ装着していますが、それでも【音声３】と比べると欠落しているところがあります。

【音声5】はマスクもしてるので、さらに上が出てこなくなってますね。Zoomとしては12 kHzまで捉えられますが、マスクをすることで8 kHzぐらいまでしか出てない感じがします。【音声6】は、ちょっとひどいなと思いますが、8 kHzぐらいで切れています。しかも黒い部分、音声のところは2 kHzぐらいまでしか出てないので、黒電話以下ですね。灰色の部分、ザーッというのはノイズです。Web カメラの初期不良という感じもしますが、こういうものに当たってしまい、気づかずに使い続けている人がいるかもしれません。

峯松：　冒頭で、英語の上手な留学生が学会発表したときの話をしましたが、これくらいこもった音声で、初めて聞く人には内容が聞き取れないだろうなと思ったので、まさにこういう状態だったと思います。研究室の打ち合わせでは普通に聞こえる声だったのに、彼女の自宅から同じように発表してああなった、ということはネットの混雑状況が原因でしょうかね。

その場合、学生は何も悪くないので、学会側や通信インフラ業界がなんとかすべき問題なのでしょうが、「こもった声から高域の音声スペクトルを推定する」帯域拡張という音声技術が、今後こういう場に導入されるのかもしれません。

でも、この web カメラ内蔵マイクのような例もあるということは、ネット云々ではなく、使っている機材が原因で、受講生とくに留学生にとって「聞き取れない」状況を作ってしまう可能性もありますね。最低限、ちゃんと聞き取れるようなクオリティの音を届けるための機材を用意することは、ウィズコロナの環境では一つのエチケットとして考えてもいいのかなと思います。

私はどこかのメーカーさんとつるんで、特定のマイクロフォンを売ろうとしているのではありませんが、ネットで調べれば様々なマイクが売られてます。教職員にとっては、学生に対する一つのサービスだと思いますし、ちょっと機材を入れればすぐできることなので、ぜひ検討していただきたいと思います。

スペクトログラムを出す必要はないと思いますが、マイクなどの機材、マスク等の装着、マイクからの距離といった条件を確認の上、Zoomで録画したものを視聴してほしいですね。対面とオンラインの学生に同時に対応するハイブリッド授業も始まっているようですが、自分の声が相手にどう伝わっているのか、一度確認されるとよいと思います。

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

次回は、このような音質の劣化が聞き取りに与える影響について、実際に日本人と留学生を対象に日本語の聞き取り実験をおこなって、結果を考察する予定です。

この連載記事は「ポストコロナの未来社会に関する新たな研究課題のスタートアップ支援」の助成を受け、西村多寿子（東京大学大学院工学系研究科 電気系工学専攻 特任研究員）が執筆します。西村は、連載記事の文責を負い、関連動画の編集に関与しています。