#106 間も視線も
明日は授業で、マルティモーダル分析について扱う予定です。片岡（2017）によれば、マルティモーダル分析（multimodal analysis）とは、ことば・身体・事物・環境といった複数の伝達様式を単なる寄せ集めとしてではなく、統合的に観察し、それぞれの要素や参与者間の協調や相互作用を分析の射程に収めようとする理念／アプローチを指すとされています（Streeck et al. 2011）。
非言語も含めたマルティモダリティに注目する研究は、社会言語学において比較的新しい潮流だと言われており、その背景には、音声・映像データの収集技術の発展や、コンピュータの普及に伴う分析ツールの開発があるとも指摘されています。
私自身も以前、ワードウルフゲーム（3〜4人で一人だけ違う言葉について話し、その人物を当てるゲーム）を録画したものや、トーク番組の書き起こしに取り組んだことがありますが、まず発話の重なりを含めた会話を書き起こすだけでも一苦労でした。YouTubeの場合は自動字幕や音声書き起こしがベースにあるとはいえ、そこからさらに視線、間の長さ、頭の向き、身体の向きなどを加えていくとなると、時間は一気に膨らみます。再現性という面でも難しく、ポーズの長さだけを対象にしたときでさえ、これで正しく記述できているのだろうかという不安が常に付きまとっていました。
それでも、たとえば視線に着目した片岡（2014）の研究で、日本語話者の視線配布は「同意」や「容認」の場面で、英語話者のそれは「主張」や「言明」の場面で生起しやすいという傾向が出たことなどを知ると、小さな振る舞いの中に、コミュニケーションのあり方の大きな違いが潜んでいることを実感させられます。
会話の中で行われている要素をすべて描き出そうとすれば、それだけ多くの要素が存在しているということでもあり、コミュニケーションをきちんと見るためには避けて通れない作業なのだろうとも感じます。
現在のマルティモーダル研究の動向については、まだ十分に追えていないので、これについては今後の課題としたいと思います。
参考
片岡邦好. (2014). 課題達成談話における日英語話者の視線について―共通点と相違点からみる文化的行為―. 井出祥子・藤井洋子 (編著), 『解放的語用論への挑戦―文化・インターアクション・言語―』 (pp. 123–155). くろしお出版.
片岡邦好. (2017). マルティモーダルの社会言語学. 井上逸兵 (編), 『社会言語学』 (pp. 82–106). 朝倉書店.
Streeck, J., Goodwin, C., & LeBaron, C. D. (Eds.). (2011). Embodied interaction: Language and body in the material world. Cambridge University Press.
keywords
[マルティモーダル] [視線]