Multimodal corpus

Building a multimodal spoken corpus: challenges and opportunities.   

Compiling a corpus of face-to-face synchronous spoken interactions is a complex task and capturing such interactions in a digital environment with parallel modalities, such as a group chat, adds further challenges. This article discusses the creation of a multimodal corpus of spoken interactions in digital classrooms within an EMI context. It outlines a step-by-step protocol for compiling such a corpus, including some complex annotations, and demonstrates examples of how corpus methods can be utilised to study features and functions specific to digital EMI to support teaching and assessment in (digital) EMI settings.  

Mengumpulkan korpus interaksi lisan bersemuka segerak adalah tugas yang kompleks dan untuk mendapatkan interaksi sedemikian dalam persekitaran digital dengan modaliti selari, seperti sembang kumpulan, adalah lebih mencabar. Artikel ini membincangkan penciptaan korpus pelbagai mod interaksi lisan dalam bilik kuliah digital dalam konteks EMI. Ia menggariskan protokol langkah demi langkah untuk mengumpulkan korpus sedemikian, termasuk beberapa anotasi yang kompleks, dan menunjukkan contoh bagaimana kaedah korpus boleh digunakan untuk mengkaji ciri-ciri dan fungsi khusus EMI yang digital untuk menyokong pengajaran dan penilaian dalam persekitaran EMI (digital).  

対面での同期的な話し言葉による相互行為のコーパスを編纂することは複雑な作業であり、グループチャットのような並行するモダリティを持つデジタル環境でそのような相互行為を捉えることは、さらなる課題を加えます。この論文は、EMIの文脈におけるオンライン授業での話し言葉による相互行為（やりとり）のマルチモーダルコーパスの作成について論じています。複雑なアノテーションも含む、コーパスを編纂するための段階的なプロトコルを概説します。また、（オンライン）EMI環境での教育と評価を支援するために、デジタルEMIに特有の特徴と機能を研究するためにコーパス手法をどのように活用できるかの例を提示します。