(1) 実世界における語彙学習支援システムの研究開発
言語学習において,ユビキタス学習環境を構築することで,学習者はスマートフォンを含むモバイル機器やPCを利用し, 場所や時間を問わず,容易に学習ログを残すことが可能となった. 例えば,留学生は,日常生活で学習した単語や文章を紙媒体のメモとして書き留めていたが,ユビキタス・モバイル技術を用いることで,日常生活における学びの体験を電子媒体の学習ログとして記録・共有し,学習者のニーズや状況に応じて教育・学習プロセスを支援する研究が注目されています.
一方,ウェアラブルカメラを用いて,日常生活の影像や音声等を記録するライフログ技術や,視野に入るオブジェクトに情報を重ね合わせて提供するAR(Augmented Reality)技術等が注目されている.現状のユビキタス学習における研究では,ウェアラブルカメラを使用して,日常生活の学習体験を受動的に記録し,一日の終わりに記録した映像や写真から学習内容を内省することで,記憶の回想や定着を支援している.しかしながら,現状のシステムでは,以下の課題が残っている.
(1) 大量に収集される写真のデータから学習者の学習状況やニーズに応じて写真が提供されていないため,既に学習済みの知識や未学習の「知識の識別」,「関連する知識の提供」等の支援が行われていない.
(2) 記録された写真を分析し,写真内の物体にアノテーションを付与し,リアルタイム に学習支援が行われていない. そこで本研究では,画像認識技術を用いて,マーカレスARによる言語学習システムを開発し,物体検出を行い,写真内の物体にアノテーションを付けることで,学習者の負担の軽減、学習の効率化を図る.
ホロレンズ(HMD)上での語彙学習支援
学習者はHMDを装着し,学習を行う.以下の二つの学習方法をシステムに導入し,学習支援を提供する.
(1) 写真を撮ることで,その写真を分析し,アノテーションを付与する.学習者への表示方法として,「この物体の名前は?」のように,クイズ形式で表示し学習を行う.さらに,学習者の既に学習済みの知識や未学習の知識であるかを識別し,提示していく.また,学習者のクイズの正誤率に応じて,正答率の低いクイズを再び復習する機能を提供する.
(2) 撮影の自動モードを選択することで日常生活の記録を受動的に撮影する.学習者が撮影を一旦終了する場合,「撮影終了ボタン」をクリックすることで撮影を終えることができる.そのボタンがクリックされたら受動的に収集した写真の分析が行われ,アノテーションが付与された写真が提供される. 上記(1)と同様にクイズ形式で学習を行う.