研究概要
1. レビュア特性を考慮したレイティング技術(統計・確率モデリング)
記述式テストや面接試験,口コミサイトのレビューなどの場面では,複数のレビュアー(評価者)が個々の評価対象を得点付けしたレイティングのビッグデータが収集されます.そのようなレイティング・ビッグデータは,受験者の能力評価や商品推薦など,様々な目的で活用されています.
しかし,一般にレビュアはそれぞれに異なる主観的な採点基準に基づいて得点付けを行います.そのため,平均点や合計点などの単純なスコアリングを採用すると,誰が採点したかで,最終的なスコアが変わってしまいます.
そこで,この問題を解決するために,宇都研究室では,レビュアのバイアスを取り除いて対象の真のスコアを高精度に推定できる数理モデル(テスト理論のひとつである項目反応理論に基づくモデル)について研究しています.
本研究室の技術は,世界最先端の性能を達成しており,国内の様々な学会(人工知能学会,行動計量学会,日本テスト学会,教育システム情報学会など)で多数の賞を受賞するとともに,特に入試分野においてパフォーマンス評価データの分析手法として,実用化が進められています.
図1. レイティング技術の概念図
2. 統計的自然言語処理
統計的自然言語処理(NLP)とは,統計理論や機械学習,人工知能技術などを駆使して自然言語テキストを解析する研究分野です.NLPのタスクには様々なものがありますが,宇都研究室では小論文や短答記述式試験,レポートなどを自動で採点する「自動採点」の研究と,任意の長文からそれに関連する読解問題を自動で生成する「読解問題自動生成」の研究を中心的に行っています.
2-1. 文章自動採点技術
自動採点技術は,人間による採点の負担を大幅に軽減できる技術として実用化が強く期待されています.自動採点の研究は古くからなされてきましたが,2016年ごろに深層学習(ディープラーニング)を利用した自動採点モデルが提案されて以降,人工知能や言語処理のトップカンファレンスで毎年のように新しいモデルが提案されるホットな研究テーマとなっています.
2-2. 読解問題自動生成
3. ベイズモデリング
ベイズ確率論や上述のテスト理論,言語処理技術を駆使して,様々な問題を対象とした高度な確率モデルの開発を行っています.開発した確率モデルのパラメータ推定アルゴリズムの開発も同時に行っており,主に,複雑な確率モデルにおいて有効性の高い,マルコフ連鎖モンテカルロ法(MCMC:Markov Chain Monte Carlo)を用いた推定アルゴリズムを開発しています.
4.1. 階層ベイズ項目反応理論
レイティングモデルのパラメータ推定精度を改善するための階層モデル化
4.2. ユーザ依存型隠れマルコフモデル
キーストロークログ(キーボードのタイピングパタン)から,文章執筆のプロセスを推定するモデル.
4.3. 項目反応トピックモデル
項目反応理論とトピックモデルの一つである潜在ディリクレ配分法(Latent Dirichlet Allocation)を融合したモデル
研究紹介動画
2023年度版
下記の2022年度版の説明動画よりも,もう少し詳細で最新の情報をまとめています.
2022年度版
https://vimeo.com/747194116 (15分51秒)パスワード: utolab
その他講演動画
下記は2023年12月に開催した科研費シンポジウムでの講演動画です.1時間ほどの長さですが,直近5年ほどの研究テーマを網羅的に説明しています.
https://drive.google.com/file/d/1OHDkd1yilK8n5QXDuNmrVYAnO_MIvJcb/view?usp=drive_link