研究概要

1. レビュア特性を考慮したレイティング技術(統計確率モデリング)

記述式テストや面接試験,口コミサイトのレビューなどの場面では,複数のレビュアー(評価者)が個々の評価対象を得点付けしたレイティングのビッグデータが収集されます.そのようなレイティング・ビッグデータは,受験者の能力評価や商品推薦など,様々な目的で活用されています.

しかし,一般にレビュアはそれぞれに異なる主観的な採点基準に基づいて得点付けを行います.そのため,平均点や合計点などの単純なスコアリングを採用すると,誰が採点したかで,最終的なスコアが変わってしまいます.

そこで,この問題を解決するために,宇都研究室では,レビュアのバイアスを取り除いて対象の真のスコアを高精度に推定できる数理モデル(テスト理論のひとつである項目反応理論に基づくモデル)について研究しています.

本研究室の技術は,世界最先端の性能を達成しており,国内の様々な学会(人工知能学会,行動計量学会,日本テスト学会,教育システム情報学会など)で多数の賞を受賞するとともに,特に入試分野においてパフォーマンス評価データの分析手法として,実用化が進められています

図1. レイティング技術の概念図

2. 統計的自然言語処理

統計的自然言語処理(NLP)とは,統計理論や機械学習,人工知能技術などを駆使して自然言語テキストを解析する研究分野です.NLPのタスクには様々なものがありますが,宇都研究室では小論文や短答記述式試験,レポートなどを自動で採点する「自動採点」の研究と,任意の長文からそれに関連する読解問題を自動で生成する「読解問題自動生成」の研究を中心的に行っています.

2-1. 文章自動採点技術

自動採点技術は,人間による採点の負担を大幅に軽減できる技術として実用化が強く期待されています.自動採点の研究は古くからなされてきましたが,2016年ごろに深層学習(ディープラーニング)を利用した自動採点モデルが提案されて以降,人工知能や言語処理のトップカンファレンスで毎年のように新しいモデルが提案されるホットな研究テーマとなっています.

宇都研究室では,深層学習を中心とした最先端機械学習手法とテスト理論・心理学・行動計量学などの確率・統計技術を融合することで,新しい着想で高性能な自動採点技術を開発・提案し続けています.

関連する研究成果は,人工知能研究のトップ国際会議AIEDやCOLINGを含め様々な国内外の学会で高く評価され参考,数多くの賞を受賞しています(参考).

2-2. 読解問題自動生成

任意の長文からそれに関連する読解問題(国語の長文問題で出題されるような問題)を自動で生成する技術です.

宇都研究室では,ChatGPTに代表される大規模生成言語モデルと項目反応理論と呼ばれる洗練された統計・数理技術を融合することで,学習者の能力に適した難易度の問題を自動で生成して出題できる技術を研究しています動画).

本研究テーマについても,トップ国際会議AIEDやトップジャーナルIEEE TLTに論文が掲載され参考),人工知能学会や産学連携に関するコンソーシアムをはじめとする様々な学協会から多くの賞を授与されています参考).

 3. ベイズモデリング

ベイズ確率論や上述のテスト理論,言語処理技術を駆使して,様々な問題を対象とした高度な確率モデルの開発を行っています.開発した確率モデルのパラメータ推定アルゴリズムの開発も同時に行っており,主に,複雑な確率モデルにおいて有効性の高い,マルコフ連鎖モンテカルロ法(MCMC:Markov Chain Monte Carlo)を用いた推定アルゴリズムを開発しています.

4.1. 階層ベイズ項目反応理論

レイティングモデルのパラメータ推定精度を改善するための階層モデル化

4.2. ユーザ依存型隠れマルコフモデル

キーストロークログ(キーボードのタイピングパタン)から,文章執筆のプロセスを推定するモデル.

4.3. 項目反応トピックモデル

項目反応理論とトピックモデルの一つである潜在ディリクレ配分法(Latent Dirichlet Allocation)を融合したモデル

研究紹介動画

2023年度版

下記の2022年度版の説明動画よりも,もう少し詳細で最新の情報をまとめています.

研究紹介スライド PDF

ポスターPDF

2022年度版

https://vimeo.com/7471941161551秒)パスワード: utolab

その他講演動画

下記は2023年12月に開催した科研費シンポジウムでの講演動画です.1時間ほどの長さですが,直近5年ほどの研究テーマを網羅的に説明しています.
https://drive.google.com/file/d/1OHDkd1yilK8n5QXDuNmrVYAnO_MIvJcb/view?usp=drive_link