第7回勉強会

投稿日: 2016/11/19 14:40:32

日時：12/26(月) 17:00〜

場所：デンソーアイティーラボラトリ (渋谷クロスタワー28F) [案内]

発表者：江原遥 (産総研) & 持橋 (統数研)

NLPのための項目反応理論（テスト理論）入門 (発表キャンセル)

江原遥 (産総研)

概要：

本講演では、自然言語処理のために、テストを分析するために教育心理学など多くの分野で使われている項目反応理論(item response theory)を概説し、関連して、2016年にEMNLPやCOLINGなどの主要国際会議で発表された項目反応理論に関する論文のうち何本かを概説する。

項目反応理論を用いることにより、テストの被験者の設問に対する反応（回答）から、被験者の能力や設問の難易度を同時に求める事が可能である。項目反応理論は、自然言語処理分野で識別問題に使われるロジスティック回帰と密接に関係しており、自然言語処理分野での使用例は多いとは言えないが、クラウドソーシングの絡む問題や、機械翻訳システムの性能評価など、評価に関連する問題で使用される。

項目反応理論のうち、基礎となる1PL (Raschモデル), 2PL, 3PLと、自然言語処理分野での応用の多いGraded Response Modelを中心に解説する予定である。

時間が許せば、関係する論文として、今年、自然言語処理分野で投稿された論文の中から下記を紹介する予定である。

また、時間が許せば、IRTの実装もいくつか紹介する予定である。

EMNLP 2016

Building an Evaluation Scale using Item Response Theory

John Lalor, Hao Wu and hong yu

https://aclweb.org/anthology/D/D16/D16-1062.pdf

IRT-based Aggregation Model of Crowdsourced Pairwise Comparison for

Evaluating Machine Translations

Naoki Otani, Toshiaki Nakazawa, Daisuke Kawahara and Sadao Kurohashi

https://aclweb.org/anthology/D/D16/D16-1049.pdf

COLING 2016