1. eテスティングと複数等質テスト
eテスティングとはICTを活用し,コンピュータ上で実施されるテストであり,我が国でも国家試験である情報処理技術者試験(ITパスポート試験)やリクルートホールディングスのSPIなどで利用されている.この技術は,時間や場所を選ばずテストを実施できる等の様々な利点があり,今後様々な資格試験が大規模にeテスティングを用いて行われるようなると考えられる.
このような大規模に行われる,資格試験のようなその結果が受験者に大きな影響を与えるような試験(ハイステークス・テスト)では,複数等質テストを用いて試験を行うことが必要である.既に現在,e テスティングの実施に関する標準規格ISO/IEC 23988 でも,ハイステークス・テストでの複数等質テストの使用が条件として記載されており,必須の技術となりつつある.
複数等質テストとは,異なる問題(項目)により構成されているにもかかわらず各テストが等質で同一の能力を同一の精度で測定可能なテスト集合である.大規模に行われるeテスティングでは例えば同じ受験者が複数回の受験を行うことや受験者同士でテストの項目を共有することが想定される.そのため、それぞれの受験者に別々の試験をわりあて,能力の測定を行うことで,複数等質テストを採用するeテスティングシステムではテストの信頼性を保護する.その為,複数等質テストの構成法の研究では,より多くのテストを構成することがテストシステム全体の保護にもつながり,これが一つの大きな課題となっている.
2. テスト自動構成手法における研究課題
テスト構成では,テスト構成を組合せ最適化問題として扱う.アイテムバンクと呼ばれる項目(出題可能な問題)データベースには,項目内容・ 項目ごとの出題領域や統計データなどが格納されている.これらの情報を用いて,所望の性質(例えば、正答率60%に近くなるか)を得られる項目の組み合わせを探索する,整数計画問題やその他の組合せ最適化問題としてテスト構成は行われてきた.
ただし,複数等質テスト構成における構成数の最大化は,最適化問題としての規模が非常に大きく,計算コストが非常に大きいという問題がある.そのため、これまで実環境で計算可能でテスト構成数を最大化する複数等質テストの構成手法について研究してきた.
4.これまでの研究概要
この目的のため,従来手法と比較し数倍から数百倍のテスト数を構成可能なテスト自動構成手法を提案した.その結果,項目数の少ないアイテムバンクからでも十分な数のテスト版を構成可能とし,リクルート社が提供しているWebテストシステムで本手法は使用されている. これらの研究はAIED2013,AIED2015などでも発表し,テスト学会大会発表賞(第4回④)を受賞している.加えてこの研究をまとめたものが電子情報通信学会論文誌DとIEEE Transactions on Learning Technologiesへ採録されている.
5.研究内容の簡単な紹介
具体的には,複数等質テスト構成を与えられた条件中で最大数のテストを構成可能な手法を提案した.本手法ではテストを頂点とみなし,等質なテスト間を接続したグラフからどの二つも連結された頂点集合(クリーク)を探索する最適化問題として解くことで,最大数の複数等質テスト群を出力可能である.ただし,大規模なテスト構成では計算コストが大きく計算が困難であったため,これを近似的に探索する新たなアルゴリズムの提案も行っている.これにより,任意の計算時間で,世界で最も多くのテストを構成可能な手法となっている.