AI王 公式ベースラインシステム

第4回コンペティション

第4回コンペティションの早押し解答タスク向けに、以下のベースラインを提供しています。

aio4-bpr-baseline (GitHub)

深層ニューラルネットワーク (DNN) に基づく QA システムで多く採用されている Retrieve and Read 方式（または Retriever-Reader 方式）のシステムです。具体的には、DPR [Karpukhin+, EMNLP 2020] を拡張し、文書ベクトルの2値化を行うことでベクトルのサイズ削減を行う手法 BPR [Yamada+, ACL 2021] を、本コンペティションで扱う日本語クイズ問題向けに実装したものです。第4回の早押しタスク向けに、推論時に Reader が出力する解答のスコアが一定以上の時にのみ解答を出力する機構を導入しています。

参考文献

• [Karpukhin+, EMNLP 2020] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih. Dense Passage Retrieval for Open-Domain Question Answering. In EMNLP, pp.6769–6781, 2020. [Paper] [GitHub]

• [Yamada+, ACL 2021] Ikuya Yamada, Akari Asai, Hannaneh Hajishirzi. Efficient Passage Retrieval with Hashing for Open-domain Question Answering. In ACL, pp.979–986, 2021. [Paper] [GitHub]

aio4-fid-baseline (GitHub)

本システムも Retrieve and Read 方式のシステムです．具体的には，Retriever部分にDPR [Karpukhin+, EMNLP 2020] を，Reader部分にFiD [Izacard+, EACL 2021] を用いる形で，本コンペティションで扱う日本語クイズ問題向けに実装したものです．FiDが推論する際の生成スコアに閾値を設け，その閾値を超えた時のみ解答の出力を行うようにすることで，早押し形式への対応を行っています．

参考文献

• [Karpukhin+, EMNLP 2020] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih. Dense Passage Retrieval for Open-Domain Question Answering. In EMNLP, pp.6769–6781, 2020. [Paper] [GitHub]

• [Izacard+, EACL 2021] Gautier, Izacard and Edouard, Grave. Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. In EACL, pp.874–880, 2021. [paper]

AIO4_GPT_baseline (GitHub)

•  Transformerをベースに大量の文で事前学習したGPTモデルによるzero-shotのQAシステムです。日本語のwikipediaやC4、CC-100で学習したrinna株式会社の日本語GPTモデルを使用しています。また、株式会社サイバーエージェントの日本語GPTモデルの結果も報告します。zero-shotなシステムのため、追加学習なしですぐに動かすことができます。

参考文献

• rinna社の日本語GPTモデル

• 株式会社サイバーエージェントの日本語GPTモデル

第3回コンペティション

最先端の質問応答 (QA) システムの理解の一助となることを期待して，以下のベースラインシステムを提供しています．

AIO3_BPR_baseline (GitHub)

近年の深層ニューラルネットワーク (DNN) に基づく QA システムで一般的に用いられている Retrieve and Read 方式（または，Retriever-Reader 方式）のシステムです．より具体的には，DPR [Karpukhin+, EMNLP 2020] を拡張し，文書ベクトルのハッシュ化を行うことでベクトルのサイズ削減を行う手法 BPR [Yamada+, ACL 2021] を，本コンペティションで扱う日本語クイズ問題向けに実装したものです．

参考文献

• [Karpukhin+, EMNLP 2020] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih. Dense Passage Retrieval for Open-Domain Question Answering. In EMNLP, pp.6769–6781, 2020. [Paper] [GitHub]

• [Yamada+, ACL 2021] Ikuya Yamada, Akari Asai, Hannaneh Hajishirzi. Efficient Passage Retrieval with Hashing for Open-domain Question Answering. In ACL, pp.979–986, 2021. [Paper] [GitHub]
  
  

AIO3_FiD_baseline (GitHub)

本システムも Retrieve and Read 方式のシステムです．具体的には，Retriever部分にDPR [Karpukhin+, EMNLP 2020] を，Reader部分にFiD [Izacard+, EACL 2021] を用いる形で，本コンペティションで扱う日本語クイズ問題向けに実装したものです．

参考文献

• [Karpukhin+, EMNLP 2020] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih. Dense Passage Retrieval for Open-Domain Question Answering. In EMNLP, pp.6769–6781, 2020. [Paper] [GitHub]

• [Izacard+, EACL 2021] Gautier, Izacard and Edouard, Grave. Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. In EACL, pp.874–880, 2021. [paper]
  
  

AIO3_GPT_baseline (GitHub)

•  Transformerをベースに大量の文で事前学習したGPTモデルによるzero-shotのQAシステムです。日本語のwikipediaやC4、CC-100で学習したrinna株式会社の日本語GPTモデルを使用しています。zero-shotなシステムのため、追加学習なしですぐに動かすことができます。

参考文献

• Alec Radford and Karthik Narasimhan. Improving Language Understanding by Generative Pre-Training. 2018. [Paper]

• rinna社の日本語GPTモデル

第2回コンペティション

近年の深層ニューラルネットワーク (DNN) に基づく質問応答 (QA) システムで最も用いられている Retrieve and Read 方式（または，Retriever-Reader 方式）のシステムを提供します．より具体的には，DPR [Karpukhin+, EMNLP 2020] をベースに本コンペティションで扱う日本語クイズ問題で利用できるように改修したものになります． 本ベースラインシステムを理解することで，現在のモダン QA システムの理解の一助となることを期待して，このシステムをベースラインとして提供することにしました． 

• AI王ベースラインシステム1 AIO2_DPR_baseline 

実行委員が作成した以下のモデルもベースラインとして公開しています．モデルや推論スクリプトの実装の参考にお役立てください．

• aio2-tfidf-baseline 

  • 与えられる質問に対して，訓練データ内の質問との類似度を TF-IDF により計算し，最も類似度の高い質問の正解をそのまま解答として出力するベースラインです．

• aio2-soseki-baseline

  • DPR を拡張し，文書ベクトルのハッシュ化を行うことにより，ベクトルのサイズ削減を行う手法 BPR [Yamada+, ACL 2021] を AI 王向けに実装したベースラインです．

参考文献

• [Karpukhin+, EMNLP 2020] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih. Dense Passage Retrieval for Open-Domain Question Answering. In EMNLP, pp.6769–6781, 2020. [Paper] [GitHub]

• [Yamada+, ACL 2021] Ikuya Yamada, Akari Asai, Hannaneh Hajishirzi. Efficient Passage Retrieval with Hashing for Open-domain Question Answering. In ACL, pp.979–986, 2021. [Paper] [GitHub]