開催趣旨
知識に基づいた質問応答システムの実現は，自然言語処理の大きなゴールの一つです．しかしながら，その実現や評価のためのデータセットの多くは英語に限られています．本ワークショップでは，クイズを題材とした日本語QAデータセットJAQKETを使って，日本語質問応答システムのコンペティションを開催します．具体的には，事前にシステムを構築して持ち寄っていただき，その場で勝者を決定するライブコンペを行います．また，各チームによるシステム報告を行っていただきます．機械読解や質問応答の第一人者による最新の研究動向の解説や，クイズ作家を招いてご講演いただく企画も予定しています．
コンペティションの詳細については，AI王 〜クイズAI日本一決定戦〜 をご参照ください．
開催案内
開催日時：2021年3月19日（金）
会場：オンライン（Zoomを予定しています）
本ワークショップは 言語処理学会第27回年次大会 の一部として開催されます．ワークショップのみ参加される場合でも年次大会への参加登録が必要です．早期登録(2/15までに入金)と，直前登録(3/12まで)では価格が異なりますので，早期の登録をおすすめいたします．
ライブコンペティション参加募集
[2021/01/21更新]: システムの補助データとして利用可能な，読解対象となりえるWikipedia記事の本文をまとめたファイルを更新しました．詳しくはAI王のページをご確認ください．
[2021/01/18更新]: 参加申込フォームを開設しました（2021/03/08締め切り，システム報告のみ2021/02/26締め切り）：https://forms.gle/SS7yfq6HKSUjrwqg7
[2021/03/08更新]: 参加募集は締め切りました．
どなたでも ，AI王 〜クイズAI日本一決定戦〜 のルールに従ってご自身のクイズ回答システムを構築し，ライブコンペティションに参加することができます．BERT に基づいた ベースラインシステム も提供しておりますので，プログラムの改造のみで，短時間でオリジナルのモデルを構築することも可能です．
ワークショップ内で行う最終報告会においては，以下の2つの参加型イベントを行います（ライブコンペのみの参加も歓迎です）：
ライブコンペティション（最終順位決定会）
最終報告会においては，すでに提供している開発データ・リーダーボード用テストデータとは別の，最終報告会用テストセットに対する回答をご提出いただき，その正解率に基づいてその場で順位を決定する予定です．（細かいルールは追ってアナウンスします．）
基本的な仕様はリーダーボード に提出可能なシステムがあれば満たされますので，当面の間はリーダーボード上でのコンペをお楽しみください．
参加システム報告
AI王のために構築したシステムの概要に関する 5分〜10分程度のオンラインプレゼンテーションを行っていただきます．学会本会議とは違い，自由な発想で楽しくプレゼンテーションを行っていただければと思います（たとえば，短時間の求人広告の挟み込みなども問題ありません）．
また，ワークショップでの発表とは別に，言語処理学会の本会議にて，参加システム内での取り組みやエラー分析結果などを，積極的にご発表いただければ幸いです．
ライブコンペティション参加予定の方は Slackワークスペース: AI王 〜クイズAI日本一決定戦〜 への登録をお願いします．そこでコンペの情報共有と質問などへの対応をおこないたいと思います．Slackワークスペース: AI王 〜クイズAI日本一決定戦〜 への参加リンク
上記Slackワークスペース への登録とコンペティションへの参加登録は別になるので，参加の可能性が少しでもあればSlackワークスペースへの登録をお願いします．
[2021/01/18更新]: 参加申込フォームを開設しました（2021/03/08締め切り，システム報告のみ2021/02/26締め切り）：https://forms.gle/SS7yfq6HKSUjrwqg7
[2021/03/08更新]: 参加募集は締め切りました．
学生参加者向け参加費補助
以下の条件をすべて満たす学生参加者に，数名を限度に言語処理学会年次大会の事前登録参加費分相当の参加費(6000円)を補助します．応募多数の場合は先着順になります．
中学生以上の学生である所属研究室等から参加費の支出を受けることができない申込時までに，AI王リーダーボードに最低1回投稿している（スコア不問）ライブコンペティションと参加システム報告の双方に発表参加する意思がある
応募方法
ライブコンペティション参加応募ページのフォームからお申し込みください．[2021/02/17更新]: 参加費補助の申請は終了しました．
招待講演
機械読解や質問応答における最新の研究動向やクイズの作り方について，招待講演を3件企画しています．ぜひご参加ください．
オープンドメイン質問応答技術の最新動向
〜NeurIPS EfficientQAコンペティションの上位システムから学ぶ〜
〜NeurIPS EfficientQAコンペティションの上位システムから学ぶ〜
講演者：山田 育矢 様（株式会社Studio Ousia）
講演日時：2021年 3月19日 9:30-10:20
略歴
2007年にStudio Ousiaを創業し，自然言語処理の技術開発に従事．2000年に学生ベンチャー企業ニューロンを起業し，2005年に売却．その後，Studio Ousiaを設立．2016年に慶應義塾大学にて博士（学術）を取得．理化学研究所AIP客員研究員．
クイズの作り方〜クイズ作家の発想・情報収集・表現について
講演者：仲野 隆也 様（株式会社キュービック）
講演日時：2021年 3月19日 10:30-11:30
略歴
1966年，三重県津市出身．名古屋大学経済学部卒．クイズ研究会に所属し，第2代会長を務める．ジャパンFMネットワーク勤務を経て，2000年にクイズ作家として独立．クイズ制作会社・有限会社セブンワンダーズおよびクイズの総合商社・株式会社キュービック代表取締役．手がけたコンテンツに，TV『東大王』『Qさま‼』『タイムショック』，書籍『経済脳Qテスト』，マンガ『ナナマルサンバツ』，アプリ『黒猫のウィズ』などがある．
言語と視覚に基づく質問応答の最新動向
講演者：西田 京介 様（NTTメディアインテリジェンス研究所）
講演日時：2021年 3月19日 12:30-13:20
略歴
2008年北海道大学大学院情報科学研究科博士課程了．博士（情報科学）．2006-2009年日本学術振興会特別研究員．2009年日本電信電話株式会社入社．現在，NTTメディアインテリジェンス研究所特別研究員．2015年情報処理学会山下記念研究賞受賞．2017年日本データベース学会上林奨励賞受賞．人工知能，自然言語処理に関する研究開発に従事．
スケジュール
ライブコンペティション参加 応募開始: 2021年 1月18日 (Google Formによる参加申し込み受付 https://forms.gle/SS7yfq6HKSUjrwqg7 )
ライブコンペティション参加 応募締切: 2021年 3月 8日
ライブコンペティション: 2021年 3月19日
プログラム
09:00-09:15 開催趣旨説明
09:15-09:30 AI王 〜クイズAI日本一決定戦〜 概要説明・テストデータ配布
09:30-10:20 招待講演(1) : オープンドメイン質問応答技術の最新動向 山田育矢 様 (株式会社Studio Ousia）
10:20-10:30 休憩
10:30-11:30 招待講演(2) : クイズの作り方〜クイズ作家の発想・情報収集・表現について 仲野 隆也 様（株式会社キュービック）
11:30-12:30 昼休み
(12:30 結果ファイル提出)
12:30-13:20 招待講演(3) : 言語と視覚に基づく質問応答の最新動向 西田 京介 様（NTTメディアインテリジェンス研究所）
13:20-13:30 休憩
13:30-15:20 参加システム報告（以下，報告順．敬称略）
inari
浅野 綾太（愛知県立大学）
Gyutan
fujita&u++
（10分休憩）
lai（株式会社バンダイナムコ研究所）
高山 隼矢（大阪大学大学院情報科学研究科）
戸田 隆道（株式会社AI Shift）
二宮チーム（NAISTデータ駆動知識処理研究室/NICT）
ICS Lab.（株式会社ベルシステム24ホールディングス）
15:20-15:30 休憩
15:30-15:40 結果発表＆表彰式
15:40-15:50 AI王〜2021〜(仮) キックオフ
結果報告
本コンペティションへの，たくさんのご参加ありがとうございました！
おかげさまで，招待講演やシステム報告と，大いに盛り上がることができました．
今後とも、ぜひよろしくお願いいたします。
以下につきましては，優秀な成績を収めた上位三チームを紹介します．
(1) 3月18日 17:00 時点でのリーダーボードの成績
(2) 3月19日 ライブコンペ当日に公開された評価データに対する成績
リーダーボード 結果報告 (3/18 17:00)
参加チーム数 22 ，提出総数 408 でした．
詳細に関しましては，こちら をご覧ください．
優勝 trtd (株式会社AI Shift) 正解率 0.953 (0.98 / 0.71 / 0.19) | 提出数 152
準優勝 kat 正解率 0.951 (0.98 / 0.71 / 0.22) | 提出数 10
第三位 S-lab (東京工科大学) 正解率 0.950 (0.98 / 0.61 / 0.37) | 提出数 18
入賞おめでとうございます！
* 正解率の内訳は、(easy / hard / very hard) の三段階の難易度に対する正解率となっています。
ライブコンペティション 結果報告 (3/19 12:30)
優勝 lai（株式会社バンダイナムコ研究所） 正解率 0.925
準優勝 S-lab（東京工科大学） 正解率 0.920
第三位 戸田隆道 （株式会社AI Shift） 正解率 0.914
入賞おめでとうございます！
オーガナイザー
鈴木潤（東北大学)
乾健太郎（東北大学／理化学研究所）
井之上直也（Stony Brook University）
加藤拓真（東北大学）
関根聡（理化学研究所）
Diana Galvan-Sosa（東北大学）
鈴木正敏（東北大学／理化学研究所）
⻄田京介（NTTメディアインテリジェンス研究所）
松田耕史（理化学研究所／東北大学）
宮脇峻平（東北大学）
