開催案内

開催日時：2021年3月19日（金）

会場：オンライン（Zoomを予定しています）

本ワークショップは 言語処理学会第27回年次大会 の一部として開催されます．ワークショップのみ参加される場合でも年次大会への参加登録が必要です．早期登録(2/15までに入金)と，直前登録(3/12まで)では価格が異なりますので，早期の登録をおすすめいたします．

ライブコンペティション参加募集

[2021/01/21更新]: システムの補助データとして利用可能な，読解対象となりえるWikipedia記事の本文をまとめたファイルを更新しました．詳しくはAI王のページをご確認ください．

[2021/01/18更新]: 参加申込フォームを開設しました（2021/03/08締め切り，システム報告のみ2021/02/26締め切り）：https://forms.gle/SS7yfq6HKSUjrwqg7

[2021/03/08更新]: 参加募集は締め切りました．

どなたでも ，AI王 〜クイズAI日本一決定戦〜 のルールに従ってご自身のクイズ回答システムを構築し，ライブコンペティションに参加することができます．BERT に基づいた ベースラインシステム も提供しておりますので，プログラムの改造のみで，短時間でオリジナルのモデルを構築することも可能です．

ワークショップ内で行う最終報告会においては，以下の2つの参加型イベントを行います（ライブコンペのみの参加も歓迎です）：

ライブコンペティション（最終順位決定会）

最終報告会においては，すでに提供している開発データ・リーダーボード用テストデータとは別の，最終報告会用テストセットに対する回答をご提出いただき，その正解率に基づいてその場で順位を決定する予定です．（細かいルールは追ってアナウンスします．）

基本的な仕様はリーダーボード に提出可能なシステムがあれば満たされますので，当面の間はリーダーボード上でのコンペをお楽しみください．

参加システム報告

AI王のために構築したシステムの概要に関する 5分〜10分程度のオンラインプレゼンテーションを行っていただきます．学会本会議とは違い，自由な発想で楽しくプレゼンテーションを行っていただければと思います（たとえば，短時間の求人広告の挟み込みなども問題ありません）．

また，ワークショップでの発表とは別に，言語処理学会の本会議にて，参加システム内での取り組みやエラー分析結果などを，積極的にご発表いただければ幸いです．

ライブコンペティション参加予定の方は Slackワークスペース: AI王 〜クイズAI日本一決定戦〜 への登録をお願いします．そこでコンペの情報共有と質問などへの対応をおこないたいと思います．Slackワークスペース: AI王 〜クイズAI日本一決定戦〜 への参加リンク
上記Slackワークスペース への登録とコンペティションへの参加登録は別になるので，参加の可能性が少しでもあればSlackワークスペースへの登録をお願いします．

[2021/01/18更新]: 参加申込フォームを開設しました（2021/03/08締め切り，システム報告のみ2021/02/26締め切り）：https://forms.gle/SS7yfq6HKSUjrwqg7

[2021/03/08更新]: 参加募集は締め切りました．

以下の条件をすべて満たす学生参加者に，数名を限度に言語処理学会年次大会の事前登録参加費分相当の参加費(6000円)を補助します．応募多数の場合は先着順になります．

• 中学生以上の学生である

• 所属研究室等から参加費の支出を受けることができない

• 申込時までに，AI王リーダーボードに最低1回投稿している（スコア不問）

• ライブコンペティションと参加システム報告の双方に発表参加する意思がある

応募方法

• ライブコンペティション参加応募ページのフォームからお申し込みください．

• [2021/02/17更新]: 参加費補助の申請は終了しました．

機械読解や質問応答における最新の研究動向やクイズの作り方について，招待講演を3件企画しています．ぜひご参加ください．

• ライブコンペティション参加 応募開始: 2021年 1月18日 (Google Formによる参加申し込み受付 https://forms.gle/SS7yfq6HKSUjrwqg7 )

• ライブコンペティション参加 応募締切: 2021年 3月 8日

• ライブコンペティション: 2021年 3月19日

• 09:00-09:15 開催趣旨説明

• 09:15-09:30 AI王 〜クイズAI日本一決定戦〜 概要説明・テストデータ配布

• 09:30-10:20 招待講演(1) : オープンドメイン質問応答技術の最新動向 山田育矢 様 (株式会社Studio Ousia）

• 10:20-10:30 休憩

• 10:30-11:30 招待講演(2) : クイズの作り方〜クイズ作家の発想・情報収集・表現について 仲野 隆也 様（株式会社キュービック）

• 11:30-12:30 昼休み

• (12:30 結果ファイル提出)

• 12:30-13:20 招待講演(3) : 言語と視覚に基づく質問応答の最新動向 西田 京介 様（NTTメディアインテリジェンス研究所）

• 13:20-13:30 休憩

• 13:30-15:20 参加システム報告（以下，報告順．敬称略）

  1. inari

  2. 浅野 綾太（愛知県立大学）

  3. Gyutan

  4. fujita&u++

（10分休憩）

• 5. lai（株式会社バンダイナムコ研究所）

  6. 高山 隼矢（大阪大学大学院情報科学研究科）

  7. 戸田 隆道（株式会社AI Shift）

  8. 二宮チーム（NAISTデータ駆動知識処理研究室/NICT）

  9. ICS Lab.（株式会社ベルシステム24ホールディングス）

• 15:20-15:30 休憩

• 15:30-15:40 結果発表＆表彰式

• 15:40-15:50 AI王〜2021〜(仮) キックオフ

結果報告

本コンペティションへの，たくさんのご参加ありがとうございました！
おかげさまで，招待講演やシステム報告と，大いに盛り上がることができました．
今後とも、ぜひよろしくお願いいたします。

以下につきましては，優秀な成績を収めた上位三チームを紹介します．
(1) 3月18日 17:00 時点でのリーダーボードの成績
(2) 3月19日 ライブコンペ当日に公開された評価データに対する成績

リーダーボード 結果報告 (3/18 17:00)

参加チーム数 22 ，提出総数 408 でした．
詳細に関しましては，こちら をご覧ください．

優勝 trtd (株式会社AI Shift) 正解率 0.953 (0.98 / 0.71 / 0.19) | 提出数 152

準優勝 kat 正解率 0.951 (0.98 / 0.71 / 0.22) | 提出数 10

第三位 S-lab (東京工科大学) 正解率 0.950 (0.98 / 0.61 / 0.37) | 提出数 18

入賞おめでとうございます！
* 正解率の内訳は、(easy / hard / very hard) の三段階の難易度に対する正解率となっています。

ライブコンペティション 結果報告 (3/19 12:30)

優勝 lai（株式会社バンダイナムコ研究所） 正解率 0.925

準優勝 S-lab（東京工科大学） 正解率 0.920

第三位 戸田隆道 （株式会社AI Shift） 正解率 0.914

入賞おめでとうございます！

• 鈴木潤（東北大学)

• 乾健太郎（東北大学／理化学研究所）

• 井之上直也（Stony Brook University）

• 加藤拓真（東北大学）

• 関根聡（理化学研究所）

• Diana Galvan-Sosa（東北大学）

• 鈴木正敏（東北大学／理化学研究所）

• ⻄田京介（NTTメディアインテリジェンス研究所）

• 松田耕史（理化学研究所／東北大学）

• 宮脇峻平（東北大学）

共催：理化学研究所 革新知能統合研究センター