UFO-2024

SIG-FIN UFO-2024タスクのコンペティションでは、TOPIX500の有価証券報告書を対象として、表検索（Table Retrieval）タスクと表質問応答（Table QA）タスクのコンペを実施します。参加者は、UFO-2024データセットのテストデータの結果をリーダーボードへ投稿します。リーダーボードでは、参加者のランキングが表示されます。本コンペでは、企業にスポンサーとしてご協力いただき、リーダーボードで上位に入賞した方々へ賞状と副賞を授与する予定です。

• 表検索(Table Retrieval)タスク

• 表質問応答(Table QA)タスク

どのように順位を決めるのか？

• • Kaggle の評価方法を参考にリーダーボードの評価を行う。

  • 具体的にはコンペ中はPublic score (テストデータの一部を使った順位) をLeaderboardに表示し、コンペ終了後にPrivate score (Public scoreで利用していないデータでの評価) を計算する。

  • コンペ後にPrivate scoreで評価し、2025年3月のSIG-FIN 第34回で順位を発表する。なお、参加者はSIG-FIN研究会での発表が必須となり、研究会の参加費として1,000円が必要となる。

データセットは2024年8月末に公開予定です。参加登録の流れは次の通りです。

1. UFO-2024 のアカウント作成

   • 下記のリーダーボードの「参加申し込み」をクリックし、必要事項を入力してから送信してください。

2. Slackへの参加（参加申し込みされた方にインビテーションをお送りいたします）

3. データダウンロード https://github.com/nlp-for-japanese-securities-reports/ufo-2024/ 

参加者は、表彰対象となるために、2025年3月に開催されるSIG-FIN第34回研究会への投稿および発表することが必須となります。また、SIG-FINの参加費として1,000円が必要となります。

• 人工知能学 金融情報学研究会（SIG-FIN） https://sigfin.org/

• 木村泰知 小樽商科大学

• 佐藤栄作 小樽商科大学

• 門脇一真 株式会社日本総合研究所

• 乙武北斗 福岡大学