本ワークショップでは各種自然言語処理タスクの自動評価に着目した Shared Task を実施します。
評価の Shared Task というと自動評価手法の提案とその性能のメタ評価を行うものですが、本ワークショップでは新たな試みとして
現在の自動評価がどのくらい頑健（もしくは脆弱）であるかを真剣に検証する
ことを目的とします。
そのため、各 Shared Task はそれぞれのタスクで求められる生成出力を提出する、という一般的な Shared Task の形式を取りますが、
真面目に各タスクを解かなくてもなぜか高い自動評価値が得られてしまう
ようなシステムを高く評価することとします。
もちろんそうした評価の数値化は難しいため厳密な順位付けは困難ですが、
いかにうまく自動評価を騙せるか
そして何より
どのくらいワークショップ参加者の皆様に興味深い結果を提示できるか
を重視します。
プログラム編成の都合で、Shared Taskへの事前の参加申し込みをお願いしています。
2025-02-17 (月) 23:59 までに発表に関する以下の情報をワークショップオーガナイザ (ws-eqe-nl-organizers <at> googlegroups.com) まで電子メールでお送りください。
また、その際の Subject (メールの件名) は「NLP2025ワークショップShared Task参加申し込み」としてください。
参加する Shared Task （機械翻訳部門・文法誤り訂正部門のいずれか）
両部門とも参加される場合はお手数ですがそれぞれの部門ごとにメールをお送りください
チーム名と著者名および所属
オンラインでの発表希望の有無
Shared Taskの結果については、2025-02-28 (金) 23:59 までに以下の情報をワークショップオーガナイザ (ws-eqe-nl-organizers <at> googlegroups.com) まで電子メールでお送りください。
チーム名
提出結果
ファイル形式は各部門の指定に従ってください
公平のため、電子メールへの添付としてください
本Shared Taskに関する追加検証（詳細は後述）について、以下の項目についての同意の有無
追加検証のための提出結果とシステム発表内容の利用 （可／不可のいずれか）
追加検証における分析・議論への協力 （可／不可のいずれか）
本ワークショップでは任意で予稿・発表資料の提出を受け付け、本ワークショップWebサイトに掲載することができます。
予稿・発表資料の掲載を希望する場合は、2025-03-07 (金) 23:59 までに以下の情報をワークショップオーガナイザ (ws-eqe-nl-organizers <at> googlegroups.com) まで電子メールでお送りください。
本ワークショップで開催するShared Taskについて、提出結果を利用した追加検証の実施を予定しています。
そのため、「提出結果およびシステム発表内容の利用」と「追加検証・議論への協力」についてご同意いただけるかのご回答をお願いしています。
なお、「結果およびシステム発表内容の利用」が「可」であっても、結果の公開にあたってチーム名や著者の情報は許可なく示さないこととします。
追加検証はご同意いただけた結果・システムについて、ご同意いただいた参加者の皆様（各チームの代表者を想定）とオーガナイザが協力して行い、その結果を論文としてまとめ、公開することを目標にします。
この論文については、追加検証および論文執筆へのご協力をいただけた各チームの代表者の方とオーガナイザとの共著論文とする予定です。