大規模言語モデル(LLM)はことばの生成と評価の両面で活用が広がり,人間のことばの運用に大きく影響を与えることは間違いない.
LLM as a judge と呼ばれる評価への利用はことばの評価を目的に則して柔軟に行うための非常に有望なアプローチとして期待される一方で,LLMが苦手なことは正確な評価が難しいという問題もある.
本ワークショップでは,ことばの評価に関わる様々な知見や技術に関する発表を募るとともに,ことばの自動評価の問題を見つめ直すための shared task を開催し,人間・計算機を問わずことばの評価の現在の姿と今後の展望を幅広く議論することを狙う.
2024-11-22 (金) ワークショップWebサイトの公開
2024-12-26 (木) Shared Task情報の公開、一般発表およびShared Task参加募集開始
2025-02-17 (月) Shared Task参加申し込みおよび一般発表申し込み締切
2025-02-28 (金) Shared Task結果提出締切
2025-03-07 (金) 【任意】予稿・発表資料情報の提出締切
2025-03-14 ワークショップ開催(全日) ※終了しました※