文章の評価と品質推定

• プログラム，一般発表リストを公開しました．(2021/02/27)

• 予稿が提出された一般発表について予稿を公開しました．(2021/03/08)

• ワークショップは盛況のもと終了しました．ご参加の皆様ありがとうございました．(2021/03/19)

• 西野様の講演につき資料公開の許可をいただきましたので，資料へのリンクを置きました．(2021/03/22)

• 水本様の講演につき資料が一般公開されましたので，本ページにもリンクを置きました．(2021/05/17)

自動言語生成の技術が急速に進展し、時に人間以上の品質と言われるようになった。

このような時代にBLEU等単純な自動評価はもはや力不足であり、BERT等を用いた高精度な自動評価が提唱されている。

また、参照文との比較によらない品質推定と呼ばれる技術も進化を遂げている。

一方で自然言語処理は人間の書いた文章の評価や品質推定にも利用され、その対象は人間か機械かという垣根を越えつつあるとも言える。

本ワークショップでは様々な評価・品質推定タスクを横断的に捉え、人間や機械の「作文」の巧拙をどう見極めるか、について、

評価や品質推定の観点だけでなく、人間の作文支援や自動言語生成の観点も含めて広く議論することを趣旨とする。

• 2020/12/15 (火) スケジュール公開・発表申し込み開始

• 2021/12/25 (金) 招待講演者の公開

• 2021/01/14 (木) 招待講演題目の公開

• 2021/02/01 (月) 招待講演概要の公開

• 2021/02/22 (月) 13:59 発表申し込み締切（2月22日の2時と覚えておいてください）

• 2021/02/26 (金) 23:59 発表申し込み締切（今回は 23:59 です）

• 2021/02/27 (土) プログラム公開

• 2021/03/08 (月) 予稿公開（提出者のみ）

• 2021/03/19 (金) ワークショップ当日

• 2021年3月19日 (金)

• Zoomミーティングによるオンライン開催

  • 一般発表・ディスカッションではZoomミーティングの「ブレイクアウトルーム」を利用します．Zoomのクライアントアプリケーションを利用されていらっしゃる方は最新版へのアップデートをお願いします．

** 本ワークショップは 言語処理学会第27回年次大会 の一部として開催されます．**
** ワークショップのみ参加される場合でも年次大会への参加登録が必要です．**

• 10:00-10:10　オープニング

• 10:10-10:50　招待講演1【高村様】

• 10:50-11:00　ショートブレイク

• 11:00-11:40　招待講演2【水本様】

• 11:40-12:40　ランチブレイク

• 12:40-13:20　招待講演3【西野様】

• 13:20-14:40　一般発表（ポスター形式）

• 14:40-15:10　グループディスカッション

• 15:10-15:40　全体ディスカッション

• 15:40-15:45　クロージング

招待講演1: 高村 大也 様（産業技術総合研究所／東京工業大学）

「言語生成研究とその評価」

言語生成と聞くと、ニューラル機械翻訳やGPT-3などを思い浮かべる方が多いかもしれないが、それらは言語生成のある限られた側面である。本講演では、言語生成研究分野をもう少し広く眺め、様々な言語生成研究課題を通して、内容選択や内容プランニング、または文脈や状況の取り扱いなど、考慮すべきいくつかの側面を紹介する。また、これらの側面を扱うに伴い、評価方法も柔軟に決定する必要がある。ここでは、言語生成におけるいくつかの評価の試みを紹介し、その難しさや今後の方向性について議論する。

招待講演2: 水本 智也 様（フューチャー株式会社／理化学研究所 革新知能統合研究センター）

「NLP言語教育応用と言語評価タスク」（資料）

本講演では、NLPの言語教育応用から「システムの出力を参照文を使わずに評価する」タスクと「人間の書いた文章を評価する」タスクを紹介する。前者として文法誤り訂正の自動評価を、後者として国語の記述式答案の自動採点を題材とする。どちらのタスクもNLPの言語教育応用タスクであり「言語を評価」するものではあるが、全く異なる観点から評価されるものである。そのあたりのタスクの評価の考え方からデータセット・代表的な手法・タスクの評価方法まで幅広く紹介する。

招待講演3: 西野 竜太郎 様（合同会社グローバリゼーションデザイン研究所）

「翻訳品質とJTFガイドラインの概要」（資料）

翻訳の「品質」が何を指すのかは、翻訳業界内でも共通認識がある状態ではなかった。しかし2014年以降、Fieldsらが翻訳品質を5つに分類したり、人手評価手法であるMQMが開発されたりと、業界内で共通認識を確立しようとする動きが海外で出てきた。これを受け、日本でも2018年に「JTF翻訳品質評価ガイドライン」が作られた。本講演では、翻訳品質およびJTFガイドラインの概要を解説する。

以下7件の一般発表が行われます（掲載は申込順）．
各発表はZoomのブレイクアウトルームを利用したポスター形式です．

WS3-1 文法誤り訂正における品質推定モデルに対する習熟度の影響の分析
高橋悠進，金子正弘，小町守（都立大）

WS3-2 論述リライトタスクの提案と自動評価の実現に向けて （予稿PDF）
三田雅人（理研/東北大），萩原正人（Octanove Labs），坂口慶祐（Allen Institute of AI），水本智也（フューチャー/理研），鈴木潤（東北大/理研），乾健太郎（東北大/理研）

WS3-3 模擬試験による研究利用可能な日本語小論文データの構築と採点 （予稿PDF）
竹内孔一，田口雅弘，稲田佳彦，飯塚誠也，阿保達彦，上田均（岡山大）

WS3-4 児童作文の評価基準策定に向けた脱文脈化観点からの検討
田中弥生（神奈川大/国語研） 、佐尾ちとせ（関西学院千里国際中等部・高等部）、宮城信（富山大）

WS3-5 自然言語推論に基づく誤り検出器を用いた和文英訳自動添削システム
松井颯汰，綱川隆司，西田昌史，西村雅史（静岡大学）

WS3-6 実用的な自動採点のための確信度推定と根拠事例の提供
舟山弘晃（東北大/理研），王天奇（東北大/理研），松林優一郎（東北大/理研），水本智也（フューチャー/理研），佐藤汰亮（東北大/理研），鈴木潤（東北大/理研），乾健太郎（東北大/理研）

WS3-7 システム訳文のみを用いた自動評価との比較による機械翻訳自動評価の分析
高橋洸丞（NAIST），須藤克仁（NAIST/さきがけ），中村哲（NAIST）

本ワークショップでは文章の評価・品質推定に関するグループディスカッションを行います．ディスカッションのテーマ設定の参考とするため，ワークショップ参加予定の方々にアンケートを実施させていただきました．

アンケート回答はこちらから

グループディスカッションは以下の3つのテーマに分かれて実施します．
それぞれブレイクアウトルームに分かれて，事前に指名したディスカッションリーダーに主導していただきます．

• 対話

• 教育

• 翻訳（＋その他）

• 須藤 克仁 （奈良先端科学技術大学院大学）

• 小町 守 （東京都立大学）

• 梶原 智之 （愛媛大学）