品質推定

機械翻訳などの自然言語処理モデルの品質を評価する研究に取り組んでいます

機械翻訳の自動評価

      • 正解文と出力文を比較して、機械翻訳モデルの品質を自動評価する研究に取り組んでいます

      • 機械翻訳に関する国際会議 WMT において開催された自動評価コンペ (WMT18 Metrics Shared Task) に参加し、ドイツ語→英語・中国語→英語など、→英語の全7言語対で世界最高性能を達成しました

          • 嶋中宏希, 梶原智之, 小町守. 事前学習された文の分散表現を用いた機械翻訳の自動評価. 自然言語処理, Vol.26, No.3, pp.613-634, September 2019. [PDF]

          • Hiroki Shimanaka, Tomoyuki Kajiwara, Mamoru Komachi. Machine Translation Evaluation with BERT Regressor. arXiv:1907.12679, July 2019. [PDF]

          • 嶋中宏希, 梶原智之, 小町守. BERTを用いた機械翻訳の自動評価. 言語処理学会第25回年次大会, pp.590-593, March 2019. [PDF] [Poster]

          • Hiroki Shimanaka, Tomoyuki Kajiwara, Mamoru Komachi. RUSE: Regressor Using Sentence Embeddings for Automatic Machine Translation Evaluation. In Proceedings of the Third Conference on Machine Translation (WMT 18), pp.751-758, Belgium, Brussels, November 2018. [PDF] [Poster]

          • 嶋中宏希, 梶原智之, 小町守. RUSE: 文の分散表現を用いた回帰モデルによる機械翻訳の自動評価. NLP若手の会第13回シンポジウム, P16, August 2018. [Poster]

          • Hiroki Shimanaka, Tomoyuki Kajiwara, Mamoru Komachi. Metric for Automatic Machine Translation Evaluation based on Universal Sentence Representations. In Proceedings of the NAACL 2018 Student Research Workshop (NAACL 2018 SRW), pp.106-111, New Orleans, USA, June 2018.（採択率39%）[PDF] [Poster]

          • 嶋中宏希, 梶原智之, 小町守. 汎用的な文の分散表現を用いた文単位の機械翻訳自動評価. 言語処理学会第24回年次大会, pp.580-583, March 2018. [PDF] [Poster]

機械翻訳の品質推定

      • 入力文と出力文を比較して、正解文なしで機械翻訳モデルの品質を推定する研究に取り組んでいます

      • 多言語の文符号化器から得られる文表現を言語表現と意味表現に分離し、意味表現を用いて品質推定を行う教師なし手法を提案しました

          • 【若手奨励賞】黒田勇斗, 梶原智之, 荒瀬由紀, 二宮崇. 多言語文符号化器の言語表現と意味表現の分離に基づく機械翻訳の品質推定. 言語処理学会第28回年次大会, pp.521-525, March 2022. [PDF] [Slides]

          • Nattapong Tiyajamorn, Tomoyuki Kajiwara, Yuki Arase, Makoto Onizuka. Language-agnostic Representation from Multilingual Sentence Encoders for Cross-lingual Similarity Estimation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), pp.7764-7774, Punta Cana, Dominican Republic, November 2021.（採択率23%）[PDF] [Code]

      • 事前訓練された多言語の文符号化器を「入力文・出力文・翻訳品質」の3つ組で再訓練することで人手評価との高い相関を達成できます

      • 品質推定コンペ (WMT20 Quality Estimation Shard TAsk) に参加し、ピアソン相関で4位、MAEおよびRMSEで2位となりました

          • Akifumi Nakamachi, Hiroki Shimanaka, Tomoyuki Kajiwara, Mamoru Komachi. TMUOU Submission for WMT20 Quality Estimation Shared Task. In Proceedings of the Fifth Conference on Machine Translation (WMT 20), pp.1037-1041, Dominican Republic, Punta Cana, November 2020. [PDF] [Poster]

          • 【若手奨励賞】嶋中宏希, 梶原智之, 小町守. 事前学習された多言語の文符号化器を用いた機械翻訳の品質推定. 言語処理学会第26回年次大会, pp.913-916, March 2020. [PDF] [Poster]

言い換え生成の品質推定

      • 入力文と出力文を比較して、正解文なしで言い換え生成モデルの品質を推定する研究に取り組んでいます

      • 難解な文を平易に言い換えるテキスト平易化のための品質推定用コーパスを構築しました

          • 廣中勇希, 井川朋樹, 梶原智之, 二宮崇. QENTS：テキスト平易化の品質推定のためのデータセット. 言語処理学会第28回年次大会, pp.516-520, March 2022. [PDF] [Slides] [Data]

          • Tomoyuki Kajiwara, Atsushi Fujita. Semantic Features Based on Word Alignments for Estimating Quality of Text Simplification. In Proceedings of the 8th International Joint Conference on Natural Language Processing (IJCNLP 2017), pp.109-115, Taipei, Taiwan, November 2017.（採択率31%）[PDF] [Poster]

      • 文法誤りを含む文を正しく言い換える文法誤り訂正のための品質推定用コーパスを構築しました

          • 吉村綾馬, 金子正弘, 梶原智之, 小町守. 文法誤り訂正の参照文を用いない自動評価の人手評価への最適化. 自然言語処理, Vol.28, No.2, pp.404-427, June 2021. [PDF] [Code]

          • Ryoma Yoshimura, Masahiro Kaneko, Tomoyuki Kajiwara, Mamoru Komachi. SOME: Reference-less Sub-Metrics Optimized for Manual Evaluations of Grammatical Error Correction. In Proceedings of the 28th International Conference on Computational Linguistics (COLING 2020), pp.6516-6522, Barcelona, Spain, December 2020.（採択率26%）[PDF] [Poster] [Code]

研究助成

      • 科学研究費補助金（研究活動スタート支援）の支援を受けました

      • 研究代表者と研究課題：梶原智之「マルチモーダル品質推定に基づく機械翻訳モデルの高度化」

      • 期間と直接経費：2018年8月から2020年3月まで、210万円

      • 主な研究成果

          • 嶋中宏希, 梶原智之, 小町守. 事前学習された文の分散表現を用いた機械翻訳の自動評価. 自然言語処理, Vol.26, No.3, pp.613-634, September 2019. [PDF]

          • Hiroki Shimanaka, Tomoyuki Kajiwara, Mamoru Komachi. Machine Translation Evaluation with BERT Regressor. arXiv:1907.12679, July 2019. [PDF]

          • Hiroki Shimanaka, Tomoyuki Kajiwara, Mamoru Komachi. RUSE: Regressor Using Sentence Embeddings for Automatic Machine Translation Evaluation. In Proceedings of the Third Conference on Machine Translation (WMT 18), pp.751-758, Belgium, Brussels, November 2018. [PDF] [Poster]