言い換え生成

読者の能力や好みに合わせたテキスト生成のために、スタイルを制御する言い換え生成の研究に取り組んでいます

難解 → 平易（Text Simplification）

- - テキスト平易化モデルの訓練に必要な大量の平易なテキストは、英語以外の多くの言語では利用できません
  - そこで、Wikipediaなどの大量に利用できる普通のテキストのみを用いる教師なし設定でのテキスト平易化に取り組んでいます
    - - 【最優秀論文賞】梶原智之, 小町守. 平易なコーパスを用いないテキスト平易化. 自然言語処理, Vol.25, No.2, pp.223-249, March 2018. [PDF] [Slides]
      - 【優秀研究賞】梶原智之, 小町守. 平易なコーパスを用いないテキスト平易化のための単言語パラレルコーパスの構築. 情報処理学会第229回自然言語処理研究会（第3回自然言語処理シンポジウム）, Vol.2016-NL-229, No.13, pp.1-8, December 2016. [PDF] [Slides]
      - Tomoyuki Kajiwara, Mamoru Komachi. Building a Monolingual Parallel Corpus for Text Simplification Using Sentence Similarity Based on Alignment between Word Embeddings. In Proceedings of the 26th International Conference on Computational Linguistics (COLING 2016), pp.1147-1158, Osaka, Japan, December 2016.（採択率32%）[PDF] [Poster]
      - 梶原智之, 小町守. 単語分散表現のアライメントに基づく文間類似度を用いたテキスト平易化のための単言語パラレルコーパスの構築. 情報処理学会第227回自然言語処理研究会, Vol.2016-NL-227, No.12, pp.1-8, July 2016. [PDF] [Slides]
  - 従来のテキスト平易化の研究では、機械翻訳モデルを流用しており、テキストの難易度が訓練に考慮されていませんでした
  - そこで、単語の難易度を考慮して訓練するテキスト平易化モデルを提案しました
    - - 西原大貴, 梶原智之, 荒瀬由紀. テキスト平易化における語彙制約に基づく難易度制御. 自然言語処理, Vol.27, No.2, pp.189-219, June 2020. [PDF]
      - Daiki Nishihara, Tomoyuki Kajiwara, Yuki Arase. Controllable Text Simplification with Lexical Constraint Loss. In Proceedings of the ACL 2019 Student Research Workshop (ACL 2019 SRW), pp.260-266, Florence, Italy, July 2019.（採択率36%）[PDF] [Poster]
      - 西原大貴, 梶原智之, 荒瀬由紀. ソフトな語彙制約によるテキスト難易度制御の検討. 情報処理学会第240回自然言語処理研究会, Vol.2019-NL-240, No.8, pp.1-6, June 2019. [PDF] [Slides]
  - 従来のテキスト平易化の研究では、機械翻訳モデルを流用しており、テキストの難易度が訓練に考慮されていませんでした
  - そこで、文の難易度を考慮して訓練するテキスト平易化モデルを提案しました
    - - 井川朋樹, 梶原智之, 二宮崇. 文レベルの難易度を用いた強化学習による難易度制御. 人工知能学会第36回全国大会, 2B5-GS-6-03, June 2022. [PDF]
      - Akifumi Nakamachi, Tomoyuki Kajiwara, Yuki Arase. Text Simplification with Reinforcement Learning using Supervised Rewards on Grammaticality, Meaning Preservation, and Simplicity. In Proceedings of the AACL-IJCNLP 2020 Student Research Workshop (AACL-IJCNLP 2020 SRW), pp.153-159, Suzhou, China, December 2020.（採択率51%）[PDF] [Slides]
      - 中町礼文, 梶原智之, 荒瀬由紀. 深層強化学習によるテキスト平易化における文難易度報酬の適用. 言語処理学会第26回年次大会, pp.225-228, March 2020. [PDF] [Poster]
      - 中町礼文, 梶原智之, 荒瀬由紀. 強化学習を用いた難易度制御可能なテキスト平易化. NLP若手の会第14回シンポジウム, P14, August 2019. [Poster]
      - 西原大貴, 梶原智之, 荒瀬由紀. テキスト平易化における難易度の制御. NLP若手の会第13回シンポジウム, P02, August 2018. [Poster]
  - やさしい日本語を生成する日本語のテキスト平易化にも取り組んでいます
    - - 中町礼文, 梶原智之. 事前訓練済み系列変換モデルに基づくやさしい日本語への平易化. 情報処理学会第83回全国大会, pp.607-608, March 2021. [PDF] [Slides]

カジュアル → フォーマル（Formality Transfer）

- - スタイル変換のための訓練データは、数万文対と小規模にしか利用できません（例えば機械翻訳では数百万文対を利用できます）
  - そこで、疑似データでの事前訓練→真のデータでの再訓練、という転移学習の手法を提案しました
    - - Tomoyuki Kajiwara, Biwa Miura, Yuki Arase. Monolingual Transfer Learning via Bilingual Translators for Style-Sensitive Paraphrase Generation. In Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI 2020), pp.8042-8049, New York, USA, February 2020.（採択率21%）[PDF] [Poster]
      - 【若手奨励賞】梶原智之, 三浦びわ, 荒瀬由紀. スタイル変換のための折り返し翻訳に基づく事前訓練. 情報処理学会第241回自然言語処理研究会, Vol.2019-NL-241, No.16, pp.1-8, August 2019. [PDF] [Slides]
      - 【奨励賞】三浦びわ, 梶原智之, 荒瀬由紀. スタイル変換のためのリファレンスなし教師あり学習. NLP若手の会第13回シンポジウム, P39, August 2018. [Poster]
  - スタイル変換では、入出力間で多くの単語が一致するため、必要な書き換えが見逃されやすいという問題があります
  - そこで、この単語はカジュアルな表現なので確実に書き換えなさい、という制約付きの言い換え手法を提案しました
    - - Tomoyuki Kajiwara. Negative Lexically Constrained Decoding for Paraphrase Generation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), pp.6047-6052, Florence, Italy, July 2019.（採択率18%）[PDF] [Poster]
      - 梶原智之. 負の語彙制約に基づくニューラル言い換え生成. 言語処理学会第25回年次大会, pp.691-694, March 2019. [PDF] [Poster]
  - スタイル変換のための訓練データには、入出力間で単語の一致率が高い簡単な変換と単語の一致率が低い難しい変換の両方が含まれます
  - そこで、効果的な訓練のために、簡単な変換から学習して徐々に難しい変換を学んでいくカリキュラム学習の手法を提案しました
    - - Sora Kadotani, Tomoyuki Kajiwara, Yuki Arase, Makoto Onizuka. Edit Distance Based Curriculum Learning for Paraphrase Generation. In Proceedings of the ACL-IJCNLP 2021 Student Research Workshop (ACL-IJCNLP 2021 SRW), pp.229-234, Bangkok, Thailand, August 2021.（採択率39%）[PDF] [Code]
      - 門谷宙, 梶原智之, 荒瀬由紀, 鬼塚真. 編集距離に基づくカリキュラム学習を用いたスタイル変換. 人工知能学会第35回全国大会, 4J1-GS-6d-04, June 2021. [PDF] [Slides] [Code]

研究助成

- - 戦略的創造研究推進事業（JST, ACT-I「情報と未来」）の支援を受けました
  - 研究代表者と研究課題：梶原智之「語彙制限に基づくパーソナライズされたテキスト生成」
  - 期間と直接経費：2018年10月から2020年3月まで、400万円
  - 主な研究成果
    - - 西原大貴, 梶原智之, 荒瀬由紀. テキスト平易化における語彙制約に基づく難易度制御. 自然言語処理, Vol.27, No.2, pp.189-210, June 2020. [PDF]
      - Tomoyuki Kajiwara, Biwa Miura, Yuki Arase. Monolingual Transfer Learning via Bilingual Translators for Style-Sensitive Paraphrase Generation. In Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI 2020), pp.8042-8049, New York, USA, February 2020.（採択率21%）[PDF] [Poster]
      - Tomoyuki Kajiwara. Negative Lexically Constrained Decoding for Paraphrase Generation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), pp.6047-6052, Florence, Italy, July 2019.（採択率18%）[PDF] [Poster]
      - Daiki Nishihara, Tomoyuki Kajiwara, Yuki Arase. Controllable Text Simplification with Lexical Constraint Loss. In Proceedings of the ACL 2019 Student Research Workshop (ACL 2019 SRW), pp.260-266, Florence, Italy, July 2019.（採択率36%）[PDF] [Poster]
      - 【若手奨励賞】梶原智之, 三浦びわ, 荒瀬由紀. スタイル変換のための折り返し翻訳に基づく事前訓練. 情報処理学会第241回自然言語処理研究会, Vol.2019-NL-241, No.16, pp.1-8, August 2019. [PDF] [Slides]

Google Sites

Report abuse