LINE株式会社 四谷オフィス カンファレンスルーム（コモレ四谷 22F）
＋ オンライン (ビデオ会議システムとしてZoomを利用予定)
現地会場アクセス: 後日掲載
発表者は現地参加を推奨しますが、オンラインでの発表も可能です。
10:00 開場
10:25-10:30 オープニング
10:30-12:30 深層学習（一般セッション）
12:30-13:30 休憩
13:30-14:20 招待講演
14:20-14:30 休憩
14:30-16:00 データ構築とその有用性（一般セッション）
16:00-16:10 休憩
16:10-17:40 若手・萌芽セッション
17:40-17:50 クロージング
（※若手奨励賞の対象者には著者名の前に「○」を付けています）
[10:30-12:30] 深層学習（一般セッション 発表4件）［座長：内海 慶（LINE）］
[1] 語彙内トークンを媒介とした大規模言語モデルへのソフトプロンプトの転移
○中島 京太郎，金 輝燦，平澤 寅庄（東京都立大学大学院），岡 照晃，小町 守（一橋大学大学院）
プロンプトチューニングとは，下流タスクの教師信号を基に，埋め込みで表されたプロンプト，ソフトプロンプトを学習する手法である．ソフトプロンプトは入力文とともにモデルに与えられ，学習された下流タスクの情報を入力文に追加する効果がある．プロンプトチューニングは少量のパラメータ更新のみで微調整に匹敵する性能を達成できる．しかし大規模言語モデルのプロンプトチューニングは大量の計算コスト・時間がかかる．本研究では小規模な言語モデルで学習したソフトプロンプトを言語モデルの語彙内トークンに置換し，パラメータを固定したまま大規模な言語モデルに転移させる手法を提案する．提案手法の性能を分類タスクで比較したところ，人手で作成したプロンプトより高い性能を得た．またソフトプロンプトとの比較では，性能は提案手法が下回るものの，使用GPUメモリ量や収束までの時間を削減することができた．
[2] タグ付けモデルと埋め込みモデルのアンサンブルに基づき固有表現を考慮するニューラル機械翻訳モデル
○南端 尚樹，田村 晃裕，加藤 恒夫（同志社大学）
ニューラル機械翻訳の翻訳性能を改善するため，原言語文と目的言語文の固有表現（NE）を活用する試みがなされている．NEを活用する代表的な方法として，これまで，文中のNEの前後に，NEの種類と開始／終了情報を含むNEタグを挿入する「タグ付けモデル」と，エンコーダとデコーダの埋め込み層でNEの埋め込みベクトルを追加する「埋め込みモデル」が提案され，それぞれの有効性が確認されている．また，両モデルの比較実験により，タグ付けモデルはNEを含む文に対する翻訳性能が高く，埋め込みモデルはNEを含まない文に対する翻訳性能が高いことが確認されており，両モデルの傾向が異なることが示されている．そこで本研究では，タグ付けモデルと埋め込みモデルのアンサンブルにより固有表現を考慮する新たなニューラル機械翻訳モデルを提案する．具体的には，提案モデルではタグ付けモデルと埋め込モデルによる生成確率を平均した確率に基づき目的言語文を生成する．WMT2014の英語とドイツ語間の翻訳タスク及びWMT2020の英語と日本語間の翻訳タスクにおいて提案モデルを評価した結果，アンサンブルにより英独翻訳では最大0.76ポイント，独英翻訳では最大1.29ポイント，英日翻訳では最大0.6ポイント，日英翻訳では最大0.92ポイントBLEUが向上することを確認した．
[3] 多言語意味解析器における文字系列情報の有用性に関する分析
○黒澤 友哉，谷中 瞳（東京大学）
本論文では，エンコーダ・デコーダモデルを用いた多言語意味解析器における文字系列情報の有用性について詳細な分析を行なう．提案手法では，正しい文字系列情報を与えて学習した学習済みモデルに対し，無意味な文字系列情報を与えて評価することにより，正しい文字系列情報が予測に与える影響を測る．実験により，対象となるすべての言語の精度向上に寄与する一方で，その大きさと分散は言語と利用するデータの量によって大きく変動することがわかった．特にイタリア語では，単語の先頭の文字が性能向上に大きく寄与していることがわかった．
[4] 未知の知識に対する事前学習済み言語モデルが持つ推論能力の調査
○坂井 優介，上垣外 英剛（奈良先端科学技術大学院大学），林 克彦（北海道大学），渡辺 太郎（奈良先端科学技術大学院大学）
事前学習済み言語モデル (PLM) は事前学習時に獲得した言語理解能力や知識によって，既知の事象に対して推論を行うことができる一方，未知の事象に対してはPLMの推論能力のみで解を導き出す必要がある．しかし言語モデルの推論能力のみを評価するには，PLMが事前学習時に記憶した知識と獲得した推論能力を完全に切り分けた分析が必要となり，既存のデータセットで測定するのは，事前学習時の記憶が作用してしまうため困難である．本研究ではPLMの推論能力の分析に，知識グラフ上の既知の関係から欠損している未知の関係を予測するタスクである知識グラフ補完 (KGC) を対象とする．KGCにおいて埋め込みに基づく従来手法は推論のみから欠損箇所を予測する一方，近年利用されているPLMを用いた手法では事前学習時に記憶したエンティティに関する知識も利用している．そのためKGCは記憶した知識の利用と推論による解決との両側面を有することから，PLMが記憶する知識の影響を測るのに適したタスクである．我々はKGCに対し知識と推論による性能向上を切り分けて測定するための評価方法及びそのためのデータ構築手法を提案する．本研究ではPLMが事前学習時にエンティティに関する知識の記憶により推論を行っている箇所を明らかにし，PLMに備わっている未知の事象に対する推論能力も同時に学習していることを示唆する結果が得られた．
[13:30-14:20] 招待講演［座長：佐藤 敏紀（LINE）］
[5] マルチリンガルな言語モデル入門：これまでとこれから
李 凌寒（LINE株式会社）
複数の言語を操るマルチリンガルな言語モデルは、グローバル化が進む今日の世界にとって必須の技術である。ChatGPTが複数言語の入出力に対応し翻訳までこなせるように、既に高度な多言語能力を備えたモデルも存在しているが、未だ課題が残る領域である。本講演ではマルチリンガルな言語モデルについて、その構築方法や、未だに謎の多い多言語能力の源泉を探る試みについて紹介し、大規模言語モデルの多言語化に関する課題や今後の展望について考察する。
[14:30-16:00] データ構築とその有用性（一般セッション 発表3件）［座長：吉野 幸一郎（理研）］
[6] 補助タスクを利用した話者の親密度推定モデルの半教師あり学習に対する予備的検討
○三浦 拓人，金井 秀明，白井 清昭（北陸先端科学技術大学院大学）
近年，ユーザがどれだけ親しみやすさを感じているかに応じて対話内容を制御する対話システムの実現に向けて，話者が相手に対して抱く親密度を推定する研究が盛んに行われている．しかし，親密度のラベルが付与されたコーパスの整備が進んでいないことから，先行研究による親密度推定の精度はそれほど高くない．そこで，本研究は，少量のラベル付きデータと大量のラベルなしデータの両方を用いる半教師あり学習手法を探求する．半教師あり学習の既存手法は，全般的に，ラベル付きデータセット内の特異なデータの割合が大きい場合，それによって学習された初期モデルの性能が低く，これを用いたラベルなし訓練データに対する自動ラベル付けが上手くいかない課題がある．これに対し，我々は，親密度推定タスクと関連があり，充分な量のラベル付きデータが確保できる補助タスクのモデルを活用し，初期モデルの品質を向上させる手法を提案する．その予備的検討として，本論文では，感情認識タスクと対話行為推定タスクについて，それらの補助タスクとしての妥当性を検証した．その結果，これら2つのタスクが話者の親密度推定の半教師あり学習に用いる補助タスクとして有望であることを確認した．
[7] llm-japanese-dataset v0: 大規模言語モデルのための日本語チャットデータセット構築
○平野 正徳，鈴木 雅弘，坂地 泰紀（東京大学）
本研究では，大規模言語モデルのための，日本語チャットデータセットを構築した． 本データセットは，約840万件のデータを含んでおり，翻訳タスクや，知識タスクなど，様々なタスクをチャット形式で含んだものとなっている． 構築したデータセットの有効性を確認するために，既存の大規模言語モデルをチューニングし，性能向上を定性的に確認し，日本語における大規模言語モデルや言語資源の構築における課題を明らかにした．
[8] 指示調整言語モデルによる質問応答ペアの自動生成
○高橋 洸丞，近江 崇宏，有馬 幸介（ストックマーク），石垣 達也（産業技術総合研究所人工知能研究センター）
本論文では、大規模言語モデルを質問応答タスク向けに追加学習するための、低コストなデータセット構築手法を提案する。質問応答モデルの訓練では、質問と回答のペアデータを用いて言語モデルを追加学習する手法が、資源豊富な英語圏では一般的である。しかし、日本語を含む非英語圏の多くでは、学習に必要な質問回答ペアが不足している。よって、質問応答ペアを人手・機械的に作成する必要がある。既存手法では、人手で作成された質問応答ペアから質問および応答の生成モデルを教師あり学習しており、人手のデータ作成コストが問題となる。そこで本研究では、質問応答の中でも質問とコンテキストが与えられた状態で答えを生成するコンテキスト付きQAタスクに着目し、擬似的な質問応答ペアを指示調整言語モデルを用いてコンテキストから自動生成する手法を調査する。提案手法で自動生成した質問応答ペアデータでGPTモデルをファインチューニングすることで、質問応答モデルを構築した。JSQuADデータセットを用いた実験において、提案手法は人手によるデータ作成コストが不要にも関わらず、人手で作成した質問応答データで訓練したモデルと同等の性能を示した。
[16:10-17:40] 若手・萌芽セッション（発表5件）［座長：須藤 克仁（NAIST）］
[9] 否定表現を伴う文における含意関係認識のための対偶によるデータ拡張
○内田 巧（滋賀大学大学院データサイエンス研究科），南條 浩輝（滋賀大学データサイエンス学部）
二文間の推論関係を認識する含意関係認識の研究が近年盛んになっている．現状の含意関係認識では，否定表現による文意の変化を捉えられていないという課題がある．否定表現を伴う含意関係認識用データセットはこれまでに存在するものの，質・量ともに十分でない．そこで本研究では，否定表現をほぼ含まない既存の含意関係認識用データセットに対して対偶をとることで，否定表現を伴う含意関係認識用データセットを生成した．対偶をとることで含意関係は変化しないにもかかわらず，対偶をとった否定表現を含む文に対しては，元のデータセットで学習したBERTでは含意関係認識の精度が低下することを確認した．次に対偶により拡張したデータセットを用いてBERTを学習したところ，既存のデータセットへの推論性能を悪化させることなく，対偶によって得られた文の関係性を捉えられるようになった．
[10] Extracting PICO Elements from Medical Articles with Label Information and Pre-trained Language Models
Le TienDung（Cinnamon AI, Vietnam），Nguyen MinhTien（Hung Yen University of Technology and Education/Cinnamon AI, Vietnam），Hoshiko Hiroyuki，Kitamura Banri（Suntory Holdings Limited, Japan），Takagi Motoshige，Ngo HoangNam（Suntory System Technology Limited, Japan）
This paper introduces a model for extracting PICO elements from medical articles. Different from prior work which directly fine-tunes pre-trained language models for the extraction, we design a new model based on pre-trained language models (e.g. BioELECTRA) with the utilization of label text (information) of entities. To do that, label text (e.g. interventions) is converted to short queries and encoded in the query embedding channel to avoid information saturation between short queries and a long context input. After encoding, information from query embedding and encoded vectors of the input context is fused to capture its mutual interaction. The model is trained by using an end-to-end manner to predict labels of each token. Experimental results on biomedical datasets show that the model is competitive on EBM-NLP and other biomedical datasets. The model is simple, easy to train and deploy in industrial settings. The output can be also applied to medical and food industries for R&D.
[11]テーブル質問応答タスクのための sub-table rescorer
小島 淳嗣（株式会社マネーフォワード）
テーブル質問応答タスクにおいて inner table retriever (ITR) の性能を向上させるため, サブテーブ ル単位で信頼度を推定する sub-table rescorer (STR) を提案する．ITR は効率的かつ正確な推論のため， 元のテーブルから top-N 個のサブテーブルを抽出する．さらに，N 個のサブテーブルを tabular language model (TLM) に入力することで N 個の回答候補を得る．最終的に TLM の信頼度が最も高い回答を候補 から選択する．本研究では, STR を用いて ITR を改善するための 2 つの異なるアプローチを探索する． １つ目のアプローチでは, STR をスコアリングのために用いる．このアプローチでは， top-N 個 の サブ テーブルを選択する直前に得られるサブテーブルのリストを STR によってリスコアリングした後，top-N 個のサブテーブルを得る．二つ目のアプローチでは, 回答候補から回答を選択する際に，STR のスコアを TLM のスコアと組み合わせる．このアプローチでは, STR と TLM の信頼度を組み合わせて，回答候補 から最も信頼度の高い出力を解答として選択する．STR はクエリエンコーダーとサブテーブルエンコー ダーの 2 つのエンコーダーで構成され, クエリとして質問, ポジティブサンプルとして，回答となるセルを 含むサブテーブルを使用して fine-tune される．ネガティブサンプルは, テーブル内のセルに答えを含まな いサブテーブルを元のテーブルからサンプリングすることで得る．モデル全体は contrastive loss に基づ いて学習される．実験では, テーブル質問応答データセットを用いて，STR の有効性を評価した．実験の 結果, スコアを統合するアプローチは, リスコアリングに基づくアプローチよりも優れていることが示され た．STR を ITR に適用することで, リスコアリングに基づくアプローチとスコアを融合するアプローチ において, それぞれ 3.7%，5.6% エラー率が削減した．
[12]深層的特徴を考慮した自然言語処理による意識体験ナラティブ分析の試み
○土井 智暉（東京大学），宮原 克典（北海道大学 人間知・脳・AI研究教育センター(CHAIN)），新川 拓哉（神戸大学），濱田 太陽（株式会社アラヤ），西田 知史（情報通信研究機構(NICT) 未来ICT研究所 脳情報通信融合研究センター(CiNet)），谷中 瞳（東京大学）
近年、自然言語処理を活用したナラティブ分析が行われているが、既存の分析ではナラティブの表層的な特徴に焦点が当てられており、意味や構造といった深層的な特徴の分析が課題である。そこで本研究では、より深層的な特徴を考慮した分析手法を検討する。実験では、抽象度辞書および述語項構造解析を用いて、宮原ら(2020)が提案した意識体験記述訓練が被験者に与える影響を分析した。その結果、述語項構造解析による分析においては、記述訓練に起因するナラティブの構造的な変化を検出できることが示された。
[13]ドメイン適応のためのSentencePieceにおける語彙追加
○梶浦 照乃，髙野 志歩，相馬 菜生（日本女子大学），平岡 達也（富士通株式会社 / 東京工業大学），倉光 君郎（日本女子大学）
言語モデルには、事前学習とタスクのドメインが異なると、語彙の過分割によって性能が十分に発揮できないという課題がある。このようなドメイン固有の語彙を適切に扱えるようにする一つの方法は、語彙サイズを拡張してこれらの語を追加することである。本研究では、SentencePieceで構築された語彙から複数のトークンで表現される語を抽出し、新しい語彙に置き換えることで追加語彙の埋め込み表現を構築することを提案する。提案手法によって、数千語単位の語彙を追加する余地が生まれ、未学習の言語や領域の語彙を追加学習することが可能となる。本稿では、日本語T5と多言語T5に対して、日本語語彙をPython言語の語彙 (予約語/識別子) に置換による語彙追加を行い、JGLUEタスクとプログラミングタスクで評価した結果を報告する。
発表申込締切: 2023年7月24日（月）2023年7月31日（月）【※申込受付終了しました】
発表申込サイト: https://ipsj1.i-product.biz/ipsjsig/NL/
※システム側の受付停止までのタイムラグがありますので、以後お申込いただけても今回はご発表いただけません。ご了承ください。
発表申込受付は先着順です。
多数のお申し込みを頂いた場合、次回の研究会でのご発表をお願いする場合があります。
特に今回は1日のみの開催ということもあり、早期に発表申込受付を締め切らせていただく可能性があります。
なるべく早めにお申し込み下さい。
発表申込締切後の発表キャンセルは原則としてできません。
発表申込後にキャンセルの必要が生じた場合は、至急ご連絡ください。
申込前に「研究発表会への参加＞発表申込」に記載の内容をご確認ください。→ リンク
限られた時間で多くのご発表をいただけるように、発表・質疑の時間を通常より短くする可能性があります。
発表申込は先着順のため、所定の件数のお申し込みをいただいた場合は以後のお申し込みは承れません。システムで自動判定ができないため、お申し込み完了後にお断りの連絡をさせていただく場合もございます。何卒ご了承ください。
同週に開催される NLP若手の会 シンポジウム (YANS 2023) とのご発表内容の重複は妨げません。ただしNL研では予稿の事前提出が必須ですのでご注意ください。
若手の発表、萌芽的な内容から構成される若手・萌芽セッションを実施する予定です。発表・質疑の時間を短め（質疑込み20分程度を想定）に設定し、多くのご発表をいただけるように計画しています。
発表申込時に【研究会への連絡事項】の欄で発表区分の選択をお願いします。
原稿提出締切: 2023年8月7日（月）
原稿提出サイト: https://ipsj1.i-product.biz/ipsjsig/NL/
発表申込後，原稿提出締切までに原稿が到着しない場合には，原則として発表を取り消します。
原稿締切後の原稿差し替えはできません。
原稿締切後は、訂正版のアップロードやウェブ上での配布などの差し替えは一切できませんので、予めご留意ください。
※正誤表の掲載が可能な場合がありますのでご相談ください。
研究会参加要領の「発表申込」をご覧ください。→ 研究発表会への参加
※今回の研究会では直前に開催される NLP若手の会 第18回シンポジウム (YANS 2023) と重複する発表申込を受け付けます。
参加申込を開始しました。
情報処理学会 マイページ https://www.ipsj.or.jp/mypage.html の会員メニューから、「イベント一覧・申込」を選択し、申込をしてください。
現地参加・オンライン参加問わず、マイページからのお申込が必ず必要です。
※ 会場での参加申込・参加費のお支払いはできません。必ずマイページからお手続きください。
現地参加の方々は会場受付で参加申込内容の確認をさせていただきます。
申込完了時に送付されるメールを当日提示できるようご準備ください。
詳細は研究会参加要領の「参加申込」をご覧ください。→ 研究発表会への参加
NL研幹事団
board あっと sig-nl.ipsj.or.jp