第14回最先端NLP勉強会

概要

自然言語処理分野のトップジャーナル・トップ会議であるTACL、ACL、EMNLP、NAACLと直近開催の関連会議（ICLR、ICML、CVPRなど）の論文の中から、参加者の投票によって選ばれた論文を各参加者が分担して紹介する論文読み会です。

• 勉強会の参加者は各自1本の論文を担当し、全体で30 - 50本程度の論文の紹介をします。

• 最新の魅力的な論文や分野の潮流について共有・議論することで今後の研究の種が生まれることを本勉強会の狙いとしています。

開催案内

勉強会

• 日程 2022年9月26日(月)–9月27日(火)

• 会場 お茶の水女子大学（オンライン参加も可）
  ※緊急事態宣言等の発令によって現地開催が難しくなった場合、完全オンライン開催に変更する場合があります。
  ※勉強会直前に感染が発覚した参加者は、オンライン参加もしくは参加を控えていただく場合があります。

• 参加費 無料

懇親会

• 昨今の情勢を踏まえ、運営はホストしないこととしました。

公式ハッシュタグ

#snlp2022

重要日程

1. 参加登録：2022年7月5日 (火)–7月21日(木) 正午

2. 候補論文のリストアップ：2022年7月22日 (金)–8月4日(木) 正午

3. 「これは読むべき」な論文への投票：2022年8月5日 (金)–8月18日(木) 正午

4. 担当する論文への立候補：2022年8月22日 (月) 正午–8月25日(木) 正午

5. スライド提出：2022年9月20日(火) 正午

6. 勉強会：2022年9月26日(月)–9月27日(火)

参加・発表要領

• 有志による互助的な会です。参加者のかたは，以下ご協力を宜しくお願いします。

※変更の可能性がありますのでご注意ください

論文への投票

• 今年のACL、EMNLP、NAACLの論文や、直近1年分のTACLの論文を中心に「これは読むべき」と思われる論文への投票を行います。関連会議（ICLR、ICML、IJCAI、CVPRなど）やarXivにあがっている魅力的な論文があればそれらも投票の対象とします。

• 会議論文に関しては原則 Long Paper （findingsを除く）のみ対象とします。

立候補

• 投票数が上位の論文の中から、発表したい論文に立候補します。

• 複数の論文を選んでいただきテーマ発表として頂くのも大歓迎です。

発表要項

• 発表スライドおよびトークは日本語もしくは英語でご準備下さい。

• 現地またはZoom上での発表となります。発表の様子は録画しませんが、スライドは原則公開します。

• 発表は質疑込み20分 (発表15分+質疑5分程度を想定) を予定しています。2つの論文を選択した方も、20分内で両論文の発表+質疑をしてください。（一人40分の時間は割り当てられないことに注意してください。）

• 選択論文の背景や関連研究などに関する包括的な発表も大歓迎です。

• 聴講のみで参加の方も意欲的に議論にご参加ください。

プログラム

9月26日(月) プログラム

[9:50-10:20] 受付
[10:20-10:30] オープニング
[10:30-12:00] セッション1 - 学際領域 / スポンサー

• 西田京介: Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality (CVPR2022) [paper] [slide]

• 辻村有輝 (オンライン): Zero-Shot Text-to-Image Generation (DALL·E) (ICML2021) [paper] [slide]

• 栗田修平 (オンライン): Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents (ICML2022) [paper] [slide]

• 江原遥 (オンライン): Towards Process-Oriented, Modular, and Versatile Question Generation that Meets Educational Needs (NAACL2022) [paper] [slide]

• スポンサー（NVIDIA様）

[13:30-14:55] セッション2 - プロンプト / スポンサー

• 磯沼大: Finetuned Language Models are Zero-Shot Learners (ICLR2022) [paper] [slide]

• 森下睦: Do Prompt-Based Models Really Understand the Meaning of Their Prompts? (NAACL2022) [paper] [slide]

• 丹羽彩奈: Learning To Retrieve Prompts for In-Context Learning (NAACL2022) [paper] [slide]

• スポンサー（ELYZA様）

• スポンサー（LINE様）

[15:10-16:30] セッション3 - 数理モデル・情報理論と言語処理

• 井上誠一: Pre-training and Fine-tuning Neural Topic Model: A Simple yet Effective Approach to Incorporating External Knowledge (ACL2022) [paper] [slide]

• 持橋大地: [slide]

  • Language modeling via stochastic processes (ICLR2022) [paper]

  • On Homophony and Rényi Entropy (EMNLP2021) [paper]

• 栗林樹生: [slide]

  • Revisiting the Uniform Information Density Hypothesis (EMNLP2021) [paper]

  • Linguistic Dependencies and Statistical Dependence (EMNLP2021) [paper]

• 吉川和: Probing as Quantifying Inductive Bias (ACL2022) [paper] [slide]

[16:45-18:25] セッション4 - 埋め込み空間の幾何

• 横井祥: Revisiting Over-smoothing in BERT from the Perspective of Graph (ICLR2022) [paper] [slide]

• 笹野遼平: A Closer Look at How Fine-tuning Changes BERT (ACL2022) [paper] [slide]

• 平岡達也: Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings (ACL2022) [paper] [slide]

• 山田康輔: A Contrastive Framework for Learning Sentence Representations from Pairwise and Triple-wise Perspective in Angular Space (ACL2022) [paper] [slide]

• 三輪誠: Word2Box: Capturing Set-Theoretic Semantics of Words using Box Embeddings (ACL2022) [paper] [slide]

[18:25-18:35] クロージング

9月27日(火) プログラム

[9:50-10:00] オープニング
[10:00-11:40] セッション1 - 知識と言語モデル

• 吉野幸一郎: Symbolic Knowledge Distillation: from General Language Models to Commonsense Models (NAACL2022) [paper] [slide]

• 小林悟郎: Knowledge Neurons in Pretrained Transformers (ACL2022) [paper] [slide]

• 松田耕史: Editing Factual Knowledge in Language Models (EMNLP2021) [paper] [slide]

• 西田光甫: Memorisation versus Generalisation in Pre-trained Language Models (ACL2022) [paper] [slide]

• Benjamin Heinzerling: An Empirical Study of Memorization in NLP (ACL2022) [paper] [slide]

[13:00-14:00] セッション2 - 言語資源・評価

• 平澤寅庄: Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation (TACL2021) [paper] [slide]

• 銭本友樹: What does the sea say to the shore? A BERT based DST style approach for speaker to dialogue attribution in novels (ACL2022) [paper] [slide]

• 赤間怜奈: Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus (EMNLP2021) [paper] [slide]

[14:15-15:15] セッション3 - 統語・意味・固有表現抽出

• 吉田遼: The Grammar-Learning Trajectories of Neural Language Models (ACL2022) [paper] [slide]

• 阿部香央莉: DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings (NAACL2022) [paper] [slide]

• 芝原隆善: Distantly Supervised Named Entity Recognition via Confidence-Based Multi-Class Positive and Unlabeled Learning (ACL2022) [paper] [slide]

[15:30-16:30] セッション4 - モデル構造・デコーディング

• 高瀬翔: ABC: Attention with Bounded-memory Control (ACL2022) [paper] [slide]

• 村山友理: infty-former: Infinite Memory Transformer (ACL2022) [paper] [slide]

• 井之上直也: NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead Heuristics (NAACL2022) [paper] [slide]

[16:45-17:45] セッション5 - 構文・意味解析

• Youmi Ma: Zero-Shot Cross-lingual Semantic Parsing (ACL2022) [paper] [slide]

• 上田亮: Strong Equivalence of TAG and CCG (TACL2021) [paper] [slide]

• 宮尾祐介: Making Transformers Solve Compositional Tasks (ACL2022) [paper] [slide]

[17:45-17:55] クロージング

参加者（敬称略）

発表 (33名)
Heinzerling Benjamin (理研 / 東北大), Ma Youmi (東工大), 三輪誠 (豊田工大), 上田亮 (東大), 丹羽彩奈 (東工大), 井上誠一 (都立大), 井之上直也 (JAIST), 吉川和 (東工大 / 富士通), 吉田遼 (東大), 吉野幸一郎 (理研), 宮尾祐介 (東大), 小林悟郎 (東北大), 山田康輔 (名大), 平岡達也 (富士通), 平澤寅庄 (都立大), 持橋大地 (統数研), 村山友理 (お茶大), 松田耕史 (理研 東北大), 栗林樹生 (東北大 / Langsmith), 栗田修平 (理研), 森下睦 (NTT CS研), 横井祥 (東北大), 江原遥 (学芸大学), 磯沼大 (東大), 笹野遼平 (名大), 芝原隆善 (理研 / レトリバ), 西田京介 (NTT人間情報研), 西田光甫 (NTT人間情報研 / 東大), 赤間怜奈 (東北大), 辻村有輝 (豊田工大), 銭本友樹 (筑波大), 阿部香央莉 (東北大), 高瀬翔 (東工大)

聴講 (20名)

Gao Bowen (JAIST), Yuting Shi (JAIST), 中澤敏明 (東大), 井田龍希 (豊田工大), 大井拓 (豊田工大), 寺西裕紀 (理研), 小林一郎 (お茶大), 小林颯介 (PFN), 小町守 (都立大), 山田晃士 (豊工大), 松原拓磨 (豊田工大), 松林優一郎 (東北大), 水木栄 (東京工大 / ホットリンク), 渡邉研斗 (産総研), 牛久祥孝 (オムロン), 石月由紀子 (東北大), 賀沢秀人 (Google), 鈴木潤 (東北大), 飯田大貴 (東工大), 高山隼矢 (ヤフー)

聴講 - スポンサー (7名)

垣内弘太 (株式会社ELYZA), 曽我部亮 (株式会社ELYZA), 三澤遼 (株式会社ELYZA), 藤山裕子 (エヌビディア合同会社), 清野舜 (LINE株式会社), 佐藤敏紀 (LINE株式会社), 中町礼文 (LINE株式会社)

ご支援（50音順）

実行委員会

委員へのお問い合わせは <snlp2022(at)googlegroups.com> へお願いいたします。

• 渡邉研斗 (産総研) <kento.watanabe(at)aist.go.jp>

• 高山隼矢 (ヤフー) <takayama.junya(at)ist.osaka-u.ac.jp>

• 赤間怜奈 (東北大 鈴木研) <akama(at)tohoku.ac.jp>

• 栗林樹生 (東北大 乾研) <kuribayashi(at)tohoku.ac.jp>

• 村山友理 (お茶大 小林研) <murayama.yuri(at)is.ocha.ac.jp>

• 寺西裕紀 (理研) <hiroki.teranishi(at)riken.jp>

• 平澤寅庄 (都立大 小町研) <hirasawa-tosho(at)ed.tmu.ac.jp>

• 上田 亮 (東大 宮尾研) <ryoryoueda(at)is.s.u-tokyo.ac.jp>

• 吉田 遼 (東大 大関研) <yoshiryo0617(at)g.ecc.u-tokyo.ac.jp>