第13回最先端NLP勉強会

概要

自然言語処理分野のトップジャーナル・トップ会議であるTACL、ACL、EMNLP、NAACLと直近開催の関連会議（ICLR、ICML、CVPRなど）の論文の中から、参加者の投票によって選ばれた論文を各参加者が分担して紹介する論文読み会です。

• 勉強会の参加者は各自1本の論文を担当し、全体で30 - 50本程度の論文の紹介をします。

• 最新の魅力的な論文や分野の潮流について共有・議論することで今後の研究の種が生まれることを本勉強会の狙いとしています。

開催案内

勉強会

• 日程 2021年9月16日(木)–9月17日(金)

• 会場 オンライン開催

• 参加費 無料

懇親会

• 日程 2021年9月17日(金) 19:00-21:00

• 会場 オンライン開催

• 参加費 無料

公式ハッシュタグ

#snlp2021

重要日程

1. 希望日調査：2021年6月4日(金)–6月13日(日)

2. 参加登録：2021年7月2日 (金)–7月15日(木)

3. 候補論文のリストアップ：2021年7月16日 (金)–7月29日(木)

4. 「これは読むべき」な論文への投票：2021年7月30日 (金)–8月12日(木) 正午

5. 担当する論文への立候補：2021年8月16日 (月) 正午–8月19日(木) 正午

6. スライド提出：2021年9月9日(木)

7. 勉強会：2021年9月16日(木)–9月17日(金)

8. アンケート：2021年9月30日(木)

参加・発表要領

• 有志による互助的な会です。参加者のかたは，以下ご協力を宜しくお願いします。

※変更の可能性がありますのでご注意ください

論文への投票

• 今年のACL、EMNLP、NAACLの論文や、直近1年分のTACLの論文を中心に「これは読むべき」と思われる論文への投票を行います。arXivに上がっている魅力的な論文や、関連会議（ICLR、ICML、IJCAI、CVPRなど）のお勧め論文があればそれらも投票の対象とします。

• 会議論文に関しては原則 Long Paper （findingsを除く）のみ対象とします。

立候補

• 投票数が上位の論文の中から、発表したい論文に立候補します。

• 複数の論文を選んでいただきテーマ発表として頂くのも大歓迎です。

発表

• 発表スライドおよびトークは日本語もしくは英語でご準備下さい。

• Zoom上での発表となります。発表の様子は録画しませんが、スライドは原則公開します。

• 発表は質疑込み20分 (発表15分+質疑5分程度を想定) を予定しています。2つの論文を選択した方も、20分内で両論文の発表+質疑をしてください。（一人40分の時間は割り当てられないことに注意してください。）

• 選択論文の背景や関連研究などに関する包括的な発表も大歓迎です。

• 聴講のみで参加の方も意欲的に議論にご参加ください。

プログラム

9月16日(木) プログラム

[09:50-10:00] オープニング

[10:00-11:20] セッション1 - Machine translation / Multimodality

• 西田京介: PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D World (ACL 2021) [paper] [slide]

• 金輝燦: Mind Your Outliers! Investigating the Negative Impact of Outliers on Active Learning for Visual Question Answering (ACL 2021) [paper] [slide]

• 平澤寅庄: Good for Misconceived Reasons: An Empirical Revisiting on the Need for Visual Context in Multimodal Machine Translation (ACL 2021) [paper] [slide]

• 賀沢秀人: Vocabulary Learning via Optimal Transport for Neural Machine Translation (ACL 2021) [paper] [slide]

[11:30-12:50] セッション2 - Resources and evaluation

• Benjamin Marie: Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 769 Papers (ACL 2021) [paper] [slide]

• 菅原朔: Dynabench: Rethinking Benchmarking in NLP (NAACL2021) [paper] [slide]

• 江原遥: Machine Learning–Driven Language Assessment (TACL2020) [paper] [slide]

• 赤間怜奈: Style is NOT a single variable: Case Studies for Cross-Stylistic Language Understanding (ACL 2021) [paper] [slide]

[13:50-15:45] セッション3 - Representation / スポンサー発表

• 渡邉研斗: CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding (ACL 2021) [paper] [slide]

• 山田康輔: ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer (ACL 2021) [paper] [slide]

• 辻村有輝: DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations (ACL 2021) [paper] [slide]

• 飯田大貴: COIL: Revisit Exact Lexical Match in Information Retrieval with Contextualized Inverted List (NAACL2021) [paper] [slide]

• 持橋大地: Adapting Text Embeddings for Causal Inference (UAI 2019) [paper] [slide]

• エヌビディア合同会社様: スポンサー発表

[16:00-17:35] セッション4 - Information extraction / スポンサー発表

• 浅田真生: UniRE: A Unified Label Space for Entity Relation Extraction (ACL 2021) [paper] [slide]

• 牧野晃平: StereoRel: Relational Triple Extraction from a Stereoscopic Perspective (ACL 2021) [paper] [slide]

• 芝原隆善: Modeling Fine-Grained Entity Types with Box Embeddings (ACL 2021) [paper] [slide]

• 相田太一: Learning Lexical Subspaces in a Distributional Vector Space (TACL2020) [paper] [slide]

• LINE株式会社様: スポンサー発表

[17:50-19:10] セッション5 - Mathematical / linguistic theories

• 鷲尾光樹: How (Non-)Optimal is the Lexicon? (NAACL2021) [paper] [slide]

• 篠田一聡: Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning (ACL 2021) [paper] [slide]

• 包含: A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks (ICLR 2021) [paper] [slide]

• 横井祥: Long-tail learning via logit adjustment (ICLR 2021) [paper] [slide]

[19:20-19:30] クロージング

9月17日(金) プログラム

[09:50-10:00] オープニング

[10:00-11:20] セッション1 - Knowledge extraction from language model

• 斉藤いつみ: How Can We Know What Language Models Know? (TACL2020) [paper] [slide]

• 坪井祐太: Knowledgeable or Educated Guess? Revisiting Language Models as Knowledge Bases (ACL 2021) [paper] [slide]

• 寺西裕紀: Making Pre-trained Language Models Better Few-shot Learners (ACL 2021) [paper] [slide]

• 小林颯介: Calibrate Before Use: Improving Few-Shot Performance of Language Models (ICML 2021) [paper] [slide]

[11:30-12:50] セッション2 - Language model / Multilinguality

• 宇田川拓真: Implicit Representations of Meaning in Neural Language Models (ACL 2021) [paper] [slide]

• 笹野遼平: PMI-Masking: Principled masking of correlated spans (ICLR 2021) [paper] [slide]

• 阿部香央莉: Evaluating morphological typology in zero-shot cross-lingual transfer (ACL 2021) [paper] [slide]

• 平岡達也: How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models (ACL 2021) [paper] [slide]

[13:50-15:1015:05] セッション3 - Model analysis / Linguistic probing

• 清野舜: Reservoir Transformers (ACL 2021) [paper] [slide]

• 丹羽彩奈: UnNatural Language Inference (ACL 2021) [paper] [slide]

• 村山友理: What Context Features Can Transformer Language Models Use? (ACL 2021) [paper] [slide]

• 神藤駿介: Causal Analysis of Syntactic Agreement Mechanisms in Neural Language Models (ACL 2021) [paper] [slide]

[15:25-16:45][15:20-16:40] セッション4 - Language model / Inductive bias

• 岡崎直観: A Cognitive Regularizer for Language Modeling (ACL 2021) [paper] [slide]

• 吉川将司: Meta-Learning to Compositionally Generalize (ACL2021) [paper] [slide]

• Youmi Ma: Examining the Inductive Bias of Neural Language Models with Artificial Languages (ACL 2021) [paper] [slide]

• 栗林樹生: What they do when in doubt: a study of inductive biases in seq2seq learners (ICLR 2021) [paper] [slide]

[17:00-18:20][16:55-18:15] セッション5 - Language generation

• 高山隼矢: Prefix-Tuning: Optimizing Continuous Prompts for Generation (ACL 2021) [paper] [slide]

• 水木栄: A Distributional Approach to Controlled Text Generation (ICLR 2021) [paper] [slide]

• 高瀬翔: Efficient Content-Based Sparse Attention with Routing Transformers (TACL2021) [paper] [slide]

• 宮尾祐介: Determinantal Beam Search (ACL 2021) [paper] [slide]

[18:20-18:30][18:15-18:25] クロージング

[19:00-21:00] オンライン懇親会

参加者（敬称略・組織名順）

発表 (41名)
賀沢秀人 (Google)，芝原隆善 (NAIST 渡辺研)，Marie Benjamin (NICT)，斉藤いつみ (NTT)，西田京介 (NTT)，小林颯介 (PFN)，坪井祐太 (PFN)，村山友理 (お茶大 小林研)，笹野遼平 (名大 武田・笹野研)，山田康輔 (名大 武田・笹野研)，菅原朔 (国立情報学研究所)，高山隼矢 (阪大 鬼塚研)，包含 (東大 杉山・横矢・石田研)，宇田川拓真 (東大 相澤研)，篠田一聡 (東大 相澤研)，神藤駿介 (東大 宮尾研)，宮尾祐介 (東大 宮尾研)，鷲尾光樹 (東大 宮尾研)，江原遥 (東京学芸大)，Ma Youmi (東工大 岡崎研)，岡崎直観 (東工大 岡崎研)，高瀬翔 (東工大 岡崎研)，丹羽彩奈 (東工大 岡崎研)，平岡達也 (東工大 岡崎研)，水木栄 (東工大 岡崎研 / ホットリンク)，飯田大貴 (東工大 岡崎研 / レトリバ)，相田太一 (都立大 小町研)，金輝燦 (都立大 小町研)，平澤寅庄 (都立大 小町研)，赤間怜奈 (東北大 鈴木研)，阿部香央莉 (東北大 乾研)，横井祥 (東北大 乾研)，吉川将司 (東北大 乾研)，栗林樹生 (東北大 乾研 / Langsmith)，寺西裕紀 (理研)，清野舜 (理研 / 東北大 乾研)，渡邉研斗 (産総研)，持橋大地 (統計数理研究所)，浅田真生 (豊田工業大 知能数理研)，辻村有輝 (豊田工業大 知能数理研)，牧野晃平 (豊田工業大 知能数理研)

聴講 (21名)
石渡祥之佑 (Mantra)，大内啓樹 (NAIST 渡辺研)，須藤克仁 (NAIST 知能コミュニケーション研)，藤田篤 (NICT)，海野裕也 (PFN)，小林一郎 (お茶大 小林研)，牛久祥孝 (オムロンサイニックエックス)，亀田尭宙 (国立歴史民俗博物館)，佐藤翔悦 (東大 吉永研)，Sutar Pratik (東大 宮尾研)，近藤崇宏 (東大 宮尾研)，中澤敏明 (東大 鶴岡研)，Ben RimWiem (東工大 岡崎研)，ムン サンファン (東工大 岡崎研)，Zhang Zizheng (都立大学 小町研)，ギコウセイ (都立大 小町研)，チョウウテイ (都立大 小町研)，松林優一郎 (東北大 教育言語処理研)，栗田修平 (理研)，松田耕史 (理研 / 東北大学)，三輪誠 (豊田工業大 知能数理研)

聴講 - スポンサー (4名)
藤山裕子 (エヌビディア合同会社)，グエントゥン (LINE株式会社)，近藤雅芳 (LINE株式会社)，佐藤敏紀 (LINE株式会社)

ご支援（50音順）

実行委員会

委員へのお問い合わせは <snlp2021(at)googlegroups.com> へお願いいたします。

• 渡邉研斗 (産総研) <kento.watanabe(at)aist.go.jp>

• 高山隼矢 (大阪大 鬼塚研) <takayama.junya(at)ist.osaka-u.ac.jp>

• 赤間怜奈 (東北大/理研) <akama(at)tohoku.ac.jp>

• 栗林樹生 (東北大 乾研/Langsmith株式会社) <kuribayashi(at)tohoku.ac.jp>

• 村山友理 (お茶大 小林研) <murayama.yuri(at)is.ocha.ac.jp>

• 寺西裕紀 (理研) <hiroki.teranishi(at)riken.jp>