第12回最先端NLP勉強会

概要

自然言語処理分野のトップジャーナル・トップ会議であるTACL、ACL、EMNLP、NAACLと直近開催の関連会議（ICLR、ICML、CVPRなど）の論文の中から、参加者の投票によって選ばれた論文を各参加者が分担して紹介する論文読み会です。

  • 勉強会の参加者は各自1本の論文を担当し、全体で30 - 50本程度の論文の紹介をします。

  • 最新の魅力的な論文や分野の潮流について共有・議論することで今後の研究の種が生まれることを本勉強会の狙いとしています。

開催案内

勉強会

  • 日程 2020年9月25日(金)–9月26日(土)

  • 会場 オンライン開催 (Zoom のリンクはメールにて送付)

  • 参加費

    • 読む: 無料

    • 聴講: 無料

懇親会

  • 日程 9/25 (金) 19:00-

  • 会場 オンライン開催 (Gather.town のリンクはメールにて送付)

  • 参加費 無料

公式ハッシュタグ

#snlp2020

重要日程

  1. 希望日調査：–2020年7月17日(金)

  2. 参加登録：2020年8月25日(火)-2020年9月1日(火)

  3. 候補論文のリストアップ：2020年8月27日(木)

  4. 「これは読むべき」な論文への投票：2020年9月1日(火) - 2020年9月8日(火) 正午

  5. 担当する論文への立候補：2020年9月9日(水)-9月11日(金) 正午

  6. スライド提出：2020年9月23日(水)

  7. 勉強会：2020年9月25日(金)–9月26日(土)

  8. アンケート：9月26日(土)–10月10日(土)

参加・発表要領

  • 有志による互助的な会です。参加者のかたは，以下ご協力を宜しくお願いします。

論文への投票

  • 今年のACL、EMNLPの論文や、直近1年分のTACLの論文を中心に「これは読むべき」と思われる論文への投票を行います。arXivに上がっている魅力的な論文や、関連会議（ICLR、ICML、IJCAI、CVPR、WSDMなど）のお勧め論文があればそれらも投票の対象とします。

  • 会議論文に関しては原則 Long Paper のみ対象とします。

立候補

  • 投票数が上位の論文の中から、発表したい論文に立候補します。

  • 複数の論文を選んでいただきテーマ発表として頂くのも大歓迎です。

発表

  • 発表スライドおよびトークは日本語もしくは英語でご準備下さい。

  • Zoom上での発表となります。発表の様子は録画しませんが、スライドは原則公開します。

  • 発表は質疑込み20分 (発表15分+質疑5分程度を想定) を予定しています。2つの論文を選択した方も、20分内で両論文の発表+質疑をしてください。（一人40分の時間は割り当てられないことに注意してください。）

  • 選択論文の背景や関連研究などに関する包括的な発表も大歓迎です。

  • 聴講のみで参加の方も意欲的に議論にご参加ください。

プログラム

9月25日(金) プログラム

[10:00-10:10] オープニング

[10:10-11:50] セッション1 - Machine Translation / Generation

  • 賀沢秀人: Theoretical Limitations of Self-Attention in Neural Sequence Models (TACL2020) [paper] [slide]

  • 高瀬翔:

    • Improving Transformer Models by Reordering their Sublayers (ACL2020) [paper] [slide]

    • 高瀬翔: MixText: Linguistically-Informed Interpolation of Hidden Space for Semi-Supervised Text Classification (ACL2020) [paper] [slide]

  • 古山翔太: BPE-Dropout: Simple and Effective Subword Regularization (ACL2020) [paper] [slide]

  • 持橋大地: Kernelized Bayesian Softmax for Text Generation (NeurIPS2019) [paper] [slide]

  • 清野舜: The Curious Case Of Neural Text Degeneration (ICLR2020) [paper] [slide]

[13:10-14:30] セッション2 - Evaluation

  • 須藤克仁: BLEURT: Learning Robust Metrics for Text Generation (ACL2020) [paper] [slide]

  • 横井祥: An Effectiveness Metric for Ordinal Classification: Formal Properties and Experimental Results (ACL2020) [paper] [slide]

  • 松林優一郎: Beyond Accuracy: Behavioral Testing of NLP Models with CheckList (ACL2020) [paper] [slide]

  • 近藤崇宏: Not All Claims are Created Equal: Choosing the Right Statistical Approach to Assess Hypotheses (ACL2020) [paper] [slide]

[14:45-16:25] セッション3 - Data Augmentation / Machine Learning

  • 佐藤元紀: [slide]

    • Adversarial Examples Are Not Bugs, They Are Features (NeurIPS2019) [paper]

    • AdvAug: Robust Adversarial Augmentation for Neural Machine Translation (ACL2020) [paper]

  • 矢田竣太郎: Good-Enough Compositional Data Augmentation (ACL2020) [paper] [slide]

  • 平岡達也: Dice Loss for Data-imbalanced NLP Tasks (ACL2020) [paper] [slide]

  • 宇田川拓真: Grounding Conversations with Improvised Dialogues (ACL2020) [paper] [slide]

  • 大内啓樹: A Simple Approach to Case-Based Reasoning in Knowledge Bases (AKBC2020) [paper] [slide]

[16:40-18:00] セッション4 - Interpretability, Explainability

  • 小林颯介: Weight Poisoning Attacks on Pretrained Models (ACL2020) [paper] [slide]

  • 石渡祥之佑: Language (Technology) is Power: A Critical Survey of ``Bias'' in NLP (ACL2020) [paper] [slide]

  • 辻村有輝: Obtaining Faithful Interpretations from Compositional Neural Networks (ACL2020) [paper] [slide]

  • 原聡: Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior? (ACL2020) [paper] [slide]

[18:00-18:05] クロージング

[19:00-] オンライン懇親会

9月26日(土) プログラム

[10:00-10:10] オープニング

[10:10-11:5011:30] セッション1 - Syntax / Semantics

  • 牛久祥孝: Information-Theoretic Probing for Linguistic Structure (ACL2020) [paper] [slide]

  • 鷲尾光樹: Task-Oriented Dialogue as Dataflow Synthesis (TACL2020) [paper] [slide]

  • 篠田一聡: A Systematic Assessment of Syntactic Generalization in Neural Language Models (ACL2020) [paper] [slide]

  • 吉川将司: Emergence of Syntax Needs Minimal Supervision (ACL2020) [paper] [slide]

  • 若崎颯: (Re)construing Meaning in NLP (ACL2020) [paper] [slide]

[13:10-14:30] セッション2 - Cognitively Motivated NLP

  • 阿部香央莉: Revisiting the Context Window for Cross-lingual Word Embeddings (ACL2020) [paper] [slide]

  • 神藤駿介: What determines the order of adjectives in English? Comparing efficiency-based theories using dependency treebanks (ACL2020) [paper] [slide]

  • 栗林樹生: Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japanese (ACL2020) [paper] [slide]

  • 能地宏: Inflecting When There's No Majority: Limitations of Encoder-Decoder Neural Networks as Cognitive Models for German Plurals (ACL2020) [paper] [slide]

[14:45-16:2514:50-16:30] セッション3 - Embedding

  • 笹野遼平: Still a Pain in the Neck: Evaluating Text Representations on Lexical Composition (TACL2019) [paper] [slide]

  • 水木栄: ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators (ICLR2020) [paper] [slide]

  • 村岡雅康: FastBERT: a Self-distilling BERT with Adaptive Inference Time (ACL2020) [paper] [slide]

  • 斉藤いつみ: On the Robustness of Language Encoders against Grammatical Errors (ACL2020) [paper] [slide]

  • 西田京介: Retrieval Augmented Language Model Pre-Training (ICML2020) [paper] [slide]

[16:40-18:0016:50-17:50] セッション4 - Embedding / NLU

  • 山田康輔: BERTRAM: Improved Word Embeddings Have Big Impact on Contextualized Model Performance (ACL2020) [paper] [slide]

  • 飯田大貴: What the Vec? Towards Probabilistically Grounded Embeddings (NeurIPS2019) [paper] [slide]

  • 菅原朔: Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data (ACL2020) [paper] [slide]

  • 松田耕史: Break It Down: A Question Understanding Benchmark (TACL2020) [paper] [slide]（キャンセル）

[18:00-18:0517:50-18:00] クロージング

参加者（敬称略・組織名順）

発表 (35名)

賀沢秀人 (Google), 石渡祥之佑 (Mantra), 矢田竣太郎 (NAIST ソーシャル・コンピューティング研), 須藤克仁 (NAIST 中村研), 斉藤いつみ (NTT MD研), 西田京介 (NTT MD研), 小林颯介 (PFN), 佐藤元紀 (PFN), 牛久祥孝 (オムロンサイニックエックス/Ridge-i), 飯田大貴 (レトリバ/東工大 岡崎研), 笹野遼平 (名大 武田・笹野研), 山田康輔 (名大 武田・笹野研), 菅原朔 (国立情報学研究所), 村岡雅康 (日本IBM), 阿部香央莉 (東北大 乾研), 清野舜 (東北大 乾研), 栗林樹生 (東北大 乾研/Langsmith), 横井祥 (東北大 乾研), 吉川将司 (東北大 乾研), 松林優一郎 (東北大 教育言語処理研), 宇田川拓真 (東大 相澤研), 篠田一聡 (東大 相澤研), 鷲尾光樹 (東大 宮尾研), 若崎颯 (東大 宮尾研), 近藤崇宏 (東大 宮尾研), 神藤駿介 (東大 宮尾研), 高瀬翔 (東工大 岡崎研), 古山翔太 (東工大 岡崎研), 平岡達也 (東工大 岡崎研), 水木栄 (東工大 岡崎研/ホットリンク), 大内啓樹 (理研), 能地宏 (産総研), 持橋大地 (統数研), 辻村有輝 (豊田工業大 知能数理研), 原聡 (阪大 産業科学研究所)

聴講 (21名)

小田悠介 (Google), 海野裕也 (PFN), 坪井祐太 (PFN), 小林一郎 (お茶大 小林研), 馬目華奈 (お茶大 戸次研), 郡司直之 (ホットリンク), 馬緤美穂 (ヤフー), 塚越駿 (名大 武田・笹野研), 平子潤 (名大 武田・笹野研), 亀田尭宙 (国立歴史民俗博物館), 小町守 (東京都立大 小町研), 赤間怜奈 (東北大 乾研), 松田耕史 (理研/東北大 乾研究室), Junjie Chen (東大 宮尾研), 宮尾祐介 (東大 宮尾研), 栗田修平 (理研), 渡邉研斗 (産総研), 浅田真生 (豊田工大 佐々木・三輪研), 高山隼矢 (阪大 鬼塚研), 江原遥 (静岡理工科大 自然言語処理研), 藤山裕子(エヌビディア合同会社 )

実行委員会

  • 渡邉研斗 (産総研) <kento.watanabe(at)aist.go.jp>

  • 高山隼矢 (大阪大 鬼塚研) <takayama.junya(at)ist.osaka-u.ac.jp>

  • 赤間怜奈 (東北大 乾研/理研AIP) <reina.a(at)ecei.tohoku.ac.jp>

  • 馬目華奈 (お茶大 戸次研) <manome.kana(at)is.ocha.ac.jp>

  • 栗林樹生 (東北大 乾研/Langsmith株式会社) <kuribayashi(at)ecei.tohoku.ac.jp>

  • 村山友理 (お茶大 小林研) <murayama.yuri(at)is.ocha.ac.jp>