自然言語処理分野のトップジャーナル・トップ会議であるTACL、ACL、EMNLP、NAACLと直近開催の関連会議(ICLR、ICML、CVPRなど)の論文の中から、参加者の投票によって選ばれた論文を各参加者が分担して紹介する論文読み会です。
勉強会の参加者は各自1本の論文を担当し、全体で30本程度の論文の紹介をします。
最新の魅力的な論文や分野の潮流について、世代・産学を超えて共有・議論することで、新たな研究の種が生まれることを本勉強会の狙いとしています。
候補論文リストや発表資料を公開することで、コミュニティへの専門的知見の共有を促します。
日程 8/25 (日), 26 (月) 両日とも10:00-18:00 (受付開始9:30)
会場 東京大学 本郷キャンパス 工学部2号館 展示室
参加費
現地(発表・聴講): 800円
オンライン(聴講のみ): 100円
日程 8/25 (日) 19:00-21:00 (1日目 夜)
推奨ルート:千代田線「根津駅」乗車、→「新御茶ノ水駅」下車。徒歩13分。
参加費
学生:4,000円
社会人:6,000円
参加登録:7/1 (月)-7/14 (日)
候補論文のリストアップ:7/10 (水)-7/18 (木) 7/29 (月)( ※延長)
現地発表/聴講者の決定:7/22 (月)
「これは読むべき」な論文への投票:7/19 (金)-7/29 (月)
担当する論文への立候補:8/1 (木)-8/6 (火)
スライドURL提出:8/19 (月)
勉強会:8/25(日), 26(月)
※締め切り時刻は特に指定がない場合日本時間23:59
(注)運営からの連絡メールが迷惑メールに振り分けられてしまうケースがあるようですので、一度迷惑メールフォルダをご確認いただき、迷惑メールとされている場合は以降正しく受け取れるよう設定していただけると幸いです。
[09:30-10:00] 受付
[10:00-10:10] オープニング [slide]
[10:10-11:10] セッション1: Large Language Models
西田京介: The Llama 3 Herd of Models (arxiv; Llama Team, AI @ Meta) [paper][slide]
高瀬翔: Multi-Head Mixture-of-Experts (arxiv; Xun Wu, Shaohan Huang, Wenhui Wang, Furu Wei) [paper][slide]
小林颯介: Physics of Language Models: Part 3.1, Knowledge Storage and Extraction (ICML2024; Zeyuan Allen-Zhu, Yuanzhi Li) [paper][slide]
[11:20-12:20] セッション2: Finetuning
篠田一聡: Direct Preference Optimization: Your Language Model is Secretly a Reward Model (NeurIPS2023; Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn) [paper][slide]
水木栄: Instruction-tuned Language Models are Better Knowledge Learners (ACL2024; Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig, Xi Victoria Lin, Wen-tau Yih, Srini Iyer) [paper][slide]
清野舜: Tuning Language Models by Proxy (COLM2024; Alisa Liu, Xiaochuang Han, Yizhong Wang, Yulia Tsvetkov, Yejin Choi, Noah A. Smith) [paper][slide]
[14:00-15:20] セッション3: Multilingual
笹野遼平: Unveiling Linguistic Regions in Large Language Models (ACL2024; Zhihao Zhang, Jun Zhao, Qi Zhang, Tao Gui, Xuanjing Huang) [paper][slide]
臼井久生: MELA: Multilingual Evaluation of Linguistic Acceptability (ACL2024; Ziyin Zhang, Yikang Liu, Weifang Huang, Junyu Mao, Rui Wang, Hai Hu) [paper][slide]
稲葉達郎: Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models (ACL2024; Tianyi Tang, Wenyang Luo, Haoyang Huang, Dongdong Zhang, Xiaolei Wang, Xin Zhao, Furu Wei, Ji-Rong Wen) [paper][slide]
スポンサー(ELYZA様)
スポンサー(オムロン サイニックエックス様)
[15:30-16:30] セッション4: Embedding/Representation
山田康輔: Improving Text Embeddings with Large Language Models (ACL2024; Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei) [paper][slide]
上田亮: Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models (NeurIPS2023; Guillermo Ortiz-Jimenez, Alessandro Favero, Pascal Frossard) [paper][slide]
塚越駿: Isotropy, Clusters, and Classifiers (ACL2024; Timothee Mickus, Stig-Arne Grönroos, Joseph Attieh) [paper][slide]
[16:40-18:00] セッション5: Linguistic Generalization
大羽未悠: Sudden Drops in the Loss: Syntax Acquisition, Phase Transitions, and Simplicity Bias in MLMs (ICLR2024; Angelica Chen, Ravid Shwartz-Ziv, Kyunghyun Cho, Matthew L Leavitt, Naomi Saphra) [paper][slide]
横井祥: Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve (arxiv; R. Thomas McCoy, Shunyu Yao, Dan Friedman, Matthew Hardy, Thomas L. Griffiths) [paper][slide]
石井太河: What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages (ACL2024; Nadav Borenstein, Anej Svete, Robin Chan, Josef Valvoda, Franz Nowak, Isabelle Augenstein, Eleanor Chodroff, Ryan Cotterell) [paper][slide]
賀沢秀人: Mission: Impossible Language Models (ACL2024; Julie Kallini, Isabel Papadimitriou, Richard Futrell, Kyle Mahowald, Christopher Potts) [paper][slide]
[18:00-18:10] クロージング [slide]
[09:30-10:00] 受付
[10:00-10:10] オープニング [slide]
[10:10-11:10] セッション1: Evaluation
西田悠人: Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References (NAACL2024; Tianyi Tang, Hongyuan Lu, Yuchen Jiang, Haoyang Huang, Dongdong Zhang, Xin Zhao, Tom Kocmi, Furu Wei) [paper][slide]
神藤駿介: Quantifying the redundancy between prosody and text (EMNLP2023; Lukas Wolf, Tiago Pimentel, Evelina Fedorenko, Ryan Cotterell, Alex Warstadt, Ethan Wilcox, Tamar Regev) [paper][slide]
平澤寅庄: ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models (ACL2024; Aparna Elangovan, Ling Liu, Lei Xu, Sravan Babu Bodapati, Dan Roth) [paper][slide]
[11:20-12:20] セッション2: Multimodal
大嶽匡俊: Dubbing in Practice: A Large Scale Study of Human Localization With Insights for Automatic Dubbing (TACL2023; William Brannon, Yogesh Virkar, Brian Thompson) [paper][slide]
前田航希: Vision Transformers Need Registers (ICLR2024; Timothée Darcet, Maxime Oquab, Julien Mairal, Piotr Bojanowski) [paper][slide]
渡邉研斗: MotionGPT: Human Motion as a Foreign Language (NeurIPS2023; Biao Jiang, Xin Chen, Wen Liu, Jingyi Yu, Gang Yu, Tao Chen) [paper][slide]
[13:30-14:30] セッション3: Knowledge
木山朔: Analyzing Semantic Change through Lexical Replacements (ACL2024; Francesco Periti, Pierluigi Cassotti, Haim Dubossarsky, Nina Tahmasebi) [paper][slide]
井田龍希: TTM-RE: Memory-Augmented Document-Level Relation Extraction (ACL2024; Chufan Gao, Xuan Wang, Jimeng Sun) [paper][slide]
辻村有輝: Context versus Prior Knowledge in Language Models (ACL2024; Kevin Du, Vésteinn Snæbjarnarson, Niklas Stoehr, Jennifer C. White, Aaron Schein, Ryan Cotterell) [paper][slide]
[15:00-16:00] セッション4: Cognition/Dialogue
李凌寒: Language is primarily a tool for communication rather than thought (Nature; Evelina Fedorenko, Steven T. Piantadosi & Edward A. F. Gibson) [paper][slide]
三田雅人: Expectations over Unspoken Alternatives Predict Pragmatic Inferences (TACL2023; Jennifer Hu, Roger Levy, Judith Degen, Sebastian Schuster) [paper][slide]
銭本友樹: Planning Like Human: A Dual-process Framework for Dialogue Planning (ACL2024; Tao He, Lizi Liao, Yixin Cao, Yuanxing Liu, Ming Liu, Zerui Chen, Bing Qin) [paper][slide]
[16:10-17:30] セッション5: Context/Interpretability
Youmi Ma: Do Large Language Models Latently Perform Multi-Hop Reasoning? (ACL2024; Sohee Yang, Elena Gribovskaya, Nora Kassner, Mor Geva, Sebastian Riedel) [paper][slide]
持橋大地: [slide]
森下睦: Interpretability of Language Models via Task Spaces (ACL2024; Lucas Weber, Jaap Jumelet, Elia Bruni, Dieuwke Hupkes) [paper][slide]
斉藤いつみ: Lost in the Middle: How Language Models Use Long Contexts (TACL2024; Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang) [paper][slide]
[17:35-17:45] クロージング [slide]
Ma Youmi(東工大),井田龍希(豊田工大),稲葉達郎(京大),臼井久生(農工大),横井祥(東北大),賀沢秀人(Google),高瀬翔(SB Intuitions),笹野遼平(名大),三田雅人(サイバーエージェント),山田康輔(サイバーエージェント),持橋大地(統数研),篠田一聡(NTT),小林颯介(PFN),上田亮(東大),森下睦(フューチャー),神藤駿介(東大),水木栄(ホットリンク/東工大),清野舜(SB Intuitions),西田悠人(NAIST),西田京介(NTT),斉藤いつみ(東北大),石井太河(東大),銭本友樹(名大),前田航希(東工大),大羽未悠(NAIST),大嶽匡俊(東大),塚越駿(名大),辻村有輝(豊田工大),渡邉研斗(産総研),平澤寅庄(OSX),木山朔(都立大),李凌寒(SB Intuitions)
Bian Kexin(一橋大),Zhang Youchi(名大),グエントゥン(H2Corporation),安道健一郎(理研),井上純大(豊田工大),井上誠一(リクルート),宇田川拓真(IBM),塩野大輝(東北大),王昊(早大),乾健太郎(MBZUAI/東北大),岩本蘭(IBM),吉川克正(SB Intuitions),吉田快(NAIST/RIKEN),吉田遼(東大),吉野幸一郎(東工大),栗田修平(NII),栗林樹生(MBZUAI),古橋萌々香(東北大),江原遥(学芸大),高橋啓吾(都立大),佐藤拓真(NAIST/RIKEN),佐藤蒼馬(名大),佐藤杏奈(お茶大),坂田将樹(東北大),三輪拓真(NAIST),三輪誠(豊田工大),芝原隆善(レトリバ),小町守(一橋大),小林一郎(お茶大),松田耕史(SB Intuitions),松林優一郎(東北大),森友亮(東大),深津聡世(東大),菅原朔(NII),西川仁(NISHIKAWA Technologies),川﨑春佳(NTT),染谷大河(東大),相田太一(都立大),村岡雅康(IBM),中石海(東大),中澤敏明(東大),辻本祥吾(名大),田中日加吏(一橋大),田中涼太(NTT),塙一晃(講談社),平岡達也(MBZUAI),芳賀あかり(NAIST),門谷宙(NTT),矢野千紘(PKSHA),欅惇志(一橋大)
有志による互助的な会です。参加者のかたは、以下ご協力を宜しくお願いします。※変更の可能性がありますのでご注意ください
読み候補を事前にリストアップし、「これは読むべき」と思われる論文への投票を行います。
ACL、EMNLP、NAACL、TACLの論文を中心に、関連会議やarXivの魅力的な論文があればそれらも投票対象とします。原則、本会議Long Paper のみを対象とします。
この時代に読み返すと面白い、私ならアツく語れるなど、読む動機・対象は多岐に亘って構いません。
研究室での利活用などを想定し、本会で作成した読み候補リストを一般公開する予定です。
投票数を参考に、発表したい論文に立候補します。
複数の論文を選んでいただきテーマ発表として頂くのも大歓迎です。
発表スライドおよびトークは日本語もしくは英語でご準備下さい。
原則現地での発表となります。発表の様子は録画しませんが、スライドは原則公開します。
発表は質疑込み20分 (発表15分+質疑5分程度を想定) を予定しています。2つの論文を選択した方も、20分内で両論文の発表+質疑をしてください。※変更の可能性がありますのでご注意ください。
本勉強会は一研究室の夏合宿として始まって以降、過去の参加者らによる紹介を通して規模を拡大してきました。紹介制は、会の性質の維持がしやすい一方で、多様性の欠如を招くなどの懸念もありますので、昨年度より新規参加希望者向けに参加方法を掲載しています。
自然言語処理分野及び関連分野で活動的な研究者・技術者・学生
主要国際会議・ジャーナルに論文を通している・通そうとしている方
かつ、論文の内容や分野の潮流などについて、議論を盛り上げる意欲のある方
発表枠の制限等に応じて聴講へ回っていただく場合があります。
発表者は、研究者・技術者、社会人・学生、新規参加者のバランスを考慮して決定します。
その際に、これまで多く発表頂いていた方を優先する場合があります。
現地聴講の場合、収容人数の制限等に応じて、発表者と同様の観点で、オンライン聴講に回っていただく場合があります。
聴講のみで参加の方も意欲的に議論にご参加ください。
参加登録後に、「これは読むべき」な論文への投票にご協力いただけない場合には、勉強会への参加をお断りさせていただく場合がございます。
重要日程の参加登録期間の通りです。
新規参加希望者は、以下の情報とともに <snlp-2024(at)googlegroups.com> にご連絡ください。
名前
所属研究機関(企業含む)
推薦者名(過去に本勉強会で発表をしたことがある方)
希望参加形式(現地発表・現地聴講・オンライン聴講)
新規参加希望者には所属研究機関(企業含む)と推薦者(過去に本勉強会で発表をしたことがある方)の記入をお願いしています。推薦者がいない場合は適宜ご相談ください。
場合によっては参加をお断りする可能性もございますが、特に昨今の分野の注目に鑑み、ご理解いただけますと幸いです。自然言語処理分野の学生の(オンライン)聴講は原則受け入れる予定です。
委員へのお問い合わせは <snlp-2024(at)googlegroups.com> へお願いいたします。
上田 亮 (東大 宮尾研) <ryoryoueda(at)is.s.u-tokyo.ac.jp> - Homepage
吉田 遼 (東大 大関研) <yoshiryo0617(at)g.ecc.u-tokyo.ac.jp> - Homepage
相田 太一 (都立大 小町研) <aida-taichi(at)ed.tmu.ac.jp> - Homepage
神藤 駿介 (東大 宮尾研) <skando(at)is.s.u-tokyo.ac.jp> - Homepage
清野 舜 (SB Intuitions) <shun.kiyono(at)sbintuitions.co.jp> - Homepage
銭本 友樹 (名古屋大 東中研) <zenimoto.yuki.u1(at)s.mail.nagoya-u.ac.jp> - Homepage
芳賀 あかり (NAIST 渡辺研)<haga.akari.ha0(at)is.naist.jp> - Homepage
平澤 寅庄 (OMRON SINIC X) <tosho.hirasawa(at)sinicx.com> - Homepage
古橋 萌々香 (東北大 坂口・乾研) <furuhashi.momoka.p4(at)dc.tohoku.ac.jp>
森 友亮 (東大 原田研) <mori(at)mi.t.u-tokyo.ac.jp>
アドバイザ
栗林 樹生 (MBZUAI) <tatsuki.kuribayashi(at)mbzuai.ac.ae>
寺西 裕紀 (理研/NAIST 渡辺研) <hiroki.teranishi(at)riken.jp>
村山 友理 (東大 和泉研) <murayama.yuri(at)sys.t.u-tokyo.ac.jp>