自然言語処理(Natural Language Processing)に関するインフォーマルなセミナーです。
どなたでも参加できます。申し込みは不要です。直接、会場にお越し下さい。
発表者も随時、募集しています。
未定
2025年度の記録
第79回 7月17日(木曜日) 17:00-18:30@名古屋大学IB電子情報館中棟015講義室
言語モデルの推論時に何が出来るか
陣内佑（CyberAgent）
大規模言語モデルはより大きなデータセットで学習することによって、より幅広いタスクに利用できることが知られています。近年では、学習時だけでなく、推論時（テキストを生成する時）にもより多くの計算資源を用いることで、新しいタスクが解けるようにする手法が注目されています。このトークでは推論時の工夫の一つである、Minimum Bayes Risk (MBR) Decodingについて紹介をし、どのような問題解決に使えるかを紹介します。また、Chain-of-Thoughtなどの他の推論時の工夫との比較を簡単に議論します。
関連論文: Sampling-Based Approximations to Minimum Bayes Risk Decoding for Neural Machine Translation (Eikema & Aziz, EMNLP 2022)
参加者:26名
第78回 6月26日(木曜日) 17:00-18:30@名古屋大学IB電子情報館大講義室
心理言語学の視点から再考する言語モデルの学習過程
三田雅人（東京大学）
人間は、大規模言語モデルに比べてはるかに少ないデータで効率的に言語を習得する。この現象は心理言語学で「臨界期仮説」として知られ、特に幼児期の認知的制約が文法構造の獲得を助けるという「Less-is-More仮説」が有力な説明として挙げられている。本講演では、こうした人間の発達的特性を言語モデルの学習過程に導入することで、人間のように効率的な言語獲得が可能となるかを探究した取り組みを紹介するとともに、言語が限られた認知資源をもつ話者たちによって形成されてきた文化的人工物であるという観点から、発達的制約の導入がモデルにもたらしうる理論的意義について議論する。
関連論文: Masato Mita, Ryo Yoshida, Yohei Oseki. Developmentally-plausible Working Memory Shapes a Critical Period for Language Acquisition. ACL2025. (To appear)
参加者:53名
第77回 6月5日(木曜日) 17:00-18:30@名古屋大学IB電子情報館南棟2階295演習室
持続可能な言語モデル評価に向けて
坂井優介（NAIST）
言語モデルの性能評価ベンチマークはこれまで数多く提案されてきた。しかし、それらベンチマークは、本当に言語モデルの測りたい性能を評価できているのだろうか。また、既存のベンチマークを活用して、言語モデルの新たな側面を評価することはできないだろうか。そして、そうした評価データを効率的に作成するには、どうすればよいか。本講演では、最近の分野の動向を紹介しつつ、ACL 2025に採択された論文をはじめ、私のこれまでの研究、現在取り組んでいる課題、そして今後の方向性について議論する。
関連論文: Yusuke Sakai, Hidetaka Kamigaito, and Taro Watanabe. 2025. Revisiting Compositional Generalization Capability of Large Language Models Considering Instruction Following Ability. ACL2025. (To appear)
参加者:32名
主催：価値創造教育研究センター（自然言語処理グループ)
セミナー代表世話人：笹野遼平（名古屋大学）、三輪誠（豊田工業大学）
問い合わせ先： sasano (*) i.nagoya-u.ac.jp (*=@)