2024年度の記録
第76回 12月20日(金曜日) 14:45-17:05 (クローズド開催)
三輪研: 4名
松原研: 5名
東中研: 6名
笹野研: 5名
佐々木研: 4名
外山研: 5名
計：29名
第75回 10月22日(火曜日) 17:00-18:30@名古屋大学IB電子情報館中棟013講義室
言語モデルは「解釈が困難なブラックボックスである」という考え方が一般的です。しかし、ヒトの脳などに比べると、言語モデルは内部状態を完全に観測できるだけでなく、GPUさえあれば恣意的な介入が可能で、非常に実験しやすい研究対象です。このような好条件があるにもかかわらず、言語モデルの内部機序はまだほとんど理解されていません。そもそも「言語モデルを理解・解釈する」とはどういうことなのかについても未解明です。本講演では、モデルの内部機序において何を発見することが望ましいかという基礎的な議論から、モデルの内部表現に因果的介入を行う「アクティベーションパッチング」などの最先端の研究まで、透明でありながら未解明な言語モデルの解釈について幅広く紹介します。
参加者:25名
単語や文を意味ごとに集約する技術は、言語資源の構築や言語情報の整理を行うために重要な自然言語処理の基礎技術の一つである。事前学習済み言語モデルの登場以降、文脈を考慮した単語や文の埋め込み表現を得られるようになってきたことから、より単語や文の意味の違いを捉え、意味ごとに集約できるようになっている。本発表では、意味フレームの知識構築とテキストクラスタリングを題材に、埋め込み表現の獲得を中心にこれらの技術について紹介する。
参加者:20名