開催趣旨

大規模言語モデル（LLM）が登場して以降、様々な分野でその能力を活用する可能性についての議論が進みつつあります。LLMは既存の言語処理関連タスクの性能を向上させるだけでなく、実世界の様々な問題において言語を活用するための嚆矢となり得る存在と認知されています。とりわけ、画像情報処理やロボティクスなどの分野では、大規模言語モデルの実世界応用とそれに合わせた新しい問題定義が議論されています。

本テーマセッションではそうした新しい問題を対象として、画像情報処理、ロボティクスなどの分野でLLM活用を行っている研究者と、自然言語処理の分野内で実世界応用に興味を持つ研究者が一同に会し、活発な議論を行うことを目的とします。また、自然言語処理のコミュニティ内でこれからの実世界応用に興味を持つ研究者に対して、分野の橋渡しを行う機会を提供することを目指します。

発表申込等

LT発表申し込み（申込期限 3/10 23:59）
ライトニングトーク（LT）の発表を募集します。トークは3-5分程度を予定しており、件数によって決定します。LTで出た話題をパネルディスカッションにも取り入れようと思っていますので、積極的なご応募をお待ちしています。まだ取り組み始めたばかりの研究も歓迎します。予稿はありませんので、NLP2024本会議で発表される内容でも構いません。
パネルテーマアンケート
パネル討論で取り上げて欲しいテーマを募集します。「どういう応用先がアツいと思っていますか？」などの曖昧な質問でも構いません。
参加申し込み
聴講に関して本WS自体の参加申し込みは特にありません。言語処理学会第30回年次大会の併設ワークショップであるため、参加にあたっては本会議への申し込みをお願いいたします。

スケジュール (2024/3/15 午後ワークショップ)

14:30-14:45 開催趣旨説明＆LLM実世界応用の現状について
吉野 幸一郎（理化学研究所）

14:45-15:30 招待講演「LLMと共に知の泉を汲んで世に恵みを提供する」
西田 京介 先生（NTT）
司会: 小林 一郎（お茶の水女子大学）

大規模言語モデル（LLM）の急速な発展により、実用化への期待が大きく高まっています。本講演では、NTTがLLMの実用化を目指して、小型軽量をコンセプトにスクラッチから作成した大規模言語モデルtsuzumiについてご紹介します。そして、文書を図表などの視覚情報も含めて理解するためのLLMの拡張技術についての我々の成果をご紹介します。最後に、我々が目指すヒトとAIの共生に向けた今後の展望について議論します。

15:30-15:45 休憩

15:45-16:30 招待講演「ロボット研究におけるLLMの実世界応用」
河原塚 健人 先生（東京大学）
司会: 谷口 忠大（立命館大学）

大規模言語モデル(LLM)の急速な進化は、様々な分野に革新をもたらしており、その中でもロボティクス分野において重要な影響を与えています。この講演では、LLMがロボットの認識能力や動作計画能力にどのような変化をもたらすかについて、その全体像を明らかにします。実世界と強く結びついた多様なLLMの種類や応用方法について、代表的な研究事例と共に紹介します。また、我々の研究事例も含め、ロボティクスにおけるLLM活用の今後について議論します。 

16:30-17:00 一般発表

1. 実世界対話におけるフレーズグラウンディングモデルの評価と分析  
植田暢大（京大，理研）

2. Visual Question Answering における視線情報を用いた質問の曖昧性解消  
稲積駿 (NAIST / RIKEN GRP)

3. Improving the Image Discrimination Ability for CLIP-Model via Semantic Graphs through Graph Convolutional Network  
Lee Sangmyeong (NAIST)

4. 国際会議における質疑応答練習を目的とした ChatGPT による質問生成とその評価
相場真由子（東大）、峯松信明（東大）

5. 基盤モデルと古典プランニングを用いたレシピ記述からの実世界調理計画認識実行ロボットシステム
金沢直晃（東大）

6. 集合型視覚言語埋め込み
品川 政太朗（奈良先端科学技術大学院大学)）

7. 大規模言語モデルと集合的予測符号化
谷口 忠大（立命館大学）

17:00-17:45 パネル討論
司会: 松嶋 達也（東京大学）
パネリスト:
品川 政太朗（奈良先端科学技術大学院大学）,
栗田 修平（理化学研究所）,
河原塚 健人（東京大学）,
小林 一郎（お茶の水女子大学）

17:45-18:00 クロージング
持橋 大地（統計数理研究所）

Language & Robotics 研究会では、今回の大規模言語モデルの実世界応用を含む、様々な自然言語処理の実世界応用について定期的に議論を行っています。この機会に是非参加をご検討下さい。