2024年5月29日(水)17:30 〜 18:50
2024年5月30日(木)09:00 〜 10:40 / 15:30 〜 16:50
2024年5月31日(金)09:00 〜 10:20 / 14:00 〜 15:20
OS-16 世界モデルと知能
会場:アクトシティ浜松(O会場)+オンライン
https://www.ai-gakkai.or.jp/jsai2024/
会場:アクトシティ浜松(O会場)+オンライン
https://www.ai-gakkai.or.jp/jsai2024/
世界モデルとは,エージェントを取り巻く環境・身体など様々な要素を学習によって内部的に構築する枠組みである.こうした世界モデルを用いることで,直接には観測できない,過去/未来・反実・観測不能な状態を予測や推論できるようになり,目的に応じた行動選択の性能を高めることができる.
世界モデルのように環境のモデル化を考えることは,制御工学における内部モデルや認知科学におけるメンタルモデルなどでも議論されており,必ずしも新しいアイディアではない.しかし深層学習の発展により,従来は困難だった高次元で複雑な世界の部分観測データに基づくモデル化が実現できるようになったことは大きなブレイクスルーである.さらにここ数年の基盤モデルの進展によって,ロボティクスへの応用や自然言語との統合などの研究が進められている.
本企画セッションでは(1)深層学習を用いて外界をモデル化する方法論,(2)学習した世界モデルの利用方法,そして(3)AIの諸問題における世界モデルの重要性についての議論を行う.世界モデルという概念を介して,人工知能だけでなくロボティクス,自然言語処理,3DCGによる現実世界のモデリング,認知科学,神経科学などの分野の研究者と共同して学際的な議論を行う場となることを目指す.
座長:鈴木 雅大
「自動運転システムのためのNeural Simulatorの構築および評価」〇蒲原 惇乃輔1,3、坂本 滉也2,3、大里 章人4、冨江 伸太朗4、片岡 大哉4、河野 慎5 (1. 東北大学、2. 京都大学、3. 松尾研究所、4. 株式会社ティアフォー、5. 東京大学)
「マルチモーダル基盤モデルと最適輸送を用いたポリゴンマッチングによる参照表現セグメンテーション」〇西村 喬行1、九曜 克之1、神原 元就1、杉浦 孔明1 (1. 慶應義塾大学)
「HyperNetworksの強化学習への適用」〇澤野 千賀1 (1. 放送大学)
「物体中心表現を用いた世界モデルの獲得」〇中野 聡大1、鈴木 雅大1、松尾 豊1 (1. 東京大学)
座長:松嶋 達也
「視覚的情報と予測指向プロンプトを用いたLLMに基づくEmbodied世界モデル」〇朏島 和香那1、中窪 仰佑2、平山 翔湧3、鈴木 雅大4、松尾 豊4 (1. University of York、2. 九州工業大学、3. 東京大学、4. 東京大学大学院工学系研究科)
「マルチモーダルLLMおよび視覚言語基盤モデルに基づく大規模物体操作データセットにおけるタスク成功判定」〇齋藤 大地1、神原 元就1、九曜 克之1、杉浦 孔明1 (1. 慶應義塾大学)
「マルチモーダル情報を扱う奥行きを考慮した動作生成モデルによる柔軟物操作の精度向上」〇藤田 幸哉1、伊藤 洋1、一藁 秀行1、斎藤 菜美子1、久保 杏由南1、尾形 哲也1、菅野 重樹1 (1. 早稲田大学)
「言語モデルの世界モデル創発に関する検証 -プローブを用いた寄与度に基づく枝刈りによる内部表現分析-」〇西浦 直哉1、青木 洸士郎2、武田 大佑3、熊谷 亘4、松尾 豊4 (1. 奈良先端科学技術大学院大学、2. 早稲田大学、3. 東京大学、4. 東京大学大学院工学系研究科)
「XARを基盤とした質問生成による他者信念推定」日紫喜 祐也1、〇堀井 隆斗1 (1. 大阪大学)
座長:熊谷 亘
「自由エネルギー原理に基づく RNN を用いた ウィスコンシンカード分類課題のシミュレーション」〇後藤 大毅1、出井 勇人1,2、尾形 哲也1,3 (1. 早稲田大学、2. 国立精神・神経医療研究センター、3. 産業技術総合研究所 )
「再構成・対照学習を考慮した深層能動的推論」〇藤井 健太朗1、村田 真悟1 (1. 慶應義塾大学)
「深層能動的推論における選好精度に応じた実ロボットの方策選択」〇猪狩 高1、藤井 健太朗1、村田 真悟1 (1. 慶應義塾大学)
「マルチモーダル基盤モデルと緩和対照損失を用いた大規模屋内検索エンジン」〇今井 悠人1、兼田 寛大1、是方 諒介1、杉浦 孔明1 (1. 慶應義塾大学)
座長:森 友亮
「医学生物学分野において自律的な科学的発見を行うための世界モデル」〇清田 純1,2、山梨 貴士1,2、山崎 聡2,3 (1. 理化学研究所、2. 筑波大学、3. 東京大学) 講演キャンセル
「大規模言語モデルの事前知識を活用した構成論的なロボットタスクにおける学習効率の改善」〇髙城 頌太1、松嶋 達也1、岩澤 有祐1、松尾 豊1 (1. 東京大学)
「強化学習による外乱抑制制御」〇原 啓太1、ギマレンス ダニロ1、吉岡 琢1 (1. 株式会社Laboro.AI)
「実世界環境の物理特性に着目した言語記述」〇黒田 彗莉1、小林 一郎1 (1. お茶の水女子大学)
座長:河野 慎
「Consistency Modelsを用いた拡散モデルに基づいた ロボットの制御方策の高速化とスケーリング」〇オドンチメド ソドタウィラン1、池田 悠也1、髙波 亮介1、松嶋 達也1、大島 佑太1、大久保 拓哉1、鍋田 櫂2、松尾 豊1、岩澤 有祐1 (1. 東京大学、2. 筑波大学)
「Diffusion Policyによる視覚言語条件付きロボット制御」〇黄瀬 輝1、小栗 滉貴1、加賀屋 智之1、奥村 亮2、谷口 忠大3,2 (1. パナソニック コネクト株式会社、2. パナソニック ホールディングス株式会社、3. 立命館大学)オンライン発表
「マルチモーダル基盤モデルと劣モジュラ最適化に基づく移動ロボットの環境探索」〇松尾 榛夏1、神原 元就1、杉浦 孔明1 (1. 慶應義塾大学)
「バイラテラル制御に基づく模倣学習による複数柔軟物の把持」〇山根 広暉1、境野 翔1、辻 俊明2 (1. 筑波大学、2. 埼玉大学)
鈴木 雅大
(Masahiro Suzuki)
東京大学松尾研究室
特任助教
岩澤 有祐
(Yusuke Iwasawa)
東京大学松尾研究室
准教授
河野 慎
(Makoto Kawano)
東京大学松尾研究室
特任助教
熊谷 亘
(Wataru Kumagai)
オムロンサイニックエックス
プロジェクトリサーチャー
松嶋 達也
(Tatsuya Matsushima)
東京大学松尾研究室
特任研究員
森 友亮
(Yusuke Mori)
株式会社スクウェア・エニックス
AIリサーチャー
松尾 豊
(Yutaka Matsuo)
東京大学松尾研究室
教授
2023年「世界モデルと知能」OSページ:https://sites.google.com/view/jsai2023os-worldmodel/home
2022年「世界モデルと知能」OSページ:https://sites.google.com/view/jsai2022os-worldmodel/home
2020年「世界モデルと知能」OSページ:https://sites.google.com/view/jsai2020os-worldmodel/home
2023年度講義「世界モデルと知能」:https://deeplearning.jp/lectures/world-model-2023/
2022年度講義「世界モデルと知能」:https://deeplearning.jp/lectures/world-model-2022/
2021年度講義「世界モデルと知能」:https://deeplearning.jp/lectures/world-model-2021/