JSAI2023　OS-21　世界モデルと知能

2023年6月6日（火）15:00〜16:40 / 17:00 〜 18:40

2023年6月7日（水）09:00 〜 10:40 / 13:30 〜 15:10 / 15:30 〜 17:10 / 17:30 〜 19:10

OS-21 世界モデルと知能

会場：熊本城ホール(熊本県熊本市) G会場 (大会議室 A4)＋オンライン
https://www.ai-gakkai.or.jp/jsai2023/

■ 概要

世界モデルとは，エージェントを取り巻く環境・身体など様々な要素を学習によって内部的に構築する枠組みである．こうした世界モデルを用いることで，直接には観測できない，過去／未来・反実・観測不能な状態を予測や推論できるようになり，目的に応じた行動選択の性能を高めることができる．

世界モデルのように環境のモデル化を考えることは，制御における内部モデルや認知科学におけるメンタルモデルなどでも議論されており，必ずしも新しいアイディアではない．しかし深層学習の発展により，これまでは困難であったような高次元かつ複雑な世界からの観測データに基づくモデル化が実現できるようになったことは大きなブレイクスルーである．さらにここ数年の基盤モデルの進展によって，より大規模な環境を学習できるようになっており，ロボティクスや強化学習研究において活用が進んでいる．

本企画セッションは，（１）深層学習を用いて外界をモデル化する方法論（２）AIの諸問題における世界モデルの重要性，についての議論を行う．世界モデルという概念を介して，人工知能だけでなくロボティクス，認知科学，神経科学などの分野の研究者と共同して学際的な議論を行う場となることを目指す．

■ セッション（発表30件）

世界モデルと知能 (1/6)

15:00〜16:40

座長：鈴木雅大

「地図とマルチモーダル場所概念の同時学習のための能動探索手法と基盤モデル活用」〇石川朋親1、谷口彰1、萩原良信1、谷口忠大1 (1. 立命館大学)
「行動条件付けVideoGPTの構築と検証」〇田畑浩大1,6、蒲原惇乃輔2,6、海野良介1,6、佐藤誠人3,6、渡部泰樹4,6、久米大雅5,6、根岸優大1,6、岡田領1,6、岩澤有祐1、松尾豊1 (1. 東京大学、2. 東北大学、3. 奈良先端科学技術大学院大学、4. 早稲田大学、5. 慶應義塾大学、6. 株式会社松尾研究所)
「変分自己符号化器の潜在空間上の強化学習の基礎的考察と効率化」〇中井眞人1 (1. 筑波大学　大学院　機能知能システム学位プログラム)
「深層予測学習を用いた双腕ロボットによる柔軟物体操作: 近未来予測とリアルタイム動作生成」〇伊藤洋1、Simon Armleder2、鹿田玄輝1、蔡賢博1、Gordon Cheng2、尾形哲也1 (1. 早稲田大学、2. ミュンヘン工科大学)
「予測符号化を模した物理環境の予測推論モデル」〇黒田彗莉1、小林一郎1 (1. お茶の水女子大学)

世界モデルと知能 (2/6)

17:00 〜 18:40

座長：岩澤有祐

「物体中心表現の学習における内的報酬の検討」〇中野聡大1、鈴木雅大1、松尾豊1 (1. 東京大学大学院)
「柔軟物体操作のためのプレイデータを用いたゴール条件付き自己教師あり学習」〇石井慶吾1、平松駿1、野村優太1、村田真悟1 (1. 慶應義塾大学)
「潜在拡散モデルを用いた世界モデルの提案」山蔦栄太郎1、〇内山史也2、関戸麗矢3、川原雄登4、鈴木雅大5、松尾豊5 (1. 大阪大学大学院工学研究科、2. 東京大学、3. 北海道科学大学、4. サンタモニカカレッジ、5. 東京大学大学院工学系研究科)
「世界モデルにおける未知の環境への転移」藤崎勇哉1、南田桂吾2、土方祥平3、澤野千賀4、熊谷亘5、松尾豊5 (1. 北陸先端科学技術大学院大学、2. 近畿大学、3. 名古屋工業大学、4. 放送大学、5. 東京大学大学院工学系研究科)
「表現学習における創発言語の構造と構成的汎化性能の関係」小林由弥1 (1. ソニーコンピュータサイエンス研究所)

世界モデルと知能 (3/6)

09:00 〜 10:40

座長：河野慎

「世界モデルを用いた画像・深度・触覚のマルチモーダル学習」〇上條達也1、石本幸暉2、松嶋達也1、岩澤有祐1、松尾豊1 (1. 東京大学、2. 株式会社松尾研究所)，オンライン発表
「縫合自動化に向けたマルチモーダルNewtonianVAEに基づく高精度位置決め手法」〇寺島舞1、ウリグエンエルフリペドロミゲル1、ジアユアンユアン1、柴田博諄1、伊藤昌樹1、谷口忠大1 (1. 立命館大学)
「反復償却推論によるマルチモーダル情報統合の改善」〇大島佑太1、鈴木雅大1、松尾豊1 (1. 東京大学大学院工学系研究科)
「マルチモーダル言語理解タスクにおけるDual ProtoNCEに基づく転移学習」〇小槻誠太郎1、石川慎太朗1、杉浦孔明1 (1. 慶應義塾大学)
「Transformer Autoencoder による視覚・触覚で共有な身体近傍空間表現の獲得」〇野口渉1、飯塚博幸1、山本雅人1 (1. 北海道大学)

世界モデルと知能 (4/6)

13:30 〜 15:10

座長：松嶋達也

「Switching Head-Tail Funnel UNITERによる対象物体および配置目標に関する指示文理解と物体操作」〇是方諒介1、神原元就1、吉田悠1、石川慎太朗1、川崎陽祐1、髙橋正樹1、杉浦孔明1 (1. 慶應義塾大学)
「世界モデルベースマルチエージェント強化学習におけるエージェント間の公平性を考慮した経路計画手法の提案」青木瑞穂1、藤重天真2、〇塚本慧3、藤本昌也4、鈴木雅大5、松尾豊5 (1. 名古屋大学工学研究科、2. 東京工業大学生命理工学院、3. 東京大学、4. 大阪大学情報科学研究科、5. 東京大学大学院工学系研究科)
「多視点カメラ画像のゲート付き対照学習に基づく実ロボット行動生成」〇五十嵐渓1、村田真悟1 (1. 慶應義塾大学)
「類似グラフ環境における事前知識を活用した方策学習のための世界モデル」〇河村和紀1、池之内颯都3、石川峻弥2、村上綾菜4、河野慎1、松尾豊1 (1. 東京大学、2. 電気通信大学、3. 愛媛大学、4. お茶の水女子大学)
「受動的力学機序を規範とした２足ロボットの世界モデルと連続跳躍動作」〇村山大騎1、土方祥平1、横地康太1、田中翔麻1、上村知也1、佐野明人1 (1. 名古屋工業大学)

世界モデルと知能 (5/6)

15:30 〜 17:10

座長：森友亮

「ロボット制御における大規模言語モデルと世界モデルの融合」〇黄瀬輝1、奥村亮2、谷口忠大2,3 (1. パナソニックコネクト株式会社、2. パナソニックホールディングス株式会社、3. 立命館大学)，オンライン発表
「世界モデルにおけるモデルサイズに対するスケーリング則」〇佐藤誠人1,6、海野良介2,6、根岸優大2,6、田畑浩大2,6、渡部泰樹3,6、蒲原惇乃輔4,6、久米大雅5,6、岡田領2,6、岩澤有祐2、松尾豊2 (1. 奈良先端科学技術大学院大学、2. 東京大学、3. 早稲田大学、4. 東北大学、5. 慶応義塾大学、6. 株式会社松尾研究所)
「複数粒度のマルチモダル情報を用いたテキスト付き画像の説明文生成」〇楊巍1、植田有咲1、杉浦孔明1 (1. 慶應義塾大学)
「対照学習と模倣学習を利用した深層能動的推論に基づく実ロボット行動生成」〇藤井健太朗1、磯村拓哉2、村田真悟1 (1. 慶應義塾大学、2. 理化学研究所脳神経科学研究センター)
「モーション拡散モデルを参照した強化学習によるシミュレータ空間での多様・複雑な動作獲得」〇大庭弘己1、近藤生也2、岩澤有祐1、松尾豊1 (1. 東京大学、2. 筑波大学)

世界モデルと知能 (6/6)

17:30 〜 19:10

座長：熊谷亘

「空気圧人工筋肉のスケール可能なデータ収集システムとモデル学習」〇池田悠也1、松嶋達也1、岩澤有祐1、新山龍馬2、松尾豊1 (1. 東京大学、2. 明治大学)
「世界モデルを利用したプレイデータの学習に基づく実ロボット行動生成とデータ拡張」〇野村優太1、村田真悟1 (1. 慶應義塾大学)
「環境の意味情報と半自律支援動作を活用したモバイルマニピュレータの遠隔操作システムの開発」〇髙波亮介1、小林聖人2、松嶋達也1、池田悠也1、石本幸暉3、岩澤有祐1、松尾豊1 (1. 東京大学、2. 神戸大学、3. 松尾研究所)
「協働ロボットのためのプレイデータを用いたゴール条件付き自己教師あり学習」〇平松駿1、村田真悟1 (1. 慶應義塾大学)
「VideoGPTのデータセットサイズに関するスケーリング則」〇根岸優大1,6、佐藤誠人2,6、海野良介1,6、田畑浩大1,6、渡部泰樹4,6、蒲原惇乃輔5,6、久米大雅3,6、岡田領1,6、岩澤有祐1、松尾豊1 (1. 東京大学、2. 奈良先端科学技術大学院大学、3. 慶応義塾大学、4. 早稲田大学、5. 東北大学、6. 株式会社松尾研究所)