GPTなどの大規模言語モデルと場所概念モデルによる現場知識を統合した生活支援ロボットの行動生成の手法を研究します。大規模言語モデルは、自然言語から行動列を生成できますが、現場の知識を持ちません。現場のマルチモーダル情報から場所や物体に関する統計的な知識を獲得する場所概念モデルのパラメータをGPTのプロンプトに記述する事で現場の知識をコンテキストとした行動の生成を達成します。曖昧な言語指示から現場の状況に応じた行動が可能になります。

萩原良信，長谷川翔一，大山瑛，谷口彰，エルハフィロトフィ，谷口忠大：「現場環境で学習した知識に基づく曖昧な発話からの生活物理支援タスク」第41回 日本ロボット学会 学術講演会, 2023年9月，東京，同上講演予稿集，1J1-05．[優秀研究・技術賞] [HSRコミュニティ優秀論文賞]

言語コミュニケーションを通じて知的エージェントと人間はわかりあう事が出来るでしょうか？観測から概念を獲得し、他者との記号的なコミュニケーションを通じて言語のような記号システムが創発するメカニズムをモデル化します。そして、知的エージェントと人間の共創的コミュニケーションの基盤を創成します。本研究は、JSPS 科研費 基盤A，「記号創発システム論に基づく共創的学習の基盤創成」の支援を受けて実施しています。

Yoshinobu Hagiwara, Kazuma Furukawa, Akira Taniguchi, Tadahiro Taniguchi, “Multiagent Multimodal Categorization for Symbol Emergence: Emergent Communication via Interpersonal Cross-modal Inference”, Advanced Robotics, Vol. 36, Issue 5-6, pp. 239-260, 31 Jan. 2022.  [Link]

何を何処に片付けるかという知識は、家庭毎に異なります。物体と場所の関係性に関するローカルな知識をエージェント間の知識転移に基づいて効果的に獲得します。これにより、新規環境に短期間で適応するロボットの柔軟な知能を構成します。本研究は、トヨタ自動車との共同研究としてHSR（Human Support Robot）コミュニティ及び、JSPS 科研費 基盤研究C，「生活支援ロボットの多拠点間マルチモーダル知識転移を実現するシステム基盤創成」の支援を受けて実施しています。

Yoshinobu Hagiwara, Keishiro Taguchi, Satoshi Ishibushi, Akira Taniguchi & Tadahiro Taniguchi, “Hierarchical Bayesian model for the transfer of knowledge on spatial concepts based on multimodal information”, Advanced Robotics, pp. 1-21, 25 Nov. 2021. [Link]

開発した機械学習モデルの社会実装の取り組みとして、経済産業省主催の知能ロボットの大会であるWorld Robot Summit, Service Categoryに出場している。同大会では、セブンイレブン、トヨタ自動車がスポンサーとなり、未来のコンビニエンスストア、家庭環境でサービスを提供するロボットの知能と身体能力を競う。2018年に開催されたWRS2018においては、Future Convenience Store Challenge, Partner Robot Challenge (Real), Partner Robot Challenge (Virtual)に出場し、NEDO理事長賞、計測自動制御学会賞、WRS実行委員長賞など多数の賞を受賞した。本取り組みは、立命館大学の研究支援プロジェクトR-GIROの支援を受けて実施しております。

L. El Hafi, S. Isobe, Y. Tabuchi, Y. Katsumata, H. Nakamura, T. Fukui, T. Matsuo, G. A. Garcia Ricardez, M. Yamamoto, A. Taniguchi, Y. Hagiwara, and T. Taniguchi, "System for Augmented Human-Robot Interaction Through Mixed Reality and Robot Training by Non-Experts in Customer Service Environments", Advanced Robotics, Vol. 34, No. 3, Nov. 2019. [Link]

人類の言語進化の仮説の一つに「音列と状況の相互分節化仮説」があります。人類の祖先は、複雑な音列と状況の分節化能力を駆使した他者とのインタラクションの中で複雑な言語を形成してきたとする仮説です。この仮説に基づく計算論モデルを構築し、これを実装したロボットを用いた実験から構成論的に仮説を検証します。本研究は、JSPS 科研費 新学術領域研究「共創的コミュニケーションのための言語進化学」（領域番号4903，課題番号17H06379）の支援を受けて実施しております。

Yoshinobu Hagiwara, Hiroyoshi Kobayashi, Akira Taniguchi, Tadahiro Taniguchi, “Symbol Emergence as an Interpersonal Multimodal Categorization”, Frontiers in Robotics and AI, Vol. 6 Article 134, pp. 1-17, Nov. 2019. [Link]

キッチンやリビングといった単語で表現される場所は家庭毎に異なります。こういった場所に関するローカルな知識を各家庭でボトムアップに効率的に獲得するために場所概念の転移学習、能動学習のアルゴリズムを構築します。これにより、ユーザとの少ない言語コミュニケーションのみでロボットによる空間の理解を可能とします。本研究は、トヨタ自動車との共同研究としてHSR（Human Support Robot）コミュニティの支援を受けて実施しております。

Yoshinobu Hagiwara, Masakazu Inoue, Hiroyoshi Kobayashi and Tadahiro Taniguchi. “Hierarchical Spatial Concept Formation Based on Multimodal Information for Human Support Robots”, Frontiers in Neurorobotics, Vol. 12, Article 11, pp. 1-16, 13 Mar. 2018. [Link]

概念のプロトタイプとは、概念に特徴的な属性を多数持つ代表的な事例であり、人間の認知過程において、事物のカテゴリゼーションや未観測情報の予測において重要な役割を果たしている。これにより、「キッチン」における物体の典型性はゴミ箱よりもシンクが高く、「ミーティングルーム」における位置の典型性はテーブルの周囲が高いといった知識の獲得が可能となる。本研究は、JSPS 科研費 若手研究「概念のプロトタイプ獲得を可能とするロボットの認知モデルの構築と大規模転移学習」（18K18134）の支援を受けて実施しております。

Shota Isobe, Akira Taniguchi, Yoshinobu Hagiwara, and Tadahiro Taniguchi, “Learning Relationships between Objects and Places by Multimodal Spatial Concept with Bag of Objects”, The Ninth International Conference on Social Robotics, Nov. 2017, pp. 115-125. [Link]

生活支援ロボットHSRを用いてロボットが家庭環境においてボトムアップに場所の概念を獲得する計算論モデルを構築し、これにより人の生活支援に欠かす事のできない意味に基づく言語的コミュニケーションを通したサービスの提供を可能とします。場所の概念は、ロボットの視覚、聴覚などのマルチモーダル情報に基づいたベイズ生成モデルにより表現されます。本研究はJST　CREST　JPMJCR15E3の助成を受けたものです。

Yoshinobu Hagiwara, Masakazu Inoue, Tadahiro Taniguchi, “Place Concept Learning by hMLDA Based on Position and Vision Information”, 13th IFAC/IFIP/IFORS/IEA Symposium on Analysis, Design, and Evaluation of Human-Machine Systems (IFAC-HMS2016), Aug. 30-Sept. 2, 2016, Kyoto, Japan, Proceedings of IFAC-HMS2016, Vol.49, Issue19, pp.216-220. [Link]

HMD、モーションセンサなどの没入型インタフェースを伴うクラウド仮想環境を構築し、多種多様な環境における人とロボットのインタラクションから大規模なマルチモーダル情報の収集を可能とする。さらに、収集した情報からロボットによる概念学習を可能とする研究用プラットフォームを構築し、その知識の実世界のロボットへの転移を可能とする。本研究はJSPS科研費 JP16K16133の助成を受けたものです。

Yoshinobu Hagiwara, Yoshiaki Mizuchi, Yongwoon Choi, and Tetsunari Inamura: “Cloud VR System with Immersive Interfaces to Collect Human Gaze-Controls and Interpersonal-Behaviors”, IEEE/SICE International Symposium on System Integration (SII'14), Dec. 13-15, 2014 in Tokyo (Japan). The proceedings of SII'14, pp.169-174. [Link]

家庭環境で人と共存する＠ホームロボットの共通プラットフォームリーグに参加。ROSにより動作する標準プラットフォームを用いたロボット技術・サービスの開発に取り組んでいます。2010年からRoboCup Japan Open @Home Leagueに参加しています。

Jeffrey Too Chuan Tan, Yoshinobu Hagiwara, Tetsunari Inamura, “Learning from Human Collaborative Experience: Robot Learning via Crowdsourcing of Human-Robot Interaction.”, Companion of the 2017 ACM/IEEE International Conference on Human-Robot Interaction, HRI 2017, Vienna, Austria, March 6-9, 2017, pp. 297-298. [Link]