Journal
Journal
Hideyuki Ichiwara, Hiroshi Ito, Kenjiro Yamamoto, Hiroki Mori, and Tetsuya Ogata: Modality Attention for Prediction-Based Robot Motion Generation: Improving Interpretability and Robustness of Using Multi-Modality, IEEE Robotics and Automation Letters, October 2023. DOI: 10.1109/LRA.2023.3327654
André Yuji Yasutomi, Hideyuki Ichiwara, Hiroshi Ito, Hiroki Mori, and Tetsuya Ogata, "Visual Spatial Attention and Proprioceptive Data-Driven Reinforcement Learning for Robust Peg-in-Hole Task Under Variable Conditions", IEEE Robotics and Automation Letters, March 2023. DOI: 10.1109/LRA.2023.3243526
Hyogo Hiruma, Hiroshi Ito, Hiroki Mori and Tetsuya Ogata, "Deep Active Visual Attention for Real-time Robot Motion Generation: Emergence of Tool-body Assimilation and Adaptive Tool-use," in IEEE Robotics and Automation Letters, July 2022, DOI: 10.1109/LRA.2022.3187614
Hiroshi Ito, Kenjiro Yamamoto and Hiroki Mori and Tetsuya Ogata, "Efficient multitask learning with an embodied predictive model for door opening and entry with whole-body control," in Science Robotics, April 2022, DOI: 10.1126/scirobotics.aax8177
Hiroshi Ito and Satoshi Nakamura, "Rapid prototyping for series of tasks in atypical environment: robotic system with reliable program-based and flexible learning-based approaches," in ROBOMECH Journal, February 2022, DOI: 10.1186/s40648-022-00222-y
Hiroshi Ito, Kenjiro Yamamoto and Hiroki Mori and Tetsuya Ogata, "Evaluation of generalization performance of visuo-motor learning by analyzing internal state structured from robot motion," in New Generation Computing, March 2020, DOI: 10.1007/s00354-019-00083-x
International Conference and Workshop
Takahisa Ueno, Satoshi Funabashi, Hiroshi Ito, Alexander Schmitz, Shardul Kulkarni, Tetsuya Ogata, and Shigeki Sugano: Multi-Fingered Dragging of Unknown Objects and Orientations Using Distributed Tactile Information Through Vision-Transformer and LSTM, Proceedings of 2024 IEEE/RAS International Conference on Intelligent Robots and Systems (IROS 2024), Abu Dhabi, UAE, October 14-18, 2024
Genki Shikada, Simon Armleder, Hiroshi Ito, Gordon Cheng, and Tetsuya Ogata: Real-time Coordinated Motion Generation: A Hierarchical Deep Predictive Learning Model for Bimanual Tasks, Proceedings of 2024 IEEE/RAS International Conference on Intelligent Robots and Systems (IROS 2024), October 14-18, 2024
Hiroshi Ito, Hideyuki Ichiwara, Kenjiro Yamamoto, Tetsuya Ogata, Naoaki Noguchi: Field-Ready Autonomous Robot: Door Opening and Passing through Using Deep Predictive Learning, 40th Anniversary of the IEEE Conference on Robotics and Automation, Rotterdam, Netherlands, 23-26 September, 2024
Hyogo Hiruma, Hiroshi Ito, Tetsuya Ogata, Adaptive Motion Generation Using Uncertainty-Driven Foresight Prediction, 40th Anniversary of the IEEE Conference on Robotics and Automation, Rotterdam, Netherlands, 23-26 September, 2024
Masaki Yoshikawa, Hiroshi Ito, Tetsuya Ogata: Achieving Faster and More Accurate Operation of Deep Predictive Learning, 40th Anniversary of the IEEE Conference on Robotics and Automation, Rotterdam, Netherlands, 23-26 September, 2024
Hiroshi Ito*, Yoshiki Kanai*, Masahiro Kamigaki, Hideyuki Ichiwara: Real-Time Prediction of Vision, Force, and Motion: Connector Insertion Motion Generation by 4-Channel Bilateral Imitation Learning, 40th Anniversary of the IEEE Conference on Robotics and Automation, Rotterdam, Netherlands, 23-26 September, 2024
Hideyuki Ichiwara, Hiroshi Ito, Kenjiro Yamamoto, Tetsuya Ogata, Naoaki Noguchi: Autonomous Taking in the Laundry with Deep Predictive Learning Using Tactility, Dual Arms and Eyes, 40th Anniversary of the IEEE Conference on Robotics and Automation, Rotterdam, Netherlands, 23-26 September, 2024
Hideyuki Ichiwara, Hiroshi Ito, Kenjiro Yamamoto, Tetsuya Ogata: Retry-behavior Emergence for Robot-Motion Learning Without Teaching and Subtask Design, IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM2024), Boston, MA, USA on July 15-18, 2024
Kenjiro Yamamoto, Hiroshi Ito, Hideyuki Ichiwara, Hiroki Mori, and Tetsuya Ogata: Real-time Motion Generation and Data Augmentation for Grasping Moving Objects with Dynamic Speed and Position Changes, Proceeding of IEEE/SICE International Symposium on System Integration (SII 2024), Ha Long, Viet Nam on Jan. 8-11, 2024, Best Paper Award Finalist
André Yuji Yasutomi, Hideyuki Ichiwara, Hiroshi Ito, Hiroki Mori, and Tetsuya Ogata: Visual Spatial Attention and Proprioceptive Data-Driven Reinforcement Learning for Robust Peg-in-Hole Task Under Variable Conditions, Proceedings of 2023 IEEE/RAS International Conference on Intelligent Robots and Systems (IROS 2023), Detroit, US, October 1-5, 2023.
Hideyuki Ichiwara, Hiroshi Ito, Kenjiro Yamamoto, Hiroki Mori, and Tetsuya Ogata, "Multimodal Time Series Learning of Robots Based on Distributed and Integrated Modalities: Verification with a Simulator and Actual Robots", Proceedings of 2023 IEEE International Conference on Robotics and Automation (ICRA 2023), London, UK, May 29 – June 2, 2023
Hyogo Hiruma, Hiroshi Ito, Hiroki Mori, and Tetsuya Ogata, "Deep Active Visual Attention for Real-time Robot Motion Generation: Emergence of Tool-body Assimilation and Adaptive Tool-use," Proceedings of 2022 IEEE/RAS International Conference on Intelligent Robots and Systems (IROS 2022), Kyoto, Japan, October 23-27, 2022, SICE International Young Authors Award (SIYA-IROS2022),
Hyogo Hiruma, Hiroshi Ito, Hiroki Mori, and Tetsuya Ogata, "Guided Visual Attention Model Based on Interactions Between Top-down and Bottom-up Prediction for Robot Pose Prediction," 48th Annual Conference of the Industrial Electronics Society IECON 2022 Conference, Brussels, Belgium, October 17-20, 2022
Hideyuki Ichiwara, Hiroshi Ito, Kenjiro Yamamoto, Hiroki Mori, and Tetsuya Ogata, "Contact-Rich Manipulation of a Flexible Object based on Deep Predictive Learning using Vision and Tactility," Proceedings of 2022 IEEE International Conference on Robotics and Automation (ICRA 2022), Philadelphia, USA, May 23-27, 2022
Hiroshi Ito, Hideyuki Ichiwara, Kenjiro Yamamoto, Hiroki Mori, and Tetsuya Ogata, "Integrated Learning of Robot Motion and Sentences: Real-Time Prediction of Grasping Motion and Attention based on Language Instructions," Proceedings of 2022 IEEE International Conference on Robotics and Automation (ICRA 2022), Philadelphia, USA, May 23-27, 2022
Hiroshi Ito, Takumi Kurata, and Tetsuya Ogata, "Sensory-Motor Learning for Simultaneous Control of Motion and Force: Generating Rubbing Motion against Uneven Object," Proceeding of IEEE/SICE International Symposium on System Integration (SII 2022), Online, January 9-12, 2022, SICE International Young Authors Award (SIYA-SII2022), Best Paper Award Finalist
Hiroshi Ito, Kenjiro Yamamoto, Hiroki Mori, Shuki Goto, and Tetsuya Ogata, "Visualization of Focal Cues for Visuomotor Coordination by Gradient-based Methods: A Recurrent Neural Network Shifts The Attention Depending on Task Requirements," Proceeding of IEEE/SICE International Symposium on System Integration (SII 2020), accepted, Honolulu, USA, January 12-15, 2020
Hiroki Kanayama, Taishi Ueda, Hiroshi Ito, Kenjiro Yamamoto: Two-mode mapless visual navigation of indoor autonomous mobile robot using deep convolutional neural network, Proceeding of IEEE/SICE International Symposium on System Integration (SII 2020), Honolulu, USA, January 12-15, 2020
Domestic Conference
吉川 将生, 伊藤洋, 尾形哲也: 深層予測学習を用いた動作生成モデルの高速高精度化, 日本ロボット学会第42回学術講演会, 2023年9月6日
昼間 彪吾, 伊藤洋, 尾形哲也: 内的不確実性に基づく先読みが実現する適応的な動作学習, 日本ロボット学会第42回学術講演会, 2023年9月4日
伊藤洋, 森翔太郎, 網野梓: 直感的な全方向移動とマニピュレーションを実現するロボットシステム, 日本機械学会ロボティクスメカトロニクス講演会, 2024年5月31日
金井嘉毅*, 伊藤洋*, 一藁秀行, 上柿雅裕: 4ch型バイラテラル制御を用いた深層予測学習によるロボットアームのUSBコネクタ挿入動作生成, 日本機械学会ロボティクスメカトロニクス講演会, 2024年5月31日
矢野泰樹, 伊藤潔人, 伊藤洋, 複数物体の外観比較結果に基づく指示対象物の曖昧性解消, 日本機械学会ロボティクスメカトロニクス講演会, 2024年5月31日
伊藤洋,小谷俊貴,一藁秀行,不確実性を伴う物体操作を実現する動作生成手法, 日本機械学会ロボティクスメカトロニクス講演会, 2024年5月31日
鹿田玄輝, Simon Armleder, 伊藤洋, Gordon Cheng, 尾形哲也: 双腕用階層型深層予測学習モデルを用いたマルチモーダル情報に基づく双腕協調作業, 日本機械学会ロボティクスメカトロニクス講演会, 2024年5月31日
藤田幸哉, 伊藤洋, 一藁秀行, 斎藤菜美子, 久保杏由南, 尾形哲也, 菅野重樹: マルチモーダル情報を扱う奥行きを考慮した動作生成モデルによる柔軟物操作の精度向上, 第38回人工知能学会全国大会, 2024年5月30日
朱允楷, 梅田弾, 伊藤洋, 尾形哲也, 木村啓二: Edge Device上でのAIロボット用深層予測学習モデル推論処理の高速化, 第65回組み込みシステム研究発表会, 情報処理学会, 2024年3月22日
山本健次郎, 伊藤洋, 一藁秀行, 森裕紀, 尾形哲也: ロバストな移動物体操作のための深層予測学習の教示手法, 計測自動制御学会システムインテグレーション部門講演会SI2023, 2023年12月14日 優秀講演賞
蔡賢博, 伊藤洋, 尾形哲也: 注意機構を用いた視差学習による奥行き認識及びリアルタイム動作生成, 日本ロボット学会第41回学術講演会, 2023年9月14日
久保杏由南, 斎藤菜美子, 鈴木彼方, 伊藤洋, 尾形哲也, 菅野重樹: 対象物の特徴の共有による複数タスク動作生成のための深層学習モデル, 日本機械学会ロボティクスメカトロニクス講演会,2023年6月30日
鹿田玄輝、伊藤洋、蔡賢博、鈴木彼方、尾形哲也: バイラテラル遠隔装置を用いた深層予測学習によるヒューマノイドロボットのタオル取り込み動作生成, 日本機械学会ロボティクスメカトロニクス講演会,2023年6月30日
上野貴久, 船橋賢, 伊藤洋, Alexander Schmitz, 尾形哲也, 菅野重樹: 時系列情報と Attention を用いた未知物体のロバストな手繰り寄せ把持動作の安定化手法の提案, 日本機械学会ロボティクスメカトロニクス講演会,2023年6月30日
伊藤洋, Simon Armleder, 鹿田玄輝, 蔡賢博, Gordon Cheng, 尾形哲也:深層予測学習を用いた双腕ロボットによる柔軟物体操作:近未来予測とリアルタイム動作生成,第37回人工知能学会全国大会,2023年6月6日
一藁秀行,伊藤洋,山本健次郎,森裕紀,尾形哲也:モダリティ注意による深層予測学習の解釈性とノイズロバスト性の向上,日本機械学会ロボティクス・メカトロニクス講演会,2022年6月3日
伊藤洋,一藁秀行,山本健次郎,森裕紀,尾形哲也:言語指示に基づいた注意予測による把持動作生成,日本機械学会ロボティクス・メカトロニクス講演会,2021年6月7日
一藁秀行,伊藤洋,山本健次郎,森裕紀,尾形哲也:触覚センサと深層学習を用いた布バッグのジッパー開け動作,日本機械学会ロボティクス・メカトロニクス講演会,2021年6月7日
中村哲司,伊藤洋:不定形環境における組立作業システムの開発,日本機械学会ロボティクス・メカトロニクス講演会,2021年6月7日
伊藤洋,山本健次郎,森裕紀,尾形哲也:深層学習を用いた実ロボットの反射動作学習,日本機械学会ロボティクス・メカトロニクス講演会,2020年5月29日
伊藤洋,山本健次郎,森裕紀,尾形哲也:CNNRNNPBを用いたOne-Shotによる模倣動作生成,日本ロボット学会第37回学術講演会,2019年9月4日
倉田拓実,伊藤洋,森裕紀,山本健次郎,尾形哲也:モータ関節角と電流値を用いた再帰型神経回路モデルによるペグ挿入動作生成,日本機械学会ロボティクス・メカトロニクス講演会,2019年6月6日
後藤守規,伊藤洋,森裕紀,山本健次郎,尾形哲也:深層学習を用いた実機ロボットアームの高精度動作生成,計測自動制御学会システムインテグレーション部門講演会SI2018,2018年12月15日
伊藤洋,山本健次郎,尾形哲也:深層学習を用いた要素動作の統合手法の開発,日本機械学会ロボティクス・メカトロニクス講演会,2018年6月4日,ROBOMECH表彰(産業・応用分野)
日永田佑介,伊藤洋,山本健次郎,尾形哲也:MTRNNを用いたEnd to End Learningによる移動行動学習システムの開発,日本機械学会ロボティクス・メカトロニクス講演会,2017年5月12日
伊藤洋,飯間等,黒江康明:Particle Swarm Optimizationに基づくタイルコーディングを用いた強化学習法,第40回 知能システムシンポジウム 計測自動制御学会,2013年
The starred authors(*) are co-first authors and contributed equally.
Misc
Namiko Saito, Mayu Hiramoto, Ayuna Kubo, Kanata Suzuki, Hiroshi Ito, Shigeki Sugano, Tetsuya Ogata: Realtime Motion Generation with Active Perception Using Attention Mechanism for Cooking Robot, arXiv:2309.14837, 2023
Kanata Suzuki* and Hiroshi Ito* and Tatsuro Yamada* and Kei Kase* and Tetsuya Ogata*: "Deep Predictive Learning : Motion Learning Concept inspired by Cognitive Robotics", arXiv preprint arXiv:2306.14714, 2023.
鈴木彼方*,伊藤洋*,山田竜郎*,加瀬敬唯*,尾形哲也*: 深層予測学習を用いたロボット動作の複合生成,日本ロボット学会誌, vol.40, no.9, pp.772-777, 2022.
Hideyuki Ichiwara*, Hiroshi Ito*, Kenjiro Yamamoto, Hiroki Mori, Tetsuya Ogata: Spatial Attention Point Network for Deep-learning-based Robust Autonomous Robot Motion Generation, arXiv:2103.01598, 2021.
The starred authors(*) are co-first authors and contributed equally.
Talk
深層予測学習を用いたロボットの知能化と数理工学,数理工学シンポジウム,2023年7月4日
深層予測学習が創る人間共生ロボットの実現に向けて,オープンフォーラム「ムーンショット型研究が目指す共進化AI ロボット」,日本ロボット学会第40回学術講演会,2022年9月9日
深層予測学習を用いた実ロボットの知能化と適用事例,日本ロボット学会第40回学術講演会,2022年9月8日
日立 × 早稲田の共同研究グループ。ロボットの探究が好きでたまらない4人の研究ストーリー,Qiita Zine
AIとFPGAの技術を結集してロボットの弱点を克服する,日立製作所特集
Patents
特許第2021-103421号, 「移動体、および、そのナビゲーションシステム」, 金山祐樹, 山本健次郎, 伊藤洋, 2019年12月25日出願, 2024年3月27日登録
特許第2019-209482号, 「情報処理装置、および、情報処理方法」, 伊藤洋, 山本健次郎, 2019年11月20日出願, 2024年4月11日登録
特許第2019-201754号, 「移動範囲設定システム及び移動範囲設定方法」, 金山祐樹, 山本健次郎, 上田泰士, 伊藤洋, 2019年3月5日出願, 2022年8月31日登録
特許第2019-201754号, 「自律走行型掃除機」, 姚卓男, 松井康博, 田島泰治, 伊藤則和, 橋本翔太, 飯村太紀, 伊藤洋, 金山祐樹, 2018年5月22日出願, 2022年3月8日登録
特許第2020-028950号, 「自律学習型ロボット装置及び自律学習型ロボット装置の動作生成方法」, 伊藤洋, 山本健次郎, 2018年8月23日出願, 2022年3月3日登録
特許第2019-010701号, 「複数動作ユニット統合装置、およびその制御方法、並びに自律学習型ロボット装置」, 伊藤洋, 山本健次郎, 日永田佑介, 2017年6月30日出願, 2020年12月17日登録
OSS
EIPL (Embodied Intelligence with Deep Predictive Learning) is a library for robot motion generation using deep predictive learning . Highlighted features include:
Full documentation for the systematic understanding of deep predictive learning
Easy model training: Includes sample datasets, source code, and pre-trained weights
Applicable to simulator and real robots: Generalized motion can be acquired with small data sets
GitHub Code, Project Page, Documentation
Exhibition
Towel hanging by humanoid robot AIREC,
IROS 2022, October 23–27, 2022
日立製作所 協創の森オープニングセレモニー,April 11,2019
Door Opening and Entry with Whole-Body Control using Deep Predictive Learning,
GTC Japan 2018, September 13-14, 2018
脳波を用いた搭乗型移動支援ロボット,2014年12月4日,プレスリリース
Media
日立が二人羽織ロボ、模倣学習研究用、長~い腕, 日刊工業新聞, 2024年6月24日, 朝刊1面
進化するロボット、家事や医療も器用に「ICRA」3選, NIKKEI Tech Foresight, 2024年5月22日
大規模基盤モデルとロボットの連携による新たな可能性, モリカトロンAIラボ, 2024年5月28日
ロボットは大規模基盤モデルでどう変わる?まだまだ賢くなる最新研究の数々, SeizoTrend byビジネス+IT, 2024年5月30日
2023国際ロボット展/早大、ジャケットをハンガーにかけるロボ, 日刊工業新聞, 2023年11月30日
EFFICIENT MULTITASK LEARNING POSSIBLE WITH A PREDICTIVE MODEL FOR DOOR OPENING AND ENTRY, SERVO MAGAZINE, 2022 ISSUE-2, January 12th, 2023.
Cool or Creepy? Video Shows AI Robot Taught How to Open Doors, Newsweek, April 22nd, 2022.
早大、予測と現実の差を埋めるよう柔軟に行動できるロボット制御技術を開発, マイナビ TECH+, 2022年4月18日
早大と日立、作業内容や環境が変化しても行動をリアルタイムに決定・実行可能な深層予測学習型のロボット制御技術を開発, 日本経済新聞, 2022年4月15日
作業内容や環境が変化しても行動をリアルタイムに決定・実行可能な深層予測学習型のロボット制御技術を開発, 株式会社日立製作所, 2022年4月15日
深層予測学習型ロボット制御技術開発, 早稲田大学, 2022年4月15日
Robot learns to open doors by splitting the task into three easy steps, NewScientist, April 6th, 2022.
作業内容に合わせて操作法を変更して実行する 深層学習型ロボット制御技術、つくばサイエンスニュース、2021年7月1日
さまざまな作業現場の自動化をめざし、形状が変わる物体のハンドリングに対応する深層学習型ロボット制御技術を開発,株式会社日立製作所,早稲田大学,2021年5月28日
日立製作所 共同開発の新拠点「協創の森」創設,テレ朝news,2019年4月11日
学習済みの動作を組み合わせてロボット全身の自律制御を行う深層学習技術,技術革新 サービス&プラットフォーム:研究開発,日立評論,2019 Vol.101 No.1,2019年2月3日
学習済みの複数の動作を自律的に組み合わせてロボット全身の制御を行う深層学習技術を開発ー動作習得に必要な期間の大幅短縮と動作バリエーションの飛躍的な増大を実現,日立製作所ニュースリリース,2018年5月31日
もう強く念じなくてもOK、ATRが新型の脳マシンインタフェースを開発、家電操作を披露、日経エレクトロニクス、2014年12月5日