高齢者生活支援ロボットの研究

高齢者生活支援ロボットの研究（Research on Assistive Robots for the Elderly）

高齢者生活支援ロボットSITTER（付き添い人という英語と湘南工科大学（SIT，Shonan Institute of Technology）をかけています）を2013年から研究しています。科研費平成28年度 基盤研究(C)「在宅・高齢者施設における高齢者の移動型見守りロボットに関する研究」を取得し、研究を行っています。

SitterはSIT（Shonan Institute of Technology）とsitter（世話をする人。 付き添いの人。）を掛け合わせて名付けました。高齢者支援や大学案内をするロボットを目指しています。

Sitter was named by combining SIT (Shonan Institute of Technology) and the word "sitter" (a person who takes care of or accompanies someone). We aim to develop a robot that supports the elderly and provides university guidance. 

SITTER3（2022~）

• SITTER3仕様 (SITTER3 Specifications)

  • 足回り

    • Vstone製　MegaRover v2.1

  • センサ

    • RGB-D: Intel Realsense D435i

    • Lidar: RPlidar A3M1

    • 超音波センサ

  • 胴体　枠組み　内製

  • ロボットカバー　内製デザイン　大学院機械工学専攻　杉﨑君（2024）

    • 自宅３Dプリンタにて印刷

  • ワイヤレス充電

• 2023/5/20、21　ふじさわ産業フェスタ（藤沢市秩父宮記念体育館）出展

  • 5/20（土）、21（日）に開催されたふじさわ産業フェスタ（秩父宮記念体育館）に大学案内ロボットSITTER3を出展しました。SITTER3は音声認識でのおみくじ機能や歌を歌う機能などを紹介するとともに、子供たちにはラジコンによりSITTER3の操作体験をしてもらうことで、多くの関心を集めることが出来ました。ありがとうございました。

  • We exhibited the university guide robot SITTER3 at the Fujisawa Industry Festival (held at Chichibunomiya Memorial Gymnasium) on May 20th (Saturday) and 21st (Sunday), 2023. SITTER3 showcased features such as voice-recognition-based fortune telling and singing. Additionally, children were given the opportunity to operate SITTER3 using a remote control, which attracted a great deal of interest. Thank you very much. 

SITTER2（2019~）

• • 学科横断ロボティクスコースではSITTER2プロジェクトとして大学案内ロボットSITTER2の研究開発をしています。最初は大学本館１Fにて来校者への挨拶、マスク着用の有無の確認、本館１Fでの付添案内、それ以外の大学施設への行き方案内などを実施する予定です。

  • In the interdisciplinary robotics course, we are conducting research and development of the university guide robot SITTER2 as part of the SITTER2 project. Initially, the robot will be stationed on the first floor of the university's main building, where it will greet visitors, check if they are wearing masks, guide them around the first floor of the main building, and provide directions to other university facilities. 

  • シミュレーション (Simulation)

  • SITTER2仕様 (SITTER2 Specifications)

    • 足回り

      • Vstone製　MegaRover v2.0

    • センサ

      • RGB-D: Intel Realsense D435i

      • Lidar: URG-04LX-UG01

      • 超音波センサ

    • 胴体　枠組み　内製

    • ロボットカバー　内製デザイン　総合デザイン学科　高野教授

      • ３Dプリンタにて印刷

SITTER1（2013~）

• あっち向いてホイロボット（SITTER1）Acchi-muite-hoi Robot

  • 人と生活を共にするロボットには人の存在を認識したり，人の動き・姿勢を認識したりする必要があります。ここではKinectを使って人の姿勢や顔の向きを認識し，あっち向いてホイをするロボットを開発しました。

  • Robots that live alongside humans need to recognize human presence, movements, and postures. In this project, we developed a robot that plays "Acchi-muite-hoi" by using Kinect to recognize human postures and facial directions. 

  • "Acchi-muite-hoi" is a traditional Japanese game often played by two people. After a game of "rock-paper-scissors," the winner points in one direction (up, down, left, or right) and simultaneously shouts "Achi-muite-hoi" (which means "look that way"). The loser must try to look in a different direction. If the loser looks in the same direction as the winner points, the winner scores a point. If not, the game continues with another round of "rock-paper-scissors."

• 追従ロボット（SITTER-1’）Person Following Robot

  • 人の位置を検出し，人との距離を一定に保って付いて行くことが出来るロボットを開発しています。この追従機能を利用すれば，高齢者に付き添い，高齢者がお風呂やトイレに入られたらドアの外で待ち，一定の時間が過ぎても出て来られないときには家族に連絡するなどの見守りが可能となります。

  • We are developing a robot that can detect a person's position and follow them while maintaining a constant distance. By utilizing this tracking function, the robot can accompany elderly individuals, wait outside the door when they enter the bathroom or toilet, and notify family members if they do not come out after a certain period of time, thus providing a monitoring function. 

・高齢者見守りロボット

高齢者の見守りのため、人の認識機能、歩容認証機能、転倒検出機能、車椅子の認識機能などの機能研究を行っています。

人の認識機能はRGB-Dセンサ（Kinectなどの2次元画像と深度情報を得られるセンサ）を用いて人を識別し、人の顔位置を算出し、ロボットがその方向を向くための回転情報が計算出来ます。ロボットは人毎にその位置を認識します。

歩容認証機能は高齢者施設などの大部屋での入居者の出入りを確認し、出ていった人が認知症を患っているなどケアを必要とする人かどうかを認識するための機能です。夜間では部屋は暗いので、画像処理による顔認識では人物認識がうまくいかない可能性が高いです。そのため夜間でも利用できる赤外線カメラにより人体の関節位置を計測し、その関節位置から計算される歩容（歩き方）により人物を特定する技術を研究しています。退出者がケアの必要な人であればナースステーションなどに連絡することで見守りを実現できる。本研究ではディープニューラルネットワーク（Deep Neural Network）を用いて、人物ごとの歩行のデータを学習し、人物の識別実験を行いました。基礎実験では7名の人物を畳み込みニューラルネットという技術を用いて、95%以上の精度で認識できています。但し、基礎実験では被験者に同じ方向に直進歩行を依頼し、認識精度を確認しました。

高齢者施設や家庭では、人は必ずしも一定方向に直進するわけではありません。人が自由に部屋の中を歩き回る場合に対処できるよう、RGB-Dセンサのデータを変換し、人の動きをその場での足踏み（骨格中心である腰位置からの相対距離）状態に変換し、人が直進せず自由に歩いている場合にも対応出来るようにしました。このデータをDNNを利用して研究室の学生8人の歩容認証を行い、90%程度の認識率を得ました。

人に追従するための研究として人の認識および距離計測の研究を実施しました。従来法のRGB-Dセンサによる骨格検出では顔や体の一部が画像上に写っていない場合に人を取り逃すことが多いのを克服するためです。深層学習を使うことでロボットと人の間が60cmくらいの近距離においても人を認識できることが分かりました。実際のロボットと人との関係において、人の全身像を常にロボットへの入力画像として捉えることは不可能ですので、骨格検出に加えて画像処理による人検出機能を検討し、その有用性を示しました。

転倒検出においても同様にDNNを用いた手法を使って検出器を作成しました。人の典型的な転倒の仕方6種類（前、後、左、右、こける、滑る）に対して学習し、83%の精度が得られました。高齢者の転倒の確実な検出のためにはまだデータが少ないおよび識別すべき転倒の種類など今後さらなる検討が必要です。

実ロボットに搭載するため、エッジコンピューティング（ロボット本体の計算能力の充実）に対応させ、ロボット本体で上記のような技術を処理する必要があります。消費電力が少なくかつ深層学習の計算を高速に回すことが出来るニューラルネット用チップ（Intel Neural Compute StickやOrange Pi AI Stick）を使った実験を行っています。ロボット搭載のCPUだけでは実用的な計算時間を達成できない物体認識などを実時間で計算できることが確認できました。

今後は上記技術をシステムとしてまとめ、高齢者生活支援ロボットとして実証実験を行っていきます。

・Elderly Monitoring Robot

We are conducting research on various functions for monitoring the elderly, including human recognition, gait authentication, fall detection, and wheelchair recognition.

The human recognition function uses an RGB-D sensor (a sensor that provides 2D images and depth information, such as Kinect) to identify people, calculate the position of their faces, and determine the rotation information for the robot to face that direction. The robot recognizes the position of each individual.

The gait authentication function is designed to monitor the entry and exit of residents in large rooms in elderly care facilities, recognizing whether a person who has left requires care, such as those with dementia. Since rooms are dark at night, facial recognition using image processing may not work effectively. Therefore, we are researching a technology that uses an infrared camera to measure the positions of body joints and identify individuals based on their gait (walking style) calculated from these joint positions, even at night. If an individual who needs care leaves, the system can notify the nurse station, thus providing monitoring. In this research, we used Deep Neural Networks (DNN) to learn walking data for each individual and conducted identification experiments. In preliminary experiments with seven individuals, we achieved over 95% accuracy using a technique called Convolutional Neural Networks (CNN). However, in these preliminary experiments, participants were asked to walk straight in the same direction to verify recognition accuracy.

In elderly care facilities and homes, people do not always walk straight in one direction. To handle situations where people walk freely around a room, we converted the data from the RGB-D sensor to transform the person's movements into a state of stepping in place (relative distance from the waist position, which is the center of the skeleton). This allows the system to handle cases where people are walking freely without walking straight. Using DNN, we conducted gait authentication for eight students in our lab and achieved an approximate 90% recognition rate.

For research on following individuals, we studied human recognition and distance measurement. This was to overcome the issue where traditional RGB-D sensor-based skeleton detection often misses people when parts of their face or body are not visible in the image. Using deep learning, we found that people could be recognized even at close distances of about 60 cm between the robot and the individual. In real-world interactions between the robot and people, it is impossible to always capture the full body image as input to the robot. Therefore, we examined the usefulness of combining skeleton detection with image processing-based human detection and demonstrated its effectiveness.

For fall detection, we also created detectors using DNN-based methods. We trained the system on six typical types of falls (forward, backward, left, right, stumbling, and slipping) and achieved 83% accuracy. To reliably detect falls among the elderly, more data and further study of the types of falls to be identified are needed.

To implement these technologies on actual robots, we need to support edge computing (enhancing the computing capabilities of the robot itself) so that the robot can process the aforementioned technologies. We conducted experiments using neural network chips (such as Intel Neural Compute Stick and Orange Pi AI Stick) that consume low power and can quickly perform deep learning computations. These experiments confirmed that object recognition, which cannot achieve practical computation times with the robot's CPU alone, can be computed in real-time.

Moving forward, we will integrate the above technologies into a system and conduct demonstration experiments as a life support robot for the elderly.

参考文献（References）

1. 尾崎 文夫：高齢者生活支援ロボットの研究現状調査，湘南工科大学紀要 第48巻, pp.21-32, 2014

2. OZAKI, Fumio, “Gait Recognition Using Convolutional Neural Network with RGB-D Sensor Data,” 2020 IEEE/SICE International Symposium on System Integration(SII2020), Mo1P.6, Hawaii, 2020

3. 尾崎 文夫：RGB-D（画像・深度）センサを用いた歩容認証の研究、湘南工科大学紀要、第54巻、pp.91-98、2020

4. 尾﨑 文夫：高齢者生活支援ロボットの現状, 日本老年医学会雑誌, 2020, 57 巻, 3 号, p. 224-235

5. 尾﨑 文夫：自然言語による大学案内ロボットの動作・教示システム、1A3-06、計測制御学会 SI部門講演会 SI2023