いただいたご質問への回答

ご質問ありがとうございます。

Geminiを採用した最大の理由は、その強力な「マルチモーダル能力（画像とテキストの同時処理）」です。

メリットは、複雑な画像認識モデルを自作する開発コストを大幅に削減できた点です。
デメリットとしては、APIの継続利用に伴うランニングコストの発生がある点です。

ご質問ありがとうございます。

地域の幅広い層、特にデジタル機器に不慣れな方々にも参加していただくための「オフラインでのアプローチ」が重要だと考えています。
具体的には、回覧板や公民館でのポスター掲示にQRコードを掲載する等で解決できるのではないかと考えております。

ご質問ありがとうございます。

経験値の対象を花壇に設定し、「地域のみんなでお世話をしたから、この花壇がレベルアップした」という「協力」を促すデザインにしました。

ご評価いただきありがとうございます。

企業の緑地管理という新たな視点は大変参考になりました。

また、おっしゃる通り、屋外での本格的な運用には防水や通信環境などの改良が必須であると認識しております。
いただいた貴重なご意見は次年度の研究へと引き継ぎ、より実用的なシステムへと発展させていきたいと考えています。

ご指摘ありがとうございます。

本研究ではプロトタイプの構築を優先しましたが、社会実装に向けてはビジネスモデルの提示が不可欠であると認識しております。
いただいた課題は次期研究へと引き継ぎ、より実践的なシステムへと昇華させたいと考えています。

貴重なご提案ありがとうございます。

本システムでは、誰もが日常の延長で取り組めるよう、ターゲットの行動を「水やりと除草」に絞り込んだ設計としております。
今後はゲーミフィケーションに栄養状態の確認要素をどのように組み込んでいくか検討していきたいと考えています。

全体構成への温かいお言葉、ならびに貴重なアドバイスをありがとうございます。

おっしゃる通り、後輩への引き継ぎと実際の地域連携に向けた運用は、今後の重要な課題だと認識しております。
いただいたご意見を励みに、より良い研究に発展させていきます。

貴重なご意見ありがとうございます。

その場合は、IDとの関連付けを行っているためある程度耐えることは可能です。

貴重なご意見ありがとうございます。

ライントレースとは違うところがあり、毎回適時状況判断をもとに、目的地まで最短ルートを走行するように制御しています。
そのため、現状であっても路面の状況が安定しない状況でも耐える設計となっています。

貴重なご意見ありがとうございます。

これからの研究で境界となる項目を出し合い、検証を重ねていきたいと考えています。

貴重なご意見ありがとうございます。

マイコンを変更した理由は、今回使用した通信方式のBLE（Bluetooth Low Energy）を使用するうえで、確実にBLEを用いているとの確証が欲しかったからです。
変更前のマイコンにはBLE以外にWiFiやのBluetooth classic等も搭載されており、プログラムによってはどれでも使用できてしまうことから、あえて今回使用したマイコンにはBLEのみの搭載のマイコンを用いることにしました。

貴重なご意見ありがとうございます。

センサーや高性能なマイコンを搭載しなくとも、従来より用いているモノ（オブジェクト）に対して、認識と制御を任せるAI機能を加えてあげさえすれば、あたかも人が動かしているように制御できることをこの研究を通して検証したかったのです。

貴重なご意見ありがとうございます。

確かに、システム規模で判断すべきと考えます。
一方で、親機のみをバックアップで抱えておけば修復や変更も容易となる可能性もあります。

今後、これらの検証を進めて参ります。

貴重なご意見ありがとうございます。

X軸とy軸に対してz軸を加えた、所謂、三次元に表現したシステム構成へと拡張すれば、可能となるのかも知れません。今後に期待下さい。

貴重なご意見ありがとうございます。

今後はよりカメラから取り入れる画像の範囲を広げたり、三次元的に拡張できないかを確認したりと、様々な事柄について研究を進めていきたいと考えております。

とても励みになるコメントありがとうございます。
一日でも早く実証実験に進めるよう、メンバー一同、研究開発に打ち込んでいきたいと思います。

とても励みになるコメントありがとうございます。
一日でも早く実証実験に進めるよう、メンバー一同、研究開発に打ち込んでいきたいと思います。

とても励みになるコメントをいただき、ありがとうございます。
このシステムの実用性や、色々な場面で応用できそうだと感じていただけて、メンバー一同嬉しく思います。

そして、実用化に向けての『精度の向上』については、まさに仰る通りで、私たちも一番クリアしなければいけない壁だと痛感しています。

実用化レベルの精度を出すためには、今の『圧力の大きさ』のみを基準にデータをスクリーニングする方法から、加速度や波形なども組み合わせた、より多元的な視点での高度な分析方法を検討していく必要があります。

将来、エンタメや車の運転支援など、本当に社会のいろんな場所でこのシステムが役に立つように、これからも精度の再調整とシステムの実用化に向けて研究を深めていきたいと思います。

コメントありがとうございます。
一日でも早く実証実験に進めるよう、メンバー一同、研究開発に打ち込んでいきたいと思います。

ユースケースのアイデアについて評価していただき、ありがとうございます。
エンタメ分野などで『言葉にしなくても感情を共有できる仕組み』は、私たちがこの研究で一番実現したかった目標ですので、そこを評価していただけてとても嬉しく思います。

実験用の映像ソースにつきましては、『刺激の強さ』と『課題の有無』という自分たちの定義に当てはまりそうなわかりやすい動画を独自に選定して実験を行いましたが、おっしゃる通り、研究の客観性を高めるためには、心理学などの分野で『この映像を見ればこの感情が引き起こされる』と学術的に証明されている標準的な映像データを使う必要があると考えます。
本システムの学習データを作る際の標準として、特定のメンタル状態を誘起する動画を探し始めた段階ではそのような標準的な動画の存在まで辿り着けませんでしたが、再度調べてみたところ、研究用に公開されている動画データのセットがあるようです。
今後の研究においては、そのような標準的な動画を用いたシステムの評価を行い、より実用的なシステムとしてブラッシュアップしていきたいと思います。

今後の研究のレベルアップに繋がる貴重なアドバイスをいただきありがとうございました。

ご質問ありがとうございます！
『手軽なデバイス』という観点は、実用化に向けて本当に重要なポイントだと私たちも考えています。

今回私たちが使用したマイコンや圧力センサは、すべてインターネットで数千円程度で買える一般的な市販品を組み合わせて作っています。
構造もとてもシンプルで、インターネット環境さえあれば誰でも手軽に構築できるシステムでもあります。

現在のものはプロトタイプのシステムですので使い勝手の良いものではありませんが、将来的には小型化や低消費電力化等を進めていくことにより、例えばスマートフォンとの組み合わせで誰でも簡単に使えるものにブラッシュアップしていきたいと考えています。

貴重なご意見ありがとうございました。

コメントありがとうございます。
無意識の体動（圧力や加速度）から心理状態を分析するという着眼点に興味を持っていただけて、とても嬉しく思います。

まず、緊張や緩和をもっと精密に分析できればというご意見についてですが、今は『圧力の変動が小さいデータ』を一律で除外してしまっている状態です。
ここを改善して、加速度や波形の形なども複合的に見て細かい反応まで拾い上げられるようになれば、もっと精密で明瞭な結果が出せると私たちも考えています。
この部分は、今後の研究でさらに深めていきたいポイントです！

また、スライドの黄色の文字が見づらかったとのこと、申し訳ありません。
PCのモニタでは大丈夫でしたが、プロジェクター投影時のスクリーン上の視認性の確認不足によるもので、配色のコントラストをもっと意識するべきだったと反省しています。

次に資料をまとめる時や、後輩へ研究を引き継ぐ際には、ご指摘いただいた見やすい色使いになるよう改善するようにします。

貴重なご意見、ありがとうございます。

本研究の初期段階では、スマートウォッチを用いた心拍の変化や呼気、心音等の生理学的データの収集も同時に試みましたが、呼気や心音をクッションに組込んだセンサのみで検出する技術的なハードルが高く、スマートウォッチからの心拍データの取得はできましたが、リアルタイム性を低下させずに取得することは困難でした。
しかしながら、映像視聴実験の過程で、心拍数の変化とクッションに加わる圧力や加速度の変化が、ほぼ同期しながら同様の傾向で変化していることが分かりました。
これを元に、無意識に生じる体動のパターンを検出して分析することによりメンタル状態を推定できる可能性が出てきました。
この分析をAI担わせることによって、無侵襲のメンタル状態推定システムが実現できると確信し、現在の研究に至っています。
現状では未だ難しいですが、今後のシステム開発においては、メンタル状態の変化に生じる現象を医学・生理学的なアプローチで行われている研究を参考にしながら、より実用的なシステムに進化させていきたいと考えています。

コメントありがとうございます。
一日でも早く実証実験に進めるよう、メンバー一同、研究開発に打ち込んでいきたいと思います。

とても励みになるコメントをいただき、ありがとうございます。
昨年からの進展や発想力を高く評価いただけて、メンバー一同、達成感を感じるとともに嬉しく思います。

質問でいただいた『生成AIを用いた分析』というアドバイスについては、年々生成AIのマルチモーダル性能が高くなってきていますので、データパターン分析の観点から今後チャレンジしてみたいと考えています。

本研究で用いている『Transformer』モデルは対話型生成AIの中核技術であるLLMの中で用いられていますが、現在のデータパターン分析の処理速度を考慮するとベストではないもののベターな選択と考えます。

生成AIを本研究のシステム内で活用していくためには、生成AIの処理に合わせた形にデータを加工する前処理が必要になるものと思われます。
今後、生成AIの活用を含めたデータ分析方法を視野に入れ、本システムの研究開発に反映させていきたいと思います。
また、今後の研究で期待に応えられるような成果が出せるよう、本研究の総括と後輩たちへの引き継ぎを行っていきたいと思います。

貴重なコメントをいただき、ありがとうございます。

椅子やベッドにセンサを組込んで身体反応を検出する研究は既にいくつか行われていますが、本研究のアプローチとして座席にセンサーを配置して重心移動のデータを取る方法は、メンタル状態の変化に伴って生じる身体反応の検出につながる有力な手段の一つになるものと思われます。
現在のシステムでは、重心移動に相当する身体の揺らぎを加速度センサを用いて測定していますが、センサの特性上重心移動のような緩やかな動きを検出するのは得意ではありません。

そのような観点から、座席からの『大きな重心移動のデータ』も組み合わせることができれば、より複雑なメンタル状態の変化を捉えることに繋がっていくものと思われます。

今後の研究の方向性に一つの指針を与えるようなヒントをいただき、ありがとうございました。

コメントありがとうございます。
一日でも早く実証実験に進めるよう、メンバー一同、研究開発に打ち込んでいきたいと思います。

とても励みになるコメントありがとうございます。
一日でも早く実証実験に進めるよう、メンバー一同、研究開発に打ち込んでいきたいと思います。

とても励みになるコメントありがとうございます。
多用なユースケースを考えつつ、一日でも早く実証実験に進めるよう、メンバー一同、研究開発に打ち込んでいきたいと思います。

コメントとアドバイス、ありがとうございます。
本研究の手法を評価していただけて、とても嬉しく思います。

車の運転補助への活用についてですが、時間の都合で今回の発表スライドには含めていませんでしたが、グループ内で議論した活用法の一つでした。

私たちが構想していたのは、車のシートの背もたれにセンサを埋め込んで、ドライバーの『散漫』や『過度な緊張』を検知して、休憩の提案やアラートを出すというシステムでした。
椅子やベッドに圧力センサや加速度センサを組込んで、身体反応を計測する研究は既に行われていますが、『車のハンドルに組み込む』というアイデアは、ハンドルのグリップ圧力がメンタル状態によって変動することは充分に考えられますので、今後の研究対象の候補の一つとして考えたいと思います。

ハンドルにセンサを組込んで運転時に干渉させない工夫が必要になりますが、ドライバーが常に握っているハンドルからの圧力データを収集する手段と本研究の手法は、とても相性が良いものと思われます。

複数の異なるデバイスの組合せで収集したデータの分析からメンタル状態を数値化するための処理は容易ではありませんが、有力なユースケースの一つとして今後の研究開発の中で取り組んでいきたいと思います。

貴重なご意見をありがとうございます。

提案されたアドバイスは今後の活動の参考にさせていただきます。

いち早く製品化し広く世の中に使っていただけるようにすることは大切と考えています。
今後、実用化に向けて真剣に取り組んで参ります。

貴重なご意見をありがとうございます。
残された課題も解決しながらより良いシステムにしていこうと考えています。

精度の面で評価をいただき、誠にありがとうございます。

認識精度については、縦書き・横書きを問わず正確に読み取れるよう工夫を重ねてまいりました。

ご指摘の通り、本システムは子供に限定されるものではないと考えています。
今後は、多様なユーザーが利用することを想定して行きたいと考えています。

貴重なご意見をありがとうございます。
今回いただいたアドバイス等を参考にし、より良い開発を行ていこうと考えています。

貴重なご意見をありがとうございます。

まさにその通りだと考えています。
本研究の「実用化に向けて」でも触れましたが、システムのモバイル化を目指しています。利便性を追求し、実用化に向けた開発を続けていきたいと考えています。

貴重なご意見をありがとうございます。

声のイントネーションに関しまして、現在使っているシステムでは調整ができないため、代わりにキャラクターの声の変更を機能として入れておりました。
今後はイントネーションの調整をできるように検討していきます。

貴重なアドバイスをありがとうございます。
今後の活動の参考にさせていただきます。

また、今回使用したキャラクターは個人、法人としての商用利用は可能なものとなっています。

貴重なご意見、ならびに具体的な技術的アドバイスをいただき誠にありがとうございます。

ご指摘いただいた「文章全体を読み取る」という手法については、実は開発段階で私たちも非常に有力な解決策だと考え、実装に挑戦いたしました。
トライアンドエラーを繰り返す中で、検証実験に間に合わせるための時間配分が厳しくなってしまいました。
いただいたアイデアは、システムの完成度を高めるために不可欠な視点だと確信しております。

ご意見ありがとうございます。

今後このシステムを実用化というところに目を向けた場合、処理速度の向上は必ず必要になると考えています。

ご提案いただいたような「エッジへの推論移行」と「通信の負荷を少なくする」ことを貴重な意見として受け取り、システムの最適化に努めてまいります。

ご意見ありがとうございます。

AIの可能性を高めるためにおもしろい着眼点だと思いました。

また、後ろから接近する場合、相手はロボットに気づいていないため、声をかけるタイミングを逃すと接触のリスクが高まります。システムの実用化というのを見据えた場合、そういった配慮も必要になると勉強になりました。

質問ありがとうございます。

「邪魔だよ」も障害物を避ける動作として認識しました。
プロンプト設計によっては、もっと高度な動作ができると思います。

研究時間の関係でそこまで追及することはできませんでしたが、システムの性能向上に向けてどの部分で時間がかかっているかを調べることは必要不可欠だと考えています。

貴重なご意見として参考にさせていただきます。

こちらこそ共同研究ありがとうございました。

画像とテキストを切り離さず、一つの事象としてAIに捉えさせるという考え方は、ロボットがより人間に近い感覚で「ニュアンスをくみ取る」「空気を読む」ために不可欠な要素だと感じました。

この並列処理をどう両立させるかが今後大事になってくると考えています。

ご意見ありがとうございます。

まさにその通りで、すべてをAIにさせるのではなく、センサーなどを用いての制御は実用化にもつながる素晴らしい意見だと思いました。例えば、今回は回避動作でかなりレスポンスの遅延が起きていましたが、そういった緊急性の求められる動作はセンサーを用いて、速度制御や微調整などのレスポンスが速い指示は音声でなど様々なツールを用いての制御はとても重要だと感じました。

貴重なご意見ありがとうございます。

専門的な知見から私たちの現在地を言語化していただき、また将来への力強い示唆をいただけたことは、本研究にとって大きな収穫になりました。

いただいた意見をもとにさらなるシステムの向上につなげていきたいと考えています。

ご意見ありがとうございます。

AGVをコンセプトとして選んだ理由は、山形県の産業界に目を向けたときに、関東などの都市部と比較してAGVの普及率が低いと感じたからです。我々の研究を通して少しでも山形県の産業発展につながればと思い、AGVをコンセプトとして採用しました。

「性能の劣るGPUでも速い」という現象があるのなら、それはモデルのサイズに対して過剰なリソースを使わず、キャッシュやメモリ帯域を使い切る構成が最適だということだと考えました。ご意見いただいたような「あえてリソースを絞り、その分効率を最大化する」という考え方を取り入れることも、性能向上にむけて一つの貴重な策だと考えています。

ご意見ありがとうございます。

SMLの活用については、通信によるオーバーヘッドがなくなり、1トークンあたりの生成速度が向上できると思います。

RAGについては全ての行動パターンをモデルのパラメータに覚え込ませるのではなく、ロボットの仕様や特定の環境ルール（例：「この場所では徐行する」といったルール）を外部知識としてRAGで参照することで、SMLの「賢さ」を補うことができると考えられます。

藤吉先生の質問自動応答システムのサイトを見させていただきましたが、RAGを組み合わせる手法は、本研究の「ニュアンス理解」の向上だったり、誤動作防止にもつなげられると感じました。

ご感想いただき、誠にありがとうございます。

今回特に苦心した5系統のタスク管理や、地上アプリのデザインをご評価いただき、メンバー一同大変喜んでおります。
さらなるブラッシュアップとキット化の実現に向けて全力で挑戦してまいります。

ご感想をいただき、誠にありがとうございます。

宇宙を身近に感じていただけたことを、開発メンバーとして大変うれしく思います。
山形から宇宙を目指す「ベニバナ・サットプロジェクト」の今後の展開にも、ぜひご注目いただけますと幸いです。

ご感想いただき、誠にありがとうございます。

さらなるブラッシュアップとキット化の実現に向けて全力で挑戦してまいります。

ご感想をいただき、誠にありがとうございます。

山形から宇宙を目指す「ベニバナ・サットプロジェクト」の今後の展開にも、ぜひご注目いただけますと幸いです。

ご感想いただき、誠にありがとうございます。

ご指摘の通り、宇宙開発において様々な機関との連携は不可欠です。
本プロジェクトも山形大学や地元企業の皆様との協力のもとで進められております。

ご感想いただき、誠にありがとうございます。

ご助言いただきました関係機関との連携につきましても、本プロジェクトは山形大学や地元企業の方々と協力体制を築きながら進めております。