プロジェクト

IoT: 身近なモノをネットにつないで「あったらいいな／できたらいいな」を実現しよう

2025年4月20日

生成AI支援でIoT (Internet of Things)：身近なモノをネットにつなごう：MESHでつないで「あったらいいな／できたらいいな」を実現しよう（参考サイト）

• MESH サポートサイト

• MESH 技術ドキュメント > クイックスタート > Python

ダンスステップチュータ（スポーツ画像解析） ← ポーズ・ランドマーク認識

2024年2月12日 

ポーズ・ランドマーク検出の応用システムとして企画・開発。元にするコードはこれ。解説はここやここやここ。←英語が苦手な人は翻訳して読みましょう。ダンスのお手本はたとえばこんな感じ。

• 動画ファイルに対してポーズランドマークを検出し、それを重畳した動画をファイルに保存するプログラム（旧モデル）←GPT4を使用して作成；プログラム（新モデル対応：人数指定可；座標検出；後ろから／上から機能も）

• カメラ入力に対してポーズランドマークを検出し、それを重畳して表示するプログラム（旧モデル）；プログラム（新モデル対応：人数指定可）

ダンスステップチュータの仕様の例：

• お手本とユーザのダンスを比べて採点する

• ついていけないのをAIが検出して、お手本の再生スピードを落としたり、できないところを繰り返し再生してくれたりする

• 合わないのを検出したら、この動画みたいに「キック、歩いて・歩いて、着いて、キック、トントン」ってAIが声を出してくれる

Q: ダンスの練習をすべきですか？

A: 本番のデモで踊る人が数人はいると思います。上手な人と初心者の両方がいる方がいいかな。人前で踊らないとしても、開発するデモシステムの動作確認をするには踊ってみる必要がきっとあります。また、どのようなシステムが欲しいか必要かは、自分で踊ってみるとよく分かります。たとえば、上記のようについていけないときゆっくり再生して欲しいとか、「キック、歩いて」とか声で指示してくれると踊りやすいとか。

新体操への応用

2025年4月8日

新体操への応用に向けて検討すべき点（竹澤先生との相談内容をメモ）：

• スマホやPCでスロー再生して、うまくいったとき／いかなかったとき、あるいは、トップレベル選手／初級者を見比べる、という現状と比べて、どのような機能があると練習に役立つか？／便利か？／欲しいか？

• ランドマーク検出における、画面上（上下方向と左右方向）の位置の精度と奥行方向の位置の精度（ある動作が「うまくいったとき／いかなかったとき」を比較して、演技者が違いを自覚できるために必要な精度があるか？）→1台のカメラでは奥行方向は精度が落ちる（このことが分かる動画の例：仮想的に上から見た動画を作っているので、奥行き方向の推定位置が可視化されている。奥行方向は腰の位置を原点とした相対座標）。

• 90度の角度で配置した2台のカメラで正面から／側面から撮影し、2台分のデータを統合すると、3次元座標の精度を向上できそう。検出したランドマークは例えば「左ひざ」のようなラベルが付いているため、2台分のデータを統合し、3次元の精度を高めるのは課題はいろいろあるが可能だと思う。基本的には、奥行方向の座標を、もう1台のカメラの左右方向の座標で置き換えればよいはず。課題は以下の通り：何らかの手段で2台分の映像の時刻合わせをする必要がある。2台のカメラの角度をできるだけ正確に90度にする必要がある。2台のカメラの被写体への距離（映像上の被写体の大きさ）をできるだけ揃える必要がある（揃ってなければ拡大／縮小）。正面からの映像／側面からの映像に対して、ランドマーク検出すると、検出したランドマークの位置がずれている可能性あり。片方で検出失敗とかもありえる。

• 奥行方向は精度の問題以外に、相対座標になってしまい、絶対座標が分からないという問題もある。奥行方向の絶対座標が必要な場合は、2台のカメラを使わざるを得ないだろう。（あるいは、深度センシングカメラを使う手もあるかもしれないが、それとランドマーク検出を組み合せる方法が必要）

• バランス（直立から足を上げる、体を反らせるなど）、ジャンプ、ターン、それぞれの解析に必要な奥行方向の精度は？まずは1台のカメラで試すとしたら、奥行き方向の精度が悪くても解析結果が有用そうなのは、「バランス」「ジャンプ」「ターン」の順だろう。

• 「うまくいったとき／いかなかったとき」「トップレベル選手／初級者」の違いは、どこに注目するとよいか（どのような可視化をするとよいか）→タイミング？、速度？、関節角度？、関節を曲げる順序／速度？、地面との角度？、地面からの高さ？、フープを投げる前の手を引く？タイミング／強さ？、強さは何かから（速度からとか？）ある程度推定できる？

• 他の競技（例：空手の型）への応用も検討

• 視線分析の応用としては、選手の視線に加えて、審判の視線（レベルによる視線の違い）も応用対象。

持続可能な畜産業のための画像認識ファインチューニング

2024年2月12日

深層学習により、豚の画像から健康状態や餌や掃除のタイミングを推定。技術的には、まずはここに載せてある「学習済みのResNet50モデルによる画像認識」あたりが出発点で、これを正解ラベル付きの豚画像でファインチューニングする方向。ファインチューニングするにはどうすればよいかは、Colab AIで尋ねてみたり、ネット検索で調べてみたりしましょう。正解ラベル付きの豚画像が準備できるまでの間は、練習用に何か適当な正解ラベル付き画像（アニメのキャラクターの名前を当てるとか、ラーメンの画像からラーメン屋を当てるとか）を用意して試してください。その後、さらに、新しい技術も試みましょう。

Google Colaboratoryの使い方（他にも「google colab 使い方」などで検索するといろいろ解説がある）

深層学習の勉強を兼ねて、「手書き数字の認識（深層学習）(GPT-4) → 対話前半部分のプログラム(Colab) → 対話後半部分のプログラム(Python: ローカルで実行)」←こちらも試すとよいと思います。後半部分は、Colabではできないので、ローカルでPythonとVisul Studio Codeをインストールしましょう。Pythonのインストールはたとえばここを参照。Visual Studio Codeのインストールは、たとえばここを参照。ここも参考になると思います。この後、さらに、GitHub Copilotを使えるようにしておけば無敵。

GitHub Copilotを使いこなそう

2024年2月12日

ここを参照。

生成AIに助けてもらうプログラミング

2024年2月12日

ここを参照。プログラム中の分からない点を生成AIに尋ねる；エラーへの対処を尋ねる；プログラムの作成や修正を依頼する；など、いろいろ使えるよ。書いてくれたプログラムを動かすだけでは力がつかないので、力がつく使い方をしよう。

Google Colaboratotyの使い方

2024年2月12日

ここを参照。他にも「google colab 使い方」などで検索するといろいろ解説があります。

対話システムコンペ

2023年9月23日

今年度はもう間に合いませんが、来年度に向けて準備を始めましょう。本格的なプログラム開発無しで参加することもできますが、その場合は、以下を見ると対話システムを作ってみることができます。

1. https://dialog-system-live-competition.github.io/dslc3/lecture.html の講習会動画

   • 対話システムにおけるシナリオ作成の秘訣について（動画4本）

   • 対話システム作成講習（動画5本）

2. ライブコンペ6のキックオフの動画 https://sites.google.com/view/dslc6/キックオフ?authuser=0

以上1.,2.の視聴には2～3時間程度かかります。

• xAIML SUNABAの利用にはGoogle アカウントが必要になります。

• xAIML SUNABAの利用はブラウザ（最新版のGoogle Chrome）を通して行います。

SUNABAを使った対話システムの構築方法、SUNABAから ChatGPTを呼び出す方法については下記を見て下さい。ChatGPT APIの利用は有料（従量制）です→相談に応じます（岡）。

• 講習会(2023/09/17)の説明資料

• SUNABA上で設定をコピー&ペーストするためのテキスト

データ分析するプログラムを書いてみよう

2023年7月23日

ここを参照。2023年7月23日時点の掲載項目：重回帰分析、k-means法、潜在的ディリクレ配分法(Latent Dirichlet Allocation)で分類し、word cloudで可視化

画像認識プログラムを動かしてみよう（深層学習）

2023年7月23日

学習済みのResNet50モデルを使って、画像認識するプログラムを書こう。

1. GPT-4に教わりながら書いたプログラム

2. 次の段階に進もう：

   1. 大量のいろいろな画像で学習済みのモデル（これを自分たちで作るのは大変なので、公開されているものを利用；今回利用したResNet50はその1つ）を元にして、自分が認識させたいものを手軽に学習させる方法を、調べてみよう。

手書き数字を認識しよう（深層学習）

2023年7月2日

深層学習モデル（畳込みニューラルネットワーク：CNN）を構築し、MNISTデータセットで学習させよう。学習済みのモデルを使って、画面上で手書きした数字を認識させよう。

1. （まだの人は）まず、PythonとVisual Studio Codeをインストール → 「ビデオゲームを作ろう」を参照

2. 続いて、tensorflow, keras, numpyをインストール（ついでに、pandas, sklearnもインストール）→たとえば、ここを参照。さらに、Pillowをインストール（たとえば、ここを参照）。matplotlibもインストール（たとえば、ここを参照）。

3. ChatGPTに相談（この例はGPT-4）

4. ChatGPTが教えてくれたプログラムをコピペすると、CNNの構築、学習、評価までは、Google Colabで実行可能。

5. 画面上で数字を手書きして、それを認識させるのは、Colabではできないので、ChatGPTが教えてくれたプログラムをローカルで実行。

6. 深層学習に興味が沸いたら、ChatGPTにいろいろ尋ねたりして勉強しよう。

7. 次の段階に進もう：

   • 認識精度を上げるには、どのような方法があるだろうか？いろいろな方法を実際に試してみよう。

   • 数字だけでなく、いろいろな画像を認識するには、どうしたらいいだろうか？ChatGPTに尋ねたり、検索して調べたりしてみよう。

ビデオゲームを作ろう

2023年5月20日

Pythonでビデオゲームを作りましょう。人同士で遊ぶ簡単なピンポンゲームから始めて、人と対戦するNPC (non-player character)、学習するNPC、・・・と進めていきましょう。pygameライブラリを使います。

1. まず、PythonとVisual Studio Codeをインストールして下さい。たとえば、ここを参照。この他にも、「python vscode インストール」「python インストール」「vscode インストール」などと検索すると有用なサイトがいろいろあります。パソコン内にすでにPythonがインストールされていた人は、ここも参照して下さい。Pythonインストール時の注意：自動で環境変数にパスを追加するため、「Add Python x.x to PATH」にチェックを入れ、「Install Now」をクリックします。

2. 続いて、pygameをインストールします。たとえば、ここを参照。この他にも、「pygame インストール」で検索すると有用なサイトがいろいろあります。

3. このプログラム（←このサイトのプログラムを改変したものです）から始めて、いろいろ拡張しよう。プログラム中のコメントが英語なので分かりにくい人は、機械翻訳するか、ChatGPTに頼んで日本語のコメントにしてもらいましょう→この結果のプログラム。拡張例を以下に示す：

   • ラケットやボールの色・大きさ・位置・速さを変える

   • 得点条件を決めてスコア表示（後ろの壁に当たったら得点とか、ラケットに当たったら得点とか。ラケットの裏で打つと高得点とかも面白そう。どこかに的があって、それに当てると得点というのもありますね。ブロック崩しみたいな感じ）→ スコア表示するプログラムの例 → GPT4に頼んでさらにコメントを増やしてもらいました。どこをどう変えるとどうなるか分かりやすくなったはず。

   • どんな条件で1ゲームとするかを決める（例：１０点でゲームオーバーとか）

   • 効果音をつける

   • ダブルスにする

   • ラケットを前後左右に動かせるようにする

   • ラケットを前後に動かしながら打つとそれに応じたボールの速度になるようにする

   • ラケットを傾けられるようにして、打球の方向を変えられるようにする

   • ラケットを自動で動かすプログラムを書く

   • ラケットの動かし方をお手本に合わせて覚えるプログラムを書く（教師あり学習）

   • 高得点が得られるようにラケットの動かし方を学習するプログラムを書く（強化学習）

   • 相手のレベルに応じてプレーしてくれるNPC (non-player character)

   • ダブルスでうまく連携するNPC

   • ジェスチャーでラケットを動かせるようにする（ビデオ、技術解説）

   • 声でラケットを動かせる／学習させられるようにする（上、下、よし、逆、止まって、頑張れ、・・・）

   • 最初は声をかけられても分からないが、赤ちゃんのようにしだいに言葉の意味が分かってくる

   • ・・・

設計コンペ

2023年5月16日

糊やクリップなどは使わず、A4の紙だけで、できるだけ高い構造物を作るチーム戦を実施しました。必要な機能の洗い出し、それを実現する手段の考案など、今後、AIシステムの試作や卒業研究を進めていくための、楽しい練習になったと思います。糊やクリップが使えないので、「留める」機能の実現が鍵になりましたね。各チームからの、どのような機能をどんな手段で実現したかのレポートを楽しみにしています。「支える」機能も重要でした。手段は、折る、切る、ちぎる、巻く、丸める、挟む、重ねる、差し込む、・・・いろいろありましたね。

各グループの最高到達

紙を安定するために使用した部品たち

プロジェクト検討

ChatGPT (GPT-3.5) でプロジェクトの内容を相談してみました。（2023.4.12）↓

Bing Chatでも同じ質問をしてみました。（2023.4.13）↓