04  添加擴展積木

(2025/08/19)

像Scratch一樣可以擴展很多積木(如下圖)，很多作法與Osep很像

• Qblock線上版：https://qblock.quanta-edu.org/projects/editor/ 

• 以前寫的資料：https://sites.google.com/site/wenyunotify/09-%E5%85%B6%E4%BB%96/13-osep-arduino 、https://sites.google.com/site/wenyunotify/15-ai%E7%9B%B8%E9%97%9C/01-%E7%94%A8scratch%E7%8E%A9ai 

一、物聯網的應用

1. 1.MQTT的使用

   • 認識MQTT

     • 這是目前物聯網最夯的應用

     • MQTT由三種角色構成，分別是Publisher(發布者)、 Broker(代理人)和Subscriber(訂閱者)

     • 相當於youtube的訂閱機制(youtuber為【發布者】、youtube網站為【Broker】、你我為【訂閱者】)

     • MQTT的主題（Topic）名稱：MQTT主題名稱是UTF-8（萬國碼）編碼的字串，我們可以自行決定主題名稱，例如，傳送溫度的訊息主題可命名成「溫度」、傳送亮度的訊息主題叫做「照度」…等等。主題名稱也支援類似檔案路徑的階層式命名方式  ，如： wenyu/home/1f/led

     • MQTT伺服器的參考資料：10 MQTT相關工具

   • 實作一：從外部控制小貓咪前進、後退(或點亮Arduino板上的LED燈)

     • 使用夜市小霸王的MQTT伺服器

       • wss://broker.mqttgo.io:8084/mqtt 

     • MQTT  client工具 (網頁版)

       • https://mqttgo.io/   或 https://broker.mqttgo.io/  

     • 擴展添加【MQTT】積木

     • 主題(Topic)與訊息(Payload)(請自訂)，如

       • 主題：wenyu38

       • 訊息：go、back

二、使用Posenet積木

• 沒Quno硬體設備也沒關係，但要有鏡頭，而且接下來的機器學習也都要有鏡頭！！

• PoseNet是一種機器學習模型，可以即時推測人臉及身體部位的位置。

• PoseNet體驗：https://storage.googleapis.com/tfjs-models/demos/posenet/camera.html 

• 一共可以量測出以下部位的X、Y座標：鼻、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左手腕、右手腕、左腰、右腰、左膝、右膝、左腳踝、右腳踝，(我的右眼在鏡頭內也是在右邊，除非鏡頭改用【翻轉】)

• 不論一人或多人都可即時辨識

• 視訊設為【開啟】，就可以打開鏡頭了

• 實作一：戀裝秀

  • 粉紅球(小丑鼻)

    • X，Y座標：鼻子的X、Y座標

    • 距離遠近的大小修正：(兩眼距離/60)*100 %

  • 眼鏡

    • X，Y座標：鼻子的X座標、任一眼的Y座標

    • 距離遠近的大小修正：(兩眼距離/30)*100 %

  • 帽子

三、使用ML機器學習積木

• ML：Machine Learning (機器學習)

• 實作一：剪刀石頭布

  • 使用4個學習標籤(剪刀、石頭、布、空景)

• 實作二：有沒有戴口罩

  • 使用3個學習標籤(有戴口罩、沒有戴口罩、空景)

• 每個標籤提供約20張樣本做訓練

• 跟電腦玩剪刀、石頭、布

四、使用Google Teachable Machine 圖像積木

• Google Teachable Machine網址：https://teachablemachine.withgoogle.com 

• 圖像專案：

• 實作一：辨識是否戴口罩

  • 訓練3個類別：有戴口罩、沒戴口罩、空白背景

  • 匯出模型：https://teachablemachine.withgoogle.com/models/EkuCmR1Vm/ 

  • 在Qblock的積木中要先點擊【下圖的1】，模型載入成功後，才會有分類(標籤)可選

  • 好像不會一直顯示相同的標籤，真奇怪！！

五、使用Google Teachable Machine語音積木

• Google Teachable Machine網址：https://teachablemachine.withgoogle.com 

• 音訊專案：

• 實作一：用語音控制那那前進、後退

  • 訓練3個類別：背景噪音、前進、後退

  • 匯出模型：https://teachablemachine.withgoogle.com/models/2xUSRmyIW/ 

六、使用Google Teachable Machine語音積木

• Google Teachable Machine網址：https://teachablemachine.withgoogle.com 

• 姿勢專案：同上做法，使用Teachable Machine訓練出肢體模型，選右邊的【姿勢專案】

• 實作一：利用肢體開關燈

  • 頭上畫圈 (答對了，開燈)，拍照時可能要兩人互相幫忙

  • 胸前畫叉 (答錯了，關燈)

  • 最後匯出模型：https://teachablemachine.withgoogle.com/models/u5t4kVYj7/  

七、使用Gemini積木

• Gemini 是 Google 最新、功能最強大的 AI 模型。它擅長處理文字、程式碼、圖像和影片，能夠理解並生成高品質的內容，並具備先進的推理能力。

• Gemini 網站：https://gemini.google.com/ 

• 免費取得Gemini的API Key：https://aistudio.google.com/apikey

•  最近很紅的nano-banana model

  • Using the nano-banana model, create a 1/7 scale commercialized figurine of the characters in the picture, in a realistic style, in a real environment.The figurine is placed on a computer desk.The figurine has a round transparent acrylic base, with no text on the base. The content on the computer screen is the Zbrush modeling process of this figurine. Next to the computer screen is a BANDAI-style toy packaging box printed with the original artwork.' The packaging features two-dimensional flat illustrations.
    
    

• 擴展積木也有OpenAI積木，但OpenAI的APIKey必需要購買，所以才使用免費的Gemini的API Key

• 申請OpenAI的API Key：https://platform.openai.com/api-keys 

• OpenAI API的收費機制是「依使用量計價」，用量越高、收費越多。用量的計算單位是「tokens」，官方統計每使用750個英文單字，大約等於1000 tokens。而1000 tokens的使用量，就是一次收費的最小單位。

• 實作：與Gemini聊天，並將聊天記錄存於清單中

  • 不用Quno硬體設備也能用

  • 也可以把AI說的話用文字轉語音唸出來

  • 
    
  •