Embedded Files
這個專題是延續之前的Pocketcard ai雲台的研究，藉由小智AI的原始碼的重新編輯，實現了以凱斯電子的Pocketcard+Audio Board來執行，並且開始想著如何讓它能操控本地端的電機，做成雲台即時可以操控舵機，接下來就是想著DC馬達了…，所以就試試看能不能把之前做過的Omni Wheel car（wifi操控、PS手把操控…）改成用小智AI來命令它～
這個專題是延續之前的Pocketcard ai雲台的研究，藉由小智AI的原始碼的重新編輯，實現了以凱斯電子的Pocketcard+Audio Board來執行，並且開始想著如何讓它能操控本地端的電機，做成雲台即時可以操控舵機，接下來就是想著DC馬達了…，所以就試試看能不能把之前做過的Omni Wheel car（wifi操控、PS手把操控…）改成用小智AI來命令它～
如果你也想弄一台來玩玩，分享3D列印件（我是從承田科技的高手ShinWei Chiou 的github.com/GeorgeChiou/ESP32-CAM-MotorShieldV3.0_Gripper 修改而來）及我編譯好的韌體如下：
如果你也想弄一台來玩玩，分享3D列印件（我是從承田科技的高手ShinWei Chiou 的github.com/GeorgeChiou/ESP32-CAM-MotorShieldV3.0_Gripper 修改而來）及我編譯好的韌體如下：
drive.google.com/file/d/1qhYU7RTJd7D5dH_cGA5dkLpZQEZ4NtHY/view?usp=sharing （1140512 AM10:30 Update Bug Fix）
drive.google.com/file/d/1qhYU7RTJd7D5dH_cGA5dkLpZQEZ4NtHY/view?usp=sharing （1140512 AM10:30 Update Bug Fix）
小智AI Omni Wheel car
小智AI Omni Wheel car
原則上我已經實現了這個作法，使用Pocketcard+音訊板當小智ai的主執行板，透過KSB060 IO Board引出腳位，藉以連接二顆servo及三顆n20馬達，並將這些本地端的電機納入iot的管理…，影片中的簡單示範，演示了夾子車的夾子（舵機操控）運作及車子移動（DC馬達操控），全向輪只要三個方向的輪子便可進行各個方向的行進～
原則上我已經實現了這個作法，使用Pocketcard+音訊板當小智ai的主執行板，透過KSB060 IO Board引出腳位，藉以連接二顆servo及三顆n20馬達，並將這些本地端的電機納入iot的管理…，影片中的簡單示範，演示了夾子車的夾子（舵機操控）運作及車子移動（DC馬達操控），全向輪只要三個方向的輪子便可進行各個方向的行進～
AI全向輪夾子車的語音對話及動作
AI全向輪夾子車的語音對話及動作
這段影片要演示的是利用LLM來控制的車子，有別於以往我做過的語音控制機構（SU-03t語音辨識 ），用AI來掌控在感覺上，它並不一定是依靠單純語音辨識而已，反而比較像是理解了你的意思，才去判斷要執行什麼動作，當然這些動作的程式仍然是我們寫在程式中的…，在這段影片的最後，我測試去嫌它前一個動作的不精準，結果它就自己再做了一次動作…，其實我在程式中並沒有設定某些動作馬達要轉多久這回事～
這段影片要演示的是利用LLM來控制的車子，有別於以往我做過的語音控制機構（SU-03t語音辨識 ），用AI來掌控在感覺上，它並不一定是依靠單純語音辨識而已，反而比較像是理解了你的意思，才去判斷要執行什麼動作，當然這些動作的程式仍然是我們寫在程式中的…，在這段影片的最後，我測試去嫌它前一個動作的不精準，結果它就自己再做了一次動作…，其實我在程式中並沒有設定某些動作馬達要轉多久這回事～
對話式的操控
對話式的操控
讓ai來控制車子與以前的遙控方式有些不同，你可以透過對話的方式來要求它，最簡單的就是可以讓它介紹自己的功能，問他可以如何運作之類的…
讓ai來控制車子與以前的遙控方式有些不同，你可以透過對話的方式來要求它，最簡單的就是可以讓它介紹自己的功能，問他可以如何運作之類的…
製作車子使用材料
製作車子使用材料
先算一下成本好了：pocketcard lite 650元；音訊板 280元；KSB060 350元；SG90一顆50元；N20馬達一顆80元；DRV8833一塊24元；48mm的全向輪250元…，大約算一下弄一台這樣的小車得要二千多大洋～
先算一下成本好了：pocketcard lite 650元；音訊板 280元；KSB060 350元；SG90一顆50元；N20馬達一顆80元；DRV8833一塊24元；48mm的全向輪250元…，大約算一下弄一台這樣的小車得要二千多大洋～
凱斯的Pocketcard+音訊板
凱斯的Pocketcard+音訊板
KSB060
KSB060
N20 DC Motor x3
N20 DC Motor x3
SG90 Servo x2
SG90 Servo x2
DRV8833 x2
DRV8833 x2
全向輪x3
全向輪x3
N20轉樂高軸 x3
N20轉樂高軸 x3
可以參考的作品
可以參考的作品
Large Language Model Robot with ESP32-S3
Large Language Model Robot with ESP32-S3
ESP-SparkBot 是一款搭載 ESP32-S3 的智慧型設備，具備語音互動、影像辨識、遠端控制和多媒體功能。這款產品原本就是鎖定AI智能的，它後來也加入小智AI的支援之中，它的主控與車體是分開的，也就是AI是由上面的ESP32-S3執行，而車體則有另一塊晶片（可能是ESP32或ARDUINO之類的）操控，二塊晶片以UART進行傳訊…
ESP-SparkBot 是一款搭載 ESP32-S3 的智慧型設備，具備語音互動、影像辨識、遠端控制和多媒體功能。這款產品原本就是鎖定AI智能的，它後來也加入小智AI的支援之中，它的主控與車體是分開的，也就是AI是由上面的ESP32-S3執行，而車體則有另一塊晶片（可能是ESP32或ARDUINO之類的）操控，二塊晶片以UART進行傳訊…
bilibili中的「用小智搞了台小車」
bilibili中的「用小智搞了台小車」
在所謂的B站中可以看到有人發佈了一段小小的視頻，是他用小智ai結合了一部麥克納姆輪的車子，還可以打開上方的炮塔進行發射的動作，並沒有說明具體是如何製作的，但我推測他一樣是以分開的二個晶片做的，在聯結的方法上除了UART外，還可以使用MQTT…（也就是小智AI發送MQTT給下方的車體控制晶片），不過這種做在一起的，我想是以UART的命令方式…
在所謂的B站中可以看到有人發佈了一段小小的視頻，是他用小智ai結合了一部麥克納姆輪的車子，還可以打開上方的炮塔進行發射的動作，並沒有說明具體是如何製作的，但我推測他一樣是以分開的二個晶片做的，在聯結的方法上除了UART外，還可以使用MQTT…（也就是小智AI發送MQTT給下方的車體控制晶片），不過這種做在一起的，我想是以UART的命令方式…
開始說一下我是怎麼做的：我想就用一塊ESP32來做
開始說一下我是怎麼做的：我想就用一塊ESP32來做
在之前已成功地完成讓AI雲台（控制二個舵機）之後，我就想著控制直流馬達這個方向，根據以往的經驗，我知道足夠的電壓及電流是一定要的，除此之外，我還想繼續延續一下Pocketcard的可能性，所以第一個想法就是如果有一塊可以控制馬達及舵機擴充板（就是Arduino case思維～）就解決了…而符合這個方向的，自然就是KSB048
在之前已成功地完成讓AI雲台（控制二個舵機）之後，我就想著控制直流馬達這個方向，根據以往的經驗，我知道足夠的電壓及電流是一定要的，除此之外，我還想繼續延續一下Pocketcard的可能性，所以第一個想法就是如果有一塊可以控制馬達及舵機擴充板（就是Arduino case思維～）就解決了…而符合這個方向的，自然就是KSB048
先說一下失敗的A計畫
先說一下失敗的A計畫
一開始我想做這輛車，第一個就想延用之前經驗（Pocketcard+KSB048） ，之前有拿到過凱斯給的Arduino範例，做得也蠻順利，但想不到這次完全被ESP-IDF如何驅動PCA9685這個問題給打敗了！花了幾天都是在想這個，就算找到例子也沒用（比如：blog.csdn.net/qq_48057513/article/details/138184114 ），因為那個可能都舊版ESP-IDF用的，現在的V5.4.1是無法編譯成功的…
一開始我想做這輛車，第一個就想延用之前經驗（Pocketcard+KSB048） ，之前有拿到過凱斯給的Arduino範例，做得也蠻順利，但想不到這次完全被ESP-IDF如何驅動PCA9685這個問題給打敗了！花了幾天都是在想這個，就算找到例子也沒用（比如：blog.csdn.net/qq_48057513/article/details/138184114 ），因為那個可能都舊版ESP-IDF用的，現在的V5.4.1是無法編譯成功的…
※雖費了幾天功夫，也只能放棄這個想法，也許之後有人會寫出來！
※雖費了幾天功夫，也只能放棄這個想法，也許之後有人會寫出來！
B計畫：讓ESP32自己驅動DC Motor
B計畫：讓ESP32自己驅動DC Motor
就用外加的馬達驅動板來試試，剛好手邊有一塊以前留下來的DRV8833電機驅動板，小巧又好用…，不過原本常用的Arduino驅動程式那招在這個case裡是不管用的，雖對ESP-IDF不是很熟悉，但只能K一些資料來達成這個想法～
就用外加的馬達驅動板來試試，剛好手邊有一塊以前留下來的DRV8833電機驅動板，小巧又好用…，不過原本常用的Arduino驅動程式那招在這個case裡是不管用的，雖對ESP-IDF不是很熟悉，但只能K一些資料來達成這個想法～
DRV8833
DRV8833
這塊小小的電機驅動板就能控制DC馬達，一個馬達需要二個PIN的訊號（數位訊號只能控制轉或不轉；如果給PWM訊號則還能控制轉速）
這塊小小的電機驅動板就能控制DC馬達，一個馬達需要二個PIN的訊號（數位訊號只能控制轉或不轉；如果給PWM訊號則還能控制轉速）
※焊針腳時一邊朝上一邊朝下是為了之後放到車體中方便
※焊針腳時一邊朝上一邊朝下是為了之後放到車體中方便
ESP32內建的MCPWM單元
ESP32內建的MCPWM單元
ESP32晶片中就有二個名為MCPWM的單元（MCPWM_UNIT_0和MCPWM_UNIT_1 ），ESP-IDF開發環境中有驅動程式可以載入，只要在程式開頭→#include "driver/mcpwm.h"
ESP32晶片中就有二個名為MCPWM的單元（MCPWM_UNIT_0和MCPWM_UNIT_1 ），ESP-IDF開發環境中有驅動程式可以載入，只要在程式開頭→#include "driver/mcpwm.h"
MCPWM與馬達驅動之間的關係
MCPWM與馬達驅動之間的關係
從這個圖例中可以知道，MCPWM中產生一對（兩組）PWM訊號送到DRV8833的IN1和IN2便可以控制一顆馬達的正反轉及轉速；而一個MCPWM單元可以產生三對PWM訊號，也就是說ESP32本身便可產生12組PWM（六對），相當於六顆馬達或12顆舵機，對我這次的計畫只要三顆馬達二個舵機，相當足夠了…
從這個圖例中可以知道，MCPWM中產生一對（兩組）PWM訊號送到DRV8833的IN1和IN2便可以控制一顆馬達的正反轉及轉速；而一個MCPWM單元可以產生三對PWM訊號，也就是說ESP32本身便可產生12組PWM（六對），相當於六顆馬達或12顆舵機，對我這次的計畫只要三顆馬達二個舵機，相當足夠了…
製作車體
製作車體
這個部份由於我經常組東組西的，所以就相對簡單了，我使用了三顆1：50的n20馬達（套上D軸轉樂高軸），把KSB060座固定上去，再把KSB060放進去，由於使用了二塊DRV8833它們的供電是取自KSB060針腳的右上方（自己焊針，從凱斯RD處得知可直接引出電池的電），就設計了一個開關控制電源
這個部份由於我經常組東組西的，所以就相對簡單了，我使用了三顆1：50的n20馬達（套上D軸轉樂高軸），把KSB060座固定上去，再把KSB060放進去，由於使用了二塊DRV8833它們的供電是取自KSB060針腳的右上方（自己焊針，從凱斯RD處得知可直接引出電池的電），就設計了一個開關控制電源
電機測試
電機測試
在完成組裝之前總是要先確認所有電機功能都是可以運行的…
在完成組裝之前總是要先確認所有電機功能都是可以運行的…
以KSB060的腳位來說：P4→夾子底舵機；P6→接夾子舵機；P7和P8→接DRV8833的IN1和IN2控右前輪馬達；P13和P14→接第二塊DRV8833的IN1和IN2控左前輪馬達；P15和P16→接第二塊DRV8833的IN3和IN4控後輪馬達…這樣其實已經把Pocketcard的腳位給用盡了～
以KSB060的腳位來說：P4→夾子底舵機；P6→接夾子舵機；P7和P8→接DRV8833的IN1和IN2控右前輪馬達；P13和P14→接第二塊DRV8833的IN1和IN2控左前輪馬達；P15和P16→接第二塊DRV8833的IN3和IN4控後輪馬達…這樣其實已經把Pocketcard的腳位給用盡了～
關於控制程式
關於控制程式
這個部份是給我帶來許多感想的，以往我寫程式的經驗中，要機構執行某項任務，在程式中必定有對應的命令，但這AI程式不同，如左圖所示，我在程式中的命令詞可能是「前進」、「後退」…這些字詞，但實際在執行時，可以發現我未必得很明確地準確地下這些命令，AI似乎並不是完全比對語音，而倒像是理解我們對話之中的意思才決定做什麼動作，這一點讓我覺得有些訝異！
這個部份是給我帶來許多感想的，以往我寫程式的經驗中，要機構執行某項任務，在程式中必定有對應的命令，但這AI程式不同，如左圖所示，我在程式中的命令詞可能是「前進」、「後退」…這些字詞，但實際在執行時，可以發現我未必得很明確地準確地下這些命令，AI似乎並不是完全比對語音，而倒像是理解我們對話之中的意思才決定做什麼動作，這一點讓我覺得有些訝異！
程式修改及編譯這部份，我是用VSCODE來做，如果要詳述這個部份，我這篇可能就寫不完啦！況且我也不是這方面的專才，如果有人也有興趣，可以再一起來討論…
程式修改及編譯這部份，我是用VSCODE來做，如果要詳述這個部份，我這篇可能就寫不完啦！況且我也不是這方面的專才，如果有人也有興趣，可以再一起來討論…
參考資料：
參考資料：
PocketCard Lite Introduction：kaise-ksrobot.github.io/docs/ch/MCU/ESP/PocketCard/PocketCard_Lite.html
PocketCard Lite Introduction：kaise-ksrobot.github.io/docs/ch/MCU/ESP/PocketCard/PocketCard_Lite.html
PocketCard 音訊板：kaise-ksrobot.github.io/docs/ch/MCU/ESP/PocketCard/PocketCard_Audio.html
BUG的發現及解決
BUG的發現及解決
我的一項學習就是在測試過程中去發現是不是有錯誤情形的產生，並不只是那種明顯的BUG，比如編譯失敗，那不用說就是程式碼有問題，有可能是{ }沒有成對；也有可能是變數沒有宣告，C/C++在這方面可嚴格了；還有一種是編譯好了，卻燒錄不進ESP32的，這個我是只有聽說～
我的一項學習就是在測試過程中去發現是不是有錯誤情形的產生，並不只是那種明顯的BUG，比如編譯失敗，那不用說就是程式碼有問題，有可能是{ }沒有成對；也有可能是變數沒有宣告，C/C++在這方面可嚴格了；還有一種是編譯好了，卻燒錄不進ESP32的，這個我是只有聽說～
1140511發現一個問題，目前的韌體執行沒有問題，但如果讓它進入待命狀態，再按A鍵喚醒它時，常會有「發送命令失敗，請檢查網路…」的錯誤訊息，系統重啟卻是沒問題的，一開始我以為是網路不穩或小智AI系統連接不順（畢竟在遙遠的地方），但經幾方測試之後，我找到問題了，可以透過修改程式碼解決～（1140512早上我重傳了資料檔）
1140511發現一個問題，目前的韌體執行沒有問題，但如果讓它進入待命狀態，再按A鍵喚醒它時，常會有「發送命令失敗，請檢查網路…」的錯誤訊息，系統重啟卻是沒問題的，一開始我以為是網路不穩或小智AI系統連接不順（畢竟在遙遠的地方），但經幾方測試之後，我找到問題了，可以透過修改程式碼解決～（1140512早上我重傳了資料檔）
程式出現錯誤的現象
程式出現錯誤的現象
這個bug是發生在執行期的，程式啟動時並不會有什麼異常，第一次按A鍵喚醒AI對話，要求車子做什麼動作都沒問題！通常AI會是說話中或是聆聽中，這時它的連線時期是一直維持的，如果太久沒跟它說話，或你直接要求它休息、待命，在原始設計上為了節省資源，它會暫時斷開連線，進入待命的狀態，我發現的問題是再一次按A鍵喚醒它時，就可能出現「命令發送失敗…」錯誤
這個bug是發生在執行期的，程式啟動時並不會有什麼異常，第一次按A鍵喚醒AI對話，要求車子做什麼動作都沒問題！通常AI會是說話中或是聆聽中，這時它的連線時期是一直維持的，如果太久沒跟它說話，或你直接要求它休息、待命，在原始設計上為了節省資源，它會暫時斷開連線，進入待命的狀態，我發現的問題是再一次按A鍵喚醒它時，就可能出現「命令發送失敗…」錯誤
如何觀察程式運作的情形呢？
如何觀察程式運作的情形呢？
你可以打開Arduino IDE的串口監控視窗，利用USB給ESP32供電時，你便可以查看它的程式碼運行的狀態，可以觀察到你跟它講的話以及它的回應，最重要的是可以看執行緒的運作情形，如果出現錯誤，可以幫助我們檢查…
你可以打開Arduino IDE的串口監控視窗，利用USB給ESP32供電時，你便可以查看它的程式碼運行的狀態，可以觀察到你跟它講的話以及它的回應，最重要的是可以看執行緒的運作情形，如果出現錯誤，可以幫助我們檢查…
Report abuse