Embedded Files
SSD(Single Shot MultiBox Detector)使用單個深度神經網絡來檢測圖像中的目標，產生固定大小的邊界框集合，並對這些邊界框中存在的目標類別實例進行評分，然後進行非極大值抑制步驟來產生最終的檢測結果。
SSD(Single Shot MultiBox Detector)使用單個深度神經網絡來檢測圖像中的目標，產生固定大小的邊界框集合，並對這些邊界框中存在的目標類別實例進行評分，然後進行非極大值抑制步驟來產生最終的檢測結果。
MobileNet是Google的研究團隊針對手機等嵌入式設備提出的一種輕量級的、小型化的深層神經網絡，利用移動設備和嵌入式應用的有限的資源，有效地最大化模型的準確性，可以像其他流行的大規模模型（如Inception）一樣用於分類，檢測，嵌入和分割任務等。
MobileNet是Google的研究團隊針對手機等嵌入式設備提出的一種輕量級的、小型化的深層神經網絡，利用移動設備和嵌入式應用的有限的資源，有效地最大化模型的準確性，可以像其他流行的大規模模型（如Inception）一樣用於分類，檢測，嵌入和分割任務等。
ImageNet是一個計算機視覺系統識別項目，是目前世界上圖像識別最大的數據庫，有1400多萬幅圖片，涵蓋2萬多個類別；其中有超過百萬的圖片有明確的類別標註和圖像中物體位置的標註。是美國斯坦福的計算機科學家，模擬人類的識別系統建立的。
ImageNet是一個計算機視覺系統識別項目，是目前世界上圖像識別最大的數據庫，有1400多萬幅圖片，涵蓋2萬多個類別；其中有超過百萬的圖片有明確的類別標註和圖像中物體位置的標註。是美國斯坦福的計算機科學家，模擬人類的識別系統建立的。
本章節說明如何在ImageNet數據庫中，搜尋自己想要的資料集，並選用MobileNet-SSD進行訓練，得到自己的模型。
本章節說明如何在ImageNet數據庫中，搜尋自己想要的資料集，並選用MobileNet-SSD進行訓練，得到自己的模型。
收集數據集
收集數據集
登入ImageNet後，搜尋6種蔬果，如下：
登入ImageNet後，搜尋6種蔬果，如下：
個別下載6種蔬果的邊界框(bounding boxes)
個別下載6種蔬果的邊界框(bounding boxes)
個別下載6種蔬果的圖片(image)
個別下載6種蔬果的圖片(image)
下載完，解壓並進行過濾，確保每張圖片都有對應的邊界框檔案。
下載完，解壓並進行過濾，確保每張圖片都有對應的邊界框檔案。
因為MobileNet-SSD的模型訓練是基於VOC數據集格式，所以將下載的數據集轉換成PASCAL VOC的格式。
因為MobileNet-SSD的模型訓練是基於VOC數據集格式，所以將下載的數據集轉換成PASCAL VOC的格式。
PASCAL VOC格式的數據集總共就是三大部分：
PASCAL VOC格式的數據集總共就是三大部分：
- JPEGImages目錄用來存放所有圖片檔案。
- Annotations目錄用來存放xml格式的標籤文件。
註：每一個xml文件都對應於JPEGImages目錄中的一張圖片。
- ImagesSets目錄裡面有一個名為Main子目錄用來存放訓練驗證集，測試集的相關列表文件。
在終端機輸入：
在終端機輸入：
ls Annotations/ | wc -l計算Annotations目錄內，共有幾筆xml文件
計算Annotations目錄內，共有幾筆xml文件
在終端機輸入：
在終端機輸入：
ls JPEGImages/ | wc -l計算JPEGImages目錄內，共有幾筆JPEG文件
計算JPEGImages目錄內，共有幾筆JPEG文件
簡單確認過Annotations目錄和JPEGImages目錄的筆數相同後，表示過濾成功後，將數據集按比例(建議train:val:test=8:1:1 )產生訓練驗證數據集(trainval、train、val)和測試數據集(test)的列表文件。
簡單確認過Annotations目錄和JPEGImages目錄的筆數相同後，表示過濾成功後，將數據集按比例(建議train:val:test=8:1:1 )產生訓練驗證數據集(trainval、train、val)和測試數據集(test)的列表文件。
執行.py文件。在終端機輸入：
執行.py文件。在終端機輸入：
python classTXT.py 
執行後，即可在 ImagesSets/Main 目錄中看到訓練驗證集，測試集的相關列表文件。在終端機輸入：
執行後，即可在 ImagesSets/Main 目錄中看到訓練驗證集，測試集的相關列表文件。在終端機輸入：
ls ImagesSets/Main 數據集轉換
數據集轉換
在終端機輸入：
在終端機輸入：
cd $CAFFE_ROOT將當前目錄切換至$CAFFE_ROOT
將當前目錄切換至$CAFFE_ROOT
再次提醒，$CAFFE_ROOT表示存放Caffe原始碼的路徑
再次提醒，$CAFFE_ROOT表示存放Caffe原始碼的路徑
在終端機輸入：
在終端機輸入：
cd data && mkdir voc_six切換路徑至data目錄並新建名為voc_six的目錄
切換路徑至data目錄並新建名為voc_six的目錄
在終端機輸入：
在終端機輸入：
cp VOC0712/labelmap_voc.prototxt voc_six從VOC0712數據集範例中，複製一份數據集類別的prototxt文件
從VOC0712數據集範例中，複製一份數據集類別的prototxt文件
修改prototxt文件，加入6種蔬果類別。在終端機輸入：
修改prototxt文件，加入6種蔬果類別。在終端機輸入：
vi voc_six/labelmap_voc.prototxt注意， 預設 "label:0" 是背景，不能修改。
注意， 預設 "label:0" 是背景，不能修改。
新建製作數據集索引(trainval.txt、test.txt、test_name_size.txt )的腳本。在終端機輸入：
新建製作數據集索引(trainval.txt、test.txt、test_name_size.txt )的腳本。在終端機輸入：
vi voc_six/create_list.sh其中
其中
- root_dir 為收集數據集所儲存的絕對路徑
- caffe_dir 為編譯Caffe後 "get_image_size" 指令 的絕對路徑 (預設路徑為 $CAFFE_ROOT/build/install/bin)
修改腳本的權限。在終端機輸入：
修改腳本的權限。在終端機輸入：
chmod +x voc_six/create_list.sh
執行腳本。在終端機輸入：
執行腳本。在終端機輸入：
./voc_six/create_list.sh在收集數據集所儲存的目錄中，可看到腳本製作的數據集索引
在收集數據集所儲存的目錄中，可看到腳本製作的數據集索引
- trainval.txt
- test.txt
- test_name_size.txt
新建製作lmdb格式的數據集腳本。在終端機輸入：
新建製作lmdb格式的數據集腳本。在終端機輸入：
vi voc_six/create_data.sh其中
其中
- root_dir 為Caffe根目錄
- data_dir 為收集數據集所儲存的絕對路徑
- dataset_name 可自訂 (預設為VOC_SIX)
- mapfile 為上述數據集類別的prototxt文件
修改腳本的權限。在終端機輸入：
修改腳本的權限。在終端機輸入：
chmod +x voc_six/create_data.sh
將caffe的python絕對路徑加入環境變數 (預設路徑為$CAFFE_ROOT/build/install/python)。在終端機輸入：
將caffe的python絕對路徑加入環境變數 (預設路徑為$CAFFE_ROOT/build/install/python)。在終端機輸入：
export PYTHONPATH=$CAFFE_ROOT/build/install/python:$PYTHONPATH
執行腳本。在終端機輸入：
執行腳本。在終端機輸入：
./voc_six/create_data.sh執行後，在收集數據集所儲存的目錄中，可看到名為lmdb的目錄
執行後，在收集數據集所儲存的目錄中，可看到名為lmdb的目錄
在$CAFFE_ROOT的examples目錄中，也可看上述的lmdb目錄建立了一個同步的鏈結到在腳本中dataset_name自訂的目錄名 (預設為VOC_SIX)
在$CAFFE_ROOT的examples目錄中，也可看上述的lmdb目錄建立了一個同步的鏈結到在腳本中dataset_name自訂的目錄名 (預設為VOC_SIX)
訓練模型並測試
訓練模型並測試
在終端機輸入：
在終端機輸入：
cd $CAFFE_ROOT/examples將當前目錄切換至$CAFFE_ROOT/examples
將當前目錄切換至$CAFFE_ROOT/examples
下載Mobilenet-SSD環境。在終端機輸入：
下載Mobilenet-SSD環境。在終端機輸入：
git clone https://github.com/chuanqi305/MobileNet-SSD.git
切換路徑至Mobilenet-SSD目錄。在終端機輸入：
切換路徑至Mobilenet-SSD目錄。在終端機輸入：
cd MobileNet-SSD
執行腳本，創建訓練、測試和部署所需要的網路定義prototxt 文件。在終端機輸入：
執行腳本，創建訓練、測試和部署所需要的網路定義prototxt 文件。在終端機輸入：
./gen_model.sh 7注意，7為6種蔬果(類別數量) + 一個背景
注意，7為6種蔬果(類別數量) + 一個背景
執行後，會產生名為example的目錄，該目錄存放訓練/測試/部署用的網路定義prototxt 文件
執行後，會產生名為example的目錄，該目錄存放訓練/測試/部署用的網路定義prototxt 文件
修改訓練用的網路定義prototxt 文件。在終端機輸入：
修改訓練用的網路定義prototxt 文件。在終端機輸入：
vi example/MobileNetSSD_train.prototxt修改data_param層的
修改data_param層的
- source 改為數據集轉換時，產生lmdb格式的訓練數據集絕對路徑
- batch_size 根據硬體的記憶體容量決定大小，該值表示每次訓練幾張圖片
修改測試用的網路定義prototxt 文件。在終端機輸入：
修改測試用的網路定義prototxt 文件。在終端機輸入：
vi example/MobileNetSSD_test.prototxt修改data_param層的
修改data_param層的
- source 改為數據集轉換時，產生lmdb格式的測試數據集絕對路徑
- batch_size 根據硬體的記憶體容量決定大小，該值表示每次測試幾張圖片
修改annotated_data_param層的
修改annotated_data_param層的
- label_map_file 改為數據集轉換時，已修改的數據集類別prototxt文件絕對路徑
複製一份訓練/測試用的超參數定義prototxt 文件至example目錄。在終端機輸入：
複製一份訓練/測試用的超參數定義prototxt 文件至example目錄。在終端機輸入：
cp solver_train.prototxt solver_test.prototxt example
修改訓練用的超參數定義prototxt 文件。在終端機輸入：
修改訓練用的超參數定義prototxt 文件。在終端機輸入：
vi example/solver_train.prototxt如下參數需要修改
如下參數需要修改
- train_net：表示訓練用的網路定義prototxt 文件的絕對路徑
- test_net ：表示測試用的網路定義prototxt 文件的絕對路徑
- test_iter：表示在測試的時候，需要疊代的次數，
假設使用者有10000個測試樣本(測試集)，batch_size設為32，那麽須要疊代10000/32=313次才完整地測試完一次。所以設置test_iter為313。(batch_size在測試用的網路定義prototxt 文件已設置)
- test_interval：表示測試間隔
假設使用者有50000個訓練樣本(訓練集)。batch_size為64。即每批次處理64個樣本，那麽需要疊代50000/64=782次才處理完一次所有的樣本。(batch_size在訓練用的網路定義prototxt 文件已設置)
把處理完一次所有的樣本，稱之為一代，即epoch。
所以，test_interval設置為782，即處理完一次所有的訓練數據後。才去進行測試。
- max_iter：表示最大的疊代次數
以上述假設為例，我們想訓練100代。則須要設置max_iter為78200
- snapshot_prefix：表示訓練時產生的model和solver要儲存的絕對
- solver_mode：表示硬體環境為CPU或GPU
修改測試用的超參數定義prototxt 文件。在終端機輸入：
修改測試用的超參數定義prototxt 文件。在終端機輸入：
vi example/solver_test.prototxt如下參數需要修改
如下參數需要修改
- train_net：同上
- test_net ：同上
- test_iter：同上
- test_interval：同上
- snapshot_prefix：同上
- solver_mode：同上
複製且重新命名一份訓練腳本。在終端機輸入：
複製且重新命名一份訓練腳本。在終端機輸入：
cp train.sh train_six.sh
修改訓練腳本。在終端機輸入：
修改訓練腳本。在終端機輸入：
vi train_six.sh- 確認訓練用的網路定義prototxt 文件(MobileNetSSD_train.prototxt)的絕對路徑是否正確
- 創建名為snapshot的目錄，用於儲存訓練/測試時產生的model和solver (訓練/測試用的超參數定義prototxt 文件已設置)
- 確認caffe指令的絕對路徑是否正確 (預設路徑 $CAFFE_ROOT/build/install/bin/caffe)
- 確認訓練用的超參數定義prototxt 文件(solver_train.prototxt)的絕對路徑是否正確
- 如果訓練用的超參數定義prototxt 文件已設置CPU，則 "-gpu 0" 需刪除；反之，設置GPU，不做任何修改
複製且重新命名一份測試腳本。在終端機輸入：
複製且重新命名一份測試腳本。在終端機輸入：
cp test.sh test_six.sh
修改測試腳本。在終端機輸入：
修改測試腳本。在終端機輸入：
vi test_six.sh- 執行測試腳本時需要 "訓練時產生的model"，所以要確認絕對路徑是否正確
- 確認caffe指令的絕對路徑是否正確 (預設路徑 $CAFFE_ROOT/build/install/bin/caffe)
- 確認測試用的超參數定義prototxt 文件(solver_test.prototxt)的絕對路徑是否正確
- 如果訓練用的超參數定義prototxt 文件已設置CPU，則 "-gpu 0" 需刪除；反之，設置GPU，不做任何修改
執行訓練腳本。在終端機輸入：
執行訓練腳本。在終端機輸入：
sudo ./train_six.sh
執行結束後，可從日誌中得到損失率(loss)
執行結束後，可從日誌中得到損失率(loss)
執行測試腳本。在終端機輸入：
執行測試腳本。在終端機輸入：
sudo ./test_six.sh
執執行後，可從日誌中得到精準度(detection_eval)
執執行後，可從日誌中得到精準度(detection_eval)
部署模型至雲教授
部署模型至雲教授
將bn層合併到卷積層， 提高模型運行速度。在終端機輸入：
將bn層合併到卷積層， 提高模型運行速度。在終端機輸入：
vi merge_bn.py 其中
其中
- caffe_root 為caffe的python目錄前一個目錄 (預設$CAFFE_ROOT/build/install)
- train_proto 為訓練用的網路定義prototxt 文件(MobileNetSSD_train.prototxt)的絕對路徑
- train_model 為訓練時產生的model的絕對路徑(預設用最後一筆model)
- deploy_proto 為部署用的網路定義prototxt 文件(MobileNetSSD_deploy.prototxt)的絕對路徑
- save_model 可指定合併後model儲存的絕對路徑
執行後，可得到最终的辨識模型 。在終端機輸入：
執行後，可得到最终的辨識模型 。在終端機輸入：
python merge_bn.py 
切換路徑至example目錄，可看到部署用的模型caffemodel以及網路定義prototxt 文件 。在終端機輸入：
切換路徑至example目錄，可看到部署用的模型caffemodel以及網路定義prototxt 文件 。在終端機輸入：
cd example && ls 
重要：
重要：
為了提高在雲教授上運行的辨識速度，搜尋文件中所有出現 "engine: CAFFE"的設定，在該設定前加上 "#" 做註解。
為了提高在雲教授上運行的辨識速度，搜尋文件中所有出現 "engine: CAFFE"的設定，在該設定前加上 "#" 做註解。
修改部署用的網路定義prototxt 文件 。在終端機輸入：
修改部署用的網路定義prototxt 文件 。在終端機輸入：
vi MobileNetSSD_deploy.prototxt分別將 "MobileNetSSD_deploy.prototxt" 和 "MobileNetSSD_deploy.caffemodel" 複製至雲教授後，進行AI程式開發。複製方式，如下：
分別將 "MobileNetSSD_deploy.prototxt" 和 "MobileNetSSD_deploy.caffemodel" 複製至雲教授後，進行AI程式開發。複製方式，如下：
1) 透過外接裝置 (本教學使用SD卡)
1) 透過外接裝置 (本教學使用SD卡)
或
或
2) 參考 "1.3.6 Windows遠端連線"
2) 參考 "1.3.6 Windows遠端連線"
Google Sites
Report abuse