Convolutional Neural Network(卷積神經網路，縮寫為CNN)

Ch11卷積神經網路(Convolutional Neural Network)

卷積神經網路(Convolutional Neural Network，縮寫為CNN)屬於深度學習，常用於影像辨識，透過卷積(Convolution)將圖片中相鄰點一起運算，適合用於二維的影像資料，已經達成不錯的影像辨識效果。

11-1卷積神經網路模型運作原理

卷積神經網路使用前向傳播算法(Forward Propagation)產生新的預測結果，計算損失值後，使用反向傳播算法 (Backward Propagation)更新參數，每次更新參數目標為降低損失函式的數值，不斷使用前向傳播算法與反向傳播算法降低損失值，直到獲得最小損失值為止，這部分與神經網路運作原理相同。不同的是卷積神經網路，使用卷積方式運算，以下介紹卷積神經網路的運作原理。

卷積神經網路分成特徵擷取(Feature Extraction)和特徵分類(Feature Classification)兩個部分。特徵擷取由卷積層(Convolution Layer)與池化層(Pooling Layer)組成，可以重複使用多個卷積層與池化層組成，而特徵分類由攤平層(Flatten Layer)與全連接層(Fully Connected Layer)組成，最後輸出各個分類的機率。

(1)卷積層(Convolution Layer)

利用卷積層擷取影像的輪廓，可以使用3x3、5x5或7x7矩陣當成卷積核(Kernel)或稱為Filter擷取影像，卷積核就是卷積神經網路的參數。假設原始影像為5x5矩陣，使用3x3矩陣為卷積核，以下分別介紹strides設定為1或2的卷積運算詳細過程。

設定strides為1

strides設為1表示卷積核每次往右或往下移動1格，運算結果為3x3矩陣，卷積運算詳細過程如下。

Step1)求第一列第一行的運算結果，將原始影像左上角3x3矩陣與3x3的卷積核對應的元素相乘後相加，結果如下。

2*1+3*1+4*0+4*(-1)+5*0+4*1+0*0+2*(-1)+6*0=2+3-4+4-2=3

設定strides為2

此範例設定strides為2，卷積核每次往右或往下移動2格，運算結果為2x2矩陣，卷積運算詳細過程如下。

設定padding為same

Keras函式庫中padding預設為valid，也就是原始影像的四周不會填上0，執行卷積運算後圖形會縮小。若不想卷積運算後圖形縮小，或想加強圖像邊緣的辨識能力，設定padding為same，會在原始影像的四周填上0，5x5矩陣的原始影像會變成7x7矩陣。設定strides為1，使用3x3的卷積進行運算，可獲得5x5的矩陣，大小與原始影像相同。

設定激勵函式

假設使用激勵函式ReLU，則計算結果小於0的值更改為0，大於0的值維持不變，前一步驟卷積運算結果，經由激勵函式ReLU，將小於0的數值改為0，就是經由激勵函式ReLU的運算結果。

卷積核個數

一個卷積層可以使用多個卷積核，卷積核個數通常使用8個、16個、32個、64個、128個…等。每個卷積核可以有多個頻道(Channel)，例如：彩色照片需要3個頻道，因為彩色由RGB三原色組成，3x3的卷積核需要3個，每個顏色對應一個卷積核，實際上卷積核為3x3x3。兩個卷積層串聯在一起時，上一層卷積層使用64個卷積核，則下一層卷積層的一個卷積核(假設大小為3x3)需要有64個頻道，也就是下一層卷積層的卷積核為3x3x64。卷積神經網路就是找到最佳的卷積核，卷積核就是卷積神經網路的參數，讓損失值降到最低，達成更精確的預測結果。

以手寫數字為例，第一個訓練資料為數字5如下，經過卷積層運算，使用3x3的卷積核(Kernel)，設定strides為1，使用16個卷積核，設定padding為same，激勵函式為relu，輸出維度為28x28x16，產生右側16張圖片是16個卷積核運算結果，每張圖片大小為28x28。

(2)池化層(Pooling Layer)

池化層在指定範圍內的多個元素取最大值(MaxPooling)或取平均值(AveragePooling)，可以選定2x2的矩陣範圍，設定strides為2，假設原始輸入為4x4矩陣，經由池化層的MaxPooling運算後只會剩下2x2矩陣。池化層的優點為可以降低下一層的輸入資料量，加快執行速度，且大部分情況下，並不會影響特徵擷取，對於影像辨識的結果影響不大。

以手寫數字為例，第一個訓練資料為數字5，經過卷積層，輸出維度為28x28x16，產生左側16張圖片，每張圖片大小為28x28，經由池化層感應範圍為2x2，設定strides為2，輸出維度為14x14x16，產生右側16張圖片，每張圖片大小為14x14。

綜合上述卷積神經網路概念，以辨識手寫數字為例，說明卷積神經網路的實作流程。每個手寫數字圖片為寬度28像素高度28像素，經由兩個卷積層與池化層進行特徵擷取，接著使用攤平層與全連接層計算各分類的機率，流程如下。

11-2 使用keras實作卷積神經網路

使用keras實作卷積神經網路，將每筆資料輸入卷積神經網路模型就可訓練模型，輸入測試資料到模型，就可以獲得預測結果，評估模型的正確率。使用keras實作卷積神經網路的步驟如下，以辨識手寫數字為例。

11-3 卷積神經網路實作範例

11-3-1 使用卷積神經網路辨識手寫數字

(11-3-1使用卷積神經網路辨識手寫數字.ipynb)

本範例使用手寫阿拉伯數字資料集(mnist)，每個手寫數字由長寬各28個像素組成，將這些手寫數字分成數字0到數字9總共10類。

from tensorflow.keras.datasets import mnist

(train_X, train_y), (test_X, test_y) = mnist.load_data()

可以發現test_y是一維陣列，有10000個元素，經由函式to_categorical轉換後，變成二維陣列，有10000列，每列有10個元素，相當於1個元素變10個元素。

one-hot編碼

one-hot編碼轉換過程如下，test_y的數值由0到9組成，假設test_y為0，則轉換成[1, 0, 0, 0, 0, 0, 0, 0, 0, 0]；假設test_y為1，則轉換成[0, 1, 0, 0, 0, 0, 0, 0, 0, 0]；假設test_y為2，則轉換成[0, 0, 1, 0, 0, 0, 0, 0, 0, 0]；依此類推，假設test_y為9，則轉換成[0, 0, 0, 0, 0, 0, 0, 0, 0, 1]，這就是one-hot編碼。

當模組學習效果不明顯，可以使用EarlyStopping提早結束訓練，程式碼如下。

from tensorflow.keras.callbacks import EarlyStopping

early = EarlyStopping(monitor='val_loss', patience=3, min_delta=0.01)

model = Sequential()

…

history = model.fit(…, epochs=20, verbose=1, callbacks=[early])

「monitor='val_loss'」表示監控測試資料的損失值，「patience=3, min_delta=0.01」表示當連續3個epochs內損失值的減少小於0.01就會結束訓練。使用「model.fit(… , callbacks=[early])」將EarlyStopping功能加入到訓練過程。