Project report

Motivation

對於機器學習與深度學習領域而言，反向傳播演算法是重要的核心技術之一。然而，當神經網路架構逐漸加深時，梯度消失或梯度爆炸的問題便會無可避免地浮現，這也使得我們會面臨相當大的挑戰。本研究的主要目的在於探討如何在MLP、CNN及RNN這三種簡易架構中，以簡單且有效的方法，優化模型架構或訓練流程，進而穩定訓練過程並提高模型效能。

Related Work

MLP的解決方法

1. 批次正規化(Batch Normalization)：

批次正規化是由Ioffe和Szegedy於2015年提出的技術，通過在每個小批次(mini-batch)中對激活值進行正規化來穩定梯度流。

對於一個批次中的輸入 x，批次正規化的計算過程如下：

其中

分別是批次均值、批次方差與防止除零的小常數，

gamma, beta是可學習的縮放和偏移參數。

批次正規化通過將每層的輸入保持在穩定的分佈範圍內，防止激活值過大或過小，從而避免梯度消失或爆炸。研究表明，批次正規化可以使優化景觀更加平滑，允許使用更大的學習率而不會出現梯度爆炸問題。

2. Xavier/Glorot初始化：

Xavier初始化 (也稱為Glorot初始化) 由Xavier Glorot和Yoshua Bengio於2010年提出，旨在保持前向傳播和反向傳播過程中激活值和梯度的方差一致。

對於具有 n_in 個輸入和 n_out 個輸出的層，Xavier初始化的權重分佈為：

或使用常態分佈：

這種初始化方法確保了方差關係：

時，可以防止激活值和梯度的方差在層間傳播時發生指數級變化。

3. ReLU激活函數：

Rectified Linear Unit (ReLU) 激活函數已成為解決梯度消失問題的有效方法。

ReLU函數定義為：

其導數為：

與sigmoid或tanh激活函數不同，ReLU的導數在正值區域恆為1，避免了梯度在反向傳播過程中的衰減。對於深度網路，使用ReLU的梯度傳播可以表示為：

是指示函數，只要激活值為正，梯度就能無衰減地傳播

4. 自適應學習率優化器：

自適應學習率方法如Adam和RMSProp能夠動態調整每個參數的學習率，有效緩解梯度問題。

Adam結合了動量和自適應學習率，其更新規則為：

其中 g_t 是梯度，beta_1, beta_2 是衰減率 (通常為0.9和0.999)，eta 是學習率。Adam通過維護梯度的一階和二階矩估計，能夠自適應地調整每個參數的學習率，避免了統一學習率可能導致的梯度爆炸或消失問題。

CNN的解決方法

1. He初始化：

He初始化由Kaiming He等人於2015年提出，專門針對使用ReLU (Rectified Linear Unit) 激活函數的網路。

He初始化的權重分佈為：

其中 n_in 是輸入節點的數量。這個係數2的引入是考慮到ReLU激活函數的特性：

由於ReLU會將負值截斷為零，使得輸出的方差減半，因此需要將初始化的方差加倍來補償。

2. 層序單位方差初始化(LSUV)：

LSUV (Layer-Sequential Unit-Variance) 初始化是一種數據相關的初始化方法，特別適用於卷積神經網路：

實施步驟：

1. 首先使用正交矩陣初始化每個卷積層或全連接層的權重

2. 從第一層到最後一層，在隨機小批次上運行前向傳播

3. 將每層的權重除以其輸出的標準差，使輸出方差約為1

這種方法通過動態調整權重來確保每層的激活值保持在合理範圍內，有效防止梯度問題的發生。

3. 殘差連接(Residual Connections)：

殘差連接是ResNet架構的核心創新，能有效緩解深層CNN的梯度消失問題。

殘差塊的前向傳播定義為：

其中 F(x, W) 是殘差映射，x 是輸入。在反向傳播時，梯度的傳遞形式為：

由於存在恆等映射項 1，即使微分項很小，梯度仍然可以通過捷徑連接有效傳播。這種設計確保了梯度不會完全消失。

4. 權重正規化 (Weight Normalization)：

權重正規化是另一種穩定訓練的技術，通過解耦權重的大小和方向來改善梯度流。

權重正規化將權重參數化為：

其中 v 是原始權重向量，g 是可學習的標量參數，控制權重的規模。

梯度計算變為：

這種參數化方式使得梯度的規模更加穩定，避免了權重更新過程中的極端值。

RNN的解決方法

1. 長短期記憶網路 (LSTM)：

LSTM由Hochreiter和Schmidhuber於1997年提出，通過引入閘控機制來解決傳統RNN的梯度消失問題。

LSTM的核心是細胞狀態 (Cell State) C_t 和三個閘：

遺忘閘（Forget Gate）：

輸入閘（Input Gate）：

細胞狀態更新：

輸出閘（Output Gate）：

其中 sigma 是sigmoid函數，odot 表示逐元素乘法。

LSTM通過細胞狀態的線性更新路徑避免了梯度消失問題。梯度的傳播形式為：

由於遺忘閘 f_t 的值在0到1之間，可以學習保持接近1的值，從而允許梯度在長時間序列中有效傳播。

2. 梯度裁剪 (Gradient Clipping)：

梯度裁剪是解決RNN中梯度爆炸問題的有效方法。

給定梯度 g 和閾值 c，裁剪後的梯度為：

Zhang等人提出了一個新的平滑性條件來解釋梯度裁剪的有效性：

在這種條件下，裁剪梯度下降可以比固定步長的梯度下降收斂速度快任意倍。

3. 門控循環單元 (GRU)：

GRU（Gated Recurrent Unit）由Cho等人於2014年提出，是LSTM的簡化版本。

GRU使用兩個閘控制信息流：

重置閘（Reset Gate）：

更新閘（Update Gate）：

候選隱藏狀態：

隱藏狀態更新：

GRU通過更新閘 z_t 實現了類似LSTM的梯度高速公路，當 z_t 接近0時，梯度可以直接通過 (1 - z_t) 項傳播，避免消失。

4. 單位矩陣初始化RNN (IRNN)：

IRNN（Identity RNN）使用單位矩陣初始化循環權重，配合ReLU激活函數。

IRNN的初始化策略為：

其中 W_hh 是循環權重矩陣，初始化為單位矩陣 I。

隱藏狀態更新為：

梯度傳播時，由於初始循環權重為單位矩陣，梯度的初始傳播不會衰減：

這種初始化使得網路在訓練初期能夠有效傳播梯度，學習長期依賴關係。

Methodology

實驗架構設計

MLP 實驗方法：

針對 MLP 架構，實施了三種主要的梯度最佳化策略：

基準模型：建立一個深層的 MLP 作為對照組，使用傳統的隨機初始化方法和標準的 Sigmoid 激活函數。此模型刻意設計為容易產生梯度消失問題，以突顯後續改進方法的效果。基準模型採用 8 到 10 層的深度架構，使用小權重初始化 (標準差為 0.01) 和大權重初始化 (標準差為 3.0) 來分別模擬梯度消失和梯度爆炸的情況。

Xavier/Glorot 初始化：實施 Xavier 初始化方法以解決權重初始化不當導致的梯度問題。Xavier 初始化透過將權重方差設定為輸入和輸出節點數的倒數和，確保前向傳播和反向傳播過程中激活值和梯度的方差保持穩定。此方法特別適用於使用 Sigmoid 或 Tanh 激活函數的網路，能有效防止激活值飽和和梯度消失。

批次正規化：在每個隱藏層後加入批次正規化層，通過標準化每個批次的激活值來穩定梯度流。批次正規化透過減少內部協變量偏移 (Internal Covariate Shift)，使得網路能夠使用更大的學習率而不會產生梯度爆炸，同時避免激活值進入飽和區域導致梯度消失。

改進版 MLP：結合 Xavier 初始化與批次正規化的優點，建立一個同時具備良好權重初始化和動態正規化能力的模型。這種組合方法能夠在訓練初期提供穩定的梯度流，並在整個訓練過程中維持激活值的適當分佈。

CNN 實驗方法：

對於 CNN 架構，聚焦於三種針對卷積層特性設計的最佳化技術：

基準模型：建立一個標準的卷積神經網路，使用傳統的隨機初始化和基本的卷積-池化架構。為了突顯梯度問題，模型採用較深的層數 (6 層卷積層) 和容易導致梯度消失的 Sigmoid 激活函數。

He 初始化：實施 He 初始化方法，該方法專門針對 ReLU 激活函數設計。He 初始化考慮到 ReLU 函數會將負值截斷，導致激活值方差減半，因此將初始化方差設定為 2/n_in 來補償這種效應。此方法確保使用 ReLU 激活函數的深層網路能夠維持穩定的梯度傳播。

殘差連接：實施殘差網路的核心技術，通過在網路中加入跳躍連接 (Skip Connections) 來建立梯度的高速公路。殘差連接允許梯度直接通過恆等映射傳播，即使在非常深的網路中也能避免梯度消失問題。每個殘差塊包含兩個卷積層和一個跳躍連接，確保梯度能夠無阻礙地從輸出層回傳到輸入層。

改進版 CNN：結合 He 初始化與殘差連接的優勢，建立一個同時具備適當初始化和結構性梯度保護的深層卷積網路。這種組合能夠支持更深的網路架構，同時維持穩定的訓練過程。

RNN 實驗方法：

針對 RNN 架構的時序依賴特性，採用了三種專門處理長序列梯度問題的技術：

基準模型：建立一個基本的循環神經網路，使用標準的 Tanh 激活函數和隨機權重初始化。為了突顯梯度問題，模型處理長度為 50 的序列，並使用容易導致梯度消失或爆炸的初始化策略 (極小權重初始化標準差為 0.001，極大權重初始化標準差為 2.5)。

梯度裁剪：實施梯度裁剪技術以防止梯度爆炸問題。當梯度的 L2 範數超過預設閾值 (設定為 1.0) 時，將梯度等比例縮放至閾值範圍內。根據 Zhang 等人的理論分析，梯度裁剪在滿足放鬆平滑條件的情況下，能夠比固定步長的梯度下降提供任意倍的收斂速度提升。

單位矩陣初始化 RNN：採用 Le 等人提出的 IRNN 方法，將循環權重矩陣初始化為單位矩陣，並使用 ReLU 激活函數。這種初始化確保在訓練初期，隱藏狀態的傳播不會發生衰減，從而避免梯度消失問題。IRNN 的設計使得網路能夠學習長期依賴關係，同時保持計算的簡潔性。

改進版 RNN：結合梯度裁剪與單位矩陣初始化的優點，建立一個既能防止梯度爆炸又能避免梯度消失的循環神經網路。這種組合方法在處理長序列時能夠維持穩定的梯度流，同時具備強大的時序建模能力。

評估指標與實驗設置

梯度分析指標：

本研究採用梯度範數 (Gradient Norm) 作為主要的梯度穩定性評估指標。梯度範數的計算公式為：

其中 nabla_theta_i L 表示損失函數對第 i 個參數的梯度。通過追蹤訓練過程中梯度範數的變化，能夠量化不同方法對梯度穩定性的影響。

訓練設置：

最佳化器：使用隨機梯度下降 (SGD) 作為基礎最佳化器
學習率：根據不同方法調整，範圍從 0.001 到 0.02
批次大小：MLP 和 RNN 使用 32，CNN 使用 64
訓練週期：MLP 訓練 60 個 epoch ， CNN 訓練 600 個 epoch，RNN 訓練 100 個 iteration
資料集：MLP 使用 MNIST，CNN 使用 CIFAR-10，RNN 使用合成的複製記憶任務

使用設備與環境：

作業系統： Windows 11 23H2
處理器： Intel Core i7-13700K
顯示卡： NVIDIA GeForce RTX 4070 SUPER 12G
記憶體： DDR5 64G 5600MT/s
Python 版本： 3.10.16
深度學習框架：PyTorch + 相關科學計算庫
IDE: Visual Studio Code

Experiments

MLP 架構實驗結果

基準 MLP 實驗：

這張圖展示了基準 MLP 模型的實驗結果，可以清楚看到傳統 MLP 在深度增加時面臨的嚴峻梯度問題。在梯度消失情境中，平均梯度範數僅為 4.19×10⁻²，其中有 60.5% 的梯度測量值小於 1×10⁻⁶，顯示大部分梯度已幾乎完全消失。梯度分佈圖顯示絕大多數梯度集中在極小值範圍內，而訓練損失曲線呈現緩慢且不穩定的下降趨勢。在梯度爆炸情境中，我們觀察到相反的極端行為，平均梯度範數高達 3.44，最大值更達到 117，有 7% 的梯度測量值超過 10，證實了梯度爆炸現象。兩種情境下的測試準確率都僅在 11% 左右，幾乎等同於隨機猜測，這清楚說明了梯度問題對深度 MLP 學習能力的災難性影響。

Gradient Vanishing Experiment:

Total gradient measurements: 1200

Min gradient norm: 3.70e-17

Max gradient norm: 9.05e-01

Mean gradient norm: 4.19e-02

Std gradient norm: 1.49e-01

Gradient Exploding Experiment:

Total gradient measurements: 960

Min gradient norm: 2.26e-02

Max gradient norm: 1.17e+02

Mean gradient norm: 3.44e+00

Std gradient norm: 8.69e+00

Analysis:

Mean gradient ratio (exploding/vanishing): 8.20e+01

Very small gradients (<1e-6): 726/1200

Very large gradients (>10): 67/960

======================================================================

EVALUATION RESULTS ON TEST DATASET

======================================================================

Gradient Vanishing Model:

Eval Loss: 2.3020

Eval Accuracy: 11.35%

Gradient Exploding Model:

Eval Loss: 2.5228

Eval Accuracy: 11.59%

批次正規化 MLP 實驗：

批次正規化技術的引入為 MLP 的梯度穩定性帶來了顯著改善。從圖中可以看出，在梯度消失情境中，平均梯度範數提升至 1.18×10⁻¹，相較於基準線模型提高了約 2.8 倍。極小梯度的比例從基準線的 60.5% 降低至 23.7%，顯示梯度流得到了明顯改善。甚至在梯度爆炸情境中的表現，批次正規化完全消除了大於 10 的極大梯度，平均梯度範數大幅降低至 3.54×10⁻¹，相較於基準線模型減少了約 90%。測試準確率從基準模型的 11.59% 大幅提升至 44.24%，這個顯著的改善證明了批次正規化在穩定梯度爆炸方面的強大功效。然而，在梯度消失情境下的學習效能改善仍然有限，說明批次正規化主要解決的是梯度爆炸問題。

Gradient Vanishing Experiment:

Total gradient measurements: 2280

Min gradient norm: 2.06e-09

Max gradient norm: 1.02e+00

Mean gradient norm: 1.18e-01

Std gradient norm: 2.03e-01

Gradient Exploding Experiment:

Total gradient measurements: 1800

Min gradient norm: 1.10e-09

Max gradient norm: 4.05e+00

Mean gradient norm: 3.54e-01

Std gradient norm: 3.97e-01

Analysis:

Mean gradient ratio (exploding/vanishing): 3.01e+00

Very small gradients (<1e-6): 540/2280

Very large gradients (>10): 0/1800

======================================================================

EVALUATION RESULTS ON TEST DATASET

======================================================================

Gradient Vanishing (BatchNorm) Model:

Eval Loss: 2.3019

Eval Accuracy: 11.35%

Gradient Exploding (BatchNorm) Model:

Eval Loss: 1.8730

Eval Accuracy: 44.24%

Xavier 初始化 MLP 實驗：

Xavier 初始化方法展現了其在權重初始化方面的理論優勢。從實驗結果可以看出，Xavier 初始化在防止梯度極值方面表現卓越，在 10 層模型中達到了 94.9% 的穩定梯度比例，在 8 層模型中更是達到了完美的 100%。梯度分佈更為均勻，有效避免了極值的出現，梯度比率僅為 1.207，非常接近理想的 1.0 值。這證明了 Xavier 初始化在數學理論上的正確性，能夠在訓練初期為網路提供適當的權重分佈。然而，儘管梯度穩定性得到了顯著改善，測試準確率仍然維持在 10% 左右的隨機水準。這個結果揭示了一個重要的結論：梯度的數值穩定性雖然是有效學習的必要條件，但並非充分條件。良好的初始化只是成功訓練的第一步，還需要其他技術的配合才能實現真正的學習突破。

Xavier Uniform - Vanishing Gradient Scenario (10 layers):

Total gradient measurements: 1200

Min gradient norm: 1.88e-07

Max gradient norm: 1.17e+00

Mean gradient norm: 6.82e-02

Std gradient norm: 1.79e-01

Median gradient norm: 7.15e-04

Xavier Uniform - Exploding Gradient Scenario (8 layers):

Total gradient measurements: 960

Min gradient norm: 3.59e-06

Max gradient norm: 1.49e+00

Mean gradient norm: 8.23e-02

Std gradient norm: 1.96e-01

Median gradient norm: 2.68e-03

Comparative Analysis:

10-layer model - Stable gradients: 1139/1200 (94.9%)

8-layer model - Stable gradients: 960/960 (100.0%)

Mean gradient ratio (8-layer/10-layer): 1.207

======================================================================

EVALUATION RESULTS ON TEST DATASET

======================================================================

Xavier Uniform (10 layers) Model:

Eval Loss: 2.3304

Eval Accuracy: 10.28%

Xavier Uniform (8 layers) Model:

Eval Loss: 2.3084

Eval Accuracy: 9.74%

改進版 MLP 實驗：

改進版 MLP 結合了 Xavier 初始化與批次正規化的雙重優勢，創造了更加優秀的實驗結果。從圖中可以清楚看到，這種組合方法在所有評估指標上都達到了最優平衡。在梯度消失情境中，平均梯度範數達到 1.78×10⁻¹，為所有方法中最高，顯示出強健的梯度傳播能力。更重要的是，測試準確率大幅提升至 43.87%，相較於單一技術有了質的飛躍。在梯度爆炸情境中，表現更加出色，測試準確率達到 81.37%。這個實驗結果清楚證明了技術組合的協同效應遠超單一技術的簡單疊加，Xavier 初始化提供了穩定的起始條件，而批次正規化則在整個訓練過程中動態調節激活值分佈，兩者結合創造了理想的訓練環境。

Improved MLP - Vanishing Gradient Scenario (10 layers + BatchNorm):

Total gradient measurements: 2280

Min gradient norm: 5.85e-09

Max gradient norm: 1.72e+00

Mean gradient norm: 1.78e-01

Std gradient norm: 2.95e-01

Median gradient norm: 3.79e-02

Improved MLP - Exploding Gradient Scenario (8 layers + BatchNorm):

Total gradient measurements: 1800

Min gradient norm: 3.94e-09

Max gradient norm: 1.39e+00

Mean gradient norm: 1.56e-01

Std gradient norm: 2.53e-01

Median gradient norm: 3.35e-02

Comparative Analysis:

10-layer model - Stable gradients: 1740/2280 (76.3%)

8-layer model - Stable gradients: 1380/1800 (76.7%)

Mean gradient ratio (8-layer/10-layer): 0.875

======================================================================

EVALUATION RESULTS ON TEST DATASET

======================================================================

Improved MLP (10 layers) Model:

Eval Loss: 1.9580

Eval Accuracy: 43.87%

Improved MLP (8 layers) Model:

Eval Loss: 1.1392

Eval Accuracy: 81.37%

CNN 架構實驗結果

基準 CNN 實驗：

在梯度消失情境中，雖然記錄了 603 個梯度測量值，平均梯度範數為 6.63×10⁻¹，看似處於合理範圍內，但梯度分佈圖顯示大部分梯度集中在 0.4 到 0.8 之間的狹窄區間。更重要的是，損失曲線呈現幾乎平坦的走勢，僅有微小的波動，顯示網路實際上並未進行有效學習。最終測試準確率僅達 10.00%，等同於隨機分類的效果，證明了梯度消失問題完全阻礙了網路的學習能力。

在梯度爆炸情境中，情況更為嚴重。實驗僅記錄到 6 個梯度測量值就發生了數值溢出，最大梯度範數達到 4.81×10¹⁴，遠超數值計算的穩定範圍。梯度分佈圖中，絕大多數梯度值集中在接近零的位置，但出現了極端的異常值。損失曲線呈現指數級爆炸增長，在極短的訓練時間內就達到無限大，導致模型完全崩潰，測試準確率降至 9.97%。這種極端的不穩定性說明了不當的權重初始化和激活函數選擇會如何摧毀深層 CNN 的訓練過程。

Gradient Vanishing Experiment:

Total gradient measurements: 603

Min gradient norm: 2.34e-01

Max gradient norm: 1.07e+00

Mean gradient norm: 6.63e-01

Std gradient norm: 1.46e-01

Gradient Exploding Experiment:

Total gradient measurements: 6

Min gradient norm: 5.59e+02

Max gradient norm: 4.81e+14

Mean gradient norm: nan

Std gradient norm: nan

Analysis:

Mean gradient ratio (exploding/vanishing): nan

Very small gradients (<1e-6): 0/603

Very large gradients (>10): 5/6

Final Evaluation Summary:

Exploding Gradients Model - Test Loss: nan, Test Accuracy: 9.97%

Vanishing Gradients Model - Test Loss: 2.3028, Test Accuracy: 10.00%

He 初始化 CNN 實驗：

在使用 ReLU 激活函數的淺層網路中，He 初始化展現了其設計目標的完美實現。平均梯度範數達到 4.16，相較於基準線模型有顯著提升，顯示出強健的梯度傳播能力。梯度分佈呈現健康的正態分佈特徵，集中在 2 到 6 的範圍內，避免了極值的出現。損失曲線顯示穩定且持續的下降趨勢，儘管存在一定的波動，但整體收斂方向明確。最重要的是，測試準確率大幅提升至 43.47%，證明了 He 初始化在促進實際學習方面的有效性。

在使用 Sigmoid 激活函數的深層網路中，He 初始化雖然提供了一定程度的穩定性，但效果有限。平均梯度範數為 1.18，略高於基準線模型，但仍然偏低。梯度分佈相對集中，範圍在 0.5 到 2.5 之間，雖然避免了極端值，但缺乏足夠的多樣性來支持複雜的學習任務。損失曲線呈現緩慢的下降趨勢，但收斂速度明顯較慢。測試準確率僅為 10.00%，說明 He 初始化雖然穩定了梯度，但無法克服 Sigmoid 激活函數在深層網路中的固有限制。

He Init with Sigmoid (Deep Network):

Total gradient measurements: 603

Min gradient norm: 3.82e-01

Max gradient norm: 2.74e+00

Mean gradient norm: 1.18e+00

Std gradient norm: 4.03e-01

He Init with ReLU (Shallow Network):

Total gradient measurements: 603

Min gradient norm: 2.31e+00

Max gradient norm: 1.66e+01

Mean gradient norm: 4.16e+00

Std gradient norm: 1.23e+00

Analysis:

Mean gradient ratio (ReLU/Sigmoid): 3.54e+00

Very small gradients (<1e-6): 0/603

Very large gradients (>10): 2/603

Final Evaluation Summary:

He Init (ReLU) Model - Test Loss: 1.5755, Test Accuracy: 43.47%

He Init (Sigmoid Deep) Model - Test Loss: 2.3090, Test Accuracy: 10.00%

殘差連接 CNN 實驗：

在梯度消失情境中，殘差連接確實發揮了梯度高速公路的作用。603 個梯度測量值的平均範數為 6.66×10⁻¹，與基準線模型相當，但梯度分佈更為穩定，主要集中在 0.4 到 0.8 的範圍內。跳躍連接允許梯度直接從深層傳播到淺層，避免了完全的梯度消失。然而，損失曲線仍然顯示學習進展有限，測試準確率維持在 10.00%，說明僅有梯度保護還不足以保證有效學習。

在梯度爆炸情境中，殘差連接面臨了嚴重的挑戰。實驗僅記錄到 3 個梯度測量值就出現了無限大的梯度，顯示跳躍連接在某些情況下可能會放大而非抑制梯度爆炸問題。這種現象說明了殘差連接雖然有助於梯度傳播，但如果沒有適當的權重初始化配合，可能會加劇不穩定性。測試準確率為 10.00%，證明了單純的結構改進無法解決所有梯度問題。

Gradient Vanishing Experiment:

Total gradient measurements: 603

Min gradient norm: 2.17e-01

Max gradient norm: 1.15e+00

Mean gradient norm: 6.66e-01

Std gradient norm: 1.54e-01

Gradient Exploding Experiment:

Total gradient measurements: 3

Min gradient norm: 2.13e+03

Max gradient norm: inf

Mean gradient norm: inf

Analysis:

Mean gradient ratio (exploding/vanishing): inf

Very small gradients (<1e-6): 0/603

Very large gradients (>10): 3/3

Final Evaluation Summary:

Exploding Gradients Model - Test Loss: 761637113164790218157457408.0000, Test Accuracy: 10.00%

Vanishing Gradients Model - Test Loss: 2.3027, Test Accuracy: 10.00%

改進版 CNN 實驗：

在梯度消失情境中，改進版模型展現了較好的梯度傳播能力。平均梯度範數達到 16.5，為所有實驗中最高，顯示出強健且活躍的梯度流。梯度分佈集中在 14 到 18 的範圍內，形成了健康的正態分佈，既避免了過小的梯度，又防止了極端值的出現。損失曲線顯示快速且穩定的收斂過程，從初始的高損失值迅速降至穩定水準。測試準確率達到 38.44%，相較於基準模型有顯著提升，證明了組合方法在深層網路學習方面的優越性。

在梯度爆炸情境中，改進版模型同樣表現出色。平均梯度範數為 6.09，處於合理範圍內，成功避免了極端的梯度爆炸。雖然仍有 16 個測量值超過 10（佔 2.7%），但這一比例遠低於其他方法，顯示出良好的控制能力。梯度分佈呈現合理的範圍，主要集中在較低值區域，但保持了足夠的多樣性。損失曲線展現快速收斂特徵，測試準確率達到 43.23%，為所有實驗中的最佳表現。

Gradient Vanishing Experiment:

Total gradient measurements: 603

Min gradient norm: 1.39e+01

Max gradient norm: 2.66e+01

Mean gradient norm: 1.65e+01

Std gradient norm: 1.57e+00

Gradient Exploding Experiment:

Total gradient measurements: 603

Min gradient norm: 3.31e+00

Max gradient norm: 1.80e+02

Mean gradient norm: 6.09e+00

Std gradient norm: 1.26e+01

Analysis:

Mean gradient ratio (exploding/vanishing): 3.70e-01

Very small gradients (<1e-6): 0/603

Very large gradients (>10): 16/603

Final Evaluation Summary:

Exploding Gradients Model - Test Loss: 1.5686, Test Accuracy: 43.23%

Vanishing Gradients Model - Test Loss: 1.7346, Test Accuracy: 38.44%

RNN 架構實驗結果

基準 RNN 實驗：

在梯度消失情境中，基準 RNN 表現出嚴重的梯度衰減問題。平均梯度範數僅為 2.28×10⁻⁴，處於極低水準，顯示梯度在時間步驟的反向傳播過程中幾乎完全消失。梯度分佈圖顯示所有梯度都集中在 2×10⁻⁴ 附近的極窄範圍內，缺乏學習所需的多樣性。損失曲線呈現劇烈的振盪模式，在 0.48 到 0.515 之間波動，但沒有明顯的下降趨勢，最終損失值為 0.510664，證明網路無法學習複製任務的模式。

在梯度爆炸情境中，情況更加極端和不穩定。平均梯度範數高達 1.66×10⁴，最大值更達到 6.18×10⁵，顯示出嚴重的數值不穩定性。梯度分佈極度偏斜，絕大多數測量值都超過 10 的閾值（100/100，100%），證明了完全的梯度爆炸現象。損失曲線在訓練初期出現劇烈的峰值（超過 1.2×10⁵），隨後雖然有所下降，但仍然維持在很高的水準，最終損失為 104.18，遠超合理範圍。梯度比率達到 7.28×10⁷，顯示兩種情境之間的極端差異。

Analysis Results:

Vanishing gradients - Mean: 0.000228, Std: 0.000020

Exploding gradients - Mean: 16573.293661, Std: 76007.828245

Ratio (Exploding/Vanishing): 72819790.57

Final loss - Vanishing: 0.510664, Exploding: 104.184853

======================================================================

GRADIENT EXPERIMENT SUMMARY

======================================================================

Gradient Vanishing Experiment:

Total gradient measurements: 100

Min gradient norm: 1.63e-04

Max gradient norm: 2.70e-04

Mean gradient norm: 2.28e-04

Std gradient norm: 2.02e-05

Gradient Exploding Experiment:

Total gradient measurements: 100

Min gradient norm: 1.11e+01

Max gradient norm: 6.18e+05

Mean gradient norm: 1.66e+04

Std gradient norm: 7.60e+04

Analysis:

Mean gradient ratio (exploding/vanishing): 7.28e+07

Very small gradients (<1e-6): 0/100

Very large gradients (>10): 100/100

梯度裁剪 RNN 實驗：

在梯度消失情境中，梯度裁剪 RNN 的表現與基準線模型相似。平均梯度範數為 2.18×10⁻⁴，僅略低於基準線模型，顯示梯度裁剪對於過小的梯度並無增強作用。梯度分佈仍然集中在極小值範圍內，缺乏足夠的強度來驅動有效學習。損失曲線顯示與基準線模型類似的振盪模式，最終損失值為 0.496706，雖然略有改善但仍然未能達到學習目標。

在梯度爆炸情境中，梯度裁剪展現了其核心價值。所有梯度測量值都被精確地裁剪至 1.0（平均值和最大值都是 1.0，標準差接近零），完全消除了梯度爆炸現象。梯度分佈圖顯示完美的單一峰值分佈，證明了裁剪機制的有效性。然而，損失曲線仍然顯示訓練困難，最終損失值為 112.37，雖然避免了數值溢出，但仍未實現有效學習。梯度比率降至 4.60×10³，相較於基準線模型有顯著改善，但仍然過高。

Analysis Results:

Vanishing gradients - Mean: 0.000218, Std: 0.000018

Exploding gradients - Mean: 1.000000, Std: 0.000000

Ratio (Exploding/Vanishing): 4596.50

Final loss - Vanishing: 0.496706, Exploding: 112.368080

======================================================================

GRADIENT EXPERIMENT SUMMARY

======================================================================

Gradient Vanishing Experiment:

Total gradient measurements: 100

Min gradient norm: 1.79e-04

Max gradient norm: 2.60e-04

Mean gradient norm: 2.18e-04

Std gradient norm: 1.81e-05

Gradient Exploding Experiment:

Total gradient measurements: 100

Min gradient norm: 1.00e+00

Max gradient norm: 1.00e+00

Mean gradient norm: 1.00e+00

Std gradient norm: 6.10e-08

Analysis:

Mean gradient ratio (exploding/vanishing): 4.60e+03

Very small gradients (<1e-6): 0/100

Very large gradients (>10): 0/100

單位矩陣初始化 RNN 實驗：

單位矩陣初始化技術通過將循環權重矩陣初始化為單位矩陣來解決梯度消失問題，實現了真正意義上的梯度穩定化。實驗結果顯示，IRNN 達到了完全穩定的梯度分佈，平均梯度範數為 2.15×10⁻²，比基準線模型高出約 100 倍，顯示出強健的梯度傳播能力。梯度分佈呈現健康的正態分佈特徵，集中在 0.018 到 0.026 的範圍內，標準差僅為 1.59×10⁻³，展現了極佳的穩定性。最重要的是，所有梯度測量值都落在穩定範圍內，完全避免了極端值的出現。但損失曲線仍然顯示訓練困難，並未實現有效學習。

Identity RNN Analysis Results:

Mean gradient norm: 0.021484

Std gradient norm: 0.001590

Min gradient norm: 0.017968

Max gradient norm: 0.026529

Final loss: 0.497984

Initial loss: 0.512682

Loss improvement: 2.87%

======================================================================

IDENTITY RNN EXPERIMENT SUMMARY

======================================================================

Identity RNN Initialization:

Total gradient measurements: 100

Min gradient norm: 1.80e-02

Max gradient norm: 2.65e-02

Mean gradient norm: 2.15e-02

Std gradient norm: 1.59e-03

Final loss: 0.497984

Initial loss: 0.512682

Loss reduction: 2.87%

Analysis:

Stable gradients (1e-4 to 10): 100/100 (100.0%)

Very small gradients (<1e-6): 0/100 (0.0%)

Very large gradients (>10): 0/100 (0.0%)

Gradient variance: 2.53e-06

改進版 RNN 實驗：

改進版 RNN 結合了單位矩陣初始化與梯度裁剪的雙重優勢，創造了一個既能防止梯度消失又能控制梯度爆炸的全面解決方案。實驗結果顯示，這種組合方法在所有評估指標上都達到了最優表現。平均梯度範數為 2.19×10⁻²，略高於純 IRNN 方法，顯示出更強的梯度傳播能力。梯度分佈維持在 0.016 到 0.027 的健康範圍內，所有梯度測量值都保持在穩定範圍內，完全避免了極端情況。這種改善歸功於單位矩陣初始化提供的穩定梯度基礎，以及梯度裁剪提供的額外保護機制。兩者協同作用創造了更好的訓練環境，使得 RNN 能夠充分發揮其序列建模的潛力。

Improved RNN Analysis Results:

Mean gradient norm: 0.021938

Std gradient norm: 0.001933

Min gradient norm: 0.016519

Max gradient norm: 0.027000

Final loss: 0.489518

Initial loss: 0.509714

Loss improvement: 3.96%

======================================================================

IMPROVED RNN EXPERIMENT SUMMARY

======================================================================

Identity RNN with Gradient Clipping:

Total gradient measurements: 100

Min gradient norm: 1.65e-02

Max gradient norm: 2.70e-02

Mean gradient norm: 2.19e-02

Std gradient norm: 1.93e-03

Final loss: 0.489518

Initial loss: 0.509714

Loss reduction: 3.96%

Analysis:

Stable gradients (1e-4 to 1.0): 100/100 (100.0%)

Very small gradients (<1e-6): 0/100 (0.0%)

Clipped gradients (≥1.0): 0/100 (0.0%)

Gradient variance: 3.74e-06

Conclusion

核心研究發現：

單一技術的局限性與組合方法的優越性：實驗結果一致顯示，任何單一的梯度最佳化技術都存在明顯的局限性，無法全面解決深度神經網路訓練中的複雜梯度問題。在 MLP 架構中，純 Xavier 初始化雖然實現了高達 94.9%-100% 的梯度穩定率，但測試準確率僅維持在 10% 左右，接近隨機表現。純批次正規化 (Batch Normalization) 在梯度爆炸控制方面表現卓越，完全消除了極大梯度，但在梯度消失情境下改善有限。然而，當兩種技術結合使用時，改進版 MLP 實現了 81.37% 的測試準確率，展現了技術協同效應的強大威力。

架構特異性的解決方案需求：不同神經網路架構的結構特性決定了其需要專門設計的梯度最佳化策略。CNN 架構中的卷積層和池化層帶來了獨特的梯度傳播特徵，使得 He 初始化配合 ReLU 激活函數成為最適合的組合，實現了 43.47% 的測試準確率。RNN 的時序性質則要求同時解決梯度在時間維度上的消失和爆炸問題，單位矩陣初始化 (Identity RNN) 提供了革命性的解決方案，將平均梯度範數從基準線的 2.28×10⁻⁴ 提升至 2.15×10⁻²，提高了近 100 倍。

梯度穩定性與學習效能的平衡：研究發現，梯度的數值穩定性雖然是有效學習的必要條件，但並非充分條件。梯度裁剪 (Gradient Clipping) 技術在 RNN 中完美地控制了梯度爆炸，將所有梯度精確限制在預設閾值內，但單純的數值控制並未帶來相應的學習效能提升。相反，改進版 RNN 通過結合單位矩陣初始化與梯度裁剪，不僅維持了梯度穩定性 (100% 穩定梯度比例) ，還實現了 3.96% 的損失改善，證明了平衡策略的重要性。

研究限制與未來方向：

實驗範圍的邊界：儘管本研究涵蓋了三種主要的神經網路架構，但實驗主要集中在相對簡單的資料集 (MNIST、CIFAR-10) 和基礎架構設計上。現代深度學習中的 Transformer、生成對抗網路 (Generative Adversarial Networks, GANs) 等先進架構可能面臨更複雜的梯度問題，需要進一步的研究探索。此外，實驗中使用的網路深度雖然足以展現梯度問題，但與當前實務中動輒數百層的超深度網路相比仍有差距。

最佳化技術的演進空間：研究中評估的技術主要是經典的梯度最佳化方法，而近年來湧現的自適應學習率方法 (如 Adam、AdamW)、正規化技術 (如 Layer Normalization、Group Normalization) 以及新興的初始化策略都可能為梯度問題提供新的解決思路。未來研究應該將這些新技術納入評估框架，探索更先進的技術組合方案。

理論基礎的進一步完善：雖然本研究提供了豐富的實驗證據，但對於技術組合產生協同效應的數學機制仍需更深入的理論分析。特別是在非凸最佳化景觀中，不同技術如何相互作用影響收斂性質，以及如何預測最佳的技術組合，都是值得深入探討的理論問題。

總結與展望：

本研究通過詳細的實驗設計和全面的效果評估，為深度神經網路的梯度最佳化問題提供了重要的理論洞察和實務指導。研究證明了技術組合相較於單一方法的顯著優勢，建立了針對不同架構的專門化解決方案，並揭示了梯度穩定性與學習效能之間的複雜平衡關係。這些發現不僅深化了我們對梯度問題本質的理解，也為實務工作者提供了可操作的最佳化策略。

隨著深度學習技術的持續發展，梯度最佳化仍將是一個充滿挑戰和機會的研究領域。本研究建立的評估框架和發現的基本原則為未來的探索奠定了堅實的基礎，而技術組合的協同效應原理也將指導更先進最佳化方法的開發。我相信，通過持續的理論創新和實驗驗證，深度神經網路的訓練效率和穩定性將獲得進一步的提升，為未來的實際應用創造更堅實的基礎。

Reference

[1] A Survey of Advanced Gradient Methods in Machine Learning | IEEE Conference Publication | IEEE Xplore
[2] [1504.00941v2] A Simple Way to Initialize Recurrent Networks of Rectified Linear Units
[3] Learning long-term dependencies with gradient descent is difficult | IEEE Journals & Magazine | IEEE Xplore
[4] [1905.11881] Why gradient clipping accelerates training: A theoretical justification for adaptivity
[5] The Challenge of Vanishing/Exploding Gradients in Deep Neural Networks - https://www.analyticsvidhya.com/blog/2021/06/the-challenge-of-vanishing-exploding-gradients-in-deep-neural-networks/
[6] How batch normalization layer resolve the vanishing gradient problem? - https://datascience.stackexchange.com/questions/95160/how-batch-normalization-layer-resolve-the-vanishing-gradient-problem
[7] Gradients, Batch Normalization and Layer Normalization – The Neural Perspective - https://theneuralperspective.wordpress.com/2016/10/27/gradient-topics/
[8] Vanishing and Exploding Gradients Problems in Deep Learning | GeeksforGeeks - https://www.geeksforgeeks.org/vanishing-and-exploding-gradients-problems-in-deep-learning/

Page updated

Google Sites

Report abuse