Data２

資料介紹 

變數介紹

資料處理及訓練模型 

step4: 選變數

     X變數: 'Store' , 'Holiday_Flag' , 'Temperature' , 'Fuel_Price' , 'CPI' , 'Unemployment' , 'month' 

Y變數: 'Weekly_Sales'

step5: 變數處理

連續型:

X變數:'Temperature', 'Fuel_Price', 'CPI','Unemployment'

Y變數: 'Weekly_Sales'

📍處理方式:標準化(StandardScaler)，最後輸出的RMSE值有再還原。

類別型:

X變數: 'month', 'Store' ,'Holiday_Flag'

📍處理方式: 獨熱編碼(One-Hot Encoding)，將類別型變數轉為數值型。

📍處理結果:

📌'month': 1~12月，共十二個特徵。

📌'Store' : 1~45個店家，共四十五個特徵。 

📌'Holiday_Flag': 0,1，共兩個特徵。

step6: 使用ElasticNet模型，做特徵篩選，以避免過擬合（Overfitting） 的問題。

📍篩選出來的特徵數量:60(因為有做熱編碼處理，所以篩選出來的特徵數量比原本的變數數量多。)

📍篩選出來的特徵名稱: 'Store_5', 'Store_36', 'Store_3', 'Store_30', 'Store_9', 'Store_37', 'Store_4', 'Store_13', 'Store_16', 'Store_10', 'Store_43', 'Store_33', 'Store_21', 'Store_7', 'Store_25', 'Store_44', 'Store_27', 'Store_14', 'Store_8', 'Store_20', 'Store_38', 'Store_45', 'Store_29', 'Store_42', 'Store_15', 'Store_28', 'Store_2', 'Store_19', 'Store_24', 'month_12', 'Store_23', 'CPI', 'Store_11', 'Store_32', 'month_11', 'Store_17', 'Store_35', 'Store_40', 'month_2', 'Store_31', 'Store_41', 'month_4', 'month_3', 'month_6', 'Store_12', 'month_5', 'Store_39', 'month_8', 'Unemployment', 'Store_22', 'Store_34', 'month_7', 'Store_26', 'Temperature', 'Holiday_Flag_1', 'Store_18', 'month_10', 'Fuel_Price', 'Store_6', 'month_9'

step7: 使用twinning分割訓練集和測試集。

step8: 使用 Optuna 超參數調優，並且使用最佳超參數訓練基礎模型。

📍定義基礎模型列表，包含：

📌XGBoost Regressor

📌CatBoost

📌Random Forest

📌Gradient Boosting

📌Histogram-based Gradient Boosting

📌Support Vector Regression

📌Decision Tree

📌Bayesian Ridge

📌Linear Regression

step9: 訓練整合式模型，以便於做比較。

📍Stacking

📍Covariate Dependent Stacking (CDST)

📍Optimal Linear Stacked Generalization with Bias Reduction and Covariation Modification

(OPEC-Stacking)

step11：進行模型評估。

📍計算每個基礎模型以及整合式模型的訓練集和測試集 RMSE。

step12：結果可視化。

📍繪製陡坡圖 (Steep curve ) 比較不同模型的表現。

RMSE還原後的結果 

從上圖中可以看出：

1. 模型性能排名：整體來看，左側的模型（如CDST、OPEC-Stacking、SVR等）表現最好，RMSE值最低；而右側的模型（特別是Decision Tree、RandomForest、Stacking）表現明顯較差。

2. 集成學習優勢：CDST和OPEC-Stacking這兩種集成方法的RMSE最低，說明集成多個模型的預測結果確實能提高預測準確性。

3. 個別模型表現：

   • HistGradientBoosting、GradientBoosting表現中等。

   • DecisionTree、RandomForest表現明顯較差。

   • 相較於CDST和OPEC-Stacking這兩種集成方法，Stacking在所有模型中是表現最差的集合學習模型，推測是因為Decision Tree、RandomForest這兩個模型表現明顯較差，而影響到了Stacking模型所算出較差的RMSE值。

4. 訓練集與測試集差異：大多數模型的訓練集RMSE（橙色線）和測試集RMSE（藍色線）非常接近，表明這些模型沒有明顯的過擬合或欠擬合問題。

5. 選擇建議：從圖來看，CDST方法是最優選擇，其次是OPEC-Stacking和CatBoost模型。明確應避免使用DecisionTree、RandomForest模型，因其誤差過大。

6. 參數調優方向：可以進一步優化表現較好的模型（如SVR、Bayesian Ridge等），但避免在表現極差的模型（如DecisionTree、RandomForest）上浪費時間。

總結來說，此圖清晰地展示了各模型在數據集上的表現，集成方法（尤其是CDST）效果最佳。根據您的應用場景和計算資源，可以選擇CDST或性能接近的較簡單模型（如SVR）進行實際應用。

根據RMSE的結果，篩選最好的基礎模型重新進行集成訓練

我們篩選了 4 個結果最佳的基礎模型，重新對 3 個集成模型進行訓練：

1. SVR 

2. XGBRegressor

3. HistGradientBoosting Regressor

4. Linear Regressor 

RMSE還原後的結果 

從上圖中可以看出：

1. 三種模型選擇策略比較：圖表比較了三種模型選擇策略 - Stacking_Select、OPEC_Select 和 CDST_Select 的性能表現。

2. 訓練集與測試集差異：

   • OPEC_Select 在訓練集上表現最佳，RMSE 值最低（約 1123828.14 ），但在測試集上的表現（約 1132784.08）略遜於 CDST_Select。

   • CDST_Select 在測試集上表現最佳（RMSE 約 1126621.36）。

   • Stacking_Select 在訓練集（約 1303449.25）和測試集（約 1299144.83）上都表現較差。

3. 泛化能力分析：

   • CDST_Select 在測試集上表現最佳，而訓練集上表現比OPEC_Stacking差一些，但總體表現是最好的，顯示出良好的泛化能力。

4. 訓練穩定性：

   • Stacking_Select 的訓練集和測試集 RMSE 都比較高，但OPEC_Select 的訓練集明顯較低，表明 OPEC_Select 在訓練過程中能更好地擬合訓練數據。

5. 模型選擇建議：

   • 如果優先考慮測試性能，CDST_Select 是最佳選擇。

   • 如果需要在訓練和測試表現間取得平衡，OPEC_Select 可能是較好選擇。

   • Stacking_Select 雖然整體表現略遜，但訓練和測試差異較小，可能在某些穩定性要求高的場景有用。

6. 結論：圖表清晰顯示 CDST_Select 在預測未見數據方面表現最佳，OPEC_Select 在訓練數據擬合上表現突出，而 Stacking_Select 則相對平穩但整體性能略遜。實際應用時可根據特定需求選擇合適的模型選擇策略。