文獻回顧1--An R package for ensemble learning stacking [1]
Breiman(1996)提出的堆疊方法(Stacking),表示通過將基礎模型的預測結果進行加權平均,能夠降低均方誤差(Mean Squared Error,MSE)。
堆疊迴歸是一種集成學習技術,其將多個不同的迴歸模型進行線性組合,以提高預測精度。Chen 等人(2023)探討了堆疊迴歸模型中的誤差減少問題,他們將這種堆疊方法應用於嵌套迴歸模型中,並通過正則化經驗風險最小化來學習堆疊權重,並加上非負約束來避免過擬合。
文獻回顧2--Ensemble Prediction via Covariate-dependent Stacking [2]
Wakayama 和 Sugasawa(2024)提出了一種名為「變數依賴的堆疊」(Covariate-dependent Stacking, CDST)的創新集成學習方法。傳統堆疊方法中,模型的權重是固定的,無法根據數據的區域變異進行調整,這在面對複雜數據集時可能無法充分捕捉其潛在規律。因此,CDST允許權重隨變數的變化而調整。