簡介 

前言

      本專題的研究聚焦於將「整合學習法」(Integrating Learning Method)做改善，對於機器學習模型進行更有效整合。

      儘管現有的集成學習(Ensemble Learning)在許多預測任務中已經取得了良好的效果,但它們依然存在一定程度的均方誤差(Mean Square Error, MSE)，進而影響到模型的預測性能。因此，本研究的核心在於探索在整合多個基礎模型時,如何有效減少這些偏差(Bias)和變異(Variance)，最終提升預測的準確性和模型的穩定性。

 研究動機 

       在多樣化的模型中，有時可以觀察到兩種以上的模型在數據上表現一樣優秀，而 Stacking(堆疊)可以結合不同模型的優點，但因為它依賴於將多個基礎(base)模型的預測結果作為輸入來訓練一個最終的元(meta)模型，因此在使用過程中需要更多的計算資源，且可能會遇到過擬合的風險。

       本次計畫想透過推導MSE的特性，分別假設不同情境來減少模型合併過擬的問題。此外，我們在kaggle上找三種不同的公開資料集來驗證，通過比較來證明本次提及的方法能夠達到最佳效果。

研究目的 

1.提出一個基於整合學習器的模型，同時考量各個演算法的預測偏差與預測誤差的共變異數，獲得最好的權重，以提升整體預測能力，進而產生更好的模型。

2.探討整合學習器在多種數據集上的性能表現，並與傳統的堆疊模型(Stacking)進行全面比較。

3.減少預測模型中的偏差(bias)和變異(variance)進一步提升模型的穩定性。