在線性迴歸模型中, 為了最佳化目標函式, 資料需符合多種假設, 才能得到不偏迴歸係數, 使得模型變異量最低。而現實中, 隨著解釋變數個數增加, 可能會出現多重共線性 (multicollinearity) 問題, 使得模型假設不成立而產生過度配適 (over-fitting)。 此時可透過正規化迴歸 (Regularized Regression) 來控制迴歸係數, 藉此降低模型變異以及樣本外誤差。
正規化迴歸 (通常也稱為懲罰模型 (penalized models) 或收縮方法 (shrinkage methods)) 會對迴歸係數施加限制, 並將它們逐漸縮小到零。此限制能減少係數的大小和波動, 並降低模型的變異。常見的正規化方法包含 Ridge Regression, Lasso (Least Absolute Shrinkage and Selection Operator) 與 The Elastic Net (彈性網路)。