正則化

在機器學(xué)習(xí)學(xué)習(xí)中往往不知道需要不知道選取的特征個數(shù)，假如特征個數(shù)選取過少，容易造成欠擬合，特征個數(shù)選取過多，則容易造成過擬合。由此為了保證模型能夠很好的擬合樣本，同時為了不要出現(xiàn)過擬合現(xiàn)象，引入了一個正則項。

如圖所示：

當(dāng)選用特征過少時，函數(shù)的擬合程度如左邊的圖一樣，不能很好的擬合

當(dāng)選用特征適中時，函數(shù)的擬合程度如中間的圖一樣，可以比較好的擬合

當(dāng)選用特征過多時，函數(shù)的擬合程度如右邊的圖一樣，能夠完全擬合樣本，但是可能在測試數(shù)據(jù)上不佳。

當(dāng)選用均方誤差作為損失函數(shù)時

Loss function：$\sum (y?W{x}_i{)}^2$，當(dāng)選擇模型過于復(fù)雜時（即$W$維度過高，$X$特征過多時）損失函數(shù)往往趨近于0甚至等于0，能夠很好的擬合樣本但是不具有很好的泛化能力，所以為了降低模型的復(fù)雜度我們引入了一個正則項$\lambda W^{T}W$。即損失函數(shù)為$\sum (y?W{x}_i{)}^2+\lambda W^{T}W$。由此最小化損失函數(shù)時。會考慮模型的復(fù)雜度，保證模型不至于太復(fù)雜。

當(dāng)存在一個樣本 X = { x 1 , x 2 , ? , x n } \mathbf{ X=\{x_1,x_2,\cdots,x_n\}} X={x1?,x2?,?,xn?}，$y=a{x}^2+bx+c+\xi$，其中$\xi$為一個高斯噪聲，

當(dāng)選擇模型：${\theta }_{1}x+{\theta }_2$時，模型無法很好的擬合樣本

當(dāng)選擇模型：${\theta }_1{x}^2+{\theta }_{2}x+{\theta }_3$時，模型可以較好的擬合樣本

當(dāng)選擇模型：${\theta }_1{x}^5+{\theta }_2{x}^4+{\theta }_3{x}^3+{\theta }_4{x}^2+{\theta }_{5}x+{\theta }_6$時，模型可以完全擬合樣本，當(dāng)引入正則項$\lambda W^{T}W$，可以保證$W$不至于太復(fù)雜，由此可以使${\theta }_1,{\theta }_2,{\theta }_3$足夠小，不至于使給模型造成太大的影響，所以可以避免模型太過于復(fù)雜以至于過擬合。