wordpress jq網(wǎng)站推廣優(yōu)化技巧
概況
最小二乘法其實(shí)就是為數(shù)據(jù)(二維)擬合出一條直線,為(三維)數(shù)據(jù)擬合出一個面。來最大程度的是我們的樣本點(diǎn)落在該直線上。
使得我們找到一條直線使所以的樣本點(diǎn)盡可能靠近該直線,即每個樣本點(diǎn)到直線的距離最短。
Y=WX+B,W是權(quán)重,B是偏移量。
損失函數(shù)
L ( w ) = ∑ i = 1 m ∣ ∣ w T x i ? y i ∣ ∣ 2 L(w)=\sum_{i=1}^m||w^Tx_i-y_i||^2 L(w)=i=1∑m?∣∣wTxi??yi?∣∣2
= ∑ i = 1 m ( w T x i ? y i ) 2 =\sum_{i=1}^m(w^Tx_i-y_i)^2 =i=1∑m?(wTxi??yi?)2
= [ W T X T ? Y t ] [ X W ? Y ] =[W^TX^T-Y^t][XW-Y] =[WTXT?Yt][XW?Y]
= W T X T X W ? Y T X W ? W T X T Y + Y T Y =W^TX^TXW-Y^TXW-W^TX^TY+Y^TY =WTXTXW?YTXW?WTXTY+YTY
= W T X T X W ? 2 W T X T Y + Y T Y =W^TX^TXW-2W^TX^TY+Y^TY =WTXTXW?2WTXTY+YTY
為什么 Y T X W Y^TXW YTXW和 W T X T Y W^TX^TY WTXTY是相等的,因?yàn)?span id="vxwlu0yf4" class="katex--inline"> Y T Y^T YT的維度是(1,n), X X X的維度是(n,n), W W W的維度是(n,1),所以 Y T X W Y^TXW YTXW的維度是(1,1)也就是一個常數(shù)值。而 W T W^T WT的維度為(1,n), X T X^T XT的維度為(n,n), Y Y Y的維度為(n,1)。 W T X T Y W^TX^TY WTXTY的維度為(1,1)所以都是常數(shù),所以轉(zhuǎn)置不轉(zhuǎn)置不影響數(shù)值的值。所以是相等的。
因?yàn)槲覀儾捎玫氖亲钚《斯烙?jì),所以這里希望損失函數(shù)最小,所以求取函數(shù)導(dǎo)數(shù)為0的點(diǎn),就是我們的最優(yōu)解,因?yàn)檫@里是二次函數(shù),所以導(dǎo)數(shù)為0的點(diǎn)就是最值點(diǎn)。
最優(yōu)解為 w ? w^* w?
w ? = a r g m i n w L ( w ) w^*=argmin_wL(w) w?=argminw?L(w)
對其求導(dǎo),并令其導(dǎo)數(shù)為0.
導(dǎo)數(shù) = 2 X T X W ? 2 X T Y = 0 導(dǎo)數(shù)=2X^TXW-2X^TY=0 導(dǎo)數(shù)=2XTXW?2XTY=0
具體過程是:
d L ( w ) = d ( W T X T X W ? 2 W T X T Y + Y T Y ) dL(w)=d(W^TX^TXW-2W^TX^TY+Y^TY) dL(w)=d(WTXTXW?2WTXTY+YTY)
= d ( W T ) X T X W ? 2 d ( W T ) X T Y + W T X T X d ( W ) =d(W^T)X^TXW-2d(W^T)X^TY+W^TX^TXd(W) =d(WT)XTXW?2d(WT)XTY+WTXTXd(W)
= X T X W d ( W ) ? 2 X T Y d ( W ) + W T X T X d ( W ) =X^TXWd(W)-2X^TYd(W)+W^TX^TXd(W) =XTXWd(W)?2XTYd(W)+WTXTXd(W)
即 2 X T X W ? 2 X T Y = 0 2X^TXW-2X^TY=0 2XTXW?2XTY=0
w ? = ( X T X ) ? 1 X T Y w^*=(X^TX)^{-1}X^TY w?=(XTX)?1XTY
然后我們可以構(gòu)造決策函數(shù):
f ( x ) = ( w ? ) T x f(x)=(w^*)^Tx f(x)=(w?)Tx