多變量線性回歸模型

模型參數(shù)為n+1維向量，此時(shí)模型公式為
$$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$$
可以簡(jiǎn)化為
$$h_{\theta }(x)={\theta }^{\mathrm{T}}\mathrm{X}$$
此時(shí)的代價(jià)函數(shù)仍是所有建模誤差的平方和，即
$$J({\theta }_0,{\theta }_1,...,{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})?y^{(i)}{)}^2$$
此時(shí)的批量梯度算法為
$${\theta }_j:={\theta }_j?\alpha \frac{?}{?{\theta }_j}J({\theta }_0,{\theta }_1,...,{\theta }_n)$$

$${\theta }_j:={\theta }_j?\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})?y^{(i)})?x_j^{(i)}forj=0,1,...n$$

特征縮放

在多維特征問(wèn)題中，特征尺度越相近，梯度下降算法收斂越快。 盡量將特征尺度$x_n$縮放到-1~1之間。${\mu }_n$是平均值，$s_n$是方差。
$$x_n=\frac{x_n?{\mu }_n}{s_n}$$

學(xué)習(xí)率

我們不能提前預(yù)知梯度下降算法收斂所需的迭代次數(shù)，但可以通過(guò)繪制迭代次數(shù)和代價(jià)函數(shù)的圖表來(lái)觀測(cè)算法在何時(shí)趨于收斂。

常用的學(xué)習(xí)率為0.01，0.03，0.1，0.3，1，3，10

多項(xiàng)式回歸

線性回歸不適用所有的模型，有時(shí)候可能需要二次方、三次方等模型，比如
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2+{\theta }_3{x}_3^3$$

$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{\sqrt{x}}_2$$

正規(guī)方程

通過(guò)正規(guī)方程解出向量，其中$X$為特征矩陣
$$\theta =(X^{\mathrm{T}}X{)}^{?1}{X}^{\mathrm{T}}y$$