ios網(wǎng)站開(kāi)發(fā)工具有哪些怎么做網(wǎng)址
文章目錄
- 1.梯度下降簡(jiǎn)介
- 1.1 梯度下降的數(shù)學(xué)原理
- 1.2 學(xué)習(xí)率的選擇
- 2 梯度下降變體
- 3.梯度下降優(yōu)化器
- 3.1 動(dòng)量法（Momentum）
- 3.2 AdaGrad
- 3.3 RMSprop
- 3.4 Adam
- 3.5 Python 使用不同優(yōu)化器訓(xùn)練線性回歸模型
- 4.案例：使用梯度下降優(yōu)化加利福尼亞房?jī)r(jià)預(yù)測(cè)模型
- 4.1. 數(shù)據(jù)準(zhǔn)備
- 4.2. 模型訓(xùn)練與優(yōu)化
- 4.3. 實(shí)驗(yàn)結(jié)果對(duì)比
- 4.4. 結(jié)果分析
- 4.5. 總結(jié)
1.梯度下降簡(jiǎn)介
一種為機(jī)器學(xué)習(xí)模型奠定基礎(chǔ)的優(yōu)化算法是梯度下降法（Gradient Descent，簡(jiǎn)稱GD）。梯度下降是一種簡(jiǎn)單而有效的工具，適用于訓(xùn)練此類模型。正如其名稱所示，梯度下降涉及“向下移動(dòng)”。我們?cè)谝粋€(gè)景觀中選擇一個(gè)方向，并沿著該方向采取每一步，讓我們“向下走”。步長(zhǎng)的大小取決于坡度（即梯度）的陡峭程度。在機(jī)器學(xué)習(xí)（ML）模型中，梯度下降估計(jì)誤差的梯度，幫助最小化成本函數(shù)。很少有優(yōu)化方法能夠像梯度下降一樣計(jì)算效率高。GD 還為深度學(xué)習(xí)模型的優(yōu)化奠定了基礎(chǔ)。
在參數(shù)無(wú)法通過(guò)線性代數(shù)方法解析計(jì)算的情況下，必須通過(guò)優(yōu)化來(lái)搜索時(shí)，梯度下降法找到了它最好的用武之地。該算法通過(guò)沿著最陡下降方向迭代地移動(dòng)來(lái)工作。在每次迭代中，模型參數(shù)（如線性回歸中的系數(shù)和神經(jīng)網(wǎng)絡(luò)中的權(quán)重）都會(huì)更新。模型將持續(xù)更新其參數(shù)，直到成本函數(shù)收斂或達(dá)到最小值（即圖1.1a中坡度的底部）。
1.1 梯度下降的數(shù)學(xué)原理
梯度下降法的目標(biāo)是通過(guò)迭代的方法最小化目標(biāo)函數(shù) J ( θ