中文亚洲精品无码_熟女乱子伦免费_人人超碰人人爱国产_亚洲熟妇女综合网

當(dāng)前位置: 首頁 > news >正文

展示型手機(jī)網(wǎng)站模板seo就業(yè)

展示型手機(jī)網(wǎng)站模板,seo就業(yè),淄博做網(wǎng)站小程序的公司,做二手物資哪個(gè)網(wǎng)站好文章目錄 1. 梯度下降概念2. 梯度下降的技巧2.1 動(dòng)態(tài)設(shè)置學(xué)習(xí)率2.2 Adagrad調(diào)整梯度2.3 隨機(jī)梯度下降(SGD)2.4 特征縮放 3. 梯度下降理論基礎(chǔ) 1. 梯度下降概念 梯度:Loss 對參數(shù)在某一點(diǎn)的偏微分,函數(shù)沿梯度的方向具有最大的變化…

文章目錄

    • 1. 梯度下降概念
    • 2. 梯度下降的技巧
      • 2.1 動(dòng)態(tài)設(shè)置學(xué)習(xí)率
      • 2.2 Adagrad調(diào)整梯度
      • 2.3 隨機(jī)梯度下降(SGD)
      • 2.4 特征縮放
    • 3. 梯度下降理論基礎(chǔ)

1. 梯度下降概念

  • 梯度:Loss 對參數(shù)在某一點(diǎn)的偏微分,函數(shù)沿梯度的方向具有最大的變化率
  • 梯度下降:從某點(diǎn)出發(fā),計(jì)算該點(diǎn)梯度,以一定的學(xué)習(xí)率沿著該梯度的反方向移動(dòng),直到梯度接近 0
  • 公式: w t + 1 = w t ? η d L d w w_{t+1} = w_t - \eta \frac{dL}{dw} wt+1?=wt??ηdwdL?

2. 梯度下降的技巧

2.1 動(dòng)態(tài)設(shè)置學(xué)習(xí)率

  • 原理:離終端越遠(yuǎn),學(xué)習(xí)率越大;離終點(diǎn)越近,學(xué)習(xí)率越小。
  • 公式: η t = η t \eta_t = \frac{\eta}{\sqrt{t}} ηt?=t ?η?
    其中,t 是迭代次數(shù)。

2.2 Adagrad調(diào)整梯度

  • 原理:

    • 梯度大的時(shí)候,調(diào)正的步伐不一定要大,要綜合考慮到二階導(dǎo)數(shù)的影響。
    • 通過參數(shù)的歷史信息來調(diào)整學(xué)習(xí)率。
  • 使用 Adagrad 方法更新參數(shù)的公式:

    • η t σ t = η ∑ i = 1 t ( g i ) 2 \frac{\eta^t}{\sigma^t} = \frac{\eta}{\sqrt{\sum_{i=1}^{t} (g^i)^2}} σtηt?=i=1t?(gi)2 ?η?
    • w t + 1 = w t ? η t σ t g t w^{t+1} = w^t - \frac{\eta^t}{\sigma^t} g^t wt+1=wt?σtηt?gt

    其中: σ t \sigma^t σt 是梯度平方的累加和(即歷史梯度的平方和的平方根)。

  • 總結(jié):化簡后,分子是一階導(dǎo)數(shù),分母其實(shí)是反應(yīng)二階導(dǎo)數(shù)的影響

2.3 隨機(jī)梯度下降(SGD)

  • 概念:不考慮所有樣本,每次隨機(jī)選取某個(gè)或某些樣本點(diǎn)來做梯度下降更新參數(shù)。
  • 作用:
    • 訓(xùn)練更迅速,結(jié)果也不會太差。
    • 可能受到某些樣本的影響,導(dǎo)致不精確。

2.4 特征縮放

  • 概念:將不同的輸入特征統(tǒng)一縮放到相同的范圍或分布。

特征歸一化

  • 公式: x ′ = x ? min ? ( x ) max ? ( x ) ? min ? ( x ) x' = \frac{x - \min(x)}{\max(x) - \min(x)} x=max(x)?min(x)x?min(x)?
  • 將數(shù)據(jù)統(tǒng)一到特定的范圍,避免某些極端數(shù)據(jù)的影響。

特征標(biāo)準(zhǔn)化

  • 公式: x ′ = x ? μ σ x' = \frac{x - \mu}{\sigma} x=σx?μ?
    其中:

    • μ \mu μ 是特征的均值。
    • σ \sigma σ 是特征的標(biāo)準(zhǔn)差。
  • 效果:

    • 數(shù)據(jù)更符合正態(tài)分布,處理后的特征均值為 0,標(biāo)準(zhǔn)差為 1。
    • 減少特征間方差的差異,幫助加速收斂。

特征縮放的優(yōu)點(diǎn)

  • 未處理之前:

    • Loss 是一個(gè)橢圓,每次更新沿著等高線(梯度)方向走,不是往圓心(最低點(diǎn))走。
    • 如果不使用 Adagrad,可能很難得到好的結(jié)果。
  • 處理之后:

    • Loss 是一個(gè)圓,每次更新都往圓心(最低點(diǎn))走,容易訓(xùn)練。
    • 有助于模型訓(xùn)練和加快收斂速度。

3. 梯度下降理論基礎(chǔ)

泰勒級數(shù)近似

  • 理論:
    • 移動(dòng)方向與梯度(偏導(dǎo))方向相反時(shí),內(nèi)積最小。
    • 發(fā)現(xiàn)附近以 $\theta $ 半徑圈的最小值,移動(dòng)到那里。

使用前提

  • Loss function 必須是無限可微的。
  • 附近圈小,可以忽略高次項(xiàng),意味著學(xué)習(xí)率要足夠小。

http://www.risenshineclean.com/news/7396.html

相關(guān)文章:

  • 湖南省建設(shè)廳網(wǎng)站首頁網(wǎng)絡(luò)顧問
  • 幫企業(yè)外賣網(wǎng)站做推移動(dòng)網(wǎng)站優(yōu)化排名
  • 網(wǎng)站免費(fèi)優(yōu)化工具怎樣宣傳網(wǎng)站
  • 在建設(shè)政府門戶網(wǎng)站時(shí)要充分考慮到引流推廣是什么意思
  • 廈門網(wǎng)紅鄭州seo技術(shù)
  • 網(wǎng)站建設(shè) 網(wǎng)站優(yōu)化5118數(shù)據(jù)分析平臺官網(wǎng)
  • 免費(fèi)域名申請哪個(gè)網(wǎng)站好產(chǎn)品推廣方案ppt
  • 建站優(yōu)化收費(fèi)石家莊抖音seo
  • 好看又免費(fèi)的圖片素材網(wǎng)站成都網(wǎng)站推廣經(jīng)理
  • 電腦維修 做網(wǎng)站軟文網(wǎng)站名稱
  • 企業(yè)做網(wǎng)站需要什么資料關(guān)鍵詞優(yōu)化哪個(gè)好
  • 棗莊住房和城鄉(xiāng)建設(shè)局網(wǎng)站滄州網(wǎng)站優(yōu)化公司
  • 中山做網(wǎng)站博客推廣的方法與技巧
  • 深圳 公司網(wǎng)站建設(shè)優(yōu)化關(guān)鍵詞排名哪家好
  • 做網(wǎng)站一般什么配置超級外鏈自動(dòng)發(fā)布工具
  • 品牌做網(wǎng)站搜索百度網(wǎng)址網(wǎng)頁
  • 申請做網(wǎng)站 論壇版主seo站長綜合查詢
  • 招財(cái)貓網(wǎng)站怎么做搜索熱詞排名
  • 做網(wǎng)站程序員都要先做維護(hù)么數(shù)字營銷是干啥的
  • 如何搭建免費(fèi)網(wǎng)站營銷培訓(xùn)視頻課程免費(fèi)
  • 建設(shè)網(wǎng)站要注意事項(xiàng)中國最大網(wǎng)站排名
  • 互聯(lián)網(wǎng)門戶網(wǎng)站是什么培訓(xùn)課程總結(jié)
  • 國外做網(wǎng)站公司能賺錢嗎知乎軟文推廣
  • wordpress程序代碼漯河seo推廣
  • 長安公司網(wǎng)站建設(shè)百度自媒體注冊入口
  • 肇慶網(wǎng)站建設(shè)方案外包惠州網(wǎng)站排名提升
  • 網(wǎng)站建設(shè)用什么軟件比較好優(yōu)化視頻
  • 微信如何做微商城網(wǎng)站微信視頻號小店
  • 莆田交友網(wǎng)站市場app推廣引流方法
  • 常州做網(wǎng)站怎么做個(gè)網(wǎng)站