當前位置：首頁 > news >正文

263企業(yè)郵箱入口登錄網頁版企業(yè)關鍵詞優(yōu)化價格

news 2025/7/2 20:41:32

263企業(yè)郵箱入口登錄網頁版,企業(yè)關鍵詞優(yōu)化價格,搜索引擎營銷的主要模式,寧夏建設廳網站查證深度學習基本理論上篇：（MLP/激活函數/softmax/損失函數/梯度/梯度下降/學習率/反向傳播） 深度學習基本理論上篇：（MLP/激活函數/softmax/損失函數/梯度/梯度下降/學習率/反向傳播）、深度學習面試_會害羞的楊…

深度學習基本理論上篇：（MLP/激活函數/softmax/損失函數/梯度/梯度下降/學習率/反向傳播）

深度學習基本理論上篇：（MLP/激活函數/softmax/損失函數/梯度/梯度下降/學習率/反向傳播）、深度學習面試_會害羞的楊卓越的博客-CSDN博客

18、?請說明Momentum、AdaGrad、Adam梯度下降法的特點

Momentum、AdaGrad、Adam是針對SGD梯度下降算法的缺點的改進算法。在SGD算法中，如果函數的形狀非均向（參數大小差異較大），SGD的搜索路徑會呈“之字形”移動，搜索效率較低。如下圖所示：?

?1）Momentum

Momentum是“動量”的意思，和物理有關。用數學式表示Momentum方法，如下所示：

其中，W表示要更新的權重參數，?L/?w表示W的梯度，η表示學習率，v對應物理上的速度。在物體不受任何力時，該項承擔使物體逐漸減速的任務（α設定為0.9之類的值），對應物理上的地面摩擦或空氣阻力。和SGD相比，我們發(fā)現(xiàn)“之”字形的“程度”減輕了。這是因為，雖然x軸方向上受到的力非常小，但是一直在同一方向上受力，所以朝同一個方向會有一定的加速。反過來，雖然y軸方向上受到的力很大，但是因為交互地受到正方向和反方向的力，它們會互相抵消，所以y軸方向上的速度不穩(wěn)定。因此，和SGD時的情形相比，可以更快地朝x軸方向靠近，減弱“之”字形的變動程度。如下圖所示：?

2）AdaGrad

AdaGrad會為參數的每個元素適當地調整學習率，與此同時進行學習（AdaGrad的Ada來自英文單詞Adaptive，即“適當的”的意思），其表達式為：

?其中，W表示要更新的權重參數，$\frac{\partial L}{\partial W}$表示W的梯度，$\eta$表示學習率，$\frac{\partial L} {\partial W} \bigodot \frac{\partial L} {\partial W}$表示所有梯度值的平方和。在參數更新時，通過乘以$\frac{1}{\sqrt h}$就可以調整學習的尺度。這意味著，參數的元素中變動較大（被大幅更新）的元素的學習率將變小。也就是說，可以按參數的元素進行學習率衰減，使變動大的參數的學習率逐漸減小。其收斂路徑如下圖所示：

3）Adam

Adam是2015年提出的新方法。它的理論有些復雜，直觀地講，就是融合了Momentum和AdaGrad的方法。通過組合前面兩個方法的優(yōu)點，有望實現(xiàn)參數空間的高效搜索。其收斂路徑如下圖所：?

?以下是幾種梯度下降算法的收斂情況對比：

19. 什么是卷積函數?

卷積函數指一個函數和另一個函數在某個維度上的加權“疊加”作用，其表達式為：?

?離散化卷積函數表示為：

20. 二維卷積運算中，輸出矩陣大小與輸入矩陣、卷積核大小、步幅、填充的關系？

OH：輸出高
OW：輸出寬
H：輸入高
W：輸入寬
P：padding層數
FH：卷積核高
FW：卷積核寬
S：步長

21. 什么是池化，池化層的作用是什么

也稱子采樣層或下采樣層（Subsampling Layer），目的是縮小高、長方向上的空間的運算，以降低計算量，提高泛化能力。?

22. 什么是最大池化、平均池化

最大池化：取池化區(qū)域內的最大值作為池化輸出
平均池化：取池化區(qū)域內的平均值作為池化輸出

23. 池化層有什么特征

1）沒有要學習的參數
2）通道數不發(fā)生變化
3）對微小的變化具有魯棒性

24. 什么是歸一化，為什么要進行歸一化?

1）歸一化的含義。歸一化是指歸納統(tǒng)一樣本的統(tǒng)計分布性。歸一化在 $ 0-1$ 之間是統(tǒng)計的概率分布，歸一化在$ -1--+1$ 之間是統(tǒng)計的坐標分布
2）歸一化處理的目的

為了后面數據處理的方便，歸一化的確可以避免一些不必要的數值問題
為了程序運行時收斂加快
統(tǒng)一量綱。樣本數據的評價標準不一樣，需要對其量綱化，統(tǒng)一評價標準
避免神經元飽和。當神經元的激活在接近 0 或者 1 時會飽和，在這些區(qū)域，梯度幾乎為 0，這樣，在反向傳播過程中，局部梯度就會接近 0，這會有效地“殺死”梯度。?

25. 什么是批量歸一化，其優(yōu)點是什么?

1）批量歸一化（Batch Normalization，簡寫B(tài)N）指在神經網絡中間層也進行歸一化處理，使訓練效果更好的方法，就是批量歸一化。
2）優(yōu)點

減少了人為選擇參數。在某些情況下可以取消 dropout 和 L2 正則項參數,或者采取更小的 L2 正則項約束參數；
減少了對學習率的要求?，F(xiàn)在我們可以使用初始很大的學習率或者選擇了較小的學習率，算法也能夠快速訓練收斂；
可以不再使用局部響應歸一化（BN 本身就是歸一化網絡) ；
破壞原來的數據分布，一定程度上緩解過擬合；
減少梯度消失，加快收斂速度，提高訓練精度。?

26. 請列舉AlexNet的特點

使用ReLU作為激活函數，并驗證其效果在較深的網絡超過了Sigmoid，成功解決了Sigmoid在網絡較深時的梯度消失問題
使用Dropout（丟棄學習）隨機忽略一部分神經元防止過擬合
在CNN中使用重疊的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果
提出了LRN（Local Response Normalization，局部正規(guī)化）層，對局部神經元的活動創(chuàng)建競爭機制，使得其中響應比較大的值變得相對更大，并抑制其他反饋較小的神經元，增強了模型的泛化能力
使用CUDA加速深度卷積網絡的訓練，利用GPU強大的并行計算能力，處理神經網絡訓練時大量的矩陣運算?

27. 什么是dropout操作，dropout的工作原理？?

1）定義
Dropout是用于深度神經網絡防止過擬合的一種方式，在神經網絡訓練過程中，通過忽略一定比例
的特征檢測器（讓一半的隱層節(jié)點值為0），可以明顯地減少過擬合現(xiàn)象。這種方式可以減少特征檢測器（隱層節(jié)點）間的相互作用，檢測器相互作用是指某些檢測器依賴其他檢測器才能發(fā)揮作用。簡單來說，在前向傳播的時候，讓某個神經元的激活值以一定的概率P停止工作，這樣可以使模型泛化性更強，因為它不會太依賴某些局部的特征。
2）dropout工作原理
假設我們要訓練這樣一個網絡，結構如左圖所示：

輸入是x輸出是y，正常的流程是：我們首先把x通過網絡前向傳播，然后把誤差反向傳播以決定如何更新參數讓網絡進行學習。使用Dropout之后，過程變成如右圖:

（1）首先隨機（臨時）刪掉網絡中一半的隱藏神經元，輸入輸出神經元保持不變（上圖中虛線表示臨時被刪除的神經元）
（2）然后把輸入x通過修改后的網絡前向傳播，然后把得到的損失結果通過修改的網絡反向傳播。一小批訓練樣本執(zhí)行完這個過程后，在沒有被刪除的神經元上按照隨機梯度下降法更新對應的參數（w，b）
（3）然后繼續(xù)重復以下過程：

恢復被刪掉的神經元（此時被刪除的神經元保持原樣，而沒有被刪除的神經元已經有所更新）
從隱藏層神經元中隨機選擇一定比率子集臨時刪除掉（備份被刪除神經元的參數）
對一小批訓練樣本，先前向傳播然后反向傳播損失并根據隨機梯度下降法更新參數（w，b）（沒有被刪除的那一部分參數得到更新，刪除的神經元參數保持被刪除前的結果）

3）為什么dropout能避免過擬合
（1）取平均作用。不同的網絡可能產生不同的過擬合，取平均則有可能讓一些“相反的”擬合互相抵消。
（2）減少神經元之間復雜的共適應關系。因為dropout程序導致兩個神經元不一定每次都在一個
dropout網絡中出現(xiàn)。這樣權值的更新不再依賴于有固定關系的隱含節(jié)點的共同作用，阻止了某些特征
僅僅在其它特定特征下才有效果的情況。迫使網絡去學習更加魯棒的特征，這些特征在其它的神經元
的隨機子集中也存在。?

28. 卷積層和池化層有什么區(qū)別

卷積層和池化層在結構上具有一定的相似性，都是對感受域內的特征進行提取，并且根據步長設置
獲取到不同維度的輸出，但是其內在操作是有本質區(qū)別的，如下表所示：?

?29. 如何選擇卷積核大小

在早期的卷積神經網絡中（如LeNet-5、AlexNet），用到了一些較大的卷積核（$11\times11$），受限于當時的計算能力和模型結構的設計，無法將網絡疊加得很深，因此卷積網絡中的卷積層需要設置較大的卷積核以獲取更大的感受域。但是這種大卷積核反而會導致計算量大幅增加，不利于訓練更深層的模型，相應的計算性能也會降低。后來的卷積神經網絡（VGG、GoogLeNet等），發(fā)現(xiàn)通過堆疊2個$3\times 3$卷積核可以獲得與$5\times 5$卷積核相同的感受視野，同時參數量會更少（$3×3×2+1$ < $ 5×5×1+1$），$3\times 3$卷積核被廣泛應用在許多卷積神經網絡中。因此可以認為，在大多數情況下通過堆疊較小的卷積核比直接采用單個更大的卷積核會更加有效。