1. 神經(jīng)網(wǎng)絡的超參數(shù)分類

神經(jīng)網(wǎng)路中的超參數(shù)主要包括:

1. 學習率?η

2. 正則化參數(shù)?λ

3. 神經(jīng)網(wǎng)絡的層數(shù)?L

4. 每一個隱層中神經(jīng)元的個數(shù)?j

5. 學習的回合數(shù)Epoch

6. 小批量數(shù)據(jù)?minibatch?的大小

7. 輸出神經(jīng)元的編碼方式

8. 代價函數(shù)的選擇

9. 權重初始化的方法

10. 神經(jīng)元激活函數(shù)的種類

11.參加訓練模型數(shù)據(jù)的規(guī)模

這十一類超參數(shù)。

這些都是可以影響神經(jīng)網(wǎng)絡學習速度和最后分類結果，其中神經(jīng)網(wǎng)絡的學習速度主要根據(jù)訓練集上代價函數(shù)下降的快慢有關，而最后的分類的結果主要跟在驗證集上的分類正確率有關。因此可以根據(jù)該參數(shù)主要影響代價函數(shù)還是影響分類正確率進行分類，如圖1所示

圖1. 十一類超參數(shù)的分類情況 在上圖中可以看到超參數(shù) 2，3，4， 7 主要影響的時神經(jīng)網(wǎng)絡的分類正確率；9 主要影響代價函數(shù)曲線下降速度，同時有時也會影響正確率；1，8，10 主要影響學習速度，這點主要體現(xiàn)在訓練數(shù)據(jù)代價函數(shù)曲線的下降速度上；5，6，11 主要影響模型分類正確率和訓練用總體時間。這上面所提到的時某個超參數(shù)對于神經(jīng)網(wǎng)絡想到的首要影響，并不代表著該超參數(shù)只影響學習速度或者正確率。

因為不同的超參數(shù)的類別不同，因此在調(diào)整超參數(shù)的時候也應該根據(jù)對應超參數(shù)的類別進行調(diào)整。再調(diào)整超參數(shù)的過程中有根據(jù)機理選擇超參數(shù)的方法，有根據(jù)訓練集上表現(xiàn)情況選擇超參數(shù)的方法，也有根據(jù)驗證集上訓練數(shù)據(jù)選擇超參數(shù)的方法。他們之間的關系如圖2所示。

圖2. 不同超參數(shù)的選擇方法不同。 如圖2所示，超參數(shù) 7，8，9，10 由神經(jīng)網(wǎng)絡的機理進行選擇。在這四個參數(shù)中，應該首先對第10個參數(shù)神經(jīng)元的種類進行選擇，根據(jù)目前的知識，一種較好的選擇方式是對于神經(jīng)網(wǎng)絡的隱層采用sigmoid神經(jīng)元，而對于輸出層采用softmax的方法；根據(jù)輸出層采用sotmax的方法，因此第8個代價函數(shù)采用 log-likelihood 函數(shù)（或者輸出層還是正常的sigmoid神經(jīng)元而代價函數(shù)為交叉熵函數(shù)），第9個初始化權重采用均值為0方差為? 1nin√1nin?的高斯隨機分布初始化權重；對于輸出層的編碼方式常常采用向量式的編碼方式，基本上不會使用實際的數(shù)值或者二進制的編碼方式。超參數(shù)1由訓練數(shù)據(jù)的代價函數(shù)選擇，在上述這兩部分都確定好之后在根據(jù)檢驗集數(shù)據(jù)確定最后的幾個超參數(shù)。這只是一個大體的思路，具體每一個參數(shù)的確定將在下面具體介紹。

2. 寬泛策略

根據(jù)上面的分析我們已經(jīng)根據(jù)機理將神經(jīng)網(wǎng)絡中的神經(jīng)元的種類、輸出層的模式（即是否采用softmax）、代價函數(shù)及輸出層的編碼方式進行了設定。所以在這四個超參數(shù)被確定了之后變需要確定其他的超參數(shù)了。假設我們是從頭開始訓練一個神經(jīng)網(wǎng)絡的，我們對于其他參數(shù)的取值本身沒有任何經(jīng)驗，所以不可能一上來就訓練一個很復雜的神經(jīng)網(wǎng)絡，這時就要采用寬泛策略。
寬泛策略的核心在于簡化和監(jiān)控。簡化具體體現(xiàn)在，如簡化我們的問題，如將一個10分類問題轉(zhuǎn)變?yōu)橐粋€2分類問題；簡化網(wǎng)絡的結構，如從一個僅包含10個神經(jīng)元你的隱層開始訓練，逐漸增加網(wǎng)絡的層數(shù)和神經(jīng)元的個數(shù)；簡化訓練用的數(shù)據(jù)，在簡化問題中，我們已經(jīng)減少了80%的數(shù)據(jù)量，在這里我們該要精簡檢驗集中數(shù)據(jù)的數(shù)量，因為真正驗證的是網(wǎng)絡的性能，所以僅用少量的驗證集數(shù)據(jù)也是可以的，如僅采用100個驗證集數(shù)據(jù)。監(jiān)控具體指的是提高監(jiān)控的頻率，比如說原來是每5000次訓練返回一次代價函數(shù)或者分類正確率，現(xiàn)在每1000次訓練就返回一次。其實可以將“寬泛策略”當作是一種對于網(wǎng)絡的簡單初始化和一種監(jiān)控策略，這樣可以更加快速地實驗其他的超參數(shù)，或者甚至接近同步地進行不同參數(shù)的組合的評比。
直覺上看，這看起來簡化問題和架構僅僅會降低你的效率。實際上，這樣能夠?qū)⑦M度加快，因為你能夠更快地找到傳達出有意義的信號的網(wǎng)絡。一旦你獲得這些信號，你可以嘗嘗通過微調(diào)超參數(shù)獲得快速的性能提升。

3. 學習率的調(diào)整

假設我們運行了三個不同學習速率（?η=0.025η=0.025、η=0.25η=0.25、η=2.5η=2.5）的 MNIST 網(wǎng) 絡，其他的超參數(shù)假設已經(jīng)設置為進行30回合，minibatch 大小為10，然后?λ=5.0λ=5.0?,使用50000幅訓練圖像,訓練代價的變化情況如圖3

圖3. 不同學習率下代價函數(shù)曲線的變化情況 使用? η=0.025η=0.025，代價函數(shù)平滑下降到最后的回合；使用? η=0.25η=0.25，代價剛開始下降，在大約20 回合后接近飽和狀態(tài)，后面就是微小的震蕩和隨機抖動；最終使用? η=2.5η=2.5?代價從始至終都震蕩得非常明顯。

因此學習率的調(diào)整步驟為：首先，我們選擇在訓練數(shù)據(jù)上的代價立即開始下降而非震蕩或者增加時的作為?ηη?閾值的估計，不需要太過精確，確定量級即可。如果代價在訓練的前面若干回合開始下降，你就可以逐步增加?ηη?的量級，直到你找到一個的值使得在開始若干回合代價就開始震蕩或者增加；相反，如果代價函數(shù)曲線開始震蕩或者增加，那就嘗試減小量級直到你找到代價在開始回合就下降的設定，取閾值的一半就確定了學習速率 。在這里使用訓練數(shù)據(jù)的原因是學習速率主要的目的是控制梯度下降的步長，監(jiān)控訓練代價是最好的檢測步長過大的方法。

4. 迭代次數(shù)

提前停止表示在每個回合的最后，我們都要計算驗證集上的分類準確率，當準確率不再提升，就終止它也就確定了迭代次數(shù)（或者稱回合數(shù)）。另外，提前停止也能夠幫助我們避免過度擬合。
我們需要再明確一下什么叫做分類準確率不再提升，這樣方可實現(xiàn)提前停止。正如我們已經(jīng)看到的，分類準確率在整體趨勢下降的時候仍舊會抖動或者震蕩。如果我們在準確度剛開始下降的時候就停止，那么肯定會錯過更好的選擇。一種不錯的解決方案是如果分類準確率在一段時間內(nèi)不再提升的時候終止。建議在更加深入地理解 網(wǎng)絡訓練的方式時，僅僅在初始階段使用 10 回合不提升規(guī)則，然后逐步地選擇更久的回合，比如 20 回合不提升就終止，30回合不提升就終止，以此類推。

5. 正則化參數(shù)

我建議，開始時代價函數(shù)不包含正則項，只是先確定?ηη?的值。使用確定出來的?ηη，用驗證數(shù)據(jù)來選擇好的?λλ?。嘗試從?λ=1λ=1?開始，然后根據(jù)驗證集上的性能按照因子 10 增加或減少其值。一旦我已經(jīng)找到一個好的量級，你可以改進?λλ?的值。這里搞定?λλ?后，你就可以返回再重新優(yōu)化?ηη?。

6. 小批量數(shù)據(jù)的大小

選擇最好的小批量數(shù)據(jù)大小也是一種折衷。太小了，你不會用上很好的矩陣庫的快速計算；太大，你是不能夠足夠頻繁地更新權重的。你所需要的是選擇一個折衷的值，可以最大化學習的速度。幸運的是，小批量數(shù)據(jù)大小的選擇其實是相對獨立的一個超參數(shù)（網(wǎng)絡整體架構外的參數(shù)），所以你不需要優(yōu)化那些參數(shù)來尋找好的小批量數(shù)據(jù)大小。因此，可以選擇的方式就是使用某些可以接受的值（不需要是最優(yōu)的）作為其他參數(shù)的選擇，然后進行不同小批量數(shù)據(jù)大小的嘗試，像上面那樣調(diào)整?ηη?。畫出驗證準確率的值隨時間（非回合）變化的圖，選擇哪個得到最快性能的提升的小批量數(shù)據(jù)大小。得到了小批量數(shù)據(jù)大小，也就可以對其他的超參數(shù)進行優(yōu)化了。

7. 總體的調(diào)參過程

首先應該根據(jù)機理確定激活函數(shù)的種類，之后確定代價函數(shù)種類和權重初始化的方法，以及輸出層的編碼方式；其次根據(jù)“寬泛策略”先大致搭建一個簡單的結構，確定神經(jīng)網(wǎng)絡中隱層的數(shù)目以及每一個隱層中神經(jīng)元的個數(shù)；然后對于剩下的超參數(shù)先隨機給一個可能的值，在代價函數(shù)中先不考慮正則項的存在，調(diào)整學習率得到一個較為合適的學習率的閾值，取閾值的一半作為調(diào)整學習率過程中的初始值 ；之后通過實驗確定minibatch的大小；之后仔細調(diào)整學習率，使用確定出來的?ηη，用驗證數(shù)據(jù)來選擇好的?λλ?，搞定?λλ?后，你就可以返回再重新優(yōu)化?ηη。而學習回合數(shù)可以通過上述這些實驗進行一個整體的觀察再確定。