非書中全部內(nèi)容，只是寫了些自認(rèn)為有收獲的部分

神經(jīng)網(wǎng)絡(luò)

生物神經(jīng)元的特點(diǎn)

（1）人體各種神經(jīng)元本身的構(gòu)成很相似

（2）早期的大腦損傷，其功能可能是以其他部位的神經(jīng)元來代替實(shí)現(xiàn)的

（3）神經(jīng)元具有稀疏激活性，盡管大腦具有高達(dá)五百萬億個(gè)神經(jīng)元，但真正同時(shí)被激活的僅有1%~4%

神經(jīng)元模型

（1）ReLu是一種特殊的Maxout函數(shù)

（2）理論上可以多種激活函數(shù)混用，但在實(shí)踐中較少這樣應(yīng)用

感知機(jī)困境

（1）對于非線性問題，感知機(jī)只有通過人工提取特定的特征——在這些特征中將非線性的因素包含進(jìn)來——使得特征僅用線性關(guān)系就可判別，才能達(dá)到目標(biāo)。但這意味著非線性的引入需要靠人工完成，感知機(jī)完全幫不上忙

目標(biāo)函數(shù)的選取

交叉熵的損失函數(shù)的偏導(dǎo)數(shù)結(jié)果簡介、漂亮

初始化模型

2006年Hinton發(fā)表的Science論文提出了一種深度模型的可行訓(xùn)練方法，其基本思想是利用生成模型受限玻爾茲曼機(jī)一層一層地進(jìn)行初始化訓(xùn)練，然后再利用真實(shí)數(shù)據(jù)進(jìn)行參數(shù)微調(diào)

受限玻爾茲曼機(jī)(RBM)

（1）受限玻爾茲曼機(jī)由可視層和隱層構(gòu)成

（2）RBM屬于生成模型，用于建模觀察數(shù)據(jù)和輸出標(biāo)簽之間的聯(lián)合概率分布

能量模型(EBM)

（1）系統(tǒng)越雜亂無序或概率分布越趨近于均勻分布，系統(tǒng)對應(yīng)的能量越大

（2）當(dāng)E(x) = -wx，EBM就是Softmax

帶隱藏單元的能量模型

（1）在很多情況下，并不能直接觀測到所有的x值，這時(shí)候往往需要引入隱藏變量

（2）

受限玻爾茲曼機(jī)基本原理

（1）玻爾茲曼機(jī)是一種特殊的對數(shù)線性馬爾可夫隨機(jī)場，因?yàn)槠淠芰亢瘮?shù)是參數(shù)的線性形式.。其隱藏單元既要依賴于觀察單元，也要依賴于其他隱藏單元；觀察單元可能既依賴于隱藏單元，也依賴于同層的其他觀察單元

（2）受限玻爾茲曼機(jī)：同層之間不存在相互依賴關(guān)系，只有觀察層和隱藏層之間存在關(guān)系

（3）能量函數(shù)：

（4）從概率圖的角度來看，給定所有觀察變量的值時(shí)隱藏變量之間相互獨(dú)立；對稱的，給定所有隱藏變量的值時(shí)觀察變量之間相互獨(dú)立

二值RBM

（1）規(guī)定所有的觀察變量v和隱藏變量h的取值范圍都為(0,1)

對比散度

（1）由于隱層未知且v,h的組合空間很大，聯(lián)合概率分布p(v,h)是很難計(jì)算的，因而<vh>model往往采用采樣的方法

（2）一般MCMC方法需要較多的采樣步數(shù)，而針對RBM訓(xùn)練的對比散度(CD)算法只需要較少的步數(shù)

Q：why？

A：RBM通過最大化輸入數(shù)據(jù)的對數(shù)似然來進(jìn)行訓(xùn)練，這需要計(jì)算數(shù)據(jù)的概率分布，而在高維空間中直接計(jì)算這個(gè)概率分布是非常困難的。
傳統(tǒng)的MCMC方法在高維空間中采樣時(shí)會遇到困難，因?yàn)殡S著維度的增加，采樣點(diǎn)的數(shù)量呈指數(shù)增長，這使得采樣過程變得非常低效。

而對比散度算法是一種高效的替代方法，它不需要進(jìn)行大量的采樣步驟，原因如下：
（1）高效的能量梯度估計(jì)：CD算法通過在RBM中引入一個(gè)相對簡單的對比能量函數(shù)來估計(jì)能量梯度的期望值。這個(gè)能量函數(shù)是基于模型在訓(xùn)練數(shù)據(jù)上的表現(xiàn)，而不是基于模型在未標(biāo)記數(shù)據(jù)上的整體概率分布。因此，CD算法可以直接利用訓(xùn)練數(shù)據(jù)進(jìn)行高效的能量梯度估計(jì)，而不需要進(jìn)行耗時(shí)的MCMC采樣。
（2）快速的迭代更新：由于CD算法避免了復(fù)雜的MCMC采樣過程，它可以在每個(gè)訓(xùn)練迭代中快速地計(jì)算和更新模型參數(shù)。這使得訓(xùn)練過程更加高效，減少了所需的迭代步數(shù)。
（3）適應(yīng)性采樣：CD算法中包含了一種適應(yīng)性采樣技術(shù)，這種技術(shù)可以在訓(xùn)練過程中動態(tài)地調(diào)整采樣步驟，以適應(yīng)模型的學(xué)習(xí)速度。這種適應(yīng)性采樣確保了在訓(xùn)練的不同階段都能夠進(jìn)行有效的采樣，而不需要固定的較大采樣步數(shù)。

（3）k步對比散度以訓(xùn)練樣本為起點(diǎn)，執(zhí)行k步吉布斯采樣

自動編碼器

?（1）自動編碼器一般由編碼器網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)組成

降噪自動編碼器

（1）編碼器的輸入是包含噪聲的，而用作解碼目標(biāo)的輸入是去除了噪聲的

（2）人為添加噪聲的方法包括：添加高斯噪聲、添加二維碼噪聲，類似于Dropout，將部分輸入神經(jīng)元直接置為0

棧式自動編碼器

（1）疊加的自動編碼器，使得第n個(gè)隱層最大程度保留第n-1個(gè)隱層的信息

（2）最后一個(gè)隱層會得到足夠有效的特征

（3）可以用梯度下降之類的優(yōu)化算法微調(diào)參數(shù)

深度信念網(wǎng)絡(luò)

（1）又被稱為貝葉斯網(wǎng)絡(luò)，是一種有向無環(huán)圖

（2）可以在任意葉子節(jié)點(diǎn)生成無偏的樣本集合

（3）通過不斷積累RBM形成。每當(dāng)一個(gè)RBM被訓(xùn)練完成時(shí)，其隱藏單元又可以作為后一層RBM的輸入

（4）DBN的基本思想是允許每一次RBM模型接收數(shù)據(jù)的不同表示

卷積神經(jīng)網(wǎng)絡(luò)

卷積算子

（1）在統(tǒng)計(jì)學(xué)中，加權(quán)的滑動平均是一種卷積

（2）在聲學(xué)中，回聲可以用原聲與一個(gè)反映各種反射效應(yīng)的函數(shù)相卷積來表示

（3）在電子工程與信號處理中，任意一個(gè)線性系統(tǒng)的輸出都可以通過將輸入信號與系統(tǒng)函數(shù)做卷積獲得

（4）在物理學(xué)中，任何一個(gè)線性系統(tǒng)都存在卷積

（5）卷積核在自變量為負(fù)的區(qū)間取值為0，否則將會使用未來的讀數(shù)對當(dāng)前值進(jìn)行加權(quán)，這種情況是超越了現(xiàn)實(shí)系統(tǒng)能力的

Q：這里找了很久都沒找到為什么會時(shí)間穿越

卷積的特征

稀疏連接、參數(shù)共享、等價(jià)表達(dá)

（1）越高層的卷積層“可視野”對應(yīng)到原始輸入圖像上的區(qū)域越大，也為提取到更高層的語義信息提供了可能

（2）雖然卷積網(wǎng)絡(luò)單層只能看到局部信息，但是深層的卷積網(wǎng)絡(luò)其感受野還是可以涉及全圖的

（3）一個(gè)卷積核內(nèi)的參數(shù)會被應(yīng)用于輸入的所有位置

（4）參數(shù)共享的特殊形式使得卷積層具有變換等價(jià)性——如果輸入發(fā)生變化，輸出會隨之發(fā)生同樣的變化。例如：先對圖像I施以變換，再進(jìn)行卷積f，結(jié)果等同于對圖像I的卷積施以變換

（5）卷積網(wǎng)絡(luò)的另一個(gè)優(yōu)勢在于以一種更符合邏輯的方式，利用并保持輸入圖像數(shù)據(jù)的三維結(jié)構(gòu)：寬度、高度、深度

卷積層

（1）每個(gè)卷積核在空間中都是小尺寸的(沿寬和高)，但會穿過輸入集的整個(gè)深度

（2）深度對應(yīng)于我們希望使用的卷積核的數(shù)量

（3）為了使用更深的卷積網(wǎng)絡(luò)，但不希望特征圖在卷積過程中尺寸下降得太快，可以做padding

池化層

（1）最大池化的超參數(shù)一般有兩種選擇：F=3，S=2或F=2，S=2。一般更大的池化窗口會給特征圖信息帶來嚴(yán)重的破壞

（2）平均池化被最大池化替代

（3）池化層的正向傳遞通常會保留最大激活單元的下標(biāo)，作為反向傳播時(shí)梯度的傳遞路徑

循環(huán)神經(jīng)網(wǎng)絡(luò)

簡介

（1）大腦可以處理連續(xù)的輸入是因?yàn)槟X神經(jīng)元之間的連接允許環(huán)的存在

（2）h0通常設(shè)置為全0向量，或把h0作為一種參數(shù)，在訓(xùn)練過程中學(xué)習(xí)

RNN、LSTM、GRU

（1）RNN隱藏層共享同一套參數(shù)

（2）反向傳播時(shí)δt+1=0，這是因?yàn)樵谧詈笠粋€(gè)時(shí)刻沒有從下一時(shí)刻傳過來的梯度

（3）梯度很多出現(xiàn)nan，說明很可能出現(xiàn)了梯度爆炸

（4）LSTM的輸入門、遺忘門、輸出門有形式一樣的公式、共同的輸入，只是參數(shù)不一樣

（5）LSTM就可以自主決定當(dāng)前時(shí)刻的輸出是依賴于前面的較早時(shí)刻，還是前面的較晚時(shí)刻，抑或是當(dāng)前時(shí)刻的輸入

（6）GRU沒有輸出門，輸出不用經(jīng)過激活函數(shù)，參數(shù)更少

（7）(1-z)h'中的1-z代替了LSTM中的輸入門，zht-1中的z代替了LSTM的遺忘門

（8）如果訓(xùn)練數(shù)據(jù)較少，推薦使用GRU

RNN語言模型

（1）n-gram，假設(shè)句子中的每個(gè)詞只與其前n-1個(gè)詞有關(guān)

（2）Softmax必須要加和所有詞匯表的得分來計(jì)算歸一化系數(shù)，會非常占內(nèi)存，并且計(jì)算非常慢。我們通常采用NCE替代Softmax

深度學(xué)習(xí)優(yōu)化算法

SGD

（1）有時(shí)可以用于在線學(xué)習(xí)系統(tǒng)，可使系統(tǒng)快速學(xué)到新的變化

在線學(xué)習(xí)系統(tǒng)是一種機(jī)器學(xué)習(xí)系統(tǒng)，能夠在接收到新數(shù)據(jù)時(shí)動態(tài)地進(jìn)行學(xué)習(xí)和更新，而不需要重新使用之前的所有數(shù)據(jù)進(jìn)行訓(xùn)練。這種系統(tǒng)能夠?qū)崟r(shí)地從連續(xù)的數(shù)據(jù)流中學(xué)習(xí)，并隨著時(shí)間的推移逐步改進(jìn)自身的性能。

（2）BGD相比于SGD，不那么容易震蕩，但是因?yàn)槊看味夹枰抡麄€(gè)數(shù)據(jù)集，所以BGD非常慢且無法放在內(nèi)存中計(jì)算

NAG

（1）先使用動量mt計(jì)算參數(shù)θ下一個(gè)位置的近似值θ+ηmt，然后在近似位置計(jì)算梯度

（2）NAG算法會計(jì)算本輪迭代時(shí)動量到達(dá)位置的梯度，可以說它計(jì)算的是未來的梯度

NAG算法會根據(jù)此次梯度（i-1）和上一次梯度（i-2）的差值對Momentum算法得到的梯度進(jìn)行修正，如果兩次梯度的差值為正，證明梯度再增加，我們有理由相信下一個(gè)梯度會繼續(xù)變大；相反兩次梯度的差值為負(fù)，我們有理由相信下一個(gè)梯度會繼續(xù)變小。

如果說Momentum算法是用一階指數(shù)平滑，那么NGA算法則是使用了二階指數(shù)平滑；Momentum算法類似用已得到的前一個(gè)梯度數(shù)據(jù)對當(dāng)前梯度進(jìn)行修正（類似一階馬爾科夫假設(shè)），NGA算法類似用已得到的前兩個(gè)梯度對當(dāng)前梯度進(jìn)行修正（類似二階馬爾科夫假設(shè)），無疑后者得到的梯度更加準(zhǔn)確，因此提高了算法的優(yōu)化速度。

文章鏈接：深度解析Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam等優(yōu)化器 - 知乎 (zhihu.com)

Adagrad

（1）對更新頻繁且更新量大的參數(shù)，適當(dāng)減小它們的步長；對不頻繁的增大步長

（2）Gt是所有輪迭代的梯度平方和

（3）如果模型參數(shù)保持穩(wěn)定，而分母上的Gt一直在累積，會導(dǎo)致梯度總體上會不斷變小

RMSProp

（1）讓梯度累積量G不要一直變大，而是按照一定的比率衰減

（2）此時(shí)的G更像是梯度的平均值甚至期望值

Adadelta

（1）Adagrad算法和梯度下降法相比多出來一個(gè)項(xiàng)目，這樣更新量的“單位”就和之前不同了。為了讓“單位”匹配，Adadelta選擇在分子上再增加一個(gè)項(xiàng)目

在傳統(tǒng)的梯度下降算法中，參數(shù)更新量通常是由當(dāng)前的梯度決定的

由于Adagrad考慮了歷史梯度，它的“單位”不再是單純的梯度，而是梯度與累積歷史梯度的平方根的比值

Adadelta算法在分子上增加了一個(gè)項(xiàng)目，即當(dāng)前梯度的平方，這是為了在更新規(guī)則中同時(shí)考慮當(dāng)前梯度和之前梯度的累積。這樣的設(shè)計(jì)使得Adadelta可以看作是Adagrad的一種“截?cái)唷卑姹尽?/p>

Adam

（1）基于動量的算法和基于自適應(yīng)學(xué)習(xí)率的算法

（2）記錄了梯度的一階矩（梯度的期望值）和二階矩（梯度平方的期望值）

具體來說，梯度的一階矩和二階矩的作用包括：
1.偏差校正：通過計(jì)算梯度的一階矩和二階矩，可以對梯度進(jìn)行偏差校正。這種校正有助于減少梯度估計(jì)的方差，從而提高學(xué)習(xí)率的穩(wěn)定性。
2.方差估計(jì)：二階矩提供了方差估計(jì)，這有助于識別和調(diào)整那些具有較大波動性的參數(shù)。通過這種方式，Adam可以更好地適應(yīng)不同參數(shù)的學(xué)習(xí)速率。
3.自適應(yīng)學(xué)習(xí)率：Adam結(jié)合了RMSprop（Root Mean Square Propagation）和Momentum的方法，它使用梯度的一階矩來近似RMSprop的累積梯度，并使用二階矩來近似Momentum的累積梯度平方。這樣，Adam能夠在不同的情況下為不同的參數(shù)提供合適的學(xué)習(xí)率。
4.減少計(jì)算量：與直接計(jì)算每個(gè)參數(shù)的梯度相比，使用一階矩和二階矩可以減少計(jì)算量，因?yàn)樗鼈兪窃诶鄯e的歷史梯度上操作的。
5.改善訓(xùn)練動態(tài)：通過跟蹤梯度的一階矩和二階矩，Adam可以更好地理解參數(shù)更新的歷史，這有助于改善訓(xùn)練過程，尤其是在面對復(fù)雜的目標(biāo)函數(shù)和非線性優(yōu)化問題時(shí)。

（3）為了確保兩個(gè)梯度積累量能夠良好地估計(jì)梯度的一階矩和二階矩，兩個(gè)積累量還需要乘一個(gè)偏置糾正系數(shù)

具體來說，偏置糾正系數(shù)的設(shè)計(jì)和作用如下：
1.偏置問題：在原始的Adam算法中，由于指數(shù)加權(quán)平均的初始化通常為0，這可能導(dǎo)致在早期迭代中估計(jì)的梯度矩受到偏差的影響，因?yàn)樗鼈儠怀跏贾道?。這個(gè)問題在動量和RMSprop算法中也很常見。
2.偏置糾正系數(shù)：為了解決這個(gè)問題，Adam引入了偏置糾正系數(shù)，它是對每個(gè)梯度積累量進(jìn)行縮放，以消除這種偏差。偏置糾正系數(shù)通常是累積梯度平方的平方根的倒數(shù)
3.設(shè)計(jì)原因：這種設(shè)計(jì)的原因是基于數(shù)學(xué)上的推導(dǎo)，它確保了在算法的整個(gè)運(yùn)行過程中，累積的梯度矩能夠無偏差地估計(jì)實(shí)際梯度的一階矩和二階矩。通過這種方式，Adam能夠更準(zhǔn)確地捕捉到梯度的動態(tài)變化，從而更有效地調(diào)整學(xué)習(xí)率。
4.數(shù)值穩(wěn)定性：偏置糾正系數(shù)還提高了數(shù)值穩(wěn)定性，因?yàn)樗苊饬舜筇荻戎祵鄯e量的影響，從而減少了在更新過程中可能出現(xiàn)的數(shù)值問題。
5.算法改進(jìn)：隨著對Adam算法的進(jìn)一步研究和改進(jìn)，偏置糾正系數(shù)的引入和設(shè)計(jì)可能會有所變化，以適應(yīng)不同的優(yōu)化場景和提高算法的效率。

AdaMax

（1）將Adam的二階矩修改為無窮矩

這種修改的原因和動機(jī)包括：
1.數(shù)值穩(wěn)定性：在Adam算法中，二階矩的估計(jì)是通過計(jì)算梯度平方的指數(shù)移動平均來實(shí)現(xiàn)的。在某些情況下，特別是當(dāng)梯度非常小時(shí)，這可能導(dǎo)致數(shù)值不穩(wěn)定，因?yàn)闃O小的梯度平方可能會對整體的二階矩估計(jì)產(chǎn)生較大影響。無窮范數(shù)對這種數(shù)值不穩(wěn)定性更為魯棒，因?yàn)樗粫π∮?的數(shù)進(jìn)行平方，從而減少了梯度為零或接近零時(shí)對二階矩估計(jì)的影響。
2.更好的泛化能力：在某些任務(wù)中，例如目標(biāo)檢測或機(jī)器翻譯，Adam算法可能無法收斂到最優(yōu)解，或者其性能可能不如傳統(tǒng)的帶有動量的SGD。這種情況下，Adamax通過使用無窮范數(shù)來估計(jì)二階矩，可以提供更好的泛化能力和收斂性。
3.減少計(jì)算量：無窮范數(shù)通常比L2范數(shù)更容易計(jì)算，因?yàn)樗恍枰M(jìn)行平方運(yùn)算。這可以減少計(jì)算量，尤其是在處理大規(guī)模數(shù)據(jù)集時(shí)。

Nadam

（1）修改Adam的一階矩估計(jì)值，將Nesterov算法和Adam算法結(jié)合起來

在傳統(tǒng)的Adam算法中，梯度的一階矩（即梯度的期望值）是通過計(jì)算梯度的一階矩的指數(shù)移動平均來估計(jì)的。在Nadam中，這個(gè)估計(jì)值被修改為使用Nesterov預(yù)測來計(jì)算。這意味著在每個(gè)迭代中，首先根據(jù)當(dāng)前的速度（動量）和之前的梯度來預(yù)測參數(shù)的更新，然后在這個(gè)預(yù)測的參數(shù)更新上計(jì)算實(shí)際的梯度。

小結(jié)

（1）優(yōu)化算法分為兩類，其中一類是以動量為核心的算法；另一類是以自適應(yīng)為核心的算法

（2）自適應(yīng)類算法在不是很復(fù)雜的優(yōu)化場景下效果不是特別突出

深度學(xué)習(xí)訓(xùn)練技巧

數(shù)據(jù)預(yù)處理

（1）減均值適合那些各維度分布相同的數(shù)據(jù)

（2）由于各維度之間的協(xié)方差矩陣是半正定的，因此可以利用矩陣分解的方法將協(xié)方差矩陣分解，得到特征向量和對應(yīng)的特征值，再將特征值從大到小排列，忽略特征值較小的維度，從而達(dá)到降維的效果。如果利用特征值進(jìn)一步對特征空間的數(shù)據(jù)進(jìn)行縮放，就是白化操作

權(quán)重初始化

（1）全零初始化沒有打破神經(jīng)元之間的對稱性

（2）隨機(jī)初始化將權(quán)重初始化為0附件的隨機(jī)值

（3）方差校準(zhǔn)將每個(gè)初始化值都除以根號n，其中n是輸入的維度

（4）針對ReLU的方差校準(zhǔn)應(yīng)除以根號(n/2)

（5）bias占比不大，初始化一般直接采用全0或很小的數(shù)字，或者和權(quán)重向量同等對待

L1/L2參數(shù)正則化

（1）λ越小，正則化所起的作用越小，模型主要在優(yōu)化原來的損失函數(shù)；λ越大，正則化越重要，參數(shù)趨向于0附近

（2）L1/L2是添加一個(gè)參數(shù)w取0附近的先驗(yàn)，同心圓的圓心表示數(shù)據(jù)上的最優(yōu)點(diǎn)，等高線表示到最優(yōu)點(diǎn)距離相同的點(diǎn)。先驗(yàn)希望參數(shù)保持在零點(diǎn)附近

（3）L2相當(dāng)于為參數(shù)w增加了協(xié)方差的1/λ的零均值高斯分布先驗(yàn)；L1相當(dāng)于為參數(shù)w增加了拉普拉斯先驗(yàn)

集成

（1）Bagging對數(shù)據(jù)進(jìn)行放回重采樣

（2）Boosting先針對原始數(shù)據(jù)訓(xùn)練一個(gè)比隨機(jī)分類器性能要好一點(diǎn)的模型，然后用該分類器對訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)測，對預(yù)測錯(cuò)誤的數(shù)據(jù)進(jìn)行加權(quán)，從而組成一個(gè)新的訓(xùn)練集

Dropout

（1）Dropconnect不去掉結(jié)點(diǎn)，只隨機(jī)放棄連接邊