概述

由于受到計(jì)算機(jī)性能的影響，雖然LeNet在圖像分類中取得了較好的成績，但是并沒有引起很多的關(guān)注。 知道2012年，Alex等人提出的AlexNet網(wǎng)絡(luò)在ImageNet大賽上以遠(yuǎn)超第二名的成績奪冠，卷積神經(jīng)網(wǎng)絡(luò)乃至深度學(xué)習(xí)重新引起了廣泛的關(guān)注。

Alex Krizhevsky等人訓(xùn)練了一個大型的卷積神經(jīng)網(wǎng)絡(luò)用來把ImageNet LSVRC-2010比賽中120萬張高分辨率的圖像分為1000個不同的類別。在測試卷上，獲得很高準(zhǔn)確率(top-1 and top-5 error rates of 37.5%and 17.0% ).。通過改進(jìn)該網(wǎng)絡(luò)，在2012年ImageNet LSVRC比賽中奪取了冠軍，且準(zhǔn)確率遠(yuǎn)超第二名(top-5 test error rate of 15.3%,第二名26.2%。這在學(xué)術(shù)界引起了很大的轟動，開啟了深度學(xué)習(xí)的時(shí)代，雖然后來大量比AlexNet更快速更準(zhǔn)確的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相繼出現(xiàn)，但是AlexNet作為開創(chuàng)者依舊有著很多值得學(xué)習(xí)參考的地方，它為后續(xù)的CNN甚至是R-CNN等其他網(wǎng)絡(luò)都定下了基調(diào)，所以下面我們將從AlexNet入手，理解卷積神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)。

AlexNet特點(diǎn)

AlexNet網(wǎng)絡(luò)包括了6000萬個參數(shù)和65000萬個神經(jīng)元，5個卷積層，在一些卷積層后面還有池化層，3個全連接層，輸出為softmax層。

AlexNet是在LeNet的基礎(chǔ)上加深了網(wǎng)絡(luò)的結(jié)構(gòu)，學(xué)習(xí)更豐富更高維的圖像特征。AlexNet的特點(diǎn)：

1、更深的網(wǎng)絡(luò)結(jié)構(gòu)
2、使用層疊的卷積層，即卷積層+卷積層+池化層來提取圖像的特征
3、使用Dropout抑制過擬合
4、使用數(shù)據(jù)增強(qiáng)Data Augmentation抑制過擬合
5、使用Relu替換之前的sigmoid的作為激活函數(shù)
6、多GPU訓(xùn)練

激活函數(shù)

在最初的感知機(jī)模型中，輸入和輸出的關(guān)系如下：

上面函數(shù)式只是單純的線性關(guān)系，這樣的網(wǎng)絡(luò)結(jié)構(gòu)有很大的局限性。即使用很多這樣結(jié)構(gòu)的網(wǎng)絡(luò)層疊加，其輸出和輸入仍然是線性關(guān)系，無法處理有非線性關(guān)系的輸入輸出。

因此，對每個神經(jīng)元的輸出做個非線性的轉(zhuǎn)換也就是，將上面就加權(quán)求和的結(jié)果輸入到一個非線性函數(shù)，也就是激活函數(shù)中。 這樣，由于激活函數(shù)的引入，多個網(wǎng)絡(luò)層的疊加就不再是單純的線性變換，而是具有更強(qiáng)的表現(xiàn)能力。

sigmoid激活函數(shù)

在最初，sigmoid和tanh函數(shù)最常用的激活函數(shù)。

在網(wǎng)絡(luò)層數(shù)較少時(shí)，sigmoid函數(shù)的特性能夠很好的滿足激活函數(shù)的作用：它把一個實(shí)數(shù)壓縮至0到1之間，當(dāng)輸入的數(shù)字非常大的時(shí)候，結(jié)果會接近1；當(dāng)輸入非常大的負(fù)數(shù)時(shí)，則會得到接近0的結(jié)果。

這種特性，能夠很好的模擬神經(jīng)元在受刺激后，是否被激活向后傳遞信息（輸出為0，幾乎不被激活；輸出為1，完全被激活）。

sigmoid一個很大的問題就是梯度飽和。 觀察sigmoid函數(shù)的曲線，當(dāng)輸入的數(shù)字較大（或較小）時(shí)，其函數(shù)值趨于不變，其導(dǎo)數(shù)變的非常的小。這樣，在層數(shù)很多的的網(wǎng)絡(luò)結(jié)構(gòu)中，進(jìn)行反向傳播時(shí)，由于很多個很小的sigmoid導(dǎo)數(shù)累成，導(dǎo)致其結(jié)果趨于零，更新速度更慢。

ReLu激活函數(shù)

針對sigmoid梯度飽和導(dǎo)致訓(xùn)練收斂慢的問題，在AlexNet中引入了ReLU。ReLU是一個分段線性函數(shù)，小于等于0則輸出為0；大于0的則恒等輸出。

相比于sigmoid，ReLU有以下優(yōu)點(diǎn)：
1、計(jì)算開銷下：sigmoid的正向傳播有指數(shù)運(yùn)算，倒數(shù)運(yùn)算，而ReLu是線性輸出；反向傳播中，sigmoid有指數(shù)運(yùn)算，而ReLU有輸出的部分，導(dǎo)數(shù)始終為1；
2、梯度飽和問題；
3、稀疏性：Relu會使一部分神經(jīng)元的輸出為0，這樣就造成了網(wǎng)絡(luò)的稀疏性，并且減少了參數(shù)的相互依存關(guān)系，緩解了過擬合問題的發(fā)生。

這里有個問題，前面提到，激活函數(shù)要用非線性的，是為了使網(wǎng)絡(luò)結(jié)構(gòu)有更強(qiáng)的表達(dá)的能力。那這里使用ReLU本質(zhì)上卻是個線性的分段函數(shù)，是怎么進(jìn)行非線性變換的。

這里把神經(jīng)網(wǎng)絡(luò)看著一個巨大的變換矩陣M，其輸入為所有訓(xùn)練樣本組成的矩陣A，輸出為矩陣B，則有：B=M?A。這里的M是一個線性變換的話，則所有的訓(xùn)練樣本A進(jìn)行了線性變換輸出為B。

那么對于ReLU來說，由于其是分段的，0的部分可以看著神經(jīng)元沒有激活，不同的神經(jīng)元激活或者不激活，其神經(jīng)玩過組成的變換矩陣是不一樣的。

設(shè)有兩個訓(xùn)練樣本 a1,a2，其訓(xùn)練時(shí)神經(jīng)網(wǎng)絡(luò)組成的變換矩陣為M1,M2。 由于M1變換對應(yīng)的神經(jīng)網(wǎng)絡(luò)中激活神經(jīng)元和M2是不一樣的，這樣M1,M2實(shí)際上是兩個不同的線性變換。也就是說，每個訓(xùn)練樣本使用的線性變換矩陣Mi是不一樣的，在整個訓(xùn)練樣本空間來說，其經(jīng)歷的是非線性變換。

簡單來說，不同訓(xùn)練樣本中的同樣的特征，在經(jīng)過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)時(shí)，流經(jīng)的神經(jīng)元是不一樣的（激活函數(shù)值為0的神經(jīng)元不會被激活）。這樣，最終的輸出實(shí)際上是輸入樣本的非線性變換。

單個訓(xùn)練樣本是線性變換，但是每個訓(xùn)練樣本的線性變換是不一樣的，這樣整個訓(xùn)練樣本集來說，就是非線性的變換。

數(shù)據(jù)增強(qiáng)

神經(jīng)網(wǎng)絡(luò)由于訓(xùn)練的參數(shù)多，表能能力強(qiáng)，所以需要比較多的數(shù)據(jù)量，不然很容易過擬合。當(dāng)訓(xùn)練數(shù)據(jù)有限時(shí)，可以通過一些變換從已有的訓(xùn)練數(shù)據(jù)集中生成一些新的數(shù)據(jù)，以快速地?cái)U(kuò)充訓(xùn)練數(shù)據(jù)。對于圖像數(shù)據(jù)集來說，可以對圖像進(jìn)行一些形變操作：翻轉(zhuǎn)、隨機(jī)裁剪、平移、顏色光照的變換…

AlexNet中對數(shù)據(jù)做了以下操作：

1、隨機(jī)裁剪，對256×256的圖片進(jìn)行隨機(jī)裁剪到227×227，然后進(jìn)行水平翻轉(zhuǎn)。

2、測試的時(shí)候，對左上、右上、左下、右下、中間分別做了5次裁剪，然后翻轉(zhuǎn)，共10個裁剪，之后對結(jié)果求平均。

3、對RGB空間做PCA(主成分分析)，然后對主成分做一個（0, 0.1）的高斯擾動，也就是對顏色、光照作變換，結(jié)果使錯誤率又下降了1%。

層疊池化

在LeNet中池化是不重疊的，即池化的窗口的大小和步長是相等的。

在AlexNet中使用的池化（Pooling）卻是可重疊的，也就是說，在池化的時(shí)候，每次移動的步長小于池化的窗口長度。AlexNet池化的大小為3×3的正方形，每次池化移動步長為2，這樣就會出現(xiàn)重疊。重疊池化可以避免過擬合，這個策略貢獻(xiàn)了0.3%的Top-5錯誤率。與非重疊方案s=2，z=2相比，輸出的維度是相等的，并且能夠在一定程度上抑制過擬合。

局部相應(yīng)歸一化

Dropout

這個是比較常用的抑制過擬合的方法了。

引入Dropout主要是為了防止過擬合。在神經(jīng)網(wǎng)絡(luò)中Dropout通過修改神經(jīng)網(wǎng)絡(luò)本身結(jié)構(gòu)來實(shí)現(xiàn)，對于某一層的神經(jīng)元，通過定義的概率將神經(jīng)元置為0，這個神經(jīng)元就不參與前向和后向傳播，就如同在網(wǎng)絡(luò)中被刪除了一樣，同時(shí)保持輸入層與輸出層神經(jīng)元的個數(shù)不變，然后按照神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法進(jìn)行參數(shù)更新。在下一次迭代中，又重新隨機(jī)刪除一些神經(jīng)元（置為0），直至訓(xùn)練結(jié)束。

Dropout應(yīng)該算是AlexNet中一個很大的創(chuàng)新，現(xiàn)在神經(jīng)網(wǎng)絡(luò)中的必備結(jié)構(gòu)之一。Dropout也可以看成是一種模型組合，每次生成的網(wǎng)絡(luò)結(jié)構(gòu)都不一樣，通過組合多個模型的方式能夠有效地減少過擬合，Dropout只需要兩倍的訓(xùn)練時(shí)間即可實(shí)現(xiàn)模型組合（類似取平均）的效果，非常高效。如下圖：

Alexnet網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)包含8個帶權(quán)重的層；前5層是卷積層，剩下的3層是全連接層。最后一層全連接層的輸出是1000維softmax的輸入，softmax會產(chǎn)生1000類標(biāo)簽的分布網(wǎng)絡(luò)包含8個帶權(quán)重的層；前5層是卷積層，剩下的3層是全連接層。最后一層全連接層的輸出是1000維softmax的輸入，softmax會產(chǎn)生1000類標(biāo)簽的分布。

從圖上可以明顯看到網(wǎng)絡(luò)結(jié)構(gòu)分為上下兩側(cè)，這是因?yàn)榫W(wǎng)絡(luò)分布在兩個GPU上，這主要是因?yàn)镹VIDIA GTX 580 GPU只用3GB內(nèi)存，裝不下那么大的網(wǎng)絡(luò)。

需要說明的是，雖然AlexNet網(wǎng)絡(luò)都用上圖的結(jié)構(gòu)來表示，但是其實(shí)輸入圖像的尺寸不是224x224x3，而應(yīng)該是227x227x3，大家可以用244的尺寸推導(dǎo)下，會發(fā)現(xiàn)邊界填充的結(jié)果是小數(shù)，這顯然是不對的，在這里就不做推導(dǎo)了。

AlexNet各個層的參數(shù)和結(jié)構(gòu)如下：

輸入層：227x227x3
C1：96x11x11x3 （卷積核個數(shù)/高/寬/深度）
C2：256x5x5x48（卷積核個數(shù)/高/寬/深度）
C3：384x3x3x256（卷積核個數(shù)/高/寬/深度）
C4：384x3x3x192（卷積核個數(shù)/高/寬/深度）
C5：256x3x3x192（卷積核個數(shù)/高/寬/深度）

網(wǎng)絡(luò)結(jié)構(gòu)分析

1、卷積層C1

該層的處理流程是： 卷積–>ReLU–>池化–>歸一化。

卷積，輸入是227×227，使用96個11×11×3的卷積核，得到的FeatureMap為55×55×96。

ReLU，將卷積層輸出的FeatureMap輸入到ReLU函數(shù)中。

池化，使用3×3步長為2的池化單元（重疊池化，步長小于池化單元的寬度），輸出為27×27×96（(55?3)/2+1=27)

局部響應(yīng)歸一化，使用k=2,n=5,α=10?4,β=0.75進(jìn)行局部歸一化，輸出的仍然為27×27×96，輸出分為兩組，每組的大小為27×27×48

2、卷積層C2

該層的處理流程是：卷積–>ReLU–>池化–>歸一化

卷積，輸入是2組27×27×48。使用2組，每組128個尺寸為5×5×48的卷積核，并作了邊緣填充padding=2，卷積的步長為1. 則輸出的FeatureMap為2組，每組的大小為2727128. （(27+2?2?5)/1+1=27）

ReLU，將卷積層輸出的FeatureMap輸入到ReLU函數(shù)中

池化運(yùn)算的尺寸為3×3，步長為2，池化后圖像的尺寸為(27?3)/2+1=13，輸出為13×13×256

局部響應(yīng)歸一化，使用k=2,n=5,α=10?4,β=0.75進(jìn)行局部歸一化，輸出的仍然為13×13×256，輸出分為2組，每組的大小為13×13×128

3、卷積層C3

該層的處理流程是： 卷積–>ReLU

卷積，輸入是13×13×256，使用2組共384尺寸為3×3×256的卷積核，做了邊緣填充padding=1，卷積的步長為1.則輸出的FeatureMap為1313384

ReLU，將卷積層輸出的FeatureMap輸入到ReLU函數(shù)中

4、卷積層C4

該層的處理流程是： 卷積–>ReLU

該層和C3類似。

卷積，輸入是13×13×384，分為兩組，每組為13×13×192.使用2組，每組192個尺寸為3×3×192的卷積核，做了邊緣填充padding=1，卷積的步長為1.則輸出的FeatureMap為13×13 times384，分為兩組，每組為13×13×192

ReLU，將卷積層輸出的FeatureMap輸入到ReLU函數(shù)中

5、卷積層C5

該層處理流程為：卷積–>ReLU–>池化

卷積，輸入為13×13×384，分為兩組，每組為13×13×192。使用2組，每組為128尺寸為3×3×192的卷積核，做了邊緣填充padding=1，卷積的步長為1.則輸出的FeatureMap為13×13×256

ReLU，將卷積層輸出的FeatureMap輸入到ReLU函數(shù)中

池化，池化運(yùn)算的尺寸為3×3，步長為2，池化后圖像的尺寸為 (13?3)/2+1=6,即池化后的輸出為6×6×256

6、全連接層FC6

該層的流程為：（卷積）全連接 -->ReLU -->Dropout

卷積->全連接： 輸入為6×6×256,該層有4096個卷積核，每個卷積核的大小為6×6×256。由于卷積核的尺寸剛好與待處理特征圖（輸入）的尺寸相同，即卷積核中的每個系數(shù)只與特征圖（輸入）尺寸的一個像素值相乘，一一對應(yīng)，因此，該層被稱為全連接層。由于卷積核與特征圖的尺寸相同，卷積運(yùn)算后只有一個值，因此，卷積后的像素層尺寸為4096×1×1，即有4096個神經(jīng)元。

ReLU,這4096個運(yùn)算結(jié)果通過ReLU激活函數(shù)生成4096個值

Dropout,抑制過擬合，隨機(jī)的斷開某些神經(jīng)元的連接或者是不激活某些神經(jīng)元

7、全連接層FC7

流程為：全連接–>ReLU–>Dropout

全連接，輸入為4096的向量

ReLU,這4096個運(yùn)算結(jié)果通過ReLU激活函數(shù)生成4096個值

Dropout,抑制過擬合，隨機(jī)的斷開某些神經(jīng)元的連接或者是不激活某些神經(jīng)元

8、輸出層

第七層輸出的4096個數(shù)據(jù)與第八層的1000個神經(jīng)元進(jìn)行全連接，經(jīng)過訓(xùn)練后輸出1000個float型的值，這就是預(yù)測結(jié)果。

AlexNet各層參數(shù)及其數(shù)量

卷積層的參數(shù) = 卷積核的數(shù)量 * 卷積核 + 偏置

C1: 96個11×11×3的卷積核，96×11×11×3+96=34848

C2: 2組，每組128個5×5×48的卷積核，(128×5×5×48+128)×2=307456

C3: 384個3×3×256的卷積核，3×3×256×384+384=885120

C4: 2組，每組192個3×3×192的卷積核，(3×3×192×192+192)×2=663936

C5: 2組，每組128個3×3×192的卷積核，(3×3×192×128+128)×2=442624

FC6: 4096個6×6×256的卷積核，6×6×256×4096+4096=37752832

FC7: 4096?4096+4096=16781312

output: 4096?1000=4096000

卷積層 C2,C4,C5中的卷積核只和位于同一GPU的上一層的FeatureMap相連。從上面可以看出，參數(shù)大多數(shù)集中在全連接層，在卷積層由于權(quán)值共享，權(quán)值參數(shù)較少。

模型框架形狀結(jié)構(gòu)

由于AlexNet是使用兩塊顯卡進(jìn)行訓(xùn)練的，其網(wǎng)絡(luò)結(jié)構(gòu)的實(shí)際是分組進(jìn)行的。并且，在C2,C4,C5上其卷積核只和上一層的同一個GPU上的卷積核相連。 對于單顯卡來說，并不適用，本文基于Keras的實(shí)現(xiàn)，忽略其關(guān)于雙顯卡的的結(jié)構(gòu)，并且將局部歸一化

關(guān)于數(shù)據(jù)集

實(shí)驗(yàn)采用的數(shù)據(jù)集是ImageNet。ImageNet是超過1500萬個標(biāo)記的高分辨率圖像的數(shù)據(jù)集，大約有22,000個類別。這些圖像是從網(wǎng)上收集的，并使用亞馬遜的Mechanical Turk眾包服務(wù)進(jìn)行了標(biāo)記。

從2010年開始，舉辦ILSVRC比賽，數(shù)據(jù)使用的是ImageNet的 一個子集，每個類別大約有1000個圖像，總共有1000個類別?？偣灿写蠹s120萬個訓(xùn)練圖像，50000個驗(yàn)證圖像，以及150000個測試圖像。ImageNet比賽給出兩個錯誤率，top-1和top-5，top-5錯誤率是指你的模型預(yù)測的概率最高的5個類別中都不包含正確的類別。

ImageNet由可變分辨率的圖像組成，而神經(jīng)網(wǎng)絡(luò)輸入維度是固定的。 因此，我們將圖像下采樣到256×256的固定分辨率矩形圖像，我們首先重新縮放圖像，使短邊長度為256，然后從結(jié)果圖像中裁剪出中心256×256的圖片。 我們沒有預(yù)先處理圖像以任何其他方式，我們在像素的原始RGB值上訓(xùn)練了我們的網(wǎng)絡(luò)。

訓(xùn)練學(xué)習(xí)

該模型訓(xùn)練使用了隨機(jī)梯度下降法，每批圖片有180張，權(quán)重更新公式如下：

其中i是迭代的索引，v是動量，0.9是動量參數(shù)，ε是學(xué)習(xí)率，0.0005是權(quán)重衰減系數(shù)，在這里不僅起到正則化的作用，而且減少了模型的訓(xùn)練誤差。

所有的權(quán)重都采用均值為0，方差為0.01的高斯分布進(jìn)行初始化。第2,4,5卷積層和所有全連接層的偏置都初始化為1，其他層的偏置初始化為0.學(xué)習(xí)率ε=0.01，所有層都使用這個學(xué)習(xí)率，在訓(xùn)練過程中，當(dāng)錯誤率不在下降時(shí)，將學(xué)習(xí)率除以10，在終止訓(xùn)練之前減少3次，我們把120萬張圖片訓(xùn)練了90遍，總過花費(fèi)了5到6天。

keras代碼示例

class AlexNet:@staticmethoddef build(width,height,depth,classes,reg=0.0002):model = Sequential()inputShape = (height,width,depth)chanDim = -1if K.image_data_format() == "channels_first":inputShape = (depth,height,width)chanDim = 1model.add(Conv2D(96,(11,11),strides=(4,4),input_shape=inputShape,padding="same",kernel_regularizer=l2(reg)))model.add(Activation("relu"))model.add(BatchNormalization(axis=chanDim))model.add(MaxPooling2D(pool_size=(3,3),strides=(2,2)))model.add(Dropout(0.25))model.add(Conv2D(256,(5,5),padding="same",kernel_regularizer=l2(reg)))model.add(Activation("relu"))model.add(BatchNormalization(axis=chanDim))model.add(MaxPooling2D(pool_size=(3,3),strides=(2,2)))model.add(Dropout(0.25))model.add(Conv2D(384,(3,3),padding="same",kernel_regularizer=l2(reg)))model.add(Activation("relu"))model.add(BatchNormalization(axis=chanDim))model.add(Conv2D(384,(3,3),padding="same",kernel_regularizer=l2(reg)))model.add(Activation("relu"))model.add(BatchNormalization(axis=chanDim))model.add(Conv2D(256,(3,3),padding="same",kernel_regularizer=l2(reg)))model.add(MaxPooling2D(pool_size=(3,3),strides=(2,2)))model.add(Dropout(0.25))model.add(Flatten())model.add(Dense(4096,kernel_regularizer=l2(reg)))model.add(Activation("relu"))model.add(BatchNormalization())model.add(Dropout(0.25))model.add(Dense(4096,kernel_regularizer=l2(reg)))model.add(Activation("relu"))model.add(BatchNormalization())model.add(Dropout(0.25))model.add(Dense(classes,kernel_regularizer=l2(reg)))model.add(Activation("softmax"))return model

參考:
https://blog.csdn.net/lcczzu/article/details/91991725
https://www.cnblogs.com/wangguchangqing/p/10333370.html
https://www.cnblogs.com/zyly/p/8781224.html
https://blog.csdn.net/chaipp0607/article/details/72847422