卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network, CNN）

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network, CNN），是一種專門用來(lái)處理具有類似網(wǎng)格結(jié)構(gòu)的數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。卷積網(wǎng)絡(luò)是指那些至少在網(wǎng)絡(luò)的一層中使用卷積運(yùn)算來(lái)替代一般的矩陣乘法運(yùn)算的神經(jīng)網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)的五種結(jié)構(gòu)

輸入層

在處理圖像的CNN中，輸入層一般代表了一張圖片的像素矩陣。可以用三維矩陣代表一張圖片。三維矩陣的長(zhǎng)和寬代表了圖像的大小，而三維矩陣的深度代表了圖像的色彩通道。比如黑白圖片的深度為1，而在RGB色彩模式下，圖像的深度為3。

卷積層(Convolution Layer)

通過(guò)卷積操作對(duì)輸入圖像進(jìn)行降維和特征抽取。

其中幾個(gè)重要參數(shù)：

a. 深度depth：神經(jīng)元個(gè)數(shù)，決定輸出的depth厚度。同時(shí)代表濾波器個(gè)數(shù)。
b. 步長(zhǎng)stride：決定滑動(dòng)多少步可以到邊緣。

c. 填充值z(mì)ero-padding：在外圍邊緣補(bǔ)充若干圈0。

卷積運(yùn)算是線性操作，而神經(jīng)網(wǎng)絡(luò)要擬合的是非線性的函數(shù)，因此和前全連接網(wǎng)絡(luò)類似，我們需要加上激活函數(shù)，常用的有 sigmoid 函數(shù)，tanh 函數(shù)，ReLU 函數(shù)等。

神經(jīng)網(wǎng)絡(luò)前部卷積層有小的感受野，可以捕捉圖像局部、細(xì)節(jié)信息，即輸出圖像的每個(gè)像素（Activation激活值）只是感受到輸入圖像很小范圍數(shù)值進(jìn)行計(jì)算的結(jié)果。
后面的卷積層感受野逐層加大，用于捕獲圖像更復(fù)雜，更抽象的信息。
無(wú)論輸入圖片多大，卷積層的參數(shù)規(guī)模都是固定的

池化層(Pooling Layer)

池化（Pooling）：也稱為欠采樣或下采樣。主要用于特征降維，壓縮數(shù)據(jù)和參數(shù)的數(shù)量，減小過(guò)擬合，同時(shí)提高模型的容錯(cuò)性。主要有：

• Max Pooling：最大池化
• Average Pooling：平均池化
  通過(guò)卷積操作，我們完成了對(duì)輸入圖像的降維和特征抽取，但特征圖像的維數(shù)還是很高。維數(shù)高不僅計(jì)算耗時(shí)，而且容易導(dǎo)致過(guò)擬合。為此引入了下采樣技術(shù)，也稱為 pooling即池化操作。
  池化的做法是對(duì)圖像的某一個(gè)區(qū)域用一個(gè)值代替，如最大值或平均值。如果采用最大值，叫做 max 池化；如果采用均值，叫做均值池化。除了降低圖像尺寸之外，下采樣帶來(lái)的另外一個(gè)好處是平移、旋轉(zhuǎn)不變性，因?yàn)檩敵鲋涤蓤D像的一片區(qū)域計(jì)算得到，對(duì)于平移和旋轉(zhuǎn)并不敏感。

總結(jié)池化層作用：

降維，縮減模型大小，提高計(jì)算速度
降低過(guò)擬合概率，提升特征提取魯棒性
對(duì)平移和旋轉(zhuǎn)不敏感

池化層的具體實(shí)現(xiàn)是在進(jìn)行卷積操作之后對(duì)得到的特征圖像進(jìn)行分塊，圖像被劃分成的不相交塊，計(jì)算這些塊內(nèi)的最大值或平均值，得到池化后的圖像。

通過(guò)池化層，使得原本44的特征圖壓縮成了22，從而降低了特征維度。

全連接層(fully connected layer)

在經(jīng)過(guò)多輪卷積層和池化層的處理之后，在CNN的最后一般會(huì)由1到2個(gè)全連接層來(lái)給出最后的分類結(jié)果。經(jīng)過(guò)幾輪卷積層和池化層的處理之后，可以認(rèn)為圖像中的信息已經(jīng)被抽象成了信息含量更高的特征。我們可以將卷積層和池化層看成自動(dòng)圖像特征提取的過(guò)程。在提取完成之后，仍然需要使用全連接層來(lái)完成分類任務(wù)。

Softmax層

通過(guò)Softmax層，可以得到當(dāng)前樣例屬于不同種類的概率分布問(wèn)題。