目錄

1.1 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

3.1 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)詳解與花分類數(shù)據(jù)集下載

4.1 VGG網(wǎng)絡(luò)詳解及感受野的計算

5.1 GoogLeNet網(wǎng)絡(luò)詳解

6.1 ResNet網(wǎng)絡(luò)結(jié)構(gòu)，BN以及遷移學(xué)習(xí)詳解

總結(jié)（可以直接看總結(jié)）

---

1.1 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

視頻講解：
1.1 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)_嗶哩嗶哩_bilibili

發(fā)展不是一帆風(fēng)順的

全連接層：

卷積層（）

目的：進(jìn)行圖像特征提取

特性：擁有局部感知機(jī)制，權(quán)值共享

擴(kuò)展到多維

?特征總結(jié)：

1. 卷積核的channel與輸入特征層的channek相同
2. 輸出的特征矩陣channel與卷積核個數(shù)相同

sigmoid/Relu? 兩個激活函數(shù)? 各有缺點(diǎn)：

Sigmoid：飽和時梯度值小，網(wǎng)絡(luò)層數(shù)較深時易出現(xiàn)梯度消失
Relu：反向傳播時出現(xiàn)非常大的梯度更新后導(dǎo)致權(quán)重分布中心小于零，導(dǎo)致該處導(dǎo)數(shù)始終為零，反向傳播無法更新權(quán)重，即進(jìn)入失活狀態(tài)。

出現(xiàn)越界情況用padding處理（增補(bǔ)）

池化層（）

和卷積層類似 但是要更簡單

目的：對特征圖像進(jìn)行稀疏處理，減少數(shù)據(jù)運(yùn)算量

（補(bǔ)充）反向傳播（后面跳過了）

說明：本節(jié)理論較多，會枯燥，盡管內(nèi)容不需要完全掌握，但是要大致理解，留有印象

誤差的計算：

softmax：讓結(jié)果滿足概率分布（即概率和為1）? （貓/狗）

sigmoid：（人類/男人）

誤差的反向傳播：

3.1 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)詳解與花分類數(shù)據(jù)集下載

視頻講解：
3.1 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)詳解與花分類數(shù)據(jù)集下載_嗶哩嗶哩_bilibili

AlexNet（2012冠軍）

該網(wǎng)絡(luò)的亮點(diǎn)在于:

• (1)首次利用 GPU進(jìn)行網(wǎng)絡(luò)加速訓(xùn)練。
• (2)使用了 ReLu 激活函數(shù)，而不是傳統(tǒng)的 sigmoid 激活函數(shù)以及 Tanh 激活函數(shù)。
• (3)使用了 LRN 局部響應(yīng)歸一化。
• (4)在全連接層的前兩層中使用了 Dropout隨機(jī)失活神經(jīng)元操作，以減少過擬合。

中間的圖像很好的詮釋了AlexNet的好處，減少了過擬合的現(xiàn)象

解決方法：使用Dropout的方式在網(wǎng)絡(luò)正傳播過程中隨機(jī)失活一部分神經(jīng)元

經(jīng)卷積后的矩陣尺寸大小計算公式為:N=(W-F+2P)/S+1
輸入圖片大小 W*W
Filter大小F*F
步長 S
padding的像素數(shù)P

4.1 VGG網(wǎng)絡(luò)詳解及感受野的計算

視頻講解：
4.1 VGG網(wǎng)絡(luò)詳解及感受野的計算_嗶哩嗶哩_bilibili

網(wǎng)絡(luò)結(jié)構(gòu)：

網(wǎng)絡(luò)亮點(diǎn)：?

• 通過堆疊多個3*3的卷積核來替代大尺度卷積核（減少所需參數(shù) ）
• 通過堆善兩個3x3的卷積核替代5x5的卷積核
• 通過堆疊三個3x3的卷積核替代7x7的卷積核。

為什么這么干？
效果相同的情況下，參數(shù)更少。

5.1 GoogLeNet網(wǎng)絡(luò)詳解

網(wǎng)絡(luò)結(jié)構(gòu)：

網(wǎng)絡(luò)中的亮點(diǎn):

• 引入了Inception結(jié)構(gòu)(融合不同尺度的特征信息)
• 使用1x1的卷積核進(jìn)行降維以及映射處理??? 減少參數(shù)/特征矩陣深度
• 添加兩個輔助分類器幫助訓(xùn)練
• 丟棄全連接層，使用平均池化層(大大減少模型參數(shù))

注意：AlexNet和VGG都只有一個輸出層，GooLeNet有三個輸出層

6.1 ResNet網(wǎng)絡(luò)結(jié)構(gòu)，BN以及遷移學(xué)習(xí)詳解

視頻講解：
6.1 ResNet網(wǎng)絡(luò)結(jié)構(gòu)，BN以及遷移學(xué)習(xí)詳解_嗶哩嗶哩_bilibili

網(wǎng)絡(luò)結(jié)構(gòu)：

網(wǎng)絡(luò)中的亮點(diǎn):

• 超深的網(wǎng)絡(luò)結(jié)構(gòu)(突破1000層)
• 提出residual模塊??
• 使用Batch Normalization加速訓(xùn)練(丟奔dropout)

隨著網(wǎng)絡(luò)加深，梯度消失&&梯度爆炸現(xiàn)象越來越明顯???? BN等方式解決

Batch Normalization原理：
要讓整個訓(xùn)練樣本的數(shù)據(jù)集滿足分布規(guī)律（均值為0方差為1）
退化問題，通過殘差解決

遷移學(xué)習(xí)：
常見的遷移學(xué)習(xí)方式:

• 1.載入權(quán)重后訓(xùn)練所有參數(shù)
• 2.載入權(quán)重后只訓(xùn)練最后幾層參數(shù)
• 3.載入權(quán)重后在原網(wǎng)絡(luò)基礎(chǔ)上再添加一層全連接層，僅訓(xùn)練最后一個全連接層

總結(jié)（可以直接看總結(jié)）：

綜上呢，其實就是延續(xù)上一篇文章（上）基于機(jī)器學(xué)習(xí)的圖像識別——遙感圖像分類（LeNet-5；AlexNet；VGGNet；GoogLeNet；ResNet）-CSDN博客

對五種”神經(jīng)網(wǎng)絡(luò)模型“的進(jìn)一步講解，偏向于理論層面

但兩篇文章整理的是不同博主的講解視頻，講的都蠻好的，通過”對比學(xué)習(xí)“可以發(fā)現(xiàn)，二者間會有一部分共通之處——這些共同之處一定是基礎(chǔ)/重點(diǎn)，當(dāng)然我已經(jīng)幫大家整理好了，請各位放心食用。