二、探索 AlexNet：突破性的深度卷積網(wǎng)絡(luò)

????????AlexNet 代表了深度卷積網(wǎng)絡(luò)的開創(chuàng)性應(yīng)用之一，真正重塑了機(jī)器學(xué)習(xí)領(lǐng)域。2012 年，這一革命性模型在 ImageNet LSVRC-2012 挑戰(zhàn)賽中以 84.7% 的準(zhǔn)確率奪得冠軍，遠(yuǎn)遠(yuǎn)超過了第二名的 73.8% 的準(zhǔn)確率。

????????AlexNet 的核心是其架構(gòu)，包括五個(gè)卷積 (CONV) 層和三個(gè)全連接 (FC) 層。AlexNet 選擇整流線性單元 (ReLU) 作為其激活函數(shù)，這一戰(zhàn)略舉措對(duì)其令人印象深刻的性能做出了重大貢獻(xiàn)。這是網(wǎng)絡(luò)內(nèi)各個(gè)層的結(jié)構(gòu)快照：

????????AlexNet 架構(gòu)（來源：oreilly.com）

????????這是 AlexNet 的框圖：

整個(gè)網(wǎng)絡(luò)由大約 6200 萬個(gè)可訓(xùn)練參數(shù)組成，這些參數(shù)協(xié)調(diào)工作以提供令人震驚的結(jié)果。

????????輸入和輸出尺寸：

AlexNet 接收大小為 227x227x3 的輸入，并以 1000x1 概率向量的形式返回輸出，每個(gè)元素對(duì)應(yīng)于一個(gè)特定的類。

????????ReLU 革命：

在 AlexNet 出現(xiàn)之前，sigmoid 和 tanh 等激活函數(shù)是常態(tài)。然而，這些函數(shù)很容易受到梯度消失（VG）問題的影響，從而阻礙了訓(xùn)練過程。AlexNet 中引入 ReLU 激活函數(shù)避免了這個(gè)問題，正如原始論文所證明的那樣，使用 ReLU 的網(wǎng)絡(luò)的錯(cuò)誤率比使用 tanh 非線性的相同網(wǎng)絡(luò)快大約六倍。

盡管 ReLU 有許多優(yōu)點(diǎn)，但由于其無界性質(zhì)，可能會(huì)導(dǎo)致學(xué)習(xí)變量過大。為了解決這個(gè)問題，AlexNet 實(shí)施了本地響應(yīng)標(biāo)準(zhǔn)化 (LRN)。LRN 促進(jìn)激活的神經(jīng)元與其周圍對(duì)應(yīng)神經(jīng)元之間的平衡，從而增強(qiáng)網(wǎng)絡(luò)的整體穩(wěn)定性。

克服過度擬合：

AlexNet 的另一個(gè)值得注意的貢獻(xiàn)是其對(duì)抗過度擬合的策略。AlexNet 采用 dropout 層，其中每個(gè)連接在訓(xùn)練期間有 50% 的機(jī)會(huì)被暫時(shí)“丟棄”或忽略。這種隨機(jī)省略連接可以防止模型陷入過度擬合的陷阱，并幫助其避開不利的局部最小值。作為權(quán)衡，模型收斂所需的迭代次數(shù)可能會(huì)增加一倍，但模型的整體魯棒性和準(zhǔn)確性會(huì)顯著提高。

三、VGGNet：深入探討

????????時(shí)代：

????????2014 年是國際家庭農(nóng)業(yè)和晶體學(xué)年，也是機(jī)器學(xué)習(xí)的里程碑時(shí)刻。它見證了機(jī)器人首次登陸彗星以及羅賓·威廉姆斯的不幸去世。然而，在深度學(xué)習(xí)領(lǐng)域，VGGNet 正是在這一年誕生的。

????????目的：

????????VGGNet 的出現(xiàn)是為了解決減少卷積層參數(shù)數(shù)量的需求，從而提高模型的效率和訓(xùn)練速度。

????????該設(shè)計(jì)：

????????VGGNet 存在多個(gè)版本，例如 VGG16、VGG19 等，根據(jù)網(wǎng)絡(luò)總層數(shù)進(jìn)行區(qū)分。以下是 VGG16 架構(gòu)的說明性細(xì)分：

VGG16 框圖（來源：neurohive.io）

????????VGG16 擁有約 1.38 億個(gè)參數(shù)。需要強(qiáng)調(diào)的一個(gè)關(guān)鍵方面是，所有卷積核的大小均為 3x3，最大池核的大小為 2x2，步幅為 2。

優(yōu)勢(shì)：

????????真正的創(chuàng)新在于 3x3 卷積。讓我們舉個(gè)例子。如果我們有一個(gè)大小為 5x5x1 的輸入層，使用內(nèi)核大小為 5x5 且步幅為 1 的卷積層將得到 1x1 的輸出特征圖。然而，通過實(shí)現(xiàn)兩個(gè)步幅為 1 的 3x3 卷積層可以獲得相同的輸出特征圖。好處？5x5 卷積層濾波器需要訓(xùn)練 25 個(gè)變量。相比之下，兩個(gè)內(nèi)核大小為 3x3 的卷積層總共需要 3x3x2=18 個(gè)變量，減少了 28% 的參數(shù)。

????????該技術(shù)可以進(jìn)一步擴(kuò)展。7x7 卷積層的效果可以通過實(shí)現(xiàn)三個(gè) 3x3 卷積層來實(shí)現(xiàn)，將可訓(xùn)練變量的數(shù)量減少 44.9%。其結(jié)果是更快的學(xué)習(xí)和更強(qiáng)的針對(duì)過度擬合的魯棒性。

四、ResNet：跳躍的藝術(shù)

? ? ? ? ?問題：

????????隨著卷積神經(jīng)網(wǎng)絡(luò)變得更深，當(dāng)反向傳播到初始層時(shí)，導(dǎo)數(shù)幾乎可以忽略不計(jì)。

????????解決方案：

????????ResNet 通過引入兩種類型的“快捷連接”提供了一種巧妙的補(bǔ)救措施：身份快捷方式和投影快捷方式。

????????架構(gòu)：

????????ResNet 擁有多種層數(shù)不同的架構(gòu)，例如 ResNet50 和 ResNet101。由于解決了梯度消失問題的快捷連接，ResNet 模型可以具有更大的深度。

????????這個(gè)概念：

????????ResNet 的核心是殘差塊。網(wǎng)絡(luò)不是學(xué)習(xí) x → F(x) 的直接映射，而是學(xué)習(xí) x → F(x)+G(x) 的殘差映射。恒等連接存在于輸入和輸出維度相同的地方，而投影連接存在于這些維度不同的地方。

殘差塊（圖片來源：原論文）

????????投影和身份：

????????當(dāng) F(x) 和 x 的尺寸不同時(shí)，將實(shí)現(xiàn)投影快捷方式。它調(diào)整輸入 x 的維度以匹配輸出 F(x) 的維度。另一方面，當(dāng)F(x)和x的維度相同時(shí)，使用Identity捷徑，這使得網(wǎng)絡(luò)更容易學(xué)習(xí)。

五、Inception：廣泛發(fā)展

????????動(dòng)機(jī)：

????????Inception 與 VGGNet 誕生于同一時(shí)代，其動(dòng)機(jī)是在圖像分類任務(wù)中有效識(shí)別可變大小特征的需求。Inception 不是僅僅添加更多層（更深），而是通過在同一層中合并不同大小的內(nèi)核來擴(kuò)大范圍。

????????架構(gòu)：

????????Inception網(wǎng)絡(luò)由多個(gè)Inception模塊組成，每個(gè)模塊包含四個(gè)并行操作：

• 1x1 轉(zhuǎn)換層
• 3x3 轉(zhuǎn)換層
• 5x5 轉(zhuǎn)換層
• 最大池化

????????策略：

????????Inception擴(kuò)展了網(wǎng)絡(luò)空間，讓訓(xùn)練相應(yīng)地決定最有價(jià)值的特征和權(quán)重。通過允許不同的卷積捕獲給定級(jí)別的各種特征，所有這些特征在輸入到下一層之前都會(huì)被提取和連接。

六、CNN：比較快照

從 AlexNet、ResNet-152、VGGNet 和 Inception 的比較中得出了一些見解：

• 盡管 AlexNet 和 ResNet-152 都有大約 60M 參數(shù)，但它們的 top-5 準(zhǔn)確率大約有 10% 的差異。然而，訓(xùn)練 ResNet-152 需要比 AlexNet 更多的計(jì)算量，從而導(dǎo)致訓(xùn)練時(shí)間和能耗增加。
• 與 ResNet-152 相比，VGGNet 具有更多的參數(shù)和浮點(diǎn)運(yùn)算 (FLOP)，但精度也有所下降。因此，它需要更多的時(shí)間來訓(xùn)練，但性能卻會(huì)下降。
• 訓(xùn)練 AlexNet 所需的時(shí)間與訓(xùn)練 Inception 大致相同，但 Inception 所需的內(nèi)存減少了十倍，并且提供了更高的準(zhǔn)確性（大約提高了 9%）。