計(jì)算成本

Inception 層還有一個(gè)問(wèn)題，就是計(jì)算成本的問(wèn)題，我們來(lái)看一下5×5 過(guò)濾器在該模塊中的計(jì)算成本。

原始圖片為28*28*192經(jīng)過(guò)32個(gè)5*5的過(guò)濾操作，它的計(jì)算成本為：

我們輸出28*28*32個(gè)數(shù)字，對(duì)于輸出的每個(gè)數(shù)字來(lái)說(shuō)，你都需要執(zhí)行 5×5×192 （5*5為卷積核的大小，192為通道的數(shù)量）次乘法運(yùn)算，把這些數(shù)相乘結(jié)果等于 1.2 億（120422400）。這個(gè)計(jì)算量太大了，計(jì)算成本太高了，這里我們需要使用另外一種架構(gòu)。

這種架構(gòu)首先輸入是28*28*192，然后輸出是28*28*32和上一個(gè)的輸入輸出一樣

這個(gè)架構(gòu)對(duì)于輸入層，使用 1×1 卷積把輸入值從 192 個(gè)通道減少到 16 個(gè)通道。然后對(duì)這個(gè)較小層運(yùn)行5×5 卷積，得到最終輸出。中間這個(gè)1*1的卷積有時(shí)候這被稱為瓶頸層，瓶頸通常是某個(gè)對(duì)象最小的部分。同理，瓶頸層也是網(wǎng)絡(luò)中最小的部分，我們先縮小網(wǎng)絡(luò)表示，然后再擴(kuò)大它。

我們來(lái)看一下這個(gè)架構(gòu)的計(jì)算成本是多少？

第一個(gè)卷積層：28×28×192* 1×1×192