MobileNet網(wǎng)絡(luò)是由google團(tuán)隊(duì)在2017年提出的，專注于移動(dòng)端或者嵌入式設(shè)備中的輕量級(jí)CNN網(wǎng)絡(luò)。相比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)，在準(zhǔn)確率小幅降低的前提下大大減少模型參數(shù)與運(yùn)算量。(相比VGG16準(zhǔn)確率減少了0.9%，但模型參數(shù)只有VGG的1/32)。MobileNet網(wǎng)絡(luò)最大的優(yōu)勢(shì)在于其輕量化，也就是大幅度減少的運(yùn)算量和參數(shù)數(shù)量?jī)?yōu)點(diǎn)。

MobileNet-V1

原文地址：https://arxiv.org/abs/1704.04861

創(chuàng)新點(diǎn)：深度可分離卷積

深度可分離卷積：由一個(gè)輸出通道為1的3×3卷積和一個(gè)1×1的卷積組成

使用relu激活函數(shù)

MobileNet-v1?網(wǎng)絡(luò)結(jié)構(gòu)?

MobileNet-V2

原文地址：https://arxiv.org/abs/1704.04861

創(chuàng)新點(diǎn)：倒殘差block、改變某些層為線性激活函數(shù)，非線性激活函數(shù)從relu修改為relu6（對(duì)輸入值進(jìn)行最大為6的限制，減少float16/int8下的精度損失）

倒殘差block(Inverted Residuals)

老的殘差結(jié)構(gòu)：結(jié)構(gòu)為1x1卷積降維->3x3卷積->1x1卷積升維

倒殘差block：1x1卷積升維->3x3DW卷積->1x1卷積降維 。（需要注意的是，只有在stride 步長(zhǎng)為1 的時(shí)候才進(jìn)行short add操作，stride為2不進(jìn)行short add）

為解決V1在輸入為低維度時(shí)，卷積核丟失了大量信息的問(wèn)題，將原先relu非線性激活函數(shù)在某些層中替換為線性函數(shù)，并且在低維輸入時(shí)提高輸入維度兩個(gè)措施。

MobileNet-v2 網(wǎng)絡(luò)結(jié)構(gòu)

MobileNet-V3

原文地址：https://arxiv.org/pdf/1905.02244.pdf

主要?jiǎng)?chuàng)新點(diǎn)：使用NMS搜索得到網(wǎng)絡(luò)的最優(yōu)參數(shù)、新增加SE注意力機(jī)制、修改激活函數(shù)（h-swish）、減少第一個(gè)卷積層的卷積核個(gè)數(shù)（ 32-> 16）、精簡(jiǎn)末端網(wǎng)絡(luò)結(jié)構(gòu)

MobileNet-v3 網(wǎng)絡(luò)結(jié)構(gòu)

SE注意力機(jī)制

H-swish

精簡(jiǎn)末端網(wǎng)絡(luò)結(jié)構(gòu)