《GhostNetV2：Enhance Cheap Operation with Long-Range Attention》

輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)（CNN）是專門為在移動(dòng)設(shè)備上具有更快推理速度的應(yīng)用而設(shè)計(jì)的。卷積操作只能捕捉窗口區(qū)域內(nèi)的局部信息，這防止了性能的進(jìn)一步提高。將自注意力引入卷積可以很好地捕捉全局信息，但這將大大拖累實(shí)際速度。本文提出了一種硬件友好的注意力機(jī)制（稱為DFC注意力），并提出了一種適用于移動(dòng)應(yīng)用的新GhostNetV2架構(gòu)。所提出的DFC注意力是基于全連接層構(gòu)建的，不僅可以在通用硬件上快速執(zhí)行，而且還可以捕捉長(zhǎng)距離像素之間的依賴關(guān)系。我們進(jìn)一步重新審視了先前GhostNet中的表現(xiàn)瓶頸，并建議使用DFC注意力增強(qiáng)由廉價(jià)操作產(chǎn)生的擴(kuò)展特征，以便GhostNetV2塊可以同時(shí)聚合局部和長(zhǎng)距離信息。廣泛的實(shí)驗(yàn)表明GhostNetV2優(yōu)于現(xiàn)有架構(gòu)。例如，它在ImageNet上實(shí)現(xiàn)了75.3％的Top-1準(zhǔn)確率，F(xiàn)LOPs為167M，顯著抑制了具有類似計(jì)算成本的GhostNetV1（74.5％）。

論文地址：https://arxiv.org/pdf/2211.12905.pdf

網(wǎng)絡(luò)表現(xiàn)

這項(xiàng)研究的背景是輕量級(jí)卷