此前出了目標檢測算法改進專欄，但是對于應用于什么場景，需要什么改進方法對應與自己的應用場景有效果，并且多少改進點能發(fā)什么水平的文章，為解決大家的困惑，此系列文章旨在給大家解讀發(fā)表高水平學術期刊中的SCI論文，并對相應的SCI期刊進行介紹，幫助大家解答疑惑，助力科研論文投稿。解讀的系列文章，本人會進行創(chuàng)新點代碼復現(xiàn)，有需要的朋友可關注私信我獲取。

一、摘要

性能和推理速度之間的折衷對于實際應用是至關重要的。結(jié)構重新參數(shù)化獲得了更好的折衷，并且它正在成為現(xiàn)代卷積神經(jīng)網(wǎng)絡中越來越受歡迎的成分。盡管如此，當需要INT 8推斷時，其量化性能通常太差而無法部署（例如，ImageNet上的top-1精度下降超過20%）。在本文中，我們深入研究了這種失效的潛在機制，即原始設計不可避免地增大了量化誤差。我們提出了一個簡單、健壯、有效的補救措施，以獲得一個量化友好的結(jié)構，同時也享有重新參數(shù)化的好處。我們的方法極大地彌補了RepVGG的INT 8和FP 32精度之間差距。在沒有花里胡哨的情況下，通過標準的訓練后量化，ImageNet上排名前1的精度下降減少到2%以內(nèi)。

二、網(wǎng)絡模型及核心創(chuàng)新點

1. 揭示了在量化RepVGG 等基于重新參數(shù)化的架構時性能崩潰的根本原因。

2. 設計了RepVGG的量化友好替代品（即QARepVGG），其在權重和激活分布方面具有根本差異，同時保留了速度和性能權衡突出的優(yōu)勢。

3. 我們提出的方法在不同的模型尺度和不同的視覺任務上都有很好的泛化能力，實現(xiàn)了出色的后量化性能，可以隨時部署。此外，我們的模型在FP32精度方面與RepVGG相當。

三、實驗效果（部分展示）

我們的實驗主要集中在ImageNet數(shù)據(jù)集上。最后，基于最近流行的檢測器YOLOv6 驗證了該方法的通用性，該檢測器廣泛采用了重新參數(shù)化設計。

1.所有模型均經(jīng)過120個時期的訓練，全球批量為256。我們使用的SGD優(yōu)化器動量為0.9，權重衰減為10?4。學習速率初始化為0.1，然后按照余弦策略衰減到零。我們還遵循簡單的數(shù)據(jù)擴充，如[11]。所有實驗均在8個Tesla-V100 GPU上完成。

我們觀察到具有群卷積的RepVGG的表現(xiàn)要差得多。PTQ后RepVGG-B2 g4的準確度從78.5%下降至13.7%（64.8%↓）。然而，我們的QARepVGG-B2 g4僅損失0.7%的準確度，表明其對其他規(guī)模和變體的穩(wěn)健性。

2.消融研究-變體架構設計。我們研究了不同設計的量化性能，結(jié)果如表5所示。

注意，當BN被完全移除時，模型不能收斂。雖然BN后的設置只有71.1%的INT8 top-1精度，但其FP32精度較低。量化間隙隨著模型容量的增長（從A0到B0）而增大，這不贊成這種方法。

五、實驗結(jié)論

通過理論和定量分析，我們剖析了著名的基于重參數(shù)化的結(jié)構RepVGG的量子化失敗.它的結(jié)構缺陷不可避免地放大了量化誤差，并且累積地產(chǎn)生較差的結(jié)果。我們重新設計了QARepVGG，它可以生成有利于量化的權重和激活分布。QARepVGG大大簡化了最終部署的量化過程。強調(diào)建筑設計中的量化意識應引起重視。

注：論文原文出自 本文僅用于學術分享，如有侵權，請聯(lián)系后臺作刪文處理。

解讀的系列文章，本人已進行創(chuàng)新點代碼復現(xiàn)，有需要的朋友歡迎關注私信我獲取?。