🏡作者主頁：點(diǎn)擊！?

🤖編程探索專欄：點(diǎn)擊！

??創(chuàng)作時(shí)間：2024年12月26日8點(diǎn)00分

---

神秘男子影,
? 秘而不宣藏。
泣意深不見,
男子自持重,
? ?子夜獨(dú)自沉。

---

論文源地址（有視頻）:

鏈接https://www.aspiringcode.com/content?id=17326303651908&uid=ab739a84909c4ee6baff8ceb5cc0e2e4

引言

在過去幾年里，YOLO系列已經(jīng)成為了實(shí)時(shí)目標(biāo)檢測領(lǐng)域最先進(jìn)以及最常用的方法。許多研究通過修改模型架構(gòu)、數(shù)據(jù)增強(qiáng)、設(shè)計(jì)新的損失函數(shù)將baseline提升到了一個(gè)更高的水平。但現(xiàn)有的模型仍然存在信息融合的問題，盡管FPN和PANet在一定程度上緩解了該問題。

傳統(tǒng)的neck如FPN以及相關(guān)變體的結(jié)構(gòu)如上圖所示，但是這種信息融合的方法存在一個(gè)明顯的缺陷：當(dāng)需要跨層融合信息時(shí)（如level-1和level-3），FPN式的結(jié)構(gòu)無法無損的傳輸信息，對于其他層的信息，只能間接地“遞歸”獲得，level-1 試圖利用level-2的信息時(shí)，它可以直接訪問level-2，也可以融合level-2，如果level-1想要利用level-3的信息，必須先等level-2和level-3信息融合后，然后level-1再與level-2信息融合，才可以間接獲取level-3信息。

這種傳輸模式，導(dǎo)致在計(jì)算過程中大量的信息丟失，間隔層之間的信息交互，只能通過中間層選擇信息，造成某些信息的丟失；即某一層的信息只能充分地幫助相鄰層，而削弱了想其他間隔層提供的幫助。因此信息融合的整體效果受到了限制。

針對FPN式結(jié)構(gòu)存在的問題，本文介紹的方法，在TopFormer理論的基礎(chǔ)上，提出了一種新的聚合-分發(fā)（GD）機(jī)制，它通過融合多層特征并將全局信息注入到更高層，在YOLO中實(shí)現(xiàn)高效的信息交換。這顯著增加了neck的信息融合能力，同時(shí)沒有顯著增加延遲。

基于此提出了一個(gè)新的模型Gold-YOLO，它提高了多尺度特征融合的能力，并在所有尺度上實(shí)現(xiàn)了延遲和精度之間的理想平衡。此外，本方法首次在YOLO系列中實(shí)現(xiàn)了MAE-style的預(yù)訓(xùn)練，使得YOLO系列可以從無監(jiān)督預(yù)訓(xùn)練中受益。

Gold-YOLO

網(wǎng)絡(luò)結(jié)構(gòu)

由下圖可見，Gold-YOLO的網(wǎng)絡(luò)結(jié)構(gòu)與YOLOv3-v8是非常相似的，最大的不同之處在于，Neck階段，用Low-GD代替了PANet的上采樣融合階段，用High-GD代替了PANet的下采樣融合階段。

本文的Gold-YOLO提出了聚合-分發(fā)機(jī)制(gather-and-distribute)，其通過Conv + Self-Attention實(shí)現(xiàn)，進(jìn)一步提高了多尺度特征的融合能力。

通過統(tǒng)一的模塊對各個(gè)尺度的信息進(jìn)行采集和融合，然后將融合夠的特征分發(fā)到不同的層，這樣既避免了傳統(tǒng)FPN結(jié)構(gòu)固有的信息丟失，也在不顯著增加延遲的情況下增強(qiáng)了Neck部分的信息融合能力。

采集分發(fā)機(jī)制（GD）

GD的實(shí)現(xiàn)收集-分發(fā)的流程包括三個(gè)模塊：特征對齊模塊(FAM)、特征信息融合模塊(IFM)、特征信息分發(fā)模塊(Inject)。

首先，FAM收集backbone不同尺度的特征圖，并通過上采樣或下采樣的方式進(jìn)行對齊；然后，IFM融合對齊后的特征生成全局特征，然后通過split切片為兩部分，后面針對性地對其他尺度進(jìn)行分發(fā)；最后，Inject分發(fā)模塊（采用類似于self-attention的方式），使用簡單的注意力操作(增強(qiáng)分支的檢測能力)，將全局特征split后分發(fā)到各個(gè)層級。

為了增加模型檢測不同大小對象的能力，提出了兩個(gè)分支，低階段GD和高階段GD。

低階段分支

如下圖所示，B2、B3、B4、B5通過Low-GD進(jìn)行上采樣融合。

信息分發(fā)模塊

信息分發(fā)類似采用自注意力的形式，如下圖所示：

高階段分支

經(jīng)過Low-GD融合得到的特征P3、P4、P5 再經(jīng)過High-GD進(jìn)行特征融合，如下圖所示.

信息分發(fā)模塊

High-GD和Low-GD的分發(fā)模塊是完全相同的。

增強(qiáng)的跨層信息流

為了進(jìn)一步提升性能，作者借鑒YOLOv6里的PAFPN提出了一個(gè)Inject-LAF模塊。這個(gè)模塊是Inject模塊的改進(jìn)，其中在Inject模塊的輸入位置新加了一個(gè)輕量的相鄰層融合模塊（lightweight adjacent layer fusion, LAF）。具體結(jié)構(gòu)如下。

為了實(shí)現(xiàn)速度和精度的平衡，設(shè)計(jì)了兩種LAF：low-level LAF和high-level LAF，分別用于低層注入（合并相鄰兩層的特征）和高層注入（合并相鄰一層的特征），在Low-stage中，用于合并相鄰的兩層的特征，如由原來的B3B3變?yōu)锽2B2（AvgpoolAvgpool下采樣）、B3B3、B4B4（雙線性上采樣）的合并；在High-stage中，用于合并相鄰一層的特征，如由原來的P4P4變?yōu)镻3P3、P4P4的合并。

掩碼圖像建模預(yù)訓(xùn)練

掩碼圖像建模預(yù)訓(xùn)練是一種自監(jiān)督學(xué)習(xí)方法，它在計(jì)算機(jī)視覺領(lǐng)域中被用來訓(xùn)練模型以學(xué)習(xí)圖像的有效表示。這種方法受到自然語言處理中掩碼語言模型（如BERT）的啟發(fā)，其中模型被訓(xùn)練來預(yù)測輸入數(shù)據(jù)中被隨機(jī)掩蓋（masked）的部分。在圖像的上下文中，這意味著模型需要預(yù)測圖像中被遮蓋或掩蓋的區(qū)域。

作者采用了MIM Pre-training方法來預(yù)訓(xùn)練模型的backbone。以下是這種方法的詳細(xì)步驟和原理：

1. 掩碼圖像生成：首先，從原始圖像中隨機(jī)選擇一定比例的像素，并將這些像素的值設(shè)置為零或某個(gè)特定的掩碼值，從而生成掩碼圖像。
2. 稀疏卷積編碼：由于掩碼操作導(dǎo)致圖像的大部分區(qū)域缺失，模型需要能夠處理這種不規(guī)則和隨機(jī)的掩碼輸入。在Gold-YOLO中，作者使用稀疏卷積來編碼未被掩碼的像素，將它們視為3D點(diǎn)云的稀疏體素。
3. 層次化解碼器：為了從多尺度編碼的特征中重建圖像，作者采用了類似UNet的層次化解碼器。這個(gè)解碼器能夠處理不同尺度的稀疏特征圖，并將所有空間位置填充為嵌入的掩碼。

在預(yù)訓(xùn)練過程中，作者使用了LAMB優(yōu)化器和余弦退火學(xué)習(xí)率策略。通過MIM Pre-training，模型能夠?qū)W習(xí)到更加豐富和魯棒的特征表示，這有助于提高模型在下游任務(wù)上的性能。在Gold-YOLO中，預(yù)訓(xùn)練顯著提高了模型的收斂速度和準(zhǔn)確性。

實(shí)驗(yàn)

使用Microsoft COCO數(shù)據(jù)集進(jìn)行模型訓(xùn)練和驗(yàn)證，在ImageNet-1K數(shù)據(jù)集上對模型的backbone進(jìn)行MIM預(yù)訓(xùn)練。

比較實(shí)驗(yàn)

作者選擇了多個(gè)YOLO系列的模型進(jìn)行比較，包括YOLOv5, YOLOX, PPYOLOE, YOLOv7, YOLOv8, 和YOLOv6-3.0。實(shí)驗(yàn)結(jié)果如下。

Gold-YOLO-N與YOLOv8-N, YOLOv6-3.0-N, 和YOLOv7-Tiny在AP上進(jìn)行了比較，Gold-YOLO在相似或更低的延遲下具有更高的AP。Gold-YOLO-S與YOLOX-S和PPYOLOE-S相比，在保持更快的FPS的同時(shí)，AP有顯著提升。Gold-YOLO-M在與YOLOv6-3.0-M, YOLOX-M, 和PPYOLOE-M的比較中，具有更高的AP和相似的速度。Gold-YOLO-L與YOLOv8-L和YOLOv6-3.0-L相比，在保持相似的FPS的同時(shí)，AP有小幅提升。

消融實(shí)驗(yàn)

GD機(jī)制

通過比較包含和不包含Low-GD和High-GD分支的模型，可以觀察到這兩個(gè)分支對模型性能有顯著提升，尤其是在檢測小尺寸和大尺寸物體時(shí)。

消融實(shí)驗(yàn)顯示，LAF模塊在增強(qiáng)特征融合和提高模型對不同尺度物體的檢測能力方面發(fā)揮了重要作用。

泛化性能

在Mask R-CNN中替換necks后，GD機(jī)制顯著提高了實(shí)例分割的準(zhǔn)確率，尤其是在分割小尺寸物體時(shí)。

在PointRend中應(yīng)用GD機(jī)制后，語義分割的mIoU（平均交并比）和mAcc（平均準(zhǔn)確率）得到了提升，這表明GD機(jī)制在捕捉全局上下文信息方面的優(yōu)勢。

復(fù)現(xiàn)

訓(xùn)練

• 步驟1：訓(xùn)練基礎(chǔ)模型

運(yùn)行如下的命令：

python -m torch.distributed.launch --nproc_per_node 8 tools/train.py \--batch 128 \--conf configs/gold_yolo-n.py \--data data/coco.yaml \--epoch 300 \--fuse_ab \--use_syncbn \--device 0,1,2,3,4,5,6,7 \--name gold_yolo-n

• 步驟2：自蒸餾訓(xùn)練

運(yùn)行如下的命令：

python -m torch.distributed.launch --nproc_per_node 8 tools/train.py \--batch 128 \--conf configs/gold_yolo-n.py \--data data/coco.yaml \--epoch 300 \--device 0,1,2,3,4,5,6,7 \--use_syncbn \--distill \--teacher_model_path runs/train/gold_yolo_n/weights/best_ckpt.pt \--name gold_yolo-n

測試

運(yùn)行如下發(fā)命令：

python tools/eval.py --data data/coco.yaml --batch 32 --weights weights/Gold_s_pre_dist.pt --task val --reproduce_640_eval

推理結(jié)果

模型部分推理結(jié)果展示如下：

可以看到，模型具有相當(dāng)高的準(zhǔn)確性。

總結(jié)

Gold-YOLO是一種新型高效的目標(biāo)檢測模型，它通過引入聚合和分發(fā)機(jī)制顯著提升了多尺度特征融合的能力。Gold-YOLO通過其創(chuàng)新的GD機(jī)制，在目標(biāo)檢測領(lǐng)域?qū)崿F(xiàn)了最佳性能，尤其是在處理多尺度物體時(shí)。該模型的高效性和準(zhǔn)確性使其成為邊緣設(shè)備部署的理想選擇。

GD機(jī)制不僅在目標(biāo)檢測任務(wù)中表現(xiàn)出色，還在實(shí)例分割和語義分割等其他視覺任務(wù)中顯示出良好的適應(yīng)性和有效性。

總體而言，Gold-YOLO通過其先進(jìn)的GD機(jī)制和無監(jiān)督預(yù)訓(xùn)練策略，在目標(biāo)檢測領(lǐng)域提供了一個(gè)高效且準(zhǔn)確的解決方案，為未來的研究和應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。