AFPN 漸進式特征金字塔網絡：解決多尺度特征融合中，信息在傳遞過程丟失

• • 提出背景
  • • AFPN = 多尺度特征金字塔 + 非鄰近層次的直接特征融合 + 自適應空間融合操作
  • 小目標漲點
  • • YOLO v5 魔改
    • YOLO v7 魔改
    • YOLO v8 魔改
    • YOLO v9 魔改

?

---

提出背景

論文：https://arxiv.org/pdf/2306.15988.pdf

代碼：https://github.com/gyyang23/AFPN

?
對象檢測是計算機視覺中的一個任務，目的是在圖片或視頻中識別出各種物體，并確定它們的位置。

隨著深度學習技術的發(fā)展，對象檢測領域取得了巨大進步。

在這些進步中，一個關鍵技術是特征金字塔網絡（FPN），它幫助模型更好地處理不同大小的物體。

特征金字塔（如FPN、PAFPN、NASFPN）建立了一個多層次的特征表示體系，允許系統(tǒng)在不同的分辨率上捕捉圖像的特征，以便能夠檢測不同大小的物體。

• 它們解決了單一尺度特征分析的局限性，為特征融合提供了多尺度的特征來源。

特征融合模塊（如CARAFE、ASFF、DRFPN）則進一步增強了這些特征的表示能力，通過各種方法（上采樣、加權融合、注意力機制）優(yōu)化了不同層級特征之間的融合，提高了特征金字塔中特征的質量和檢測模型的性能。

?

AFPN = 多尺度特征金字塔 + 非鄰近層次的直接特征融合 + 自適應空間融合操作

什么是AFPN?

AFPN（漸進式特征金字塔網絡）是在特征金字塔和特征融合模塊基礎上的進一步創(chuàng)新和優(yōu)化。

AFPN不僅采用了特征金字塔的多尺度特征表示理念，還引入了高效和創(chuàng)新的漸進式特征融合策略，特別是非鄰近層次的直接特征融合和自適應空間融合操作。

• 自適應空間融合操作解決了特征融合過程中的信息沖突問題
• 而漸進式特征融合則優(yōu)化了信息流在不同層級間的傳遞，最大化地保留了有用的信息
• 非鄰近層次的直接特征融合，跨層級信息融合，允許高層特征直接與更低層特征結合，跳過中間層級，這樣可以更快地將語義信息整合到細節(jié)信息中

AFPN的設計思路與軟件工程中的迭代開發(fā)有共同點。

在軟件開發(fā)過程中，開發(fā)團隊通常不會一開始就完全設計出所有細節(jié)，而是通過不斷迭代，逐步完善軟件的功能和性能。

每個迭代周期中，都會評估現有的設計，引入新的功能，并改進用戶體驗。

這種逐步逼近最終目標的方法，既保證了項目的靈活性，也允許團隊根據反饋不斷調整方向，最終達到更優(yōu)的產品質量。

同樣，在建筑領域，設計和構建一個建筑物也往往采用類似的漸進式方法。

從概念設計開始，到初步設計，再到詳細設計和施工圖紙的制作，每一步都在逐漸加深對建筑物的理解和控制，同時也允許在過程中根據新的信息和條件進行調整。

這種思路的共同點在于，無論是組織活動、軟件開發(fā)，還是建筑設計，都強調了在過程中靈活適應變化、逐步完善和精細化的重要性。

AFPN通過將這一思路應用到特征金字塔網絡的設計中。

AFPN 核心組件：

1. 非鄰近層次直接特征融合：傳統(tǒng)的FPN通常只將相鄰層次的特征進行融合，而AFPN能夠直接將不同層次的特征進行融合，這樣可以更好地保留高層的語義信息和低層的細節(jié)信息。

2. 自適應空間融合操作：在合并不同層次的特征時，AFPN使用一種特殊的方法來確保信息不會相互沖突，這樣做可以更精準地保留對于識別對象有用的信息。

   因為在多層級特征融合過程中，不同層次的對象信息可能存在矛盾，通過引入自適應空間融合操作，可以過濾并保留對融合過程有用的信息，解決了簡單的元素級求和不足以處理復雜信息融合的問題。

   
   上圖是對AFPN中使用的自適應空間融合操作的具體說明，展示了在不同層級特征之間應用該操作的效果。

   表明了如何結合來自不同層級的特征以生成一個綜合特征，并使用策略自動分配權重，選擇來區(qū)分上采樣、下采樣和橫向連接。

3. 從低層特征開始逐步融合高層特征：AFPN采取從低層次開始，并逐步添加高層次特征的方法

   是因為低層特征包含更多的細節(jié)信息，而高層特征包含更豐富的語義信息。

   通過從低層開始并逐步融合高層特征，可以確保融合后的特征同時包含細節(jié)和語義信息，避免了信息的丟失和降級。

上圖展示了AFPN的結構細節(jié)，如特征是如何通過網絡的不同層次進行融合的。

它通常會展示從輸入圖像的原始特征開始，如何通過上采樣（增加分辨率）和下采樣（降低分辨率）以及橫向連接來融合特征。

圖中可能會用不同顏色的箭頭表示不同操作，比如藍色箭頭可能代表卷積操作，綠色箭頭代表自適應空間融合。

?

假設我們要在一張照片中識別和定位不同大小的狗。

1. 非鄰近層次直接特征融合：

   • 傳統(tǒng)的FPN可能會分別處理照片中的大型狗（使用高層次的特征）和小型狗（使用低層次的特征），然后將這些特征逐層融合。
   • AFPN的方式：它可以直接將識別大型狗的高層次特征與識別小型狗的低層次特征合并。

   ?
   這意味著，不管狗的大小，模型都能同時考慮狗的整體形狀（高層次的語義信息）和毛發(fā)、眼睛等細節(jié)（低層次的細節(jié)信息）。

2. 自適應空間融合操作：

   • 在融合特征時，可能會遇到一些矛盾，比如同一個位置既有大型狗的一部分也有小型狗的一部分。
   • AFPN的方法：它能夠識別出這種矛盾，并自動調整融合策略，只保留有助于識別和定位狗的信息。

   ?
   這樣，無論是大狗還是小狗，模型都能更準確地識別它們。

3. 漸進式特征融合 - 從低層特征開始逐步融合高層特征：

   • 一開始，AFPN專注于捕捉照片中的所有狗的細節(jié)特征，如毛發(fā)紋理和眼睛。
   • 然后，它逐漸添加了識別狗的整體形狀和姿態(tài)的高層次特征。
   • 這個過程的結果：是一個綜合的特征表示，既包含了細節(jié)信息（幫助區(qū)分不同種類的狗），也包含了語義信息（幫助理解狗的整體形態(tài)）。

   ?
   這使得模型能夠在各種大小和姿態(tài)的狗中做出準確的識別和定位。

AFPN 不直接處理單個大小的對象，而是綜合考慮不同層次的信息，以更全面地理解圖像內容。

小目標漲點

更新中…

YOLO v5 魔改

YOLO v7 魔改

YOLO v8 魔改

YOLO v9 魔改