????????本篇文章將介紹一個新的改進機制——SMFA（自調制特征聚合模塊），并闡述如何將其應用于YOLOv11中，顯著提升模型性能。隨著深度學習在計算機視覺中的不斷進展，目標檢測任務也在快速發(fā)展。YOLO系列模型（You Only Look Once）一直因其高效和快速而備受關注。然而，盡管YOLOv11在檢測精度和速度上有顯著提升，但在處理復雜背景或需要捕捉更多局部和全局信息時，仍然面臨挑戰(zhàn)。為此，我們引入了SMFA，通過提取圖像中的全局結構和細節(jié)來進一步提高YOLOv11的性能，尤其在識別小物體或復雜背景物體時表現(xiàn)突出。

首先，我們將解析SMFA的工作原理，它通過EASA分支和LDE分支捕獲非局部信息和局部細節(jié)，協(xié)同建模圖像的全局結構與局部細節(jié)。隨后，我們會詳細說明如何將該模塊與YOLOv11相結合，展示代碼實現(xiàn)細節(jié)及其使用方法，最終展現(xiàn)這一改進對目標檢測效果的積極影響。

1. Self-Modulation Feature Aggregation(SMFA)結構介紹??? ? ?

??????? SMFA（自調制特征聚合模塊）： SMFA模塊用于協(xié)同建模局部和非局部信息，它分為兩個分支：一個是EASA（Efficient Approximation of Self-Attention，簡化的自注意力分支），用于捕獲非局部信息；另一個是LDE（Local Detail Estimation，局部細節(jié)估計分支），用于捕獲局部細節(jié)。EASA通過對輸入特征進行下采樣，然后利用全局特征的方差進行調制，再與原始特征進行聚合，提取非局部結構信息。LDE分支則通過卷積操作提取輸入特征中的高頻局部信息。這種設計可以有效捕獲圖像的全局和局部細節(jié)，從而提升圖像中的全局結構和細節(jié)。

2. YOLOv11與SMFA的結合? ?

1. 在backbone中引用：在YOLOv11的骨干網絡中，可以將SMFA模塊引入SPPF模塊之前，。這樣，網絡不僅能夠從輸入圖像中提取局部細節(jié)信息，還可以同時捕獲圖像的全局信息。這種局部與全局信息的結合能夠大幅提升YOLOv11對目標物體的識別能力。

2. 在C3k2中使用SMFA模塊：C3k2模塊是一種改進的卷積層結構，用于增強特征提取的能力。本文將SMFA插入到C3k2模塊中，增強全局和局部信息。

3. Self-Modulation Feature Aggregation(SMFA)代碼部分

YOLOv8_improve/YOLOv11.md at master · tgf123/YOLOv8_improve
YOLO11全部代碼

?4. 將SMFA引入到YOLOv11中

第一: 將下面的核心代碼復制到D:\bilibili\model\YOLO11\ultralytics-main\ultralytics\nn路徑下，如下圖所示。

第二：在task.py中導入SMFA包

第三：在task.py中的模型配置部分下面代碼

第二個改進?

第一個改進，在SPPF模塊之前添加

第四：將模型配置文件復制到YOLOV11.YAMY文件中

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolo11n.yaml' will call yolo11.yaml with scale 'n'# [depth, width, max_channels]n: [0.50, 0.25, 1024] # summary: 319 layers, 2624080 parameters, 2624064 gradients, 6.6 GFLOPss: [0.50, 0.50, 1024] # summary: 319 layers, 9458752 parameters, 9458736 gradients, 21.7 GFLOPsm: [0.50, 1.00, 512] # summary: 409 layers, 20114688 parameters, 20114672 gradients, 68.5 GFLOPsl: [1.00, 1.00, 512] # summary: 631 layers, 25372160 parameters, 25372144 gradients, 87.6 GFLOPsx: [1.00, 1.50, 512] # summary: 631 layers, 56966176 parameters, 56966160 gradients, 196.0 GFLOPs# YOLO11n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]] # 0-P1/2- [-1, 1, Conv, [128, 3, 2]] # 1-P2/4- [-1, 2, C3k2, [256, False, 0.25]]- [-1, 1, Conv, [256, 3, 2]] # 3-P3/8- [-1, 2, C3k2, [512, False, 0.25]]- [-1, 1, Conv, [512, 3, 2]] # 5-P4/16- [-1, 2, C3k2, [512, True]]- [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32- [-1, 2, C3k2, [1024, True]]- [-1, 1, SMFA, []]- [-1, 1, SPPF, [1024, 5]] # 9- [-1, 2, C2PSA, [1024]] # 10# YOLO11n head
head:- [-1, 1, nn.Upsample, [None, 2, "nearest"]]- [[-1, 6], 1, Concat, [1]] # cat backbone P4- [-1, 2, C3k2, [512, False]] # 13- [-1, 1, nn.Upsample, [None, 2, "nearest"]]- [[-1, 4], 1, Concat, [1]] # cat backbone P3- [-1, 2, C3k2, [256, False]] # 16 (P3/8-small)- [-1, 1, Conv, [256, 3, 2]]- [[-1, 14], 1, Concat, [1]] # cat head P4- [-1, 2, C3k2, [512, False]] # 19 (P4/16-medium)- [-1, 1, Conv, [512, 3, 2]]- [[-1, 11], 1, Concat, [1]] # cat head P5- [-1, 2, C3k2, [1024, True]] # 22 (P5/32-large)- [[17, 20, 23], 1, Detect, [nc]] # Detect(P3, P4, P5)# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolo11n.yaml' will call yolo11.yaml with scale 'n'# [depth, width, max_channels]n: [0.50, 0.25, 1024] # summary: 319 layers, 2624080 parameters, 2624064 gradients, 6.6 GFLOPss: [0.50, 0.50, 1024] # summary: 319 layers, 9458752 parameters, 9458736 gradients, 21.7 GFLOPsm: [0.50, 1.00, 512] # summary: 409 layers, 20114688 parameters, 20114672 gradients, 68.5 GFLOPsl: [1.00, 1.00, 512] # summary: 631 layers, 25372160 parameters, 25372144 gradients, 87.6 GFLOPsx: [1.00, 1.50, 512] # summary: 631 layers, 56966176 parameters, 56966160 gradients, 196.0 GFLOPs# YOLO11n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]] # 0-P1/2- [-1, 1, Conv, [128, 3, 2]] # 1-P2/4- [-1, 2, C3k2_SMFA, [256, False, 0.25]]- [-1, 1, Conv, [256, 3, 2]] # 3-P3/8- [-1, 2, C3k2_SMFA, [512, False, 0.25]]- [-1, 1, Conv, [512, 3, 2]] # 5-P4/16- [-1, 2, C3k2_SMFA, [512, True]]- [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32- [-1, 2, C3k2_SMFA, [1024, True]]- [-1, 1, SPPF, [1024, 5]] # 9- [-1, 2, C2PSA, [1024]] # 10# YOLO11n head
head:- [-1, 1, nn.Upsample, [None, 2, "nearest"]]- [[-1, 6], 1, Concat, [1]] # cat backbone P4- [-1, 2, C3k2_SMFA, [512, False]] # 13- [-1, 1, nn.Upsample, [None, 2, "nearest"]]- [[-1, 4], 1, Concat, [1]] # cat backbone P3- [-1, 2, C3k2_SMFA, [256, False]] # 16 (P3/8-small)- [-1, 1, Conv, [256, 3, 2]]- [[-1, 13], 1, Concat, [1]] # cat head P4- [-1, 2, C3k2_SMFA, [512, False]] # 19 (P4/16-medium)- [-1, 1, Conv, [512, 3, 2]]- [[-1, 10], 1, Concat, [1]] # cat head P5- [-1, 2, C3k2_SMFA, [1024, True]] # 22 (P5/32-large)- [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

第五：運行成功

from ultralytics.models import NAS, RTDETR, SAM, YOLO, FastSAM, YOLOWorldif __name__=="__main__":# 使用自己的YOLOv11.yamy文件搭建模型并加載預訓練權重訓練模型model = YOLO(r"D:\bilibili\model\YOLO11\ultralytics-main\ultralytics\cfg\models\11\yolo11_SMFA.yaml")\.load(r'D:\bilibili\model\YOLO11\ultralytics-main\yolo11n.pt')  # build from YAML and transfer weightsresults = model.train(data=r'D:\bilibili\model\ultralytics-main\ultralytics\cfg\datasets\VOC_my.yaml',epochs=100, imgsz=640, batch=8)

?