??本文采用RT-DETR作為核心算法框架，結(jié)合PyQt5構(gòu)建用戶界面，使用Python3進(jìn)行開(kāi)發(fā)。RT-DETR以其高效的實(shí)時(shí)檢測(cè)能力，在多個(gè)目標(biāo)檢測(cè)任務(wù)中展現(xiàn)出卓越性能。本研究針對(duì)CCTSDB交通標(biāo)志數(shù)據(jù)集進(jìn)行訓(xùn)練和優(yōu)化，該數(shù)據(jù)集包含豐富的CCTSDB交通標(biāo)志圖像樣本，為模型的準(zhǔn)確性和泛化能力提供了有力保障。通過(guò)深度學(xué)習(xí)技術(shù)，模型能夠自動(dòng)提取CCTSDB交通標(biāo)志的特征并進(jìn)行分類識(shí)別。PyQt5界面設(shè)計(jì)簡(jiǎn)潔直觀，便于用戶操作和實(shí)時(shí)查看檢測(cè)結(jié)果。本研究不僅提高了CCTSDB交通標(biāo)志識(shí)別的自動(dòng)化水平，還為智能交通系統(tǒng)的構(gòu)建提供了有力支持，具有重要的理論應(yīng)用價(jià)值。

---

研究背景

---

1.前言

1.1 RT-DETR系列：目標(biāo)檢測(cè)領(lǐng)域的璀璨明星

??在實(shí)時(shí)目標(biāo)檢測(cè)的算法星空中，RT-DETR 系列無(wú)疑是最為耀眼的星座之一。在性能、速度與準(zhǔn)確度上實(shí)現(xiàn)了跨越式的提升。RT-DETR，作為這一系列的最新杰作，憑借其更為深邃復(fù)雜的網(wǎng)絡(luò)架構(gòu)以及精妙絕倫的訓(xùn)練技巧，將檢測(cè)的準(zhǔn)確性與速度推向了新的高峰。尤其在應(yīng)對(duì)動(dòng)態(tài)視頻流中的CCTSDB交通標(biāo)志檢測(cè)任務(wù)時(shí)，它宛如一位技藝精湛的舞者，展現(xiàn)出了令人贊嘆的卓越性能。這些顯著的改進(jìn)，如同強(qiáng)大的引力，使得 RT-DETR系列在CCTSDB交通標(biāo)志檢測(cè)領(lǐng)域的應(yīng)用版圖不斷拓展，愈發(fā)完美地契合了實(shí)時(shí)性與準(zhǔn)確性的雙重嚴(yán)苛要求。
多元算法共筑CCTSDB交通標(biāo)志標(biāo)志檢測(cè)的堅(jiān)實(shí)堡壘
??除了光芒四射的RT-DETR系列，其他深度學(xué)習(xí)算法，諸如 Faster R - CNN、SSD 以及基于 Transformer 的 DETR 等，也紛紛在CCTSDB交通標(biāo)志佩戴檢測(cè)的舞臺(tái)上嶄露頭角。它們各具獨(dú)特的優(yōu)勢(shì)，恰似一群才華橫溢的藝術(shù)家，在不同的領(lǐng)域綻放光彩。Faster R - CNN 以其在檢測(cè)精度上的非凡表現(xiàn)，猶如一位精雕細(xì)琢的工匠，刻畫(huà)著每一個(gè)細(xì)節(jié)；而 SSD 則在速度方面具備明顯優(yōu)勢(shì)，恰似一陣疾風(fēng)，迅速而敏捷。最新的研究恰似一場(chǎng)永不停歇的探索之旅，不斷挖掘這些算法的改進(jìn)版本，力求在速度與準(zhǔn)確性之間找到那最為完美的平衡點(diǎn)，如同在鋼絲上尋找平衡的舞者，追求極致的和諧。

1.2 Transformer與注意力機(jī)制：為目標(biāo)檢測(cè)注入新活力

??Transformer 在視覺(jué)任務(wù)中的應(yīng)用，猶如一顆璀璨的新星劃破夜空，吸引了廣泛的關(guān)注，其中視覺(jué) Transformer（ViT）更是備受矚目。ViT 通過(guò)巧妙引入自注意力機(jī)制，仿佛為模型賦予了一雙敏銳的眼睛，能夠精準(zhǔn)捕捉圖像中的長(zhǎng)距離依賴關(guān)系，這在中國(guó)CCTSDB交通標(biāo)志形態(tài)復(fù)雜多樣且背景紛繁復(fù)雜的情況下，顯得尤為關(guān)鍵。相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN），ViT 在處理圖像全局信息時(shí)展現(xiàn)出了更為卓越的能力，如同一位宏觀把控的大師，為中國(guó)CCTSDB交通標(biāo)志檢測(cè)開(kāi)辟了一片嶄新的天地，提供了全新的解決思路。
注意力機(jī)制，作為 Transformer 的核心瑰寶，已如同星星之火，在各種深度學(xué)習(xí)模型中形成燎原之勢(shì)，在中國(guó)CCTSDB交通標(biāo)志檢測(cè)領(lǐng)域更是大放異彩。它賦予了模型對(duì)圖像特定部分的 “專注” 能力，如同為模型戴上了一副神奇的眼鏡，使其能夠在復(fù)雜的背景或多變的中國(guó)CCTSDB交通標(biāo)志形態(tài)中，依然清晰地定位并準(zhǔn)確識(shí)別目標(biāo)，即便在干擾信息如潮水般涌來(lái)的環(huán)境中，也能穩(wěn)如泰山，保持較高的檢測(cè)準(zhǔn)確率。

1.3 CCTSDB交通標(biāo)志檢測(cè)技術(shù)：迎接挑戰(zhàn)，砥礪前行

當(dāng)前，中國(guó)CCTSDB交通標(biāo)志檢測(cè)技術(shù)正置身于充滿挑戰(zhàn)的浪潮之中，亟待提高檢測(cè)的實(shí)時(shí)性、準(zhǔn)確性以及在多變環(huán)境下的適應(yīng)性，如同在波濤洶涌的大海中航行的船只，需要不斷調(diào)整航向，迎接風(fēng)浪的挑戰(zhàn)。為了跨越這些難關(guān)，研究人員們宛如勇敢的探險(xiǎn)家，不斷探索新的算法和技術(shù)。例如，通過(guò)深度學(xué)習(xí)模型的輕量化設(shè)計(jì)，如同為船只減輕負(fù)重，提高算法的運(yùn)行效率，使其在復(fù)雜的環(huán)境中更加靈活敏捷；利用創(chuàng)新的數(shù)據(jù)增強(qiáng)技術(shù)和自適應(yīng)學(xué)習(xí)方法，仿佛為船只加固船身，提升模型的泛化能力和魯棒性，使其能夠在各種未知的海域中穩(wěn)健前行。

1.4 RT-DETR算法在CCTSDB交通標(biāo)志檢測(cè)系統(tǒng)中的精彩演繹

??本博客致力于基于 RT-DETR 算法構(gòu)建一個(gè)CCTSDB交通標(biāo)志檢測(cè)系統(tǒng)，并全方位展示其魅力。我們將呈現(xiàn)系統(tǒng)精致的界面效果，如同揭開(kāi)一幅美麗畫(huà)卷，讓您領(lǐng)略其獨(dú)特風(fēng)采；深入闡述其算法原理，恰似探秘一座神秘城堡，為您揭示其中的奧秘；毫無(wú)保留地提供代碼實(shí)現(xiàn)，仿佛為您遞上一把開(kāi)啟知識(shí)寶庫(kù)的鑰匙；詳細(xì)分享該系統(tǒng)的實(shí)現(xiàn)過(guò)程，如同陪伴您走過(guò)一段精彩旅程，讓您親身體驗(yàn)其中的艱辛與喜悅。希望本博客的傾心分享能如同一盞明燈，為讀者照亮前行的道路，給予您深刻的啟示，進(jìn)而推動(dòng)更多相關(guān)研究的蓬勃發(fā)展。本文的核心內(nèi)容主要涵蓋以下幾個(gè)方面：

1. RT-DETR 算法的卓越應(yīng)用與性能對(duì)比
   ??本文不僅詳細(xì)介紹了基于 RT-DETR 算法的中國(guó)CCTSDB交通標(biāo)志檢測(cè)系統(tǒng)的構(gòu)建歷程，如同講述一個(gè)精彩的創(chuàng)業(yè)故事，而且還深入細(xì)致地比較了 YOLOv7、YOLOv6、YOLOv5 等早期版本的性能差異，仿佛展開(kāi)一場(chǎng)激烈的武林高手對(duì)決。這一全面深入的比較研究，恰似一本權(quán)威的指南，為中國(guó)CCTSDB交通標(biāo)志檢測(cè)技術(shù)的選型提供了堅(jiān)實(shí)有力的參考依據(jù)。特別是 RT-DETR 算法在效率和精準(zhǔn)度方面所展現(xiàn)出的顯著優(yōu)勢(shì)，猶如一座明亮的燈塔，為 CCTSDB交通標(biāo)志檢測(cè)指明了一條更為高效、更為準(zhǔn)確的技術(shù)路徑。
2. PyQt5 打造的友好用戶界面
   ??通過(guò) Python 的 PyQt5 庫(kù)精心打造的CCTSDB交通標(biāo)志檢測(cè)系統(tǒng)，不僅具備高效卓越的檢測(cè)能力，如同一位內(nèi)功深厚的武林高手，更提供了直觀便捷、令人賞心悅目的用戶操作界面，仿佛為用戶搭建了一座溫馨的家園。這種貼心的設(shè)計(jì)，使得CCTSDB交通標(biāo)志檢測(cè)變得更加親切友好，如同一位熱情好客的主人，有助于廣泛推廣 RT-DETR 算法的應(yīng)用，同時(shí)也為CCTSDB交通標(biāo)志檢測(cè)技術(shù)的普及和實(shí)用化注入了強(qiáng)大的動(dòng)力，如同春風(fēng)化雨，滋潤(rùn)著這片技術(shù)的田野。
3. RT-DETR 模型的深度研究與性能剖析
   ??
   RT-DETR（Real-Time Detection Transformer）是一種目標(biāo)檢測(cè)模型，具有高效、準(zhǔn)確的特點(diǎn)，以下是對(duì)它的詳細(xì)介紹：
   核心設(shè)計(jì)理念：
   • 高效的混合編碼器：設(shè)計(jì)了一個(gè)高效的混合編碼器（Hybrid Encoder），它通過(guò)解耦尺度內(nèi)特征交互（AIFI）和跨尺度特征融合（CCFM）來(lái)高效處理多尺度特征。這種設(shè)計(jì)能夠在保持較高檢測(cè)精度的同時(shí)，降低模型的計(jì)算復(fù)雜度，提高模型的運(yùn)行速度。
   • IOU感知的查詢選擇：提出了IOU感知的查詢選擇機(jī)制（IOU-Aware Query Selection），用于優(yōu)化解碼器查詢的初始化。該機(jī)制考慮了預(yù)測(cè)框與真實(shí)框之間的IOU信息，使得模型能夠選擇更優(yōu)質(zhì)的查詢，從而提高檢測(cè)的準(zhǔn)確性，尤其是對(duì)于那些分類分?jǐn)?shù)和IOU不一致的情況，該機(jī)制能夠提供更高質(zhì)量的解碼器特征。
   • 靈活的推理速度調(diào)整：支持使用不同的解碼器層來(lái)靈活調(diào)整推理速度，而不需要重新訓(xùn)練。這使得模型可以根據(jù)不同的硬件設(shè)備和應(yīng)用場(chǎng)景，在保證一定檢測(cè)精度的前提下，選擇合適的推理速度，方便了模型的實(shí)際應(yīng)用。
     模型結(jié)構(gòu)：
   • Backbone：采用了經(jīng)典的ResNet和百度自研的HGNet-V2兩種骨干網(wǎng)絡(luò)，并且骨干網(wǎng)絡(luò)是可縮放的，有不同的版本以適應(yīng)不同的需求。與其他DETR類檢測(cè)器使用最后4個(gè)階段輸出不同，RT-DETR為了提速只使用最后3個(gè)階段的輸出。
   • Neck：即上述的混合編碼器，相當(dāng)于DETR中的編碼器，類似于經(jīng)典檢測(cè)模型常用的FPN（Feature Pyramid Network）結(jié)構(gòu)。通過(guò)對(duì)編碼器的改進(jìn)，減少了計(jì)算量的冗余，提高了特征提取的效率。
   • Transformer：名為RT-DETR Transformer，是基于Dino Transformer中的解碼器改動(dòng)而來(lái)，改動(dòng)相對(duì)不大。
   • Head和Loss：與Dino Head基本一樣，整個(gè)模型的頸部（Neck）、Transformer和檢測(cè)頭（Head）構(gòu)成了一個(gè)完整的Transformer結(jié)構(gòu)。
     性能表現(xiàn)：
   • 在速度方面，RT-DETR表現(xiàn)出色，例如RT-DETR-L在COCO val2017數(shù)據(jù)集上能夠達(dá)到114FPS的速度，而RT-DETR-X則能達(dá)到74FPS的速度。
   • 在精度方面，RT-DETR也具有較高的檢測(cè)精度，如RT-DETR-L在COCO val2017上實(shí)現(xiàn)了53.0%的AP（Average Precision），RT-DETR-X實(shí)現(xiàn)了54.8%的AP，在速度和精度的綜合表現(xiàn)上優(yōu)于相同規(guī)模的YOLO檢測(cè)器。

總的來(lái)說(shuō)，RT-DETR是一種創(chuàng)新的目標(biāo)檢測(cè)模型，在實(shí)時(shí)目標(biāo)檢測(cè)任務(wù)中具有很大的優(yōu)勢(shì)，為目標(biāo)檢測(cè)領(lǐng)域提供了一種新的思路和方法。

2.CCTSDB交通標(biāo)志數(shù)據(jù)集介紹

??CCTSDB交通標(biāo)志數(shù)據(jù)集包含警告、指示以及強(qiáng)制三種交通標(biāo)志類別，在數(shù)據(jù)預(yù)處理階段，采取了幾項(xiàng)關(guān)鍵步驟以確保數(shù)據(jù)集的質(zhì)量。首先，所有圖像都經(jīng)過(guò)了自動(dòng)方向校正。接著，所有圖像都被統(tǒng)一調(diào)整至640x640像素，通過(guò)拉伸的方式來(lái)適配這一分辨率。

3.界面效果演示

3.0 項(xiàng)目獲取

3.1 圖像測(cè)試

3.2 視頻測(cè)試

3.3 攝像頭測(cè)試

4. RT-DETR 原理

4.1.RT-DETR整體網(wǎng)絡(luò)結(jié)構(gòu)

4.2. backbone模塊

backbone之一是對(duì)ResNet的魔改，命名為presnet，其主要修改包含兩個(gè)方向:

• 第一，把開(kāi)始階段的7x7卷積改為三組3x3卷積，通過(guò)調(diào)整步長(zhǎng)使得輸出shape與原來(lái)的7x7保持一致，這樣可以更好地提取特征。
• 第二，把resnetblock中1x1，步長(zhǎng)為2的池化模塊替換為步長(zhǎng)為2的全局池化，然后1x1調(diào)整通道數(shù)，這樣做的目的是原來(lái)的下采樣方式會(huì)丟失信息，修改后更多地保留信息。
  

4.3. encode模塊

• encode對(duì)應(yīng)結(jié)構(gòu)圖中efficient hybrid encoder
  
  
• AIFI編碼器TransformerEncoderLayer
  
• CCFM可以認(rèn)為就是個(gè)PAFPN。
  
• Fusion模塊
  

4.4. decode模塊

• decode部分比encode復(fù)雜很多，整合多種detr相關(guān)技術(shù)
  
• 解析get_decoder_input() : IOU-aware+decode輸入，解決類別置信度與位置置信度表現(xiàn)不一樣的問(wèn)題.
  
• decoder模塊模塊來(lái)自Deformable DETR.
  – memory_mask: 哪寫(xiě)memory中的query是pading出來(lái)的.
  – score_head: ModuleList, 對(duì)每個(gè)docoder層輸出進(jìn)行類別預(yù)測(cè)
  – bbox_head: ModuleList, 對(duì)每個(gè)docoder層輸出進(jìn)行坐標(biāo)預(yù)測(cè)
  
• 解析layer層主要模塊Multi-scale Deformable-Attention
  

5 模型訓(xùn)練

模型訓(xùn)練主要分為如下幾步：

5.1 Conda環(huán)境構(gòu)建

??新人安裝Anaconda環(huán)境可以參考博主寫(xiě)的文章Anaconda3與PyCharm安裝配置保姆教程

5.2 基礎(chǔ)環(huán)境構(gòu)建

??新人安裝PyTorch GPU版本可以參考博主寫(xiě)的文章基于conda的PyTorch深度學(xué)習(xí)框架GPU安裝教程

5.3 安裝RT-DETR環(huán)境

conda create -n RT-DETR python=3.8
conda activate RT-DETR

5.4 構(gòu)建CCTSDB交通標(biāo)志檢測(cè)模型

??CCTSDB交通標(biāo)志檢測(cè)系統(tǒng)，分別為

{0: '警告', 1:'指示', 2:'禁止'  }

??CCTSDB交通標(biāo)志數(shù)據(jù)集訓(xùn)練集一共15,887左右，驗(yàn)證集4,641張，標(biāo)注格式采用yolo格式組織

	imagestrainimage1.jpgimage2.jpg...valimage11.jpgimage22.jpg...labelstrainimage1.txtimage2.txt...valimage11.txtimage22.txt...

??我們開(kāi)啟訓(xùn)練之旅的第一步是導(dǎo)入一系列不可或缺的模塊，其中涵蓋了 os 模塊，它猶如一把萬(wàn)能鑰匙，為我們處理各種文件路徑相關(guān)的操作提供了便利；torch 模塊恰似一臺(tái)強(qiáng)大的引擎，助力我們高效地執(zhí)行各類數(shù)值計(jì)算任務(wù)；yaml 模塊則如同一位精準(zhǔn)的翻譯官，能夠幫助我們輕松解析配置文件中的各種信息；還有專門(mén)的 RTDETR類，它是我們構(gòu)建模型的關(guān)鍵基石，為實(shí)例化模型奠定了基礎(chǔ)。
??緊接著，我們著手確定訓(xùn)練過(guò)程所依托的計(jì)算設(shè)備。在這個(gè)環(huán)節(jié)中，我們秉持優(yōu)先選擇的策略，將目光聚焦于 GPU（cuda:0），因?yàn)樗邆鋸?qiáng)大的并行計(jì)算能力，能夠極大地加速訓(xùn)練過(guò)程。然而，若 GPU（cuda:0）不可用，我們也做好了充分的應(yīng)對(duì)準(zhǔn)備，即退而求其次，選擇使用 CPU 來(lái)繼續(xù)我們的訓(xùn)練任務(wù)。盡管 CPU 的計(jì)算速度相對(duì)較慢，但它依然能夠確保訓(xùn)練工作的順利進(jìn)行，為我們的研究提供持續(xù)的支持。

import os
import torch
import yaml
from models import RTDETR# 導(dǎo)入RTDETR模型
device = "cuda:0" if torch.cuda.is_available() else "cpu"

??接下來(lái)，我們對(duì)一些基本的訓(xùn)練參數(shù)進(jìn)行了設(shè)定，其中包括工作進(jìn)程數(shù)以及批次大小。隨后，明確了數(shù)據(jù)集的名稱與路徑，并且借助 abs_path 函數(shù)獲取到了配置文件的絕對(duì)路徑。這樣做能夠保證在不同的運(yùn)行環(huán)境下路徑具有一致性，同時(shí)也提升了代碼的可移植性。

workers = 1
batch = 8data_name = "cctsdb"
data_path = abs_path(f'datasets/{data_name}/{data_name}.yaml', path_type='current')  # 數(shù)據(jù)集的yaml的絕對(duì)路徑
unix_style_path = data_path.replace(os.sep, '/')# 獲取目錄路徑
directory_path = os.path.dirname(unix_style_path)')

??在加載數(shù)據(jù)配置文件之前，必須先讀取并解析 YAML 格式的配置文件。這一環(huán)節(jié)極為重要，原因在于該配置文件中涵蓋了訓(xùn)練過(guò)程所需的關(guān)鍵信息，例如類別標(biāo)簽以及數(shù)據(jù)集路徑等等。我們對(duì)配置文件中的“path”鍵值進(jìn)行修改，以此確保模型能夠準(zhǔn)確無(wú)誤地找到訓(xùn)練和驗(yàn)證數(shù)據(jù)。

# 讀取YAML文件，保持原有順序
with open(data_path, 'r') as file:data = yaml.load(file, Loader=yaml.FullLoader)
# 修改path項(xiàng)
if 'path' in data:data['path'] = directory_path# 將修改后的數(shù)據(jù)寫(xiě)回YAML文件with open(data_path, 'w') as file:yaml.safe_dump(data, file, sort_keys=False)

??接著，我們加載了預(yù)先訓(xùn)練好的 RT-DETR 模型，進(jìn)而開(kāi)啟了訓(xùn)練進(jìn)程。RTDETR類的 train 方法接納了眾多參數(shù)，其中有數(shù)據(jù)路徑、設(shè)備、工作進(jìn)程數(shù)、輸入圖像的尺寸、訓(xùn)練周期以及批次大小。在此處，name參數(shù)為訓(xùn)練任務(wù)賦予了標(biāo)識(shí)，便于后續(xù)進(jìn)行追蹤與分析。

model = RTDETR(abs_path('./weights/pre.pt'), task='detect')  # 加載預(yù)訓(xùn)練的RT-DETR模型
results = model.train(  # 開(kāi)始訓(xùn)練模型data=data_path,  # 指定訓(xùn)練數(shù)據(jù)的配置文件路徑workers=0,  imgsz=640,  # 指定輸入圖像的大小為640x640epochs=100,  # 指定訓(xùn)練100個(gè)epochbatch=batch,  # 指定每個(gè)批次的大小為8name='train_rtdetr_' + data_name  # 指定訓(xùn)練任務(wù)的名稱
)

??訓(xùn)練50個(gè)epoch輸出如下

??在性能指標(biāo)這一方面，metrics/precision、metrics/recall、metrics/mAP50 以及 metrics/mAP50 - 95 的圖表展現(xiàn)出了模型性能的穩(wěn)步上升。準(zhǔn)確率（Precision）與召回率（Recall）隨著訓(xùn)練周期的增加而不斷增長(zhǎng)，這就意味著模型在識(shí)別正樣本方面變得更為精確，同時(shí)也能夠回收更多的正樣本。mAP（mean Average Precision）屬于目標(biāo)檢測(cè)中極為重要的評(píng)估指標(biāo)之一，metrics/mAP50 和 metrics/mAP50 - 95 的提升表明模型針對(duì)不同 IoU 閾值的檢測(cè)性能均在提高。mAP50 是指在 IoU 為 0.5 時(shí)的平均精度，而 mAP50 - 95 則表示在 IoU 從 0.5 到 0.95 不同閾值下的平均精度，它能夠更為全面地反映出模型在各種重疊度下的表現(xiàn)。觀察到這些指標(biāo)的穩(wěn)步提升，便可以說(shuō)明模型在整個(gè)訓(xùn)練過(guò)程中的表現(xiàn)是在持續(xù)優(yōu)化的。

??在機(jī)器學(xué)習(xí)領(lǐng)域當(dāng)中，F1 分?jǐn)?shù)是一個(gè)極為關(guān)鍵的性能指標(biāo)，它對(duì)模型的準(zhǔn)確率和召回率進(jìn)行了綜合考慮，為我們提供了有關(guān)模型分類性能的全面視角。這個(gè)指標(biāo)尤其適用于正負(fù)樣本分布不平衡的情況，能夠助力我們理解模型在檢測(cè)難以區(qū)分的類別時(shí)的具體表現(xiàn)。

6 系統(tǒng)實(shí)現(xiàn)

6.1架構(gòu)設(shè)計(jì)

?? MainWindow 類的核心目標(biāo)是打造一個(gè)用戶友好的交互式中國(guó)CCTSDB交通標(biāo)志檢測(cè)系統(tǒng)。為了達(dá)成這一目標(biāo)，采用了將界面、媒體處理與模型進(jìn)行集成的設(shè)計(jì)理念。通過(guò)對(duì)象組合的手段，把不同的處理器和模型整合在一起，使得每個(gè)功能模塊都可以獨(dú)立運(yùn)作。與此同時(shí)，還運(yùn)用信號(hào)和槽機(jī)制來(lái)實(shí)現(xiàn)模塊之間的交互以及數(shù)據(jù)的傳遞。
?? 我們的系統(tǒng)設(shè)計(jì)理念以三層架構(gòu)作為核心，分別是處理層、界面層以及控制層。在系統(tǒng)設(shè)計(jì)過(guò)程中，我們將重點(diǎn)置于確保各個(gè)組件能夠協(xié)同運(yùn)作的同時(shí)，保持充分的模塊獨(dú)立性，以便于未來(lái)進(jìn)行維護(hù)和升級(jí)。

?? 處理層（Processing Layer）：通過(guò)運(yùn)用模塊化的處理層，我們對(duì) RT-DETRDetector 類所實(shí)現(xiàn)的深度學(xué)習(xí)模型予以封裝。如此一來(lái)，圖像處理與目標(biāo)檢測(cè)的復(fù)雜性對(duì)于其他系統(tǒng)組件而言是不可見(jiàn)的。這種封裝不但提升了系統(tǒng)的可靠性，還使得未來(lái)替換或升級(jí)模型變得更為容易。

?? 界面層（UI Layer）：在界面層方面，我們借助 PyQt5 庫(kù)構(gòu)建出一套完整的用戶界面，提供了直觀的操作按鈕、狀態(tài)標(biāo)簽以及實(shí)時(shí)的圖像顯示。該界面不但能夠?qū)τ脩舻牟僮髯龀鲰憫?yīng)，還能實(shí)時(shí)反饋模型的檢測(cè)結(jié)果，進(jìn)而提高用戶的操作便利性與系統(tǒng)的交互性。界面的設(shè)計(jì)目標(biāo)在于降低用戶的學(xué)習(xí)曲線，即便是沒(méi)有技術(shù)背景的用戶也能夠輕松掌握。

?? 控制層（Control Layer）：控制層是連接用戶界面與后端處理模塊的橋梁。在這一層中，MainWindow 類肩負(fù)著響應(yīng)用戶交互、控制視頻流處理以及展示模型預(yù)測(cè)結(jié)果的重任。通過(guò)信號(hào)和槽機(jī)制，我們能夠?qū)⒂脩舻牟僮鬓D(zhuǎn)化為系統(tǒng)的響應(yīng)，例如啟動(dòng)和停止視頻流、調(diào)整檢測(cè)設(shè)置等。這樣的設(shè)計(jì)不僅提高了系統(tǒng)反應(yīng)的及時(shí)性，還增強(qiáng)了用戶的控制感。

6.2 系統(tǒng)流程

??當(dāng)用戶啟動(dòng)我們的應(yīng)用程序時(shí)，系統(tǒng)會(huì)首先對(duì) MainWindow 類進(jìn)行實(shí)例化。該類不但負(fù)責(zé)初始化用戶界面，設(shè)定窗口大小以及展示區(qū)域，還會(huì)準(zhǔn)備好后續(xù)處理所需的各類參數(shù)。用戶界面作為與系統(tǒng)交互的重要橋梁，為用戶提供了選擇視頻輸入源的機(jī)會(huì)。輸入源的靈活性可謂此系統(tǒng)的一大亮點(diǎn)，用戶能夠選擇實(shí)時(shí)視頻流、預(yù)錄視頻文件或者單張圖片作為檢測(cè)的媒介。

??一旦輸入源被用戶選定，系統(tǒng)就會(huì)開(kāi)始調(diào)用內(nèi)置的媒體處理器來(lái)進(jìn)行數(shù)據(jù)的讀取與處理。這個(gè)過(guò)程涵蓋了攝像頭的實(shí)時(shí)捕獲設(shè)置、視頻文件的解碼讀取以及圖像數(shù)據(jù)的加載至內(nèi)存等環(huán)節(jié)。這些環(huán)節(jié)均是自動(dòng)進(jìn)行的，無(wú)需用戶進(jìn)行手動(dòng)配置，充分彰顯了智能化的設(shè)計(jì)理念。

??接下來(lái)，系統(tǒng)將進(jìn)入連續(xù)的處理循環(huán)，持續(xù)對(duì)實(shí)時(shí)獲取的幀數(shù)據(jù)進(jìn)行分析。在預(yù)處理階段，系統(tǒng)會(huì)通過(guò)一系列的圖像處理技術(shù)，例如縮放、色彩轉(zhuǎn)換等，讓每幀圖像符合 RT-DETR 模型的輸入標(biāo)準(zhǔn)。這一步驟對(duì)于提升模型的識(shí)別效率與準(zhǔn)確度起著至關(guān)重要的作用。

??緊接著，經(jīng)過(guò)預(yù)處理的圖像會(huì)被送入經(jīng)過(guò)訓(xùn)練的 RT-DETR 模型進(jìn)行實(shí)時(shí)檢測(cè)。模型能夠快速地在圖像中定位中國(guó)CCTSDB交通標(biāo)志，并對(duì)它們進(jìn)行分類，其結(jié)果將用于后續(xù)的界面更新。我們的系統(tǒng)設(shè)計(jì)允許在用戶界面上實(shí)時(shí)顯示檢測(cè)框，標(biāo)注目標(biāo)類別，并在界面上實(shí)時(shí)展示檢測(cè)的統(tǒng)計(jì)數(shù)據(jù)。這種即時(shí)的反饋為用戶提供了清晰的視覺(jué)指引，有助于他們了解當(dāng)前環(huán)境的安全狀況。

6.3 代碼實(shí)現(xiàn)

??在現(xiàn)代計(jì)算機(jī)視覺(jué)領(lǐng)域中，把深度學(xué)習(xí)模型應(yīng)用于實(shí)時(shí)圖像處理任務(wù)已然成為一項(xiàng)關(guān)鍵技術(shù)。在本博客里，我們會(huì)詳細(xì)闡述如何運(yùn)用 RT-DETR 算法，并結(jié)合 PyQt5 來(lái)創(chuàng)建一個(gè)實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)。這個(gè)系統(tǒng)能夠在視頻流中識(shí)別并標(biāo)注特定對(duì)象，比如 CCTSDB交通標(biāo)志檢測(cè)。

（1）引入必要的庫(kù)：

??首先，系統(tǒng)的構(gòu)建從導(dǎo)入必要的 Python 模塊開(kāi)始。sys 模塊是 Python 內(nèi)置的模塊，它提供了諸多與 Python 解釋器緊密相關(guān)的功能。例如，sys.argv 可用于獲取命令行參數(shù)，這在啟動(dòng)應(yīng)用程序時(shí)非常重要。time 模塊允許我們獲取當(dāng)前時(shí)間，這對(duì)于性能評(píng)估以及監(jiān)控推理時(shí)間起著至關(guān)重要的作用。OpenCV 庫(kù)（cv2）是圖像處理的核心，它提供了一系列強(qiáng)大的功能來(lái)捕捉和處理圖像數(shù)據(jù)。

import cv2
import numpy as np
from PyQt5.QtCore import QTimer, Qt, pyqtSignal, QThread
from PyQt5.QtGui import QImage, QPixmap, QPalette
from PyQt5.QtWidgets import QMainWindow, QFileDialog, QDesktopWidgetfrom ui_mainwindow import Ui_MainWindow
from utils import image_read_from_chinese_pathfrom models import RTDETR

（2）設(shè)置主窗口：

??構(gòu)建用戶界面（UI）是實(shí)現(xiàn)系統(tǒng)的關(guān)鍵一步。我們借助 PyQt5 庫(kù)構(gòu)建了圖形用戶界面。QMainWindow 作為我們窗口的基類，為展示處理后的圖像提供了一個(gè)畫(huà)布。

class MyMainWindow(QMainWindow):def __init__(self, parent=None):# 調(diào)用父類構(gòu)造函數(shù)，創(chuàng)建窗體super().__init__(parent)# 創(chuàng)建UI對(duì)象self.ui = Ui_MainWindow()# 構(gòu)造UI界面self.ui.setupUi(self)self.set_centre()self.image_file_path = None

（3）初始化模型

self.model = RTDETR('./weights/best.pt')     

（4）界面信號(hào)槽綁定

self.ui.comboBox_source.currentIndexChanged.connect(self.comboBox_source_slot)self.ui.toolButton_fileOpen.clicked.connect(self.toolButton_fileOpen_slot)
self.ui.pushButton_infer.clicked.connect(self.pushButton_infer_slot)
self.ui.pushButton_infer_stop.clicked.connect(self.pushButton_infer_stop_slot)
self.ui.doubleSpinBox_conf.valueChanged.connect(self.doubleSpinBox_conf_slot)
self.ui.horizontalSlider_conf.valueChanged.connect(self.horizontalSlider_conf_slot)self.ui.doubleSpinBox_iou.valueChanged.connect(self.doubleSpinBox_iou_slot)
self.ui.horizontalSlider_iou.valueChanged.connect(self.horizontalSlider_iou_slot)

（5）圖像顯示

@staticmethod
def show_image(img_src, label):try:# img_src = cv2.resize(img_src, None, fx=0.5, fy=0.5)ih, iw, _ = img_src.shapew = label.geometry().width()h = label.geometry().height()# 保持縱橫比# 找出長(zhǎng)邊if iw > ih:scal = w / iwnw = wnh = int(scal * ih)img_src_ = cv2.resize(img_src, (nw, nh))else:scal = h / ihnw = int(scal * iw)nh = himg_src_ = cv2.resize(img_src, (nw, nh))frame = cv2.cvtColor(img_src_, cv2.COLOR_BGR2RGB)img = QImage(frame.data, frame.shape[1], frame.shape[0], frame.shape[2] * frame.shape[1],QImage.Format_RGB888)label.setPixmap(QPixmap.fromImage(img))except Exception as e:print(repr(e))

安裝與資源說(shuō)明

離線安裝配置文件說(shuō)明

總結(jié)與展望

??在本博客當(dāng)中，我們對(duì)一個(gè)基于 RT-DETR 模型的實(shí)時(shí)CCTSDB交通標(biāo)志檢測(cè)系統(tǒng)進(jìn)行了詳細(xì)的介紹。該系統(tǒng)采用模塊化的設(shè)計(jì)方式，充分運(yùn)用了合理的架構(gòu)設(shè)計(jì)，從而具備良好的可維護(hù)性與可擴(kuò)展性。它的用戶界面十分友好，能夠?qū)崟r(shí)展示CCTSDB交通標(biāo)志檢測(cè)和識(shí)別的結(jié)果。

??此系統(tǒng)支持?jǐn)z像頭、視頻、圖像以及批量文件等多種輸入源，能夠滿足用戶在不同場(chǎng)景下的需求。后續(xù)可以添加更多的預(yù)訓(xùn)練模型，以增加檢測(cè)和識(shí)別的種類；對(duì)用戶界面進(jìn)行優(yōu)化，增強(qiáng)個(gè)性化設(shè)置；并且積極傾聽(tīng)用戶反饋，期望不斷改進(jìn)系統(tǒng)，從而更好地滿足用戶的需求。

結(jié)束語(yǔ)

?? 由于博主能力有限，博文中提及的方法即使經(jīng)過(guò)試驗(yàn)，也難免會(huì)有疏漏之處。希望您能熱心指出其中的錯(cuò)誤，以便下次修改時(shí)能以一個(gè)更完美更嚴(yán)謹(jǐn)?shù)臉幼?#xff0c;呈現(xiàn)在大家面前。同時(shí)如果有更好的實(shí)現(xiàn)方法也請(qǐng)您不吝賜教。