如何為網(wǎng)站做優(yōu)化培訓(xùn)機(jī)構(gòu)招生方案
yolo,暗光目標(biāo)檢測(cè)
論文:PE-YOLO
1. 簡(jiǎn)介
卷積神經(jīng)網(wǎng)絡(luò)(CNNs)在近年來(lái)如何推動(dòng)了物體檢測(cè)的發(fā)展。許多檢測(cè)器已經(jīng)被提出,而且在許多基準(zhǔn)數(shù)據(jù)集上的性能正在不斷提高。然而,大多數(shù)現(xiàn)有的檢測(cè)器都是在正常條件下對(duì)高質(zhì)量圖像進(jìn)行研究。在真實(shí)環(huán)境中,經(jīng)常會(huì)出現(xiàn)許多糟糕的光照條件,如夜晚、暗光和曝光過(guò)度,這些條件會(huì)降低圖像的質(zhì)量,影響檢測(cè)器的性能。
前人的解決方案:…略
本文采用了金字塔增強(qiáng)網(wǎng)絡(luò)(PENet)和YOLOv3。首先,PENet使用拉普拉斯金字塔將圖像分解為四個(gè)不同分辨率的組件。然后,我們提出了一個(gè)細(xì)節(jié)處理模塊(DPM)來(lái)增強(qiáng)圖像的細(xì)節(jié),該模塊由上下文分支和邊緣分支組成。此外,我們還提出了一個(gè)低頻增強(qiáng)濾波器(LEF)來(lái)捕獲低頻語(yǔ)義并防止高頻噪聲。PE-YOLO采用端到端的聯(lián)合訓(xùn)練方法,并且只使用正常的檢測(cè)損失來(lái)簡(jiǎn)化訓(xùn)練過(guò)程。我們?cè)诘凸庹瘴矬w檢測(cè)數(shù)據(jù)集ExDark上進(jìn)行了實(shí)驗(yàn),結(jié)果表明,與其他暗物體檢測(cè)器和低光照增強(qiáng)模型相比,PE-YOLO取得了先進(jìn)的結(jié)果,在mAP上達(dá)到78.0%,在FPS上達(dá)到53.6%,可以適應(yīng)不同的低光照條件下的物體檢測(cè)。
2. 相關(guān)工作
2.1 目標(biāo)檢測(cè)
略
2.2 低照?qǐng)D像增強(qiáng)
低光照增強(qiáng)任務(wù)的目標(biāo)是通過(guò)恢復(fù)圖像細(xì)節(jié)和糾正色彩失真來(lái)提高人類的視覺(jué)感知,并為如物體檢測(cè)等高級(jí)視覺(jué)任務(wù)提供高質(zhì)量的圖像。張等人提出了一種名為Kind的模型,它可以通過(guò)不同照度的配對(duì)圖像進(jìn)行訓(xùn)練,無(wú)需地面真實(shí)值。郭等人提出了Zero DCE,它將低光照增強(qiáng)任務(wù)轉(zhuǎn)化為特定圖像的曲線估計(jì)問(wèn)題。呂等人提出了一種多分支低光照增強(qiáng)網(wǎng)絡(luò)(MBLLEN),該網(wǎng)絡(luò)在不同級(jí)別提取特征并通過(guò)多分支融合生成輸出圖像。崔等人提出了一種名為Illumination Adaptive Transformer (IAT)的模型,通過(guò)動(dòng)態(tài)查詢學(xué)習(xí)來(lái)構(gòu)建端到端的Transformer。在低光照增強(qiáng)模型恢復(fù)圖像細(xì)節(jié)后,檢測(cè)器的效果得到了改善。然而,大多數(shù)低光照增強(qiáng)模型都很復(fù)雜,并且對(duì)檢測(cè)器的實(shí)時(shí)性能有很大影響。
2.3 惡劣條件下的目標(biāo)檢測(cè)
IA-YOLO,該模型通過(guò)自適應(yīng)增強(qiáng)每個(gè)圖像來(lái)提高檢測(cè)性能。他們提出了一個(gè)可微分的圖像處理(DIP)模塊,用于處理惡劣天氣,并使用了一個(gè)小型的卷積神經(jīng)網(wǎng)絡(luò)(CNN-PP)來(lái)調(diào)整DIP的參數(shù)。在IA-YOLO的基礎(chǔ)上,Kalwar等人提出了GDIP-YOLO。GDIP提出了一個(gè)門控機(jī)制,允許多個(gè)DIP并行操作。秦等人提出了檢測(cè)驅(qū)動(dòng)增強(qiáng)網(wǎng)絡(luò)(DENet),用于在惡劣天氣條件下進(jìn)行物體檢測(cè)。崔等人提出了一種用于暗物體檢測(cè)的多任務(wù)自動(dòng)編碼變換(MAET),探索了照明轉(zhuǎn)換背后的潛在空間。
3. 網(wǎng)絡(luò)
首先,我們使用高斯金字塔將圖像I分解為不同分辨率的子圖像。然后,我們提出了一個(gè)細(xì)節(jié)處理模塊(DPM)和一個(gè)低頻增強(qiáng)濾波器(LEF)來(lái)增強(qiáng)每個(gè)尺度的組件。在拉普拉斯金字塔中,每一層都是通過(guò)減去上一層的高斯金字塔后上采樣得到的。當(dāng)重構(gòu)圖像時(shí),我們只需要執(zhí)行(2)的逆操作即可恢復(fù)原始的高分辨率圖像。這種方法允許我們?cè)诒3謭D像質(zhì)量的同時(shí),降低圖像的復(fù)雜性和計(jì)算需求。
拉普拉斯金字塔在底部時(shí)更關(guān)注細(xì)節(jié)信息,而高層時(shí)更關(guān)注全局信息。所以提出了細(xì)節(jié)增強(qiáng)模塊和低頻增強(qiáng)模塊
3.1 細(xì)節(jié)增強(qiáng)模塊
分為上下文模塊和邊緣細(xì)節(jié)模塊
3.2 低頻增強(qiáng)模塊
低頻組件包含了圖像中的大部分語(yǔ)義信息,它們是檢測(cè)器預(yù)測(cè)的關(guān)鍵信息。為了豐富重構(gòu)圖像的語(yǔ)義,我們提出了低頻增強(qiáng)濾波器(LEF)來(lái)捕獲組件中的低頻信息。我們首先通過(guò)卷積層將組件f轉(zhuǎn)換為f。我們使用動(dòng)態(tài)低通濾波器來(lái)捕獲低頻信息,并使用平均池化進(jìn)行特征過(guò)濾,只允許低于截止頻率的信息通過(guò)。不同語(yǔ)義的低頻閾值是不同的??紤]到Inception的多尺度結(jié)構(gòu),我們使用了大小為1×1、2×2、3×3、6×6的自適應(yīng)平均池化
4. 實(shí)驗(yàn)
數(shù)據(jù):ExDark,7363張圖像,10種不同的照度條件
訓(xùn)練:608x608,SGD, Batch=8, 30epoch,12個(gè)類
首先,將PE-YOLO與其他低光照增強(qiáng)模型進(jìn)行了比較。由于低光照增強(qiáng)模型缺乏檢測(cè)能力,他們將使用與PE-YOLO相同的檢測(cè)器對(duì)所有增強(qiáng)后的圖像進(jìn)行實(shí)驗(yàn)。他們將mAP的IoU閾值設(shè)定為0.5,并展示了性能比較結(jié)果。結(jié)果發(fā)現(xiàn),直接在YOLOv3之前使用低光照增強(qiáng)模型并不能顯著提高檢測(cè)性能
2,3,4應(yīng)該都只是圖像增強(qiáng)的方法。
雖然增強(qiáng)了圖像但是檢測(cè)指標(biāo)并不是最好的
和其他暗光檢測(cè)器的對(duì)比
結(jié)果顯示,PE-YOLO在物體檢測(cè)中更為準(zhǔn)確。與DENet和使用LOL數(shù)據(jù)集預(yù)訓(xùn)練的IAT-YOLO相比,PE-YOLO在mAP上分別提高了0.7%和0.2%,并且PE-YOLO在FPS上也幾乎是最高的。這些數(shù)據(jù)表明,PE-YOLO更適合在暗環(huán)境中進(jìn)行物體檢測(cè)。
網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比實(shí)驗(yàn)
2個(gè)增強(qiáng)模塊的有效性