網(wǎng)站建設(shè)和推廣大概需要多少費(fèi)用福州seo代理計(jì)費(fèi)
摘要:低亮度場(chǎng)景檢測(cè)是一個(gè)小眾且重要的方向,首先在于數(shù)據(jù)集和過(guò)往的研究都集中在光照充足的環(huán)境下,其次如果使用傳統(tǒng)的訓(xùn)練方法的話由于訓(xùn)練難度大,模型效果也不會(huì)很好,有幸的是,現(xiàn)在關(guān)于低亮度的研究已經(jīng)提上日程,且有了一些進(jìn)展,通過(guò)收集和標(biāo)注低光照?qǐng)鼍跋碌臄?shù)據(jù)集,和相關(guān)檢測(cè)方法的研究,有了長(zhǎng)足的進(jìn)步。本文提出一個(gè)Boosting Object Detection with Zero-Shot Day-Night Domain Adaptation,作用是將dectors從高亮度場(chǎng)景擴(kuò)展到低亮度場(chǎng)景,而不需要低亮度場(chǎng)景的數(shù)據(jù)。首先創(chuàng)建一個(gè)反射表示學(xué)習(xí)模型,學(xué)習(xí)圖像中的照明不變性,并采用精心設(shè)計(jì)的照明不變性強(qiáng)化策略。同時(shí)引入互換-重分解-一致性過(guò)程,通過(guò)進(jìn)行兩次序列圖像分解并引入重分解一致性損失,改進(jìn)了傳統(tǒng)的Retinex圖像分解過(guò)程。
照明不變性使之物體在不同光照條件下仍然能保持良好的檢測(cè)性能。照明不變性強(qiáng)化策略是為了加強(qiáng)學(xué)習(xí)過(guò)程,設(shè)計(jì)一種照明不變性強(qiáng)化策略,包含設(shè)定特定的損失函數(shù),使模型在訓(xùn)練的時(shí)候更加關(guān)注學(xué)習(xí)如何在不同光照條件下保持一致的特征表示。
互換-重分解-一致性過(guò)程:互換-重分解涉及對(duì)圖像的兩次分解,以提取更準(zhǔn)確的反射成分,第一次分解采用傳統(tǒng)的方法,第二次分解是基于第一次分解的基礎(chǔ)上進(jìn)行的。引入了重分解一致性損失,用于確保在兩次分解中提取到的反射成分之間保持一致性,這意味著,模型在進(jìn)行重分解的時(shí)候,應(yīng)該盡量保持之前分解結(jié)果的特征不變,從而提高分解的穩(wěn)定性和準(zhǔn)確性。
研究進(jìn)展:郭某提出的zeroDCE是一種無(wú)參考圖像的圖像特定光增強(qiáng)曲線估計(jì)方法,(該方法不需要與其他圖像進(jìn)行比較,而是根據(jù)圖像本身來(lái)進(jìn)行增強(qiáng)),顯然是一種圖像增強(qiáng)策略。
理論支持:圖像可分解為反射率和照明兩個(gè)部分,可以通過(guò)這兩個(gè)成分的逐元素乘法來(lái)重建圖像。(有的使用反射率作為增強(qiáng)后的圖像,有的調(diào)整照明亮度)。有的研究是進(jìn)行反射率和照明圖的分解,從而實(shí)現(xiàn)光增強(qiáng)和去噪。有的利用混合雙層搜索策略找到所需要的網(wǎng)絡(luò)結(jié)構(gòu)。有人通過(guò)Transformer結(jié)構(gòu)同時(shí)建模反射率和照明過(guò)程中的干擾。
低光照檢測(cè)的不同方法和策略:1,通過(guò)增強(qiáng)進(jìn)行檢測(cè):首先利用低光照增強(qiáng)技術(shù)生成明亮的圖像,然后再進(jìn)行物體檢測(cè),通過(guò)增強(qiáng)圖像的亮度和對(duì)比度,使得物體檢測(cè)算法能夠在增強(qiáng)后的圖像上進(jìn)行更加有效的檢測(cè)。
2,...怎么感覺(jué)沒(méi)啥區(qū)別啊(增強(qiáng),用于檢測(cè)):側(cè)重于圖像恢復(fù)訓(xùn)練流程來(lái)提高物體的檢測(cè)性能,在訓(xùn)練階段,增強(qiáng)技術(shù)用于改善圖片的質(zhì)量(感覺(jué)和1沒(méi)啥區(qū)別)。
3,低光照檢測(cè)學(xué)習(xí)策略:專注于開(kāi)發(fā)新的學(xué)習(xí)策略(也就是訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)),具體策略包括:
- 多模型合并:(可以參考,畢竟提升精度之后就是講故事了),通過(guò)結(jié)合多個(gè)模型輸出來(lái)提高檢測(cè)性能。
- 多任務(wù)自編碼轉(zhuǎn)化:(有點(diǎn)難懂):同時(shí)進(jìn)行多個(gè)任務(wù)的學(xué)習(xí),提高模型的泛化能力。
- 無(wú)監(jiān)督領(lǐng)域適應(yīng)框架:在沒(méi)有標(biāo)注數(shù)據(jù)的情況下,適應(yīng)不同的領(lǐng)域(從白天到夜晚的轉(zhuǎn)化)。
?嘻嘻,可以用來(lái)做研究的數(shù)據(jù)集。
又著重強(qiáng)調(diào)了一下自己的特點(diǎn),在沒(méi)有真實(shí)的低光照數(shù)據(jù)支持的情況下,從光照良好的數(shù)據(jù)中學(xué)習(xí),訓(xùn)練出來(lái)的檢測(cè)器能夠在低光照條件下進(jìn)行有效的物體檢測(cè)。
DA是領(lǐng)域適應(yīng),DG是領(lǐng)域泛化。背景是很多感知任務(wù)在黑暗場(chǎng)景下的研究主要集中在領(lǐng)域轉(zhuǎn)義學(xué)習(xí)上,就是將模型從一個(gè)領(lǐng)域(在本文所涉及的領(lǐng)域上是光照良好的領(lǐng)域)遷移到另一個(gè)領(lǐng)域(低光照領(lǐng)域)。
DA的嘗試是:合成低光照?qǐng)D像來(lái)擴(kuò)展自己的訓(xùn)練集,通過(guò)自監(jiān)督學(xué)習(xí)對(duì)齊良好光照和低光照的分布。將兩個(gè)領(lǐng)域中學(xué)習(xí)到的組件進(jìn)行合并。
DG是指在不知道目標(biāo)領(lǐng)域的情況下對(duì)未見(jiàn)過(guò)的領(lǐng)域進(jìn)行泛化。旨在為廣泛的目標(biāo)領(lǐng)域提供通用的解決方案,而不是針對(duì)某一個(gè)領(lǐng)域。
Zero-Shot Day-Night Domain Adaptation, ZSDA,作者提出的屬于DA范疇。真實(shí)低光照數(shù)據(jù)不可獲取,但是目標(biāo)領(lǐng)域已知為低光照?qǐng)鼍啊?/strong>
論文中提到,直接使用低光照數(shù)據(jù)進(jìn)行訓(xùn)練,效果要比使用高光照數(shù)據(jù)要差得多首先通過(guò)將輸入圖片經(jīng)過(guò)處理后得到的低亮度圖像與原圖像一起輸入,經(jīng)過(guò)DAI-NET層之后(是在一個(gè)已經(jīng)建立的物體檢測(cè)器的基礎(chǔ)上構(gòu)建的,增加了一個(gè)用于反射表示學(xué)習(xí)的解碼器),也就是
得到計(jì)算損失,同時(shí)將原圖像在互換-重分解-一致性過(guò)程中的損失考慮在內(nèi),進(jìn)一步加強(qiáng)了發(fā)射表示的學(xué)習(xí)。
基于啥啥啥理論,原始圖像先分解為光照和反射率表示。理論假設(shè)可見(jiàn)度是基于光照而不是反射率。在不同的光照條件下,物體的顏色和紋理不會(huì)改變,但是由于照明的變化,圖像的整體亮度和對(duì)比度可能有所不同。在ZSDA背景下,反射率被視作照明不變的對(duì)應(yīng)物,獲取反射率只是對(duì)實(shí)現(xiàn)照明不變的檢測(cè)器至關(guān)重要。照明不變檢測(cè)器:通過(guò)學(xué)習(xí)和利用反射率,檢測(cè)器能夠在不同的光照條件下保持一致的性能。
上圖是將原始圖片分解為L(zhǎng)和R的過(guò)程。
下面就是網(wǎng)絡(luò)結(jié)構(gòu):認(rèn)為圖像分割是一種低級(jí)視覺(jué)任務(wù),主要從圖像中獲取基本信息,為了實(shí)現(xiàn)這一目標(biāo),作者將檢測(cè)器的骨干網(wǎng)絡(luò)在第二個(gè)卷積層出進(jìn)行了分割,分割的前部稱之為gf,后部稱之為gb。gf的輸出也就是F,編碼了由淺層提取的低級(jí)信息,適用于解碼發(fā)射率,gf之后分支出反射率解碼器,是一個(gè)輕量級(jí)的模塊,由兩個(gè)ReLU激活函數(shù)組成。(檢測(cè)頭和發(fā)射解碼器共享gf)。
為了更好的監(jiān)督反射率解碼器,作者利用了一個(gè)預(yù)訓(xùn)練分解網(wǎng)絡(luò)來(lái)生成反射率和照明的真實(shí)數(shù)據(jù)。
不同光照強(qiáng)度下的圖像會(huì)導(dǎo)致不同的特征分布。但是圖片本身具有相同的語(yǔ)義信息,不會(huì)隨著光照強(qiáng)度的改變而改變。要求保證特征對(duì)齊,也就是從gf輸出的特征F要保持相似。
Lmfa?:為了保持特征的對(duì)齊,設(shè)置了特征損失對(duì)齊函數(shù),
KL(?∣∣?)?表示 Kullback-Leibler 散度(KL Divergence),用于衡量?jī)蓚€(gè)概率分布之間的差異。
Fn表示從光照良好的圖像中提取的特征圖,Fl表示從低光照的圖像中提取到的特征圖。(是從gf提取,經(jīng)過(guò)展平和空間平均之后得到的)。最小化Lmfa,模型可以促進(jìn)良好的光照和低光照之間的特征提取,這個(gè)特征(代表語(yǔ)音信息)理應(yīng)是相同的。有助于模型在不同光照條件下保持一致性。
別急,還有更加強(qiáng)大的圖像分解工具:
首先還是基于那啥啥理論,將光照不良的圖像分解為左邊兩個(gè)光照和反射率圖像,將光照良好的圖像分解為右側(cè)的光照和反射率圖像。理想情況下,L1和Ln應(yīng)該是相同的,并且可以互換,以便在結(jié)合相應(yīng)的照明圖時(shí)進(jìn)行重構(gòu)。
懲罰是互換反射率重建圖像,一旦偏離原始輸入,就產(chǎn)生懲罰,(這叫做基于懲罰的約束)。
總損失如下:
上式中,Ldecom表示的是圖像分解損失,是對(duì)輸入圖像的重建,反射率不變性以及光照平滑性進(jìn)行綜合評(píng)估。式子中MSE表示亮反射率和暗反射率之間的差異,SSIM是結(jié)構(gòu)相似系數(shù)。
小的損失沒(méi)有細(xì)講。
訓(xùn)練上通過(guò)調(diào)整參數(shù)來(lái)對(duì)應(yīng)不同的數(shù)據(jù)集。
作者提出了他們的不足,合成的低光圖像(也就是Dark ISP)合成的圖像在訓(xùn)練效果上是落后于真實(shí)的低光圖像的,這點(diǎn)有改進(jìn)的空間。
論文寫(xiě)作tip:通過(guò)與自己的對(duì)比實(shí)驗(yàn),本文中使用輔助分支以及同時(shí)解碼光照和反射率的方法效果都不如對(duì)反射率單獨(dú)解碼,證明單獨(dú)解碼發(fā)射率的方法更有效。