網(wǎng)站建設(shè)和推廣大概需要多少費(fèi)用福州seo代理計(jì)費(fèi)
摘要：低亮度場(chǎng)景檢測(cè)是一個(gè)小眾且重要的方向，首先在于數(shù)據(jù)集和過(guò)往的研究都集中在光照充足的環(huán)境下，其次如果使用傳統(tǒng)的訓(xùn)練方法的話由于訓(xùn)練難度大，模型效果也不會(huì)很好，有幸的是，現(xiàn)在關(guān)于低亮度的研究已經(jīng)提上日程，且有了一些進(jìn)展，通過(guò)收集和標(biāo)注低光照?qǐng)鼍跋碌臄?shù)據(jù)集，和相關(guān)檢測(cè)方法的研究，有了長(zhǎng)足的進(jìn)步。本文提出一個(gè)Boosting Object Detection with Zero-Shot Day-Night Domain Adaptation，作用是將dectors從高亮度場(chǎng)景擴(kuò)展到低亮度場(chǎng)景，而不需要低亮度場(chǎng)景的數(shù)據(jù)。首先創(chuàng)建一個(gè)反射表示學(xué)習(xí)模型，學(xué)習(xí)圖像中的照明不變性，并采用精心設(shè)計(jì)的照明不變性強(qiáng)化策略。同時(shí)引入互換-重分解-一致性過(guò)程，通過(guò)進(jìn)行兩次序列圖像分解并引入重分解一致性損失，改進(jìn)了傳統(tǒng)的Retinex圖像分解過(guò)程。
照明不變性使之物體在不同光照條件下仍然能保持良好的檢測(cè)性能。照明不變性強(qiáng)化策略是為了加強(qiáng)學(xué)習(xí)過(guò)程，設(shè)計(jì)一種照明不變性強(qiáng)化策略，包含設(shè)定特定的損失函數(shù)，使模型在訓(xùn)練的時(shí)候更加關(guān)注學(xué)習(xí)如何在不同光照條件下保持一致的特征表示。
互換-重分解-一致性過(guò)程：互換-重分解涉及對(duì)圖像的兩次分解，以提取更準(zhǔn)確的反射成分，第一次分解采用傳統(tǒng)的方法，第二次分解是基于第一次分解的基礎(chǔ)上進(jìn)行的。引入了重分解一致性損失，用于確保在兩次分解中提取到的反射成分之間保持一致性，這意味著，模型在進(jìn)行重分解的時(shí)候，應(yīng)該盡量保持之前分解結(jié)果的特征不變，從而提高分解的穩(wěn)定性和準(zhǔn)確性。
研究進(jìn)展：郭某提出的zeroDCE是一種無(wú)參考圖像的圖像特定光增強(qiáng)曲線估計(jì)方法，（該方法不需要與其他圖像進(jìn)行比較，而是根據(jù)圖像本身來(lái)進(jìn)行增強(qiáng)），顯然是一種圖像增強(qiáng)策略。
理論支持：圖像可分解為反射率和照明兩個(gè)部分，可以通過(guò)這兩個(gè)成分的逐元素乘法來(lái)重建圖像。（有的使用反射率作為增強(qiáng)后的圖像，有的調(diào)整照明亮度）。有的研究是進(jìn)行反射率和照明圖的分解，從而實(shí)現(xiàn)光增強(qiáng)和去噪。有的利用混合雙層搜索策略找到所需要的網(wǎng)絡(luò)結(jié)構(gòu)。有人通過(guò)Transformer結(jié)構(gòu)同時(shí)建模反射率和照明過(guò)程中的干擾。
低光照檢測(cè)的不同方法和策略：1，通過(guò)增強(qiáng)進(jìn)行檢測(cè)：首先利用低光照增強(qiáng)技術(shù)生成明亮的圖像，然后再進(jìn)行物體檢測(cè)，通過(guò)增強(qiáng)圖像的亮度和對(duì)比度，使得物體檢測(cè)算法能夠在增強(qiáng)后的圖像上進(jìn)行更加有效的檢測(cè)。
2，...怎么感覺(jué)沒(méi)啥區(qū)別啊（增強(qiáng)，用于檢測(cè)）：側(cè)重于圖像恢復(fù)訓(xùn)練流程來(lái)提高物體的檢測(cè)性能，在訓(xùn)練階段，增強(qiáng)技術(shù)用于改善圖片的質(zhì)量（感覺(jué)和1沒(méi)啥區(qū)別）。
3，低光照檢測(cè)學(xué)習(xí)策略：專注于開(kāi)發(fā)新的學(xué)習(xí)策略（也就是訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)），具體策略包括：
- 多模型合并：（可以參考，畢竟提升精度之后就是講故事了），通過(guò)結(jié)合多個(gè)模型輸出來(lái)提高檢測(cè)性能。
- 多任務(wù)自編碼轉(zhuǎn)化：（有點(diǎn)難懂）：同時(shí)進(jìn)行多個(gè)任務(wù)的學(xué)習(xí)，提高模型的泛化能力。
- 無(wú)監(jiān)督領(lǐng)域適應(yīng)框架：在沒(méi)有標(biāo)注數(shù)據(jù)的情況下，適應(yīng)不同的領(lǐng)域（從白天到夜晚的轉(zhuǎn)化）。
?嘻嘻，可以用來(lái)做研究的數(shù)據(jù)集。
又著重強(qiáng)調(diào)了一下自己的特點(diǎn)，在沒(méi)有真實(shí)的低光照數(shù)據(jù)支持的情況下，從光照良好的數(shù)據(jù)中學(xué)習(xí)，訓(xùn)練出來(lái)的檢測(cè)器能夠在低光照條件下進(jìn)行有效的物體檢測(cè)。
DA是領(lǐng)域適應(yīng)，DG是領(lǐng)域泛化。背景是很多感知任務(wù)在黑暗場(chǎng)景下的研究主要集中在領(lǐng)域轉(zhuǎn)義學(xué)習(xí)上，就是將模型從一個(gè)領(lǐng)域（在本文所涉及的領(lǐng)域上是光照良好的領(lǐng)域）遷移到另一個(gè)領(lǐng)域（低光照領(lǐng)域）。
DA的嘗試是：合成低光照?qǐng)D像來(lái)擴(kuò)展自己的訓(xùn)練集，通過(guò)自監(jiān)督學(xué)習(xí)對(duì)齊良好光照和低光照的分布。將兩個(gè)領(lǐng)域中學(xué)習(xí)到的組件進(jìn)行合并。
DG是指在不知道目標(biāo)領(lǐng)域的情況下對(duì)未見(jiàn)過(guò)的領(lǐng)域進(jìn)行泛化。旨在為廣泛的目標(biāo)領(lǐng)域提供通用的解決方案，而不是針對(duì)某一個(gè)領(lǐng)域。
Zero-Shot Day-Night Domain Adaptation, ZSDA，作者提出的屬于DA范疇。真實(shí)低光照數(shù)據(jù)不可獲取，但是目標(biāo)領(lǐng)域已知為低光照?qǐng)鼍啊?/strong>
論文中提到，直接使用低光照數(shù)據(jù)進(jìn)行訓(xùn)練，效果要比使用高光照數(shù)據(jù)要差得多
首先通過(guò)將輸入圖片經(jīng)過(guò)處理后得到的低亮度圖像與原圖像一起輸入，經(jīng)過(guò)DAI-NET層之后（是在一個(gè)已經(jīng)建立的物體檢測(cè)器的基礎(chǔ)上構(gòu)建的，增加了一個(gè)用于反射表示學(xué)習(xí)的解碼器），也就是
得到計(jì)算損失，同時(shí)將原圖像在互換-重分解-一致性過(guò)程中的損失考慮在內(nèi)，進(jìn)一步加強(qiáng)了發(fā)射表示的學(xué)習(xí)。
基于啥啥啥理論，原始圖像先分解為光照和反射率表示。理論假設(shè)可見(jiàn)度是基于光照而不是反射率。在不同的光照條件下，物體的顏色和紋理不會(huì)改變，但是由于照明的變化，圖像的整體亮度和對(duì)比度可能有所不同。在ZSDA背景下，反射率被視作照明不變的對(duì)應(yīng)物，獲取反射率只是對(duì)實(shí)現(xiàn)照明不變的檢測(cè)器至關(guān)重要。照明不變檢測(cè)器：通過(guò)學(xué)習(xí)和利用反射率，檢測(cè)器能夠在不同的光照條件下保持一致的性能。
上圖是將原始圖片分解為L(zhǎng)和R的過(guò)程。
下面就是網(wǎng)絡(luò)結(jié)構(gòu)：認(rèn)為圖像分割是一種低級(jí)視覺(jué)任務(wù)，主要從圖像中獲取基本信息，為了實(shí)現(xiàn)這一目標(biāo)，作者將檢測(cè)器的骨干網(wǎng)絡(luò)在第二個(gè)卷積層出進(jìn)行了分割，分割的前部稱之為gf，后部稱之為gb。gf的輸出也就是F，編碼了由淺層提取的低級(jí)信息，適用于解碼發(fā)射率，gf之后分支出反射率解碼器，是一個(gè)輕量級(jí)的模塊，由兩個(gè)ReLU激活函數(shù)組成。（檢測(cè)頭和發(fā)射解碼器共享gf）。
為了更好的監(jiān)督反射率解碼器，作者利用了一個(gè)預(yù)訓(xùn)練分解網(wǎng)絡(luò)來(lái)生成反射率和照明的真實(shí)數(shù)據(jù)。
不同光照強(qiáng)度下的圖像會(huì)導(dǎo)致不同的特征分布。但是圖片本身具有相同的語(yǔ)義信息，不會(huì)隨著光照強(qiáng)度的改變而改變。要求保證特征對(duì)齊，也就是從gf輸出的特征F要保持相似。
Lmfa?：為了保持特征的對(duì)齊，設(shè)置了特征損失對(duì)齊函數(shù)，
KL(?∣∣?)?表示 Kullback-Leibler 散度（KL Divergence），用于衡量?jī)蓚€(gè)概率分布之間的差異。
Fn表示從光照良好的圖像中提取的特征圖，Fl表示從低光照的圖像中提取到的特征圖。（是從gf提取，經(jīng)過(guò)展平和空間平均之后得到的）。最小化Lmfa，模型可以促進(jìn)良好的光照和低光照之間的特征提取，這個(gè)特征（代表語(yǔ)音信息）理應(yīng)是相同的。有助于模型在不同光照條件下保持一致性。
別急，還有更加強(qiáng)大的圖像分解工具：
首先還是基于那啥啥理論，將光照不良的圖像分解為左邊兩個(gè)光照和反射率圖像，將光照良好的圖像分解為右側(cè)的光照和反射率圖像。理想情況下，L1和Ln應(yīng)該是相同的，并且可以互換，以便在結(jié)合相應(yīng)的照明圖時(shí)進(jìn)行重構(gòu)。
懲罰是互換反射率重建圖像，一旦偏離原始輸入，就產(chǎn)生懲罰，（這叫做基于懲罰的約束）。
總損失如下：
上式中,Ldecom表示的是圖像分解損失，是對(duì)輸入圖像的重建，反射率不變性以及光照平滑性進(jìn)行綜合評(píng)估。
式子中MSE表示亮反射率和暗反射率之間的差異，SSIM是結(jié)構(gòu)相似系數(shù)。
小的損失沒(méi)有細(xì)講。
訓(xùn)練上通過(guò)調(diào)整參數(shù)來(lái)對(duì)應(yīng)不同的數(shù)據(jù)集。
作者提出了他們的不足，合成的低光圖像（也就是Dark ISP）合成的圖像在訓(xùn)練效果上是落后于真實(shí)的低光圖像的，這點(diǎn)有改進(jìn)的空間。
論文寫(xiě)作tip：通過(guò)與自己的對(duì)比實(shí)驗(yàn)，本文中使用輔助分支以及同時(shí)解碼光照和反射率的方法效果都不如對(duì)反射率單獨(dú)解碼，證明單獨(dú)解碼發(fā)射率的方法更有效。