摘要

論文鏈接：https://arxiv.org/pdf/1911.07559v2
在這篇論文中，我們提出了一種端到端的特征融合注意力網(wǎng)絡（FFA-Net）來直接恢復無霧圖像。FFA-Net架構由三個關鍵組件組成：

1. 一種新穎的特征注意力（FA）模塊結合了通道注意力與像素注意力機制，考慮到不同通道特征包含完全不同的加權信息，且霧在圖像的不同像素上分布不均勻。FA模塊對不同的特征和像素進行非等權重處理，這在處理不同類型的信息時提供了額外的靈活性，擴展了卷積神經(jīng)網(wǎng)絡（CNNs）的表示能力。

2. 一個基本塊結構由局部殘差學習和特征注意力組成，局部殘差學習允許如薄霧區(qū)域或低頻等不太重要的信息通過多個局部殘差連接被繞過，從而讓主要網(wǎng)絡架構專注于更有效的信息。

3. 一種基于注意力的不同層級特征融合（FFA）結構，特征權重從特征注意力（FA）模塊中自適應地學習，給予重要特征更多的權重。這種結構還可以保留淺層層的信息并將其傳遞到深層層。

實驗結果表明，我們提出的FFANet在定量和定性方面均大幅超越了先前最先進的單圖像去霧方法，將SOTS室內測試數(shù)據(jù)集上已發(fā)布的最佳PSNR指標從$30.23\mathrm{dB}$提升至$36.39\mathrm{dB}$。代碼已在GitHub上公開可用。

Introduction

作為計算機視覺和人工智能公司關注的基礎低級視覺任務，單圖像去霧在過去的幾十年里吸引了越來越多的關注。

由于大氣中存在煙霧、灰塵、煙霧、薄霧和其他懸浮顆粒，在這種大氣中拍攝的圖像經(jīng)常會受到顏色失真、模糊、對比度低和其他可見質量下降的影響，并且輸入的霧狀圖像會使得其他視覺任務（如分類、跟蹤、人員再識別和對象檢測）變得困難。鑒于這種情況，圖像去霧旨在從受損的輸入中恢復出清晰的圖像，這將是高級視覺任務的預處理步驟。大氣散射模型（Cartney 1976）（Narasimhan 和 Nayar 2000）（Narasimhan 和 Nayar 2002）為霧效提供了一個簡單的近似，其公式如下：

$\mathbf{I}(z)=\mathbf{J}(z)t(z)+\mathbf{A}(1?t(z))$

其中，$\mathbf{I}(z)$ 是觀察到的霧狀圖像，$\mathbf{A}$ 是全局大氣光，$t(z)$ 是介質透射圖，$\mathbf{J}(z)$ 是無霧圖像。此外，我們有 $t(z)=e^{?\beta d(z)}$，其中 $\beta$ 和 $d(z)$ 分別是大氣散射參數(shù)和場景深度。大氣散射模型表明，在不知道 $\mathbf{A}$ 和 $t(z)$ 的情況下，圖像去霧是一個不確定問題。公式(1)也可以表示為：

$\mathbf{J}(z)=\frac{(I(z)?\mathbf{A})}{t(z)}+A$

從公式(1)和(2)中，我們可以注意到，如果我們?yōu)椴东@的霧狀圖像正確估計了全局大氣光和透射圖，我們就可以恢復出一個清晰的無霧圖像。

基于大氣散射模型，早期的去霧方法做了一系列的工作（Berman, Avidan等人 2016）（Fattal 2014）（He, Sun, Tang 2010）（Jiang等人 2017）（Ju, Gu, Zhang 2017）（Meng等人 2013）（Zhu, Mai, Shao 2015）。DCP是其中基于先驗的杰出方法之一，他們提出了暗通道先驗，該先驗基于室外無霧圖像的圖像塊在至少一個通道中經(jīng)常具有低強度值的假設。然而，基于先驗的方法可能會因為先驗在實際中容易被違背而導致透射圖估計不準確，所以在某些實際情況下基于先驗的方法可能效果不佳。

隨著深度學習的興起，許多神經(jīng)網(wǎng)絡方法也被提出來估計霧霾效應，包括DehazeNet（Cai等人 2016）的開創(chuàng)性工作，多尺度CNN（MSCNN）（Ren等人 2016），殘差學習技術（He等人 2016），四叉樹CNN（Kim, Ha, Kwon 2018），以及密集連接的金字塔去霧網(wǎng)絡（Zhang和Patel 2018）。與傳統(tǒng)的方法相比，深度學習方法試圖直接回歸中間透射圖或最終的無霧圖像。隨著大數(shù)據(jù)的應用，它們取得了出色的性能和魯棒性。

在本文中，我們提出了一種新穎的單圖像去霧端到端特征融合網(wǎng)絡（表示為FFA-Net）。

以往的基于卷積神經(jīng)網(wǎng)絡（CNN）的圖像去霧網(wǎng)絡將通道級和像素級的特征視為等同，但霧霾在圖像中的分布是不均勻的，非常薄的霧霾區(qū)域的權重應該與厚霧霾區(qū)域像素的權重有顯著差異。此外，DCP（暗通道先驗）也發(fā)現(xiàn)，在一些像素中，至少在一個顏色（RGB）通道中的強度非常低，這進一步說明了不同通道特征具有完全不同的加權信息。如果我們平等對待它們，將會在不那么重要的信息上花費大量資源進行不必要的計算，網(wǎng)絡將缺乏覆蓋所有像素和通道的能力。最終，這會極大地限制網(wǎng)絡的表示能力。

由于注意力機制（Xu et al. 2015）（Vaswani et al. 2017）（Wang et al. 2018）在神經(jīng)網(wǎng)絡設計中得到了廣泛應用，并在網(wǎng)絡性能中發(fā)揮了重要作用。受到（Zhang et al. 2018）工作的啟發(fā)，我們進一步設計了一個新穎的特征注意力（FA）模塊。FA模塊分別在通道級和像素級特征中結合了通道注意力和像素注意力。FA模塊以不同的方式處理不同的特征和像素，這可以為處理不同類型的信息提供額外的靈活性。

ResNet（He et al. 2016）的出現(xiàn)使得訓練非常深的網(wǎng)絡成為可能。我們采用了跳躍連接和注意力機制的思想，并設計了一個基本塊，該基本塊由多個局部殘差學習跳躍連接和特征注意力組成。一方面，局部殘差學習允許薄霧霾區(qū)域和低頻信息通過多個局部殘差學習被繞過，使主網(wǎng)絡學習更有用的信息。并且，通道注意力進一步提高了FFA-Net的能力。

隨著網(wǎng)絡層數(shù)的加深，淺層特征信息往往難以保留。為了識別和融合不同層級的特征，U-Net（Ronneberger、Fischer和Brox 2015）等網(wǎng)絡努力整合淺層和深層信息。類似地，我們提出了一種基于注意力的特征融合結構（FFA），這種結構能夠保留淺層信息并將其傳遞到深層。最重要的是，FFA-Net在將所有特征送入特征融合模塊之前，會給不同層級的特征分配不同的權重，這些權重是通過FA模塊的自適應學習獲得的。這比直接指定權重要好得多。

為了評估不同圖像去霧網(wǎng)絡的性能，峰值信噪比（PSNR）和結構相似性指數(shù)（SSIM）常被用來量化去霧圖像的恢復質量。對于人的主觀評估，我們還提供了大量從損壞輸入中產(chǎn)生的網(wǎng)絡輸出。我們在廣泛使用的去霧基準數(shù)據(jù)集RESIDE（Li et al. 2018）上驗證了FFA-Net的有效性。我們將PSNR和SSIM指標與以前的最先進方法進行了比較。實驗表明，FFA-Net在定性和定量上都大幅超越了所有先前的方法。此外，我們進行了許多消融實驗來證明FFA-Net的關鍵組件具有出色的性能。

總的來說，我們的貢獻如下：

• 我們提出了一種新穎的單圖像去霧端到端特征融合注意力網(wǎng)絡FFA-Net。FFA-Net在性能上大幅超越了之前的圖像去霧最先進方法，尤其在厚霧區(qū)域和紋理細節(jié)豐富的區(qū)域表現(xiàn)尤為出色。在圖像細節(jié)和顏色保真度的恢復方面，我們也具有顯著的優(yōu)勢，如圖1和圖8所示。
• 我們提出了一種新穎的特征注意力（FA）模塊，該模塊結合了通道注意力和像素注意力機制。這個模塊在處理不同類型的信息時提供了額外的靈活性，能夠更多地關注厚霧像素和更重要的通道信息。
• 我們提出了一種由局部殘差學習和特征注意力（FA）組成的基本塊。局部殘差學習允許薄霧區(qū)域和低頻信息通過多個跳躍連接被繞過，而特征注意力（FA）則進一步提升了FFA-Net的能力。
• 我們提出了一種基于注意力的特征融合（FFA）結構，該結構能夠保留淺層信息并將其傳遞到深層。此外，它不僅能夠融合所有特征，還能夠自適應地學習不同層級特征信息的不同權重。最終，它在性能上比其他特征融合方法要好得多。

相關工作

之前，大多數(shù)現(xiàn)有的圖像去霧方法都依賴于物理散射模型方程的構建，這是一個高度不適定問題，因為傳輸圖和全局大氣光是未知的。這些方法大致可以分為兩類：基于傳統(tǒng)先驗的方法和基于現(xiàn)代學習的方法。無論使用哪種方法，關鍵是求解傳輸圖和大氣光。對于傳統(tǒng)方法，它們基于不同的圖像統(tǒng)計先驗，將其用作額外的約束來補償在腐蝕過程中損失的信息。

DCP（He, Sun, 和 Tang 2010）提出了一個暗通道先驗來估計傳輸圖。然而，當場景對象與大氣光相似時，這些先驗被發(fā)現(xiàn)是不可靠的。（Zhu, Mai, 和 Shao 2015）通過為霧霾圖像的場景深度創(chuàng)建線性模型，提出了一個簡單但強大的顏色衰減先驗。（Fattal 2008）提出了一種新的方法來估計霧霾場景中的光學傳輸，通過消除散射光來增加場景的可見性并恢復無霧場景的對比度。（Berman, Avidan, 等人 2016）提出了一個非局部先驗來表征清晰圖像，該算法依賴于無霧圖像的顏色可以通過幾百種不同顏色很好地近似，這些顏色在RGB空間中形成緊密的簇。盡管這些方法已經(jīng)取得了一系列成功，但這些先驗并不魯棒，無法處理所有情況，如野外無約束的環(huán)境。

鑒于深度學習在圖像處理任務中的普遍成功以及大型圖像數(shù)據(jù)集的可用性，（Cai et al. 2016）提出了一種基于卷積神經(jīng)網(wǎng)絡的端到端去霧模型DehazeNet，它以霧霾圖像為輸入，輸出其介質傳輸圖，然后通過大氣散射模型恢復無霧圖像。（Ren et al. 2016）采用了一種多尺度MSCNN，能夠從霧霾圖像中生成精細的傳輸圖。（Yang and Sun 2018）通過將霧霾相關的先驗學習融入到深度網(wǎng)絡中，結合了傳統(tǒng)基于先驗的去霧方法和深度學習方法的優(yōu)勢。（Li et al. 2017）提出的AOD-Net通過輕量級CNN直接生成清晰圖像。這種新穎的端到端設計使得AOD-Net易于嵌入到其他深度模型中。門控融合網(wǎng)絡（GFN）（Ren et al. 2018）利用手動選擇的預處理方法和多尺度估計，這些方法本質上是通用的，有待進一步改進。（Chen et al. 2019）提出了一種端到端的門控上下文聚合網(wǎng)絡，用于直接恢復最終的無霧圖像，該網(wǎng)絡采用了最新的平滑擴張技術，有助于去除廣泛使用的擴張卷積引起的網(wǎng)格偽影，同時幾乎不需要額外的參數(shù)。EPDN（Qu et al. 2019）則嵌入了一個生成對抗網(wǎng)絡，后跟一個精心設計的增強器，不依賴于物理散射模型。

特征融合注意力網(wǎng)絡（FFA-Net）

在本節(jié)中，我們主要介紹我們的特征融合注意力網(wǎng)絡FFA-Net。如圖2所示，FFA-Net的輸入是一張霧霾圖像，它首先通過一個淺層特征提取部分，然后輸入到具有多個跳躍連接的N個組架構中。N個組架構的輸出特征通過我們提出的特征注意力模塊進行融合，之后這些特征將被傳遞到重建部分和全局殘差學習結構中，最終得到無霧的輸出圖像。

此外，每個組架構結合了B個基本塊架構和局部殘差學習，每個基本塊結合了跳躍連接和特征注意力（FA）模塊。FA是一個注意力機制結構，由通道注意力（Channel-wise Attention）和像素注意力（Pixel-wise Attention）組成。

特征注意力（FA）

大多數(shù)圖像去霧網(wǎng)絡對通道級和像素級特征都一視同仁，這無法妥善處理霧霾分布不均和加權通道級特征的問題。我們的特征注意力（如圖3所示）由通道注意力和像素注意力組成，這為處理不同類型的信息提供了額外的靈活性。

FA對不同的特征和像素區(qū)域給予不同的重視，這增加了處理不同類型信息的靈活性，并且可以擴展卷積神經(jīng)網(wǎng)絡的表示能力。關鍵步驟是如何為每個通道級和像素級特征生成不同的權重。我們的解決方案如下。

通道注意力（CA）

我們的通道注意力主要關注不同通道特征相對于暗通道先驗（DCP，由He, Sun, and Tang在2010年提出）具有完全不同的加權信息。首先，我們通過全局平均池化將通道級的全局空間信息納入通道描述符中。

$g_c=H_p(F_c)=\frac{1}{H\times W}{\sum }_{i=1}^H{\sum }_{j=1}^W{X}_c(i,j)$

其中，$X_c(i,j)$表示第$c$個通道$X_c$在位置$(i,j)$的值，$H_p$是全局池化函數(shù)。特征圖的形狀從$C\times H\times W$變?yōu)?span id="vxwlu0yf4" class="katex--inline">$C\times 1\times 1$。為了得到不同通道的權重，特征圖通過兩個卷積層和sigmoid、ReLU激活函數(shù)。

$C{A}_c=\sigma (\text{Conv}(\delta (\text{Conv}(g_c))))$

其中，$\sigma$是sigmoid函數(shù)，$\delta$是ReLU函數(shù)。
最后，我們將輸入 $F_c$ 與通道權重 $C{A}_c$ 進行逐元素相乘。

$F_c^{?}=C{A}_c?F_c$

像素注意力（PA）

考慮到霧霾在圖像不同像素上的分布是不均勻的，我們提出了一個像素注意力（PA）模塊，讓網(wǎng)絡更加關注信息豐富的特征，如霧霾濃厚的像素和高頻圖像區(qū)域。

與CA類似，我們直接將CA的輸出 $F^{?}$ 輸入到帶有ReLU和sigmoid激活函數(shù)的兩個卷積層中。特征圖的形狀從 $C\times H\times W$ 變?yōu)?$1\times H\times W$。

$PA=\sigma \left(\text{Conv}\left(\delta \left(\text{Conv}\left(F^{?}\right)\right)\right)\right)$

最后，我們將 $F^{?}$ 和 $PA$ 進行逐元素相乘，$\tilde{F}$ 是特征注意力（FA）模塊的輸出。

$\tilde{F}=F^{?}?PA$

為了直觀地展示特征注意力（FA）機制的有效性，我們打印了組結構輸出的通道級和像素級特征權重圖。我們可以清楚地看到，不同的特征圖以不同的權重自適應地學習。圖4顯示，霧霾濃厚的圖像像素區(qū)域以及物體的邊緣和紋理具有更大的權重。像素注意力（PA）機制使FFA-Net更加關注高頻和霧霾濃厚的像素區(qū)域。圖5展示了一個 $3\times 64$ 大小的圖表，三行分別對應三個組架構在通道方向上輸出的特征圖權重，說明不同的特征自適應地學習了完全不同的權重。

基礎塊結構

如圖6所示，基礎塊結構由局部殘差學習和特征注意力（FA）模塊組成。局部殘差學習允許通過多個局部殘差連接繞過不太重要的信息（如薄霧或低頻區(qū)域），使主網(wǎng)絡專注于有效信息。

實驗結果表明，這種結構可以進一步提高網(wǎng)絡性能和訓練穩(wěn)定性。局部殘差學習的效果可以在圖7中看到，具體細節(jié)可以在消融研究部分查看。

組架構和全局殘差學習

我們的組架構結合了B個基礎塊結構和跳躍連接模塊。連續(xù)的B個塊增加了FFA-Net的深度和表達能力。而跳躍連接使得FFA-Net能夠繞過訓練困難。在FFA-Net的末尾，我們使用一個兩層的卷積網(wǎng)絡實現(xiàn)和一個長捷徑全局殘差學習模塊來添加一個恢復部分。最后，我們恢復了所需的去霧圖像。

特征融合注意力

如上所述，首先，我們在通道方向上拼接G個組架構輸出的所有特征圖。進一步地，我們通過特征注意力（FA）機制獲得的自適應學習權重來融合這些特征。通過這種方式，我們可以保留低層信息并將其傳遞到深層，使FFA-Net更加關注有效信息，如濃霧區(qū)域、高頻紋理和顏色保真度，這得益于權重機制。

損失函數(shù)

均方誤差（MSE）或L2損失是單一圖像去霧任務中最廣泛使用的損失函數(shù)。然而，（Lim et al. 2017）指出，在許多圖像恢復任務中，使用L1損失進行訓練在PSNR和SSIM指標上比L2損失取得了更好的性能。遵循相同的策略，我們默認采用簡單的L1損失。盡管許多去霧算法也使用感知損失和GAN損失，但我們選擇優(yōu)化L1損失。

$L(\Theta )=\frac{1}{N}{\sum }_{i=1}^N\Vert I_{gt}^i?FFA\left(I_{\text{haze}}^i\right)\Vert$

其中，$\Theta$ 表示FFA-Net的參數(shù)，$I_{gt}$ 表示真實值（ground truth），$I_{\text{haze}}$ 表示輸入圖像。

實現(xiàn)細節(jié)

在本節(jié)中，我們將詳細說明我們提出的FFA-Net的實現(xiàn)細節(jié)。組結構（Group Structure）的數(shù)量G設置為3。在每個組結構中，我們將基本塊結構（Basic Block Structure）的數(shù)量B設置為19。除了通道注意力（Channel Attention）模塊的卷積核大小為1x1之外，我們設置所有卷積層的濾波器大小為3x3。除了通道注意力模塊之外，所有特征圖的尺寸都保持不變。每個組結構輸出64個濾波器。

實驗

數(shù)據(jù)集和指標

（Li et al. 2018）提出了一個名為RESIDE的圖像去霧基準，它包含了從深度數(shù)據(jù)集（NYU Depth V2，由Silberman et al. 2012提出）和立體數(shù)據(jù)集（Middlebury Stereo datasets，由Scharstein和Szeliski 2003提出）中生成的室內和室外場景下的合成有霧圖像。RESIDE的室內訓練集包含1399張清晰圖像和由相應清晰圖像生成的13990張有霧圖像。全局大氣光的范圍從0.8到1.0，散射參數(shù)的變化范圍為0.04到0.2。為了與之前的最先進方法進行比較，我們采用了PSNR和SSIM指標，并在合成目標測試集（SOTS）中進行了綜合比較測試，該測試集包含500張室內圖像和500張室外圖像。我們還在真實有霧圖像上進行了主觀評估測試。

訓練設置

我們在RGB通道上訓練FFA-Net，并通過隨機旋轉90、180、270度和水平翻轉來增強訓練數(shù)據(jù)集。從大小為$240\times 240$的有霧圖像塊中提取兩個作為FFA-Net的輸入。整個網(wǎng)絡在室內和室外圖像上分別訓練了$5\times 10^5$和$1\times 10^6$步。我們使用Adam優(yōu)化器，其中$\beta 1$和$\beta 2$分別取默認值0.9和0.999。

初始學習率設置為$1\times 10^{?4}$，我們采用余弦退火策略（He et al. 2019）來通過余弦函數(shù)從初始值調整學習率到0。假設總批次數(shù)為$T$，$\eta$是初始學習率，那么在批次$t$時，學習率${\eta }_t$計算為：

${\eta }_t=\frac{1}{2}\left(1+\cos \left(\frac{t\pi }{T}\right)\right)\eta$

我們使用PyTorch（Paszke et al. 2017）在RTX 2080Ti GPU上實現(xiàn)了我們的模型。

RESIDE數(shù)據(jù)集上的結果
在本節(jié)中，我們將從定量和定性兩個方面將FFA-Net與之前的先進圖像去霧算法進行比較。

我們與四種不同的先進去霧算法進行了比較，分別是DCP、AOD-Net、DehazeNet和GCANet。比較結果如表1所示。

為了方便起見，我們引用的PSNR和SSIM指標來自（Li et al. 2018）和（Qu et al. 2019）?？梢钥闯?#xff0c;我們提出的FFA-Net在PSNR和SSIM方面大幅超越了所有四種不同的先進方法。此外，我們在圖8中給出了視覺效果的比較以進行定性評估。

從室內和室外的結果來看，前三行是室內結果，后三行是室外結果。我們可以觀察到DCP由于其潛在的先驗假設而遭受嚴重的顏色失真，因此它丟失了圖像的深度細節(jié)。AOD-Net無法完全去除霧氣，并且傾向于輸出低亮度的圖像。相比之下，DehazeNet恢復的圖像相對于真實情況來說亮度過高。GCANet在處理高頻細節(jié)信息（如紋理、邊緣和第五行中的藍天）時的表現(xiàn)總是不盡如人意。

對于真實有霧圖像的結果，我們的網(wǎng)絡能夠神奇地發(fā)現(xiàn)第一行圖像深處隱約可見的塔。更重要的是，我們網(wǎng)絡的結果幾乎完全符合真實場景的信息，如第二行中帶有紋理的濕路和雨滴。然而，我們發(fā)現(xiàn)第二行GCANet結果中的建筑物表面存在不存在的斑點。從其他網(wǎng)絡恢復的圖像并不令人滿意。我們的網(wǎng)絡在圖像細節(jié)的現(xiàn)實表現(xiàn)和顏色保真度方面顯然更加優(yōu)越。

消融分析

為了進一步證明FFA-Net架構的優(yōu)越性，我們通過考慮FFA-Net中不同的模塊進行了消融研究。我們主要關注以下因素：1) FA（特征注意力）模塊；2) 局部殘差學習（LRL）與FA的結合；3) 特征融合注意力（FFA）結構。我們將圖像裁剪為$48\times 48$作為輸入，訓練了$3\times 10^5$步，其他配置與我們的實現(xiàn)細節(jié)相同。結果如表2所示。

如果我們完全按照論文中的實現(xiàn)細節(jié)進行訓練，則PSNR將達到$35.77\mathrm{dB}$。結果表明，我們考慮的每個因素都在網(wǎng)絡性能中起著重要作用，尤其是FFA結構。我們也可以清楚地看到，即使我們僅使用FA結構，我們的網(wǎng)絡也能與先前的最先進方法相媲美。LRL在提高網(wǎng)絡性能的同時使網(wǎng)絡訓練更加穩(wěn)定。FA機制和特征融合（FFA）的結合將我們的結果提升到了非常高的水平。

結論

在本文中，我們提出了一種端到端的特征融合注意力網(wǎng)絡（FFA-Net），并展示了它在單圖像去霧方面的強大能力。盡管我們的FFA-Net結構很簡單，但它大幅超越了先前的最先進方法。我們的網(wǎng)絡在圖像細節(jié)和顏色保真度的恢復方面具有強大的優(yōu)勢，有望解決其他低級視覺任務，如去雨、超分辨率、去噪。FFA-Net中的FFA和其他有效模塊在圖像恢復算法中發(fā)揮著重要作用。

致謝。本工作部分得到了中國國家重點研發(fā)計劃（合同號：2016YFB0402001）的支持。