????????《HINet: Half Instance Normalization Network for Image Restoration》發(fā)表于CVPR2021，是曠視科技&復(fù)旦大學(xué)&北大在圖像復(fù)原方面的的最新進(jìn)展，所提方案取得了NTIRE2021圖像去模糊Track2賽道冠軍。

? ? ? ? 下面談?wù)勗撐恼碌闹饕夹g(shù)點。

1. HIN（Half Instance Normalization） Block

? ? ? ? 與resblock相比，主要差別在于：HIN對輸入3*3conv處理的特征按照通道分成兩部分，一部分采用IN進(jìn)行規(guī)范化，另一部分無規(guī)范化，處理后的兩部分沿著通道維度進(jìn)行拼接。HIN模塊在一半通道上進(jìn)行IN處理，通過另一半保持上下文信息，這種操作對于淺層特征更為友好。

2. SAM（Supervised Attention Module）

? ? ? ? 就是個帶監(jiān)督的自注意力模塊。MPRNet 中提到 SAM 的作用有：“首先，它在每個階段提供了對漸進(jìn)圖像恢復(fù)有用的真實監(jiān)控信號。其次，在局部監(jiān)督預(yù)測的幫助下，生成 attention map 抑制當(dāng)前階段信息量較少的特征，只允許有用的特征傳播到下一階段?！?/span>

3.?CSFF（Cross-stage feature fusion） Block

????????跨階段特征融合，是用來融合不同大小的?attention map?的。在HINet中有兩個UNet結(jié)構(gòu)，CSFF可以將不同語義級別的信息融合在一起。MPRNet中提到CSFF的作用有：“第一，由于在編碼器-解碼器中重復(fù)使用上采樣和下采樣操作結(jié)果，使得網(wǎng)絡(luò)不容易受到信息丟失的影響。第二，一個階段的多尺度特征有助于豐富下一個階段的特征。第三，網(wǎng)絡(luò)優(yōu)化過程變得更加穩(wěn)定，因為它簡化了信息流動，從而允許我們在整個體系結(jié)構(gòu)中增加幾個階段?！?/p>

? ? ? ? 小結(jié)下，對 low-level 模型部署而言用不到這么大的網(wǎng)絡(luò)，半實例歸一化的操作也沒法用，另外SAM和CSFF作用也不大。不過兩級網(wǎng)絡(luò)設(shè)計的思想，還是比單純堆模塊或者增加網(wǎng)絡(luò)尺寸和通道這樣的方式有效果。原因方面還是在于 low-level 比較依賴淺層信息，兩級網(wǎng)絡(luò)中的第一級輸出控制在較淺的信息，然后再經(jīng)過一個 U-Net 操作，效果就上來了。