這篇文章是對鏡頭模糊場進(jìn)行表征學(xué)習(xí)的研究，鏡頭的模糊場也就是鏡頭的 PSF 分布，鏡頭的 PSF 與物距，焦距，光學(xué)系統(tǒng)本身的像差都有關(guān)系，實(shí)際的 PSF 分布是非常復(fù)雜而且數(shù)量也很多，這篇文章提出用一個神經(jīng)網(wǎng)絡(luò) MLP 來進(jìn)行表征學(xué)習(xí)，相當(dāng)于將鏡頭的 PSF 分布都壓縮在了一個神經(jīng)網(wǎng)絡(luò)模型里面。

Abstract

光學(xué)模糊是光學(xué)鏡頭的固有性質(zhì)，因?yàn)閷?shí)際鏡頭都存在各種各樣的像差，光學(xué)模糊與物距，焦距，入射光線的波長都有關(guān)系。光學(xué)鏡頭的表現(xiàn)可以用點(diǎn)擴(kuò)散函數(shù)，也就是 PSF 來表示，實(shí)際鏡頭的 PSF 場非常復(fù)雜。這篇文章提出一種標(biāo)定的方法，來構(gòu)建這樣一個實(shí)際光學(xué)鏡頭的 PSF 場，然后設(shè)計了一個高維的神經(jīng)表征來學(xué)習(xí)這個 PSF 場。文章中用 MLP 來建模這個神經(jīng)表征，這個鏡頭模糊場，可以準(zhǔn)確地獲得鏡頭在成像面的不同成像位置，不同對焦設(shè)置以及不同深度下的 PSF；這些不同的 PSF 都可以表示成與 sensor 有關(guān)的一個函數(shù)。這個神經(jīng)網(wǎng)絡(luò)的表征，同時考慮了鏡頭的離焦，衍射效應(yīng)，以及各種像差，同時也考慮了特定 sensor 的性質(zhì)，比如 color filters 以及與 pixel 有關(guān)的 micro lens。為了學(xué)習(xí)實(shí)際攝像模組的模糊場，文章將此形式化成一般的非盲反卷積問題，通過一批少量的實(shí)采數(shù)據(jù)構(gòu)成的 focal stack，直接訓(xùn)練這個 MLP 網(wǎng)絡(luò)結(jié)構(gòu)。同時文章也構(gòu)建了第一個與鏡頭模糊場相關(guān)的數(shù)據(jù)集，而且這個數(shù)據(jù)集是一個 5 維的模糊場的數(shù)據(jù)集。這套方法，可以很方便地快速遷移到不同的鏡頭模組上。

Introduction

一個實(shí)際的光學(xué)成像系統(tǒng)，需要考慮到鏡頭的離焦，像差，以及衍射效應(yīng)等，如何精確地刻畫這些性質(zhì)對成像系統(tǒng)的影響，是一個非常大挑戰(zhàn)，而且這個問題隨著自動駕駛，以及手機(jī)攝影的興起，也已經(jīng)變得越來越重要了。

光學(xué)模糊一般是用 PSF 來刻畫，PSF 也叫點(diǎn)擴(kuò)散函數(shù)，表示的是一個理想點(diǎn)光源通過鏡頭到達(dá) sensor 像面上的能量分布，真實(shí)光學(xué)系統(tǒng)的 PSF 建模是一個非常挑戰(zhàn)的問題，因?yàn)?PSF 與很多因素包括光源，物距，焦距設(shè)置，波長等都有關(guān)系。

目前 PSF 的表示有三種方法，參數(shù)法，非參數(shù)法，以及基于幾何或者傅里葉光學(xué)的模擬方法：

• 參數(shù)法，基于理想的鏡頭或者成像模型來表示 PSF，比如基于高斯分布，澤尼克系數(shù)，塞德爾系數(shù)等方式，這類方法的表示能力有限
• 非參數(shù)法，一般是通過對 sensor 像面進(jìn)行一系列的采樣來估計 PSF，這類方法需要通過反卷積的方法來求解出當(dāng)前光學(xué)系統(tǒng)的 PSF，或者通過設(shè)置一個點(diǎn)光源，逐步掃描的方式，獲取 sensor 像面上每個位置的 PSF，這類方法相對來說會更為準(zhǔn)確，但是效率比較低
• 模擬法，是通過將光學(xué)系統(tǒng)進(jìn)行物理成像模擬，仿真得到光學(xué)系統(tǒng)的 PSF，這類方法需要真實(shí)的光學(xué)系統(tǒng)參數(shù)，有的時候，實(shí)際的光學(xué)設(shè)備很難獲取到這些參數(shù)

上面這些方法，估計出來的 PSF 都是獨(dú)立存在的，有多少個 PSF，就需要存多少個 PSF，本文的一個創(chuàng)新點(diǎn)還在于把整個 PSF 的空間分布，用一個更加緊湊的神經(jīng)網(wǎng)絡(luò)來表示。文章中用的是 MLP，一個非常經(jīng)典的神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)的擬合能力已經(jīng)是眾所周知的強(qiáng)大，可以擬合非常連續(xù)的 PSF 分布，以及非常復(fù)雜的 PSF 的形態(tài)，為了訓(xùn)練這樣一個 MLP, 也需要構(gòu)建相應(yīng)的數(shù)據(jù)集，所以文章也提出了一種高效地構(gòu)建 PSF 數(shù)據(jù)集的方法，所以總得來說，文章的主要創(chuàng)新有兩點(diǎn)：

• 實(shí)際成像系統(tǒng)的 PSF 分布的標(biāo)定與構(gòu)建，文章提出了一種方法，可以對不同的成像設(shè)備，包括手機(jī)，單反都能進(jìn)行 PSF 的標(biāo)定與估計
• 利用神經(jīng)網(wǎng)絡(luò) MLP 對鏡頭模糊場 PSF 的分布進(jìn)行擬合，形成一個更加緊湊的鏡頭模糊場的表示

Learning lens blur fields

文章整個的 pipeline 如下所示：

Lens Blur Field Representation

假設(shè)真實(shí)環(huán)境中有一個點(diǎn)光源 $\mathbf{p}\in {\mathbb{R}}^3$ 距離鏡頭為 $d$，通過透視投影，點(diǎn)光源從三維空間投影到二維的相機(jī)平面，投影后的坐標(biāo)為 $\tilde{\mathbf{x}}\in {\mathbb{R}}^2$，然后通過鏡頭的內(nèi)參，最后轉(zhuǎn)換到圖像平面，其坐標(biāo)為 $\mathbf{x}\in {\mathbb{R}}^2$，從三維空間投影到二維圖像平面，與鏡頭的焦距 $f$，成像的物距 $d$ 以及sensor 的類型 $c$ 有關(guān)，dual-pixel 類型的 sensor 會有一個視差，最終的圖像坐標(biāo)與三維空間坐標(biāo)的映射關(guān)系可以表示成如下所示：

$$\mathbf{x}=\text{invproj}(\mathbf{x},d,f,c)\text{\hspace{1em}(1)}$$

整個鏡頭的模糊場，表示為 ${\text{PSF}}_{\theta }(\mathbf{x},d,f,\mathbf{u})$，其中 $\theta$ 表示神經(jīng)網(wǎng)絡(luò) MLP 的參數(shù)，${\text{PSF}}_{\theta }(\mathbf{x},d,f,\mathbf{u})$ 描述的是距離點(diǎn)光源 $\mathbf{p}$ 在像面的投影 $\mathbf{x}$ 為 $\mathbf{u}$ 的范圍內(nèi)的能量分布，或者說理想點(diǎn)光源模糊成什么樣子。其中的 $c$ 表示與 sensor 類型相關(guān)，或者說與 PSF 的形態(tài)相關(guān)的參數(shù)，對于普通的 Bayer 模式的 sensor，$c$ 是 4，對于黑白 sensor 來說，$c$ 是 1，對于帶 dual-pixel 類型的 sensor 來說，需要在原來的基礎(chǔ)上乘以 2

Continuous Image Formation

假設(shè)鏡頭對距離其為 $d$ 的一個平面成像，如果是理想成像，那就是沒有模糊的成像

$${\hat{I}}^{(c)}(\mathbf{x},d,f)=A^{(c)}(\mathbf{p})E^{(c)}(\mathbf{p},f)\text{\hspace{1em}(2)}$$

其中，$A^{(c)}(\mathbf{p})$ 表示真實(shí)平面的光照性質(zhì)，體現(xiàn)了真實(shí)的環(huán)境光照與平面材質(zhì)相互作用下的光照性質(zhì)，$E^{(c)}(\mathbf{p},f)$ 表示能量效率，最終實(shí)際的模糊圖像可以由如下的表達(dá)式表示：

$$I^{(c)}(\mathbf{x},d,f)={\int }_{\mu }{\text{PSF}}_{\theta }(\mathbf{x},d,f,\mathbf{u})?{\hat{I}}^{(c)}(\mathbf{x}?\mathbf{u},d,f)d\mathbf{u}\text{\hspace{1em}(3)}$$

$\mathbf{u}$ 表示 $\mathbf{x}$ 的一個鄰域范圍。

為了能夠?qū)W習(xí)這個模糊場的神經(jīng)表示，可以構(gòu)建如下的損失函數(shù)：

$$\underset{\theta }{\mathrm{argmin}}\sum _{t,c,i;\mathbf{x}\in \mathcal{P}}{\Vert I^{(c)}(\mathbf{x},d_i,f_i)?\sum _{\mathbf{u}}{\text{PSF}}_{\theta }^{(c)}(\mathbf{x},d_i,f_i,\mathbf{u})?{\hat{I}}_t^{(c)}(\mathbf{x}?\mathbf{u},d_i,f_i)\Vert }_2^2\text{\hspace{1em}(4)}$$

$$\text{subject?to}{\text{PSF}}_{\theta }^{(c)}\ge 0$$

表達(dá)式 (4) 里外面的求和表示對所有像素的通道 $c$，所有的 sensor 像素點(diǎn) $\mathbf{x}$，所有的焦距 $f_i$ 及物距 $d_i$，其中 $ 1 \le i \le N_{I}$，以及對所有的sensor類型，$ 1 \le t \le N_{T}$，表達(dá)式內(nèi)的求和，表示一個卷積的離散求和形式，是對公式（3）的一個近似，如果 $d$ 是一個固定的物距，那么所表示的模糊場是一個 5 維的模糊場 $(f,t,c,\mathbf{x},\mathbf{u})$，如果 $d$ 也是一個變量，那就是一個 6 維的模糊場 $(d,f,t,c,\mathbf{x},\mathbf{u})$。

文章中使用 MLP 來表示這樣一個模糊場，為了訓(xùn)練這樣一個 MLP，文章中是通過獲取 RAW 圖來進(jìn)行訓(xùn)練，同時只對 RAW 圖上能夠測量的通道像素值進(jìn)行卷積求和，也就是說 RAW 圖會進(jìn)行通道拆分，然后每個通道單獨(dú)計算當(dāng)前通道的 PSF，文章中用到的 MLP 有 7 層，最后一層用的是 sigmoid 激活函數(shù)，其它層的激活函數(shù)是 RELU。

為了提升計算效率，文章中也假設(shè) PSF 在一個局部區(qū)域內(nèi)可以認(rèn)為是相對類似的，細(xì)微的變化幾乎可以忽略不計，這樣對 $\mathbf{x}$ 采樣的時候，可以不用采得很密，可以每個 patch 估計一個 PSF，文章中將每個 patch 的大小定義為 PSF size 的 1.5 倍。

Image Acquisition Procedure

接下來，文章介紹了如何獲取有模糊圖像以及沒有模糊的圖像以構(gòu)成訓(xùn)練數(shù)據(jù)對，整個流程步驟如上圖所示，通過透視投影，畸變，以及 shading 獲得一張沒有模糊的圖像 ${\hat{I}}^{(c)}$ ，同時通過拍攝屏幕獲得一張模糊圖像 $I^{(c)}$，模糊圖像類似通過了鏡頭的光學(xué)像差的退化，沒有模糊的圖像類似通過鏡頭前的真實(shí)場景，因?yàn)閺恼鎸?shí)場景到鏡頭成像之間，還有坐標(biāo)的變換，畸變以及 shading 的影響，所以為了讓這兩張圖像對齊，需要做預(yù)處理。

• Homography Estimation，首先是投影矩陣 $H$ 的估計，也就是單應(yīng)性矩陣的估計，這一步是讓沒有模糊的圖像與實(shí)際拍攝的圖像進(jìn)行坐標(biāo)對齊，為了估計這樣一個投影矩陣，需要進(jìn)行標(biāo)定，文章中使用了一組特定的 pattern，也就是兩張圖，一張是黑底上面有很多白色的圓點(diǎn)，另外一張是白底上面有很多黑色的圓點(diǎn)，如下圖所示：

通過將 albedo dotgrid images 與拍攝的 dotgrid images 的圓點(diǎn)檢測出來，然后計算這些圓點(diǎn)的圓心，圓心坐標(biāo)在兩張圖像之間是不一樣的，通過 RANSAC 算法計算這些匹配圓心之間的坐標(biāo)轉(zhuǎn)換關(guān)系，進(jìn)而得到這個投影矩陣。

• Lens Distortion Estimation，第二個需要考慮的是鏡頭的放大率以及鏡頭的畸變，為了解決鏡頭的放大率的影響，文章中先拍攝一組 focal stack 的圖像，然后合成一張全對焦的圖像，然后估計每個 out-of-focus 圖像中圓點(diǎn)圓心與全對焦圖像圓點(diǎn)圓心的映射關(guān)系，這個映射關(guān)系是一個尺度關(guān)系，
  $S(\tilde{\mathbf{x}},d_i,f_i,c)$。至于鏡頭的畸變，文章中是用一個六階的 Brown-Conrady 模型去模擬這個徑向畸變 $D(\tilde{\mathbf{x}},c)$,這個畸變模型對所有的 $f_i,d_i$ 都一樣。

• Radiometric Compensation，第三個要考慮的是 shading correction，文章中叫照度補(bǔ)償，因?yàn)檎鎸?shí)鏡頭的光照能量會呈現(xiàn)中間強(qiáng)，四周弱的分布，文章中用一張全黑圖以及一張全白圖來表示環(huán)境的最弱光照以及最強(qiáng)光照，拍攝這兩張圖之后，作為 $I_{min},I_{max}$，然后所有圖像可以認(rèn)為是這兩張圖像的一個線性組合：

$$\hat{I}(\mathbf{x})=[1?A(\text{invproj}(\mathbf{x},d_i,f_i))]I_{min}(\mathbf{x})+A(\text{invproj}(\mathbf{x},d_i,f_i))I_{max}(\mathbf{x})$$

• Image caputure, 前面介紹的是對 albedo 圖像的預(yù)處理，albedo 圖像類似理想圖像，表示真實(shí)環(huán)境的光照分布，接下來是考慮實(shí)際成像，也就是實(shí)拍的圖像，文章中是通過拍攝屏幕的方式來獲取實(shí)際退化的圖像，文章中用的是一個 32 英寸的 4K 顯示屏，將鏡頭平行放置在屏幕前面某個距離下，然后進(jìn)行拍攝，不同的距離，屏幕在鏡頭中的成像大小不同，近距離情況下，屏幕可以占滿整個成像面，遠(yuǎn)距離情況下，屏幕只能占據(jù)像面的一部分，所以遠(yuǎn)距離情況下，需要移動鏡頭或者移動屏幕，以保證最終的屏幕能在整個成像面都有成像。

Results

最后是實(shí)驗(yàn)部分，文章對比了不同的方法，也對不同的鏡頭模糊場做了測試，包括仿真的 PSF，實(shí)際手機(jī)的鏡頭模糊場，以及實(shí)際單反的鏡頭模糊場。