前置知識(shí)

1）SMPL模型
\quad SMPL這類方法只建模穿很少衣服的人體（裸體模型），它只能刻畫裸體角色的動(dòng)畫，并不能刻畫穿衣服的人體的動(dòng)畫
2）data-efficient
\quad 這個(gè)詞推薦用，表示對(duì)數(shù)據(jù)的利用效率高，sparse-views時(shí)就可以用。

---

Code: https://github.com/huangyangyi/ELICIT
Author: State Key Lab of CAD & CG, Zhejiang University；Max Planck Institute for Intelligent Systems, T¨ubingen；
摘要: 現(xiàn)有的方法要想從sparse-views 輸入中重建human avatar，要么需要dense input signals（視頻或多視圖），要么從大規(guī)模特定的3D human數(shù)據(jù)集中學(xué)習(xí)先驗(yàn)。他們的大多數(shù)都不能從單視圖中重建human avatar。為了實(shí)現(xiàn)data-efficient的human avatar制作，這篇文章提出了ELICIT。受到人類可以毫不費(fèi)力地估計(jì)身體的幾何形狀，并從一張圖像中想象全身服裝的啟發(fā)，，這篇文章利用了兩個(gè)先驗(yàn)： 來自于 a skinned vertex-based template model（SMPL）的3D geometry prior，和基于CLIP的visual semantic prior。CLIP模型用于，在text的條件下生成unseen-region。為了提升視覺細(xì)節(jié)，作者還提出了segmentation-based sampling strategy。

---

一、動(dòng)機(jī)：
\quad 從相機(jī)輸入中重建真實(shí)的animatable human avatar對(duì)VR/AR的應(yīng)用具有重要意義，比如telepresence，virtual fitness。這是一個(gè)挑戰(zhàn)的任務(wù)，它需要3D幾何的解糾纏的重建、clothed human的外觀、用于動(dòng)畫的復(fù)雜人體姿態(tài)（這個(gè)pose，與相機(jī)pose不同，指的是人體的形態(tài)）的精確建模。

\quad 現(xiàn)在的human-specific neural rendering方法可以取得很好的效果，但是是在輸入是dense 和well-contolled的情況下。比如，well-calibrated 捕捉的多視圖視頻，或long monocular videos，在它們之中，人體的所有部分幾乎都是visible的。然而，這樣的高質(zhì)量的密集輸入對(duì)于普通用戶是不方便的，甚至有時(shí)是不可能的。

\quad 一些工作在多視圖數(shù)據(jù)中訓(xùn)練一個(gè)條件NeRF，以此來提升泛化性。但是他們?cè)诿鎸?duì)sparse-view時(shí)，仍然捉襟見肘。

\quad 相對(duì)于MVSNeRF、PixelNeRF這樣在大規(guī)模數(shù)據(jù)集上訓(xùn)練一個(gè)條件模型，最近的一些工作引入了多樣的正則化，比如幾何（RegNeRF）、外貌（Putting NeRF on a Diet、Sinnerf）等，來避免degeneration。這樣的方式，使得在半監(jiān)督框架下，不使用額外訓(xùn)練數(shù)據(jù)成為可能。但是由于subject的遮擋區(qū)域信息的缺失，他們對(duì)于unseen views的合成是很難的。對(duì)unseen 區(qū)域的合成，是一個(gè)open issue。

\quad 為了解決上述挑戰(zhàn)，作者提出了ELICIT方法，包含了兩個(gè)先驗(yàn)。

二、相關(guān)工作：

\quad 1）Animatable human neural rendering：

\quad 最近的從multi-view或single-view video中重建3D human NeRF的工作，大部分執(zhí)行的是per-subject optimization。在他們之中，Neural Body在SMPL模型的網(wǎng)格頂點(diǎn)上學(xué)習(xí)結(jié)構(gòu)化的latent code，其他工作在canonical space中建模 pose-driven deformation，比如《Humannerf: Free-viewpoint rendering of moving people from monocular video》、H-NeRF、A-NeRF、《Humannerf: Efficiently generated human radiance field from sparse inputs》、《Animatable Neural Radiance Fields for Modeling Dynamic Human Bodies》、《Animatable neural implicit surfaces for creating avatars from videos》。雖然這些方法產(chǎn)生了令人印象深刻的結(jié)果，但它們需要覆蓋人體大部分區(qū)域的密集輸入。

\quad 2）Single-view-based NeRF
\quad 由于遮擋，NeRF模型很難在新的視圖中合成輸入中不可見的區(qū)域。一些現(xiàn)有的方法以數(shù)據(jù)驅(qū)動(dòng)的方式利用學(xué)習(xí)到的場景幾何、外觀先驗(yàn)。其中，im2nerf使用無監(jiān)督的方式訓(xùn)練一個(gè)條件NeRF，Eg3D和CG-NeRF利用conditional generative NeRF來重建人臉。

\quad 也有一些方法屬于non-data-driven，它們使用一些off-the-shelf的模型來引入一些先驗(yàn)。比如MINE和Depth-supervised nerf引入了depth cues，RegNeRF引入了幾何信息，Sin-NeRF和DietNeRF使用預(yù)訓(xùn)練的圖像編碼器引入語義先驗(yàn)從稀疏輸入中產(chǎn)生語義上一致的新視圖合成結(jié)果。

\quad 因此這篇文章也通過一些off-the-shelf的模型來引入一些先驗(yàn)（這似乎是大模型時(shí)代的共識(shí)），SMPL-based human body prior和CLIP-based visual semantic prior。

\quad 3）single-image-based human rendering
\quad MonoNHR提出了一個(gè)data-driven的方法訓(xùn)練了一個(gè)條件NeRF。EVA3D學(xué)習(xí)了一個(gè)無條件的3D人體生成模型，并使用GAN 反演從單張圖片中重建3D human。然而，它的通用性在很大程度上受到訓(xùn)練數(shù)據(jù)集的有偏分布的限制。

三、方法：

\quad 1）Preliminaries

\quad SMPL（Skinned Multi-Person Linear model）模型，由大規(guī)模對(duì)齊的人體表面掃描驅(qū)動(dòng)的skinned vertex-based template model。SMPL將姿態(tài)參數(shù)（用一個(gè)72維的向量表征人體姿態(tài)形狀）和形狀參數(shù)（一個(gè)10維的向量）進(jìn)行編碼，輸出一個(gè)雕刻有6890個(gè)頂點(diǎn)的人體的混合形狀。這篇文章用SMPL參數(shù)表征目標(biāo)運(yùn)動(dòng)中 input character’s body 的 shape，posture，和 pose sequence。

\quad HumanNeRF支持單目視頻中移動(dòng)character的free-view rendering（free-view rendering就是不需要輸入pose？）。實(shí)際上，HumanNeRF表征了一個(gè) moving character，它將一個(gè)canonical appearance volume $F_c$扭曲到被觀測的姿態(tài)，遺產(chǎn)稅輸出的appearance volume $F_o$。它的數(shù)學(xué)公式如下：

其中，$\mathcal{T}$表示motion field，將一個(gè)空間點(diǎn)從觀測空間映射到標(biāo)準(zhǔn)化空間（canonical space）。這過程以姿態(tài)參數(shù) $p=(J,\Omega )$為條件，$J$表示三維關(guān)節(jié)點(diǎn)位置，$\Omega$表示局部關(guān)節(jié)點(diǎn)旋轉(zhuǎn)。

\quad $F_c$的作用是將position $x$ 映射到 color $c$ 和volume density $\sigma$。

\quad 這篇文章基于HumanNeRF這個(gè)模型來做，因此也可以實(shí)現(xiàn)free-view motion rendering。

\quad 2）方法總覽