引言

中國與英國的研究團隊攜手合作，開創(chuàng)了一種創(chuàng)新的視頻面孔重塑技術(shù)。這項技術(shù)能夠以極高的一致性對視頻中的面部結(jié)構(gòu)進行逼真的放大和縮小，且避免了常見偽影的產(chǎn)生。

從研究人員選取的YouTube視頻樣例中可見，經(jīng)過處理后，女演員詹妮弗·勞倫斯的面容顯得更加瘦削（如圖右方所示）。欲觀看更高分辨率的示例，請參閱文章底部的嵌入式視頻。該技術(shù)源自鏈接：[視頻鏈接]

傳統(tǒng)上，此類面部變換需要借助復(fù)雜的CGI方法實現(xiàn)，這不僅成本高昂，還涉及到繁瑣的動作捕捉、綁定和紋理處理流程，以完整重建面部特征。

然而，這項新技術(shù)另辟蹊徑，將CGI與神經(jīng)網(wǎng)絡(luò)管道相結(jié)合，作為參數(shù)化的3D面部信息處理的一部分。這種方法隨后構(gòu)成了機器學(xué)習(xí)工作流程的基礎(chǔ)，為視頻編輯和面部動畫領(lǐng)域帶來了革命性的變革。

概述

傳統(tǒng)的參數(shù)化面孔技術(shù)越來越多地被用作利用人工智能（AI）而非計算機生成圖像（CGI）的變革性過程的指導(dǎo)原則。在這項研究中，作者們提出了一個目標：

“我們的目標是根據(jù)現(xiàn)實世界中的自然面部變形編輯人像面部的整體形狀，生成高質(zhì)量的人像視頻重塑結(jié)果。這可用于諸如用于美化的勻稱臉部生成和用于視覺效果的臉部夸張等應(yīng)用?！?/p>

自從Photoshop這類圖像編輯軟件普及以來，消費者已經(jīng)能夠?qū)?D圖像進行面部扭曲和變形的操作。然而，這些操作有時會導(dǎo)致不自然甚至令人難以接受的結(jié)果，特別是當涉及到身體畸形的圖像處理時。作者指出，盡管在靜態(tài)圖像上的應(yīng)用相對成熟，但在視頻上實現(xiàn)類似的面部變形技術(shù)，如果不借助CGI，仍然是一個挑戰(zhàn)。這項研究的成果，旨在通過AI技術(shù)，使得在視頻內(nèi)容中進行面部重塑變得更加容易和高效，同時保持高質(zhì)量和連貫性。

形體重塑，或稱為人體形態(tài)編輯，是計算機視覺領(lǐng)域中一個非?；钴S的研究方向。它涉及到使用人工智能算法來修改和調(diào)整人體圖像或視頻中的形態(tài)特征，例如身高、體型或骨骼結(jié)構(gòu)。這項技術(shù)在時尚電子商務(wù)中具有巨大的應(yīng)用潛力，例如，允許顧客在購買前預(yù)覽服裝在不同體型上的效果。

然而，這項技術(shù)面臨著一些挑戰(zhàn)。例如，使某人看起來更高或改變其骨骼結(jié)構(gòu)，需要在不扭曲背景或周圍環(huán)境的情況下，對圖像進行復(fù)雜的幾何變換。這在技術(shù)上是非常困難的，因為需要考慮人體和服裝的三維結(jié)構(gòu)，以及它們與環(huán)境的交互。

關(guān)于使用人工智能技術(shù)重塑人體形態(tài)的研究。這項研究提出了一種新的方法，通過深度學(xué)習(xí)模型來改善人體形態(tài)的編輯，使得結(jié)果更加自然和逼真。

關(guān)于改變視頻中頭部形狀的研究。這項工作嘗試在視頻序列中以一種連貫和令人信服的方式改變?nèi)宋锏念^部形狀，但可能會受到一些技術(shù)限制的影響。

關(guān)于新系統(tǒng)的訓(xùn)練環(huán)境和使用的技術(shù)的描述。這個系統(tǒng)在一臺高性能的臺式電腦上進行訓(xùn)練，使用了多種技術(shù)和工具，包括OpenCV庫進行運動估計、結(jié)構(gòu)流框架進行圖像修復(fù)、面部對齊網(wǎng)絡(luò)（FAN）進行面部特征點的檢測，以及Ceres求解器進行優(yōu)化問題求解。

這些技術(shù)結(jié)合起來，使得新系統(tǒng)能夠處理更為復(fù)雜的任務(wù)，比如從靜態(tài)圖像編輯擴展到視頻編輯，提高編輯結(jié)果的質(zhì)量和真實感。隨著技術(shù)的不斷進步，我們可以期待在未來形體重塑技術(shù)將更加成熟，應(yīng)用范圍也會更加廣泛。

關(guān)于人臉

在新系統(tǒng)下，視頻被提取為圖像序列，并且首先估計每張臉的剛性姿勢。 然后，聯(lián)合估計代表性數(shù)量的后續(xù)幀，以沿著整個圖像運行（即視頻的幀）構(gòu)建一致的身份參數(shù)。

之后，對表達式進行求值，產(chǎn)生通過線性回歸實現(xiàn)的重塑參數(shù)。接下來是一個新穎的有符號距離函數(shù)（自衛(wèi)隊）方法在重塑之前和之后構(gòu)建了面部輪廓的密集二維映射。

最后，對輸出視頻執(zhí)行內(nèi)容感知的扭曲優(yōu)化。

參數(shù)化面

該過程利用了 3D Morphable Face Model (3DMM)，這是一種日益流行的技術(shù)。 流行的輔助語t 到基于神經(jīng)和 GAN 的人臉合成系統(tǒng)，以及 相應(yīng) 用于深度偽造檢測系統(tǒng)。

不是來自新論文，而是 3D Morphable 臉部模型 (3DMM) 的示例 - 新項目中使用的參數(shù)化原型臉部。 左上角，3DMM 面上的地標應(yīng)用。 右上方是等位圖的 3D 網(wǎng)格頂點。 左下角顯示地標擬合； 中下，提取的面部紋理的等位圖； 右下角是最終的裝配和形狀。_ 資料來源：http://www.ee.surrey.ac.uk/CVSSP/Publications/papers/Huber-VISAPP-2016.pdf

新系統(tǒng)的工作流程必須考慮遮擋的情況，例如主體將視線移開的情況。 這是 Deepfake 軟件面臨的最大挑戰(zhàn)之一，因為 FAN 地標幾乎沒有能力解釋這些情況，并且隨著面部避開或被遮擋，質(zhì)量往往會下降。

新系統(tǒng)能夠通過定義一個 輪廓能量 它能夠匹配 3D 人臉 (3DMM) 和 2D 人臉（由 FAN 地標定義）之間的邊界。

優(yōu)化

這種系統(tǒng)的一個有用部署是實現(xiàn)實時變形，例如在視頻聊天過濾器中。 當前的框架無法實現(xiàn)這一點，并且所需的計算資源將使“實時”變形成為一個顯著的挑戰(zhàn)。

根據(jù)該論文，假設(shè)視頻目標為 24fps，管道中的每幀操作表示每秒鏡頭的延遲為 16.344 秒，另外還有用于身份估計和 3D 面部變形的一次性命中（分別為 321 毫秒和 160 毫秒） 。

因此，優(yōu)化是降低延遲方面取得進展的關(guān)鍵。 由于跨所有幀的聯(lián)合優(yōu)化會給過程增加嚴重的開銷，并且初始化式優(yōu)化（假設(shè)第一幀中說話者的后續(xù)身份一致）可能會導(dǎo)致異常，因此作者采用了稀疏模式來計算系數(shù)以實際間隔采樣的幀數(shù)。

然后對該幀子集執(zhí)行聯(lián)合優(yōu)化，從而實現(xiàn)更精簡的重建過程。

臉部變形

該項目中使用的變形技術(shù)改編自作者 2020 年的作品 深邃勻稱的肖像 （數(shù)字信號處理器）。

Deep Shapely Portraits，2020 年提交給 ACM Multimedia 的作品。 該論文由浙江大學(xué)-騰訊游戲與智能圖形創(chuàng)新技術(shù)聯(lián)合實驗室的研究人員領(lǐng)導(dǎo)。 來源：http://www.cad.zju.edu.cn/home/jin/mm2020/demo.mp4

作者觀察到 “我們將這種方法從重塑一個單眼圖像擴展到重塑整個圖像序列?！?/strong>

檢測

該論文指出，沒有可比的現(xiàn)有材料來評估新方法。 因此，作者將扭曲視頻輸出的幀與靜態(tài) DSP 輸出進行了比較。

作者指出，由于 DSP 方法使用了稀疏映射，因此出現(xiàn)了偽影，而新框架通過密集映射解決了這個問題。 此外，該論文還指出，DSP 制作的視頻， 演示 缺乏流暢度和視覺連貫性。