論文鏈接：https://arxiv.org/pdf/2408.16766

項目鏈接：https://csgo-gen.github.io/

亮點直擊

• 構(gòu)建了一個專門用于風(fēng)格遷移的數(shù)據(jù)集
• 設(shè)計了一個簡單但有效的端到端訓(xùn)練的風(fēng)格遷移框架CSGO框架，以驗證這個大規(guī)模數(shù)據(jù)集在風(fēng)格遷移中的有益效果。
• 引入了內(nèi)容對齊評分（Content Alignment Score，簡稱CAS）來評估風(fēng)格遷移的質(zhì)量，有效衡量遷移后內(nèi)容損失的程度。
• 大量的定性和定量研究驗證了本文提出的方法在零樣本風(fēng)格遷移方面取得了先進的成果。

擴散模型在受控圖像生成方面展示了卓越的能力，這進一步激發(fā)了對圖像風(fēng)格遷移的興趣?，F(xiàn)有的工作主要集中在基于訓(xùn)練自由的方法（例如圖像反演），這是由于特定數(shù)據(jù)的稀缺。在本研究中，本文提出了一種用于內(nèi)容-風(fēng)格-風(fēng)格化圖像三元組的數(shù)據(jù)構(gòu)建pipeline，該pipeline生成并自動清理風(fēng)格化數(shù)據(jù)三元組?；诖藀ipeline，本文構(gòu)建了IMAGStyle數(shù)據(jù)集，這是第一個包含21萬圖像三元組的大規(guī)模風(fēng)格遷移數(shù)據(jù)集，供社區(qū)探索和研究。配備IMAGStyle數(shù)據(jù)集，本文提出了CSGO，一種基于端到端訓(xùn)練的風(fēng)格遷移模型，該模型通過獨立特征注入顯式解耦內(nèi)容和風(fēng)格特征。統(tǒng)一的CSGO實現(xiàn)了圖像驅(qū)動的風(fēng)格遷移、文本驅(qū)動的風(fēng)格化合成以及文本編輯驅(qū)動的風(fēng)格化合成。大量實驗表明，本文的方法在增強圖像生成中的風(fēng)格控制能力方面是有效的。

數(shù)據(jù) pipeline

在本節(jié)中，本文首先介紹用于構(gòu)建內(nèi)容-風(fēng)格-風(fēng)格化圖像三元組的提議pipeline。然后，本文詳細描述構(gòu)建的IMAGStyle數(shù)據(jù)集。

構(gòu)建內(nèi)容-風(fēng)格-風(fēng)格化圖像三元組的pipeline

風(fēng)格化圖像生成。 給定任意的內(nèi)容圖像 $C$ 和任意的風(fēng)格圖像 $S$，目標(biāo)是生成一個風(fēng)格化圖像 $T$，它既保留 $C$ 的內(nèi)容，又采用 $S$ 的風(fēng)格。本文受到 B-LoRA Frenkel 等人（2024）的啟發(fā)，該研究發(fā)現(xiàn)內(nèi)容 LoRA 和風(fēng)格 LoRA 可以通過 SD 訓(xùn)練的 LoRA 隱式分離，分別保留原始圖像的內(nèi)容和風(fēng)格信息。因此，本文首先使用大量的內(nèi)容和風(fēng)格圖像訓(xùn)練大量的 LoRA。為了確保生成的圖像 $T$ 的內(nèi)容盡可能與 $C$ 對齊，針對 $C$ 的 LoRA 僅使用一個內(nèi)容圖像 $C$ 進行訓(xùn)練。

然后，每個訓(xùn)練好的 LoRA 通過 Frenkel 等人（2024）提到的隱式分離方法分解為一個內(nèi)容 LoRA 和一個風(fēng)格 LoRA。最后，將圖像 $C$ 的內(nèi)容 LoRA 與 $S$ 的風(fēng)格 LoRA 結(jié)合，使用基礎(chǔ)模型生成目標(biāo)圖像 T = { T 1 , T 2 , … , T n } T = \{T_1, T_2, \ldots, T_n\} T={T1?,T2?,…,Tn?}。然而，隱式分離方法不穩(wěn)定，導(dǎo)致內(nèi)容和風(fēng)格 LoRA 無法可靠地保留內(nèi)容或風(fēng)格信息。這表現(xiàn)為生成的圖像 $T_i$ 并不總是與 $C$ 的內(nèi)容一致，如下圖 2 所示。因此，有必要過濾 $T$，選擇最合理的 $T_i$ 作為目標(biāo)圖像。

風(fēng)格化圖像清理。 通過人工參與的慢速數(shù)據(jù)清理方法對于構(gòu)建大規(guī)模風(fēng)格化數(shù)據(jù)三元組是不可接受的。為此，本文開發(fā)了一種自動清理方法，以高效地獲得理想且高質(zhì)量的風(fēng)格化圖像 $T$。首先，本文提出了一個內(nèi)容對齊評分（CAS），它有效地衡量生成圖像與內(nèi)容圖像的內(nèi)容對齊情況。它被定義為生成圖像和原始內(nèi)容圖像的內(nèi)容語義特征（不包含風(fēng)格信息）之間的特征距離。其表示如下：

其中 $CA{S}_i$ 表示生成圖像 $T_i$ 的內(nèi)容對齊評分，$?(?)$ 表示圖像編碼器。

本文比較了主流的特征提取器，結(jié)果顯示最接近人工篩選結(jié)果的是 DINOV2 Li 等人（2023）。$Ada(F)$ 表示移除風(fēng)格信息的特征 $F$ 的函數(shù)。本文遵循 AdaIN Huang & Belongie (2017) 的方法，用均值和方差來表示風(fēng)格信息。其表示如下：

其中，$\mu (F)$ 和 $\rho (F)$ 分別表示特征 $F$ 的均值和方差。顯然，更小的 $CAS$ 表明生成的圖像更接近原始圖像的內(nèi)容。在下面算法1中，本文提供了本文的pipeline的偽代碼。

IMAGSTYLE 數(shù)據(jù)集詳細信息

內(nèi)容圖像。 為了確保內(nèi)容圖像具有清晰的語義信息并在訓(xùn)練后便于分離，本文使用顯著性檢測數(shù)據(jù)集 MSRA10K和 MSRA-B作為內(nèi)容圖像。此外，對于素描風(fēng)格化，本文從 ImageNet-Sketch中抽取了1000張素描圖像作為內(nèi)容圖像。內(nèi)容圖像的類別分布如下圖3所示。本文使用 BLIP（Li 等人，2023）為每個內(nèi)容圖像生成一個標(biāo)題。總共訓(xùn)練了11,000張內(nèi)容圖像，并用作內(nèi)容 LoRA。

風(fēng)格圖像。 為了確保風(fēng)格多樣性的豐富性，本文從Wikiart數(shù)據(jù)集中抽取了5000張不同繪畫風(fēng)格的圖像（歷史畫、肖像畫、風(fēng)俗畫、風(fēng)景畫和靜物畫）。此外，本文使用Midjourney生成了5000張涵蓋多種風(fēng)格的圖像，包括古典、現(xiàn)代、浪漫、現(xiàn)實主義、超現(xiàn)實主義、抽象、未來主義、明亮、黑暗等風(fēng)格。總共使用了10,000張風(fēng)格圖像來訓(xùn)練風(fēng)格LoRA。

數(shù)據(jù)集。 基于前文中描述的pipeline，本文構(gòu)建了一個風(fēng)格遷移數(shù)據(jù)集IMAGStyle，該數(shù)據(jù)集包含210,000個內(nèi)容-風(fēng)格-風(fēng)格化圖像三元組作為訓(xùn)練數(shù)據(jù)集。此外，本文從網(wǎng)絡(luò)上收集了248張內(nèi)容圖像，這些圖像包含真實場景、素描場景、人臉和風(fēng)格場景的圖像，以及206張不同場景的風(fēng)格圖像作為測試數(shù)據(jù)集。在測試中，每張內(nèi)容圖像會被轉(zhuǎn)換為206種風(fēng)格。此數(shù)據(jù)集將用于社區(qū)研究風(fēng)格遷移和風(fēng)格化合成。

方法

CSGO框架

所提出的風(fēng)格遷移模型CSGO，如下圖4所示，旨在實現(xiàn)任意圖像的任意風(fēng)格化，而無需微調(diào)，包括素描和自然圖像驅(qū)動的風(fēng)格遷移、文本驅(qū)動的風(fēng)格化合成以及文本編輯驅(qū)動的風(fēng)格化合成。得益于所提出的IMAGStyle數(shù)據(jù)集，CSGO支持端到端的風(fēng)格遷移訓(xùn)練范式。為了確保有效的風(fēng)格遷移和準確的內(nèi)容保留，本文精心設(shè)計了內(nèi)容和風(fēng)格控制模塊。此外，為了減少內(nèi)容圖像泄露風(fēng)格信息或風(fēng)格圖像泄露內(nèi)容的風(fēng)險，內(nèi)容控制和風(fēng)格控制模塊被明確解耦，對應(yīng)的特征被獨立提取。具體來說，本文將CSGO分為兩個主要組件，并詳細描述它們。

內(nèi)容控制,內(nèi)容控制的目的是確保風(fēng)格化圖像保留內(nèi)容圖像的語義、布局和其他特征。為此，本文精心設(shè)計了兩種內(nèi)容控制方法。首先，本文通過預(yù)訓(xùn)練的ControlNet實現(xiàn)內(nèi)容控制，其輸入是內(nèi)容圖像及其對應(yīng)的標(biāo)題。本文利用特定內(nèi)容可控模型（Tile ControlNet）的能力，減少從頭訓(xùn)練內(nèi)容保留的數(shù)據(jù)需求和計算成本。緊隨ControlNet之后，ControlNet的輸出直接注入到基礎(chǔ)模型（預(yù)訓(xùn)練UNet in SD）的上采樣塊中，以獲得融合輸出$D_i^{\prime }=D_i+{\delta }_c\times C_i$，其中$D_i$表示基礎(chǔ)模型第$i$塊的輸出，$C_i$表示ControlNet第$i$塊的輸出，${\delta }_c$表示融合權(quán)重。此外，為了在基礎(chǔ)模型的下采樣塊中實現(xiàn)內(nèi)容控制，本文利用了一個額外的可學(xué)習(xí)交叉注意力層，將內(nèi)容特征注入到下采樣塊中。具體來說，本文使用預(yù)訓(xùn)練的CLIP圖像編碼器和一個可學(xué)習(xí)的投影層來提取內(nèi)容圖像的語義特征$F(C{)}^{\prime }$。然后，本文利用一個額外的交叉注意力層將提取的內(nèi)容特征注入到基礎(chǔ)模型的下采樣塊中，即$D_C^{\prime }=D+{\lambda }_c\times D_C$，其中$D$表示基礎(chǔ)模型的輸出，$D_C$表示內(nèi)容IP-Adapter的輸出，${\lambda }_c$表示融合權(quán)重。這兩種內(nèi)容控制策略確保了風(fēng)格遷移過程中內(nèi)容損失較小。

模型訓(xùn)練和推理

訓(xùn)練。 基于提出的數(shù)據(jù)集IMAGStyle，我們的CSGO是首個端到端風(fēng)格遷移訓(xùn)練的實現(xiàn)。給定內(nèi)容圖像$C$、內(nèi)容圖像的描述$P$、風(fēng)格圖像$S$和目標(biāo)圖像$T$，我們基于預(yù)訓(xùn)練的擴散模型訓(xùn)練一個風(fēng)格遷移網(wǎng)絡(luò)。我們的訓(xùn)練目標(biāo)是建模在內(nèi)容圖像和風(fēng)格圖像條件下，目標(biāo)圖像$T$與高斯噪聲之間的關(guān)系，表示如下：

其中，$?$表示隨機采樣的高斯噪聲，${?}_{\theta }$ 表示CSGO的可訓(xùn)練參數(shù)，$t$表示時間步。注意，在訓(xùn)練過程中，潛變量$z_t$是通過風(fēng)格圖像$T$構(gòu)建的，$z_t=\sqrt{{\bar{\alpha }}_t}\psi (T)+\sqrt{1?{\bar{\alpha }}_t}?$，其中$\psi (?)$是將原始輸入映射到潛在空間的函數(shù)，${\bar{\alpha }}_t$與擴散模型一致。我們在訓(xùn)練階段隨機丟棄內(nèi)容圖像和風(fēng)格圖像的條件，以在推斷階段啟用無分類器指導(dǎo)。

推理。 在推理階段，我們采用無分類器指導(dǎo)。時間步 $t$ 的輸出表示如下：

其中 $w$ 表示無分類器指導(dǎo)因子（CFG）。

實驗

實驗設(shè)置

設(shè)置。 在IMAGStyle數(shù)據(jù)集中，訓(xùn)練階段我們建議使用“a [vcp]”作為內(nèi)容圖像的提示詞，使用“a [stp]”作為風(fēng)格圖像的提示詞。秩值設(shè)置為64，每個B-LoRA訓(xùn)練1000步。生成階段，我們建議使用“a [vcp] in [stv] style”作為提示詞。對于CSGO框架，使用stabilityai/stable-diffusion-xl-base-1.0作為基礎(chǔ)模型，預(yù)訓(xùn)練的ViT-H作為圖像編碼器，以及TTPlanet/TTPLanet SDXL Controlnet Tile Realistic作為ControlNet。圖像統(tǒng)一設(shè)置為512×512分辨率。文本、內(nèi)容圖像和風(fēng)格圖像的丟棄率為0.15。學(xué)習(xí)率為$1e^{?4}$。訓(xùn)練階段，${\lambda }_c={\lambda }_s={\delta }_c=1.0$。推理階段，我們建議${\lambda }_c={\lambda }_s=1.0$ 和 ${\delta }_c=0.5$。我們的實驗在8個NVIDIA H800 GPU（80GB）上進行，每個GPU的批量大小為20，訓(xùn)練80000步。

數(shù)據(jù)集和評估。 使用提出的IMAGStyle作為訓(xùn)練數(shù)據(jù)集，并使用其測試數(shù)據(jù)集作為評估數(shù)據(jù)集。我們采用Somepalli等人提出的CSD評分作為評估指標(biāo)來評估風(fēng)格相似性。同時，我們使用提出的內(nèi)容對齊評分（CAS）作為評估指標(biāo)來評估內(nèi)容相似性。

基線方法。 比較了最近的幾種先進的基于反演的風(fēng)格識別方法，包括Chung等人（2024）的StyleID、Hertz等人（2024）的StyleAligned方法，以及基于Transformer結(jié)構(gòu)的StyTR2 Deng等人（2022）。此外，還比較了Wang等人（2024a）的Instantstyle和Junyao等人（2024）的StyleShot（及其細粒度控制方法StyleShot-lineart），這些方法引入了ControlNet和IPAdapter結(jié)構(gòu)作為基線。在文本驅(qū)動的風(fēng)格控制任務(wù)中，我們還引入了Qi等人（2024）的DEADiff作為基線。

實驗結(jié)果

圖像驅(qū)動的風(fēng)格遷移。 在下表1中，展示了所提出方法在圖像驅(qū)動風(fēng)格遷移任務(wù)中與最近先進方法的CSD評分和CAS。就風(fēng)格控制而言，我們的CSGO獲得了最高的CSD評分，表明CSGO在風(fēng)格控制方面達到了最先進的水平。由于采用了解耦的風(fēng)格注入方法，所提出的CSGO能夠有效地提取風(fēng)格特征并將其與高質(zhì)量的內(nèi)容特征融合。如下圖5所示，CSGO在自然、素描、人臉和藝術(shù)場景中精確地遷移風(fēng)格，同時保持內(nèi)容的語義。

在內(nèi)容保留方面，可以觀察到基于反演的StyleID和StyleAligned在素描風(fēng)格遷移場景中過于強烈地保持了原始內(nèi)容（CAS非常低）。然而，它們無法注入風(fēng)格信息，因為CSD評分很低。使用線條來控制內(nèi)容的InstantStyle和StyleShot（包括Lineart）受線條細節(jié)水平的影響，在不同程度上會丟失內(nèi)容（如人臉場景）。所提出的CSGO直接利用內(nèi)容圖像的所有信息，內(nèi)容保留效果最佳。上表1中的定量結(jié)果也表明，所提出的CSGO在實現(xiàn)精確風(fēng)格遷移的同時，保持了高質(zhì)量的內(nèi)容保留。

文本驅(qū)動的風(fēng)格化合成。 所提出的方法支持文本驅(qū)動的風(fēng)格控制，即給定一個文本提示詞和一個風(fēng)格圖像，生成具有相似風(fēng)格的圖像。下圖6展示了所提出的CSGO與最先進方法的生成結(jié)果對比。在簡單場景中，很直觀地觀察到我們的CSGO更遵循文本提示。這是因為得益于內(nèi)容和風(fēng)格特征的顯式解耦，風(fēng)格圖像僅注入風(fēng)格信息而不暴露內(nèi)容。此外，在復(fù)雜場景中，得益于精心設(shè)計的風(fēng)格特征注入模塊，CSGO在轉(zhuǎn)換文本含義的同時實現(xiàn)了最佳的風(fēng)格控制。如下圖7所示，展示了更多結(jié)果。

文本編輯驅(qū)動的風(fēng)格化合成。 所提出的CSGO支持文本編輯驅(qū)動的風(fēng)格控制。如下圖8所示，在風(fēng)格遷移過程中，我們保持原始內(nèi)容圖像的語義和布局，同時允許對文本提示詞進行簡單編輯。上述優(yōu)秀結(jié)果表明，所提出的CSGO是一個強大的風(fēng)格控制框架。

消融研究

**內(nèi)容控制和風(fēng)格控制。**我們討論了兩種特征注入方法的影響，如下圖9所示。內(nèi)容圖像必須通過ControlNet注入以保持布局，同時保留語義信息。如果內(nèi)容特征僅通過IP-Adapter注入到CSGO框架中（下圖9(1)），則內(nèi)容特征只保留語義信息。

引入ControlNet注入后，內(nèi)容保留的質(zhì)量得到了提升，如下圖12所示。然而，如果風(fēng)格特征僅注入到基礎(chǔ)UNet中而不通過ControlNet注入，這會削弱生成圖像的風(fēng)格，這可以在上圖9(2)和(3)的對比中觀察到。因此，所提出的CSGO在ControlNet分支中預(yù)先注入風(fēng)格特征，以進一步融合風(fēng)格特征，從而增強遷移效果。

風(fēng)格圖像投影層。 風(fēng)格圖像投影層可以有效地從原始embedding中提取風(fēng)格特征。我們探索了普通線性層和重采樣器結(jié)構(gòu)，實驗結(jié)果如下圖10所示。使用重采樣器結(jié)構(gòu)能夠捕捉到更詳細的風(fēng)格特征，同時避免內(nèi)容泄露。

Token數(shù)量。 探討了風(fēng)格投影層中token數(shù)量$t$對風(fēng)格遷移和文本驅(qū)動風(fēng)格合成結(jié)果的影響。實驗結(jié)果如上圖10所示，隨著$t$的增加，風(fēng)格控制逐漸變得更好。這與我們的預(yù)期一致，即$t$影響特征提取的質(zhì)量。更大的$t$意味著投影層能夠提取出更豐富的風(fēng)格特征。

內(nèi)容尺度 ${\delta }_c$ 的影響。 正如下圖13所示，當(dāng) ${\delta }_c$ 較小時，內(nèi)容特征注入較弱，CSGO更遵循文本提示和風(fēng)格。當(dāng) ${\delta }_c$ 增大時，內(nèi)容保留的質(zhì)量變得更好。然而，我們注意到，當(dāng) ${\delta }_c$ 較大時（例如0.9和1.2），風(fēng)格信息被嚴重削弱。

CFG尺度的影響。 無分類器引導(dǎo)增強了文本到圖像模型的能力。所提出的CSGO同樣受CFG尺度強度的影響。正如上圖13所示，引入CFG增強了風(fēng)格遷移效果。

風(fēng)格尺度 ${\lambda }_s$ 和內(nèi)容尺度 ${\lambda }_c$ 的影響。風(fēng)格尺度影響風(fēng)格注入的程度。如上圖13顯示，如果風(fēng)格尺度小于1.0，生成圖像的風(fēng)格會被嚴重削弱。我們建議風(fēng)格尺度應(yīng)在1.0到1.5之間。下采樣塊中的內(nèi)容控制利用內(nèi)容圖像的語義信息來強化內(nèi)容的準確保留。上圖13顯示，當(dāng) ${\lambda }_c$ 接近1.0時效果最佳。

結(jié)論

首先提出了一個用于構(gòu)建內(nèi)容-風(fēng)格-風(fēng)格化圖像三元組的流程。基于此流程，我們構(gòu)建了第一個大規(guī)模風(fēng)格遷移數(shù)據(jù)集IMAGStyle，該數(shù)據(jù)集包含21萬個圖像三元組，涵蓋了廣泛的風(fēng)格場景。為了驗證IMAGStyle對風(fēng)格遷移的影響，我們提出了CSGO，這是一種簡單但高度有效的端到端訓(xùn)練風(fēng)格遷移框架。我們驗證了所提出的CSGO可以在統(tǒng)一框架下同時執(zhí)行圖像風(fēng)格遷移、文本驅(qū)動的風(fēng)格合成和文本編輯驅(qū)動的風(fēng)格合成任務(wù)。大量實驗驗證了IMAGStyle和CSGO對風(fēng)格遷移的有益效果。我們希望我們的工作能夠激勵研究社區(qū)進一步探索風(fēng)格化研究。

未來工作。 盡管所提出的數(shù)據(jù)集和框架已經(jīng)取得了非常先進的性能，但仍有改進的空間。由于時間和計算資源的限制，我們僅構(gòu)建了21萬個數(shù)據(jù)三元組。我們相信，通過擴大數(shù)據(jù)集的規(guī)模，CSGO的風(fēng)格遷移質(zhì)量將會更好。同時，所提出的CSGO框架是一個基礎(chǔ)版本，僅驗證了生成風(fēng)格化數(shù)據(jù)集對風(fēng)格遷移的有益效果。我們認為，通過優(yōu)化風(fēng)格和內(nèi)容特征提取及融合方法，可以進一步提高風(fēng)格遷移的質(zhì)量。

參考文獻

[1] CSGO: Content-Style Composition in Text-to-Image Generation