人工智能咨詢培訓老師葉梓 轉載標明出處

文本到圖像生成技術的核心目標是教會預訓練模型根據(jù)輸入的文本提示生成具有特定主題和風格的新穎圖像。盡管已有多種微調技術被提出，但它們在同時處理個性化和風格化方面仍存在不足，導致生成的圖像在個人身份和風格概念上出現(xiàn)不一致。

為了克服現(xiàn)有方法的局限性，華為的研究團隊提出了塊級LoRA方法。這種方法通過在Stable Diffusion（SD）模型的不同塊上執(zhí)行細粒度的低秩微調，生成與輸入提示相符、目標身份明確且具有期望風格的圖像。通過大量實驗，研究團隊證明了塊級LoRA方法的有效性。

方法

之前提出的圖像生成（T2I）個性化和風格化的方法是基于文本反演的方法將文本信息反向轉換為個性化的視覺表示，增強基于擴散的生成模型的適應性和定制性。DreamBooth及其后續(xù)方法通過優(yōu)化整個SD網(wǎng)絡權重來學習特定主題的先驗，從而在輸出圖像中實現(xiàn)更高的主題保真度。與此不同，以LoRA為代表的方法是通過不同的重新參數(shù)化解決了這一任務，這更為輕量級和高效。

LoRA最初是作為NLP領域大模型的微調方法提出的，后來被引入到SD模型中，用于高效的圖像生成（T2I）。LoRA指出，預訓練模型的權重矩陣具有低內在特征維度，因此可以將模型的權重更新分解為兩個低維矩陣。在微調過程中，原始權重被凍結，只有矩陣A和B是可調的。這樣，前向計算過程可以更新為h = W0x + BAx，其中h是輸出特征圖。

塊級LoRA方法是對現(xiàn)有的LoRA（Low-Rank Adaptation）方法的一種改進，目的是為了解決在結合不同類型的全塊微調LoRAs時生成結果不滿意的問題。

通常SD（Stable Diffusion）的LoRA是通過在U-Net的所有塊上執(zhí)行低秩微調來實現(xiàn)的，這包括了LoCon（LoRA for Convolution Network）中進一步涉及的卷積層。然而，當將這些全塊微調的LoRAs用于T2I生成時，往往得到的生成結果并不令人滿意。為了改善這種情況，研究者們專注于研究U-Net的哪些部分應該進行微調，以實現(xiàn)更好的個性化和風格化。具體如下：

通過將LoRA矩陣的秩設置為零，可以跳過當前塊的LoRA微調。這樣，SD就會使用原始的預訓練權重，而不是添加LoRA的權重。公式(2)展示了這一過程：其中，?是輸出特征圖，是預訓練的權重，B 和 A 是LoRA中的低秩矩陣。

為了控制SD中U-Net的不同部分進行LoRA微調，研究者們將U-Net劃分為幾個部分，如圖1所示。這包括四個內部塊（in-blocks）、一個中間塊（mid-block）和四個外部塊（out-blocks）。通過這種設計，可以對U-Net的不同塊執(zhí)行細粒度的低秩微調，并分別評估不同設置在個性化和風格化任務中的生成性能。

實驗

實驗使用了多種數(shù)據(jù)集，其中包括Manga Face Dataset作為漫畫風格LoRA的訓練數(shù)據(jù)集。對于其他風格LoRA和角色LoRA，作者使用了自定義的訓練數(shù)據(jù)集。每個數(shù)據(jù)集包含20張圖像，每張圖像重復25次，并伴有大約500張由基礎模型生成的正則化圖像。這一設置旨在增強模型的泛化能力，并減少過擬合的風險。

在訓練過程中，研究者采用了Stable Diffusion 1.4作為基礎的T2I生成模型，并設置了11,000步的微調步驟和2的批量大小。在推理階段，使用了DPM 2M++ Karras作為采樣器，采樣步數(shù)為25，無分類器引導（CFG）的比例設為7.0，生成圖像的分辨率與訓練圖像保持一致。為了進行公平比較，所有方法的推理提示和超參數(shù)都保持固定。

研究者將塊級微調方法與原始的LoRA/LoCon方法進行了比較，如圖2和圖3所示。實驗結果顯示，塊級LoRA/LoCon模型在個性化和風格化方面的表現(xiàn)優(yōu)于LoRA/LoCon模型。LoRA/LoCon在生成具有目標風格的圖像方面失敗了，而塊級LoRA/LoCon微調在個性化方面具有明顯優(yōu)勢。

在消融研究中，研究者評估了三種不同類型的角色LoCon和風格LoCon的組合性能。每種塊級LoCon組合都可以混合角色和風格。然而，如圖4(a)所示，塊級ID LoCon與風格LoCon的組合風格與風格LoCon輸入不匹配，塊級ID LoCon與塊級風格LoCon的組合丟失了太多角色的個人細節(jié)。說明ID LoCon與塊級風格LoCon的組合在消融研究中表現(xiàn)最佳，它不僅能夠保持角色的個人細節(jié)，還能像LoCon輸入一樣改變繪畫風格。

研究者還探索了在ID LoCon與塊級LoCon的組合中應該保留哪些塊。他們將塊級LoCon塊均勻地分成三部分，在每次訓練過程中激活其中一部分。如圖1所示，"上部塊"是In-Block0 + Out-Block3，"中部塊"是In-Block1 + Out-Block2，"下部塊"是In-Block2 + Out-Block1。圖4(b)提供了結果?？梢钥吹?#xff0c;僅激活上部塊時，即頂部輸入塊和頂部輸出塊，輸出圖像完美地保持了角色的細節(jié)和風格。僅激活中部塊時，輸出失去了風格，但角色的細節(jié)更多地顯示在圖片中。當僅激活下部塊時，所有目標信息和概念都缺失了。

通過這些詳細的實驗設置和結果分析，展示了塊級LoRA方法在提高文本到圖像生成任務的個性化和風格化方面的有效性。

論文鏈接：https://arxiv.org/abs/2403.07500

項目鏈接：https://github.com/cloneofsimo/lora