前言

Stable Diffusion web ui，除了依靠文生圖（即靠提示詞生成圖片），圖生圖（即靠圖片+提示詞生成圖片）外，這兩種方式還不能滿足我們所有的繪圖需求，于是就有了 Embeddings（詞嵌入）、LoRa（低秩適應(yīng)模型）、Hypernetwork（超網(wǎng)絡(luò)）。

• Embeddings模型 模型非常小，常常用于放在反向提示詞里，讓圖像不出現(xiàn)生么，當(dāng)然也可與用于正向提示詞，生成我們想要的
• LoRa模型 模型幾十到幾百MB，更多用于畫特定人物，比如游戲/動漫的人物。平臺上lora模型比較多。
• Hypernetwork模型 大小和作用都和LoRa模型差不多，平臺上Hypernetwork模型比較少。

你只需要在提示詞詞，使用Embeddings（詞嵌入）、LoRa（低秩適應(yīng)模型）、Hypernetwork（超網(wǎng)絡(luò)）的標(biāo)簽。

Embeddings（詞嵌入）

概念

Embeddings中文翻譯為嵌入的，在Stable Diffusion中被稱為詞嵌入（嵌入式向量），這些向量可以捕捉文本中的語義信息，并在其中映射特定風(fēng)格特征的信息。Embeddings一般保存的信息量相對較小，對人物的還原、對動作的指定、對畫風(fēng)的指定效果一般。除此之外，它還有另外一個名字Textual Inversion（文本反置、文本倒置）。它的模型被成為嵌入式模型、（反置/倒置）模型 。
Embeddings在Stable Diffusion模型中，又被稱作嵌入式向量。它可以將文本編碼器（TextEncoder）的輸入（例如提示詞）轉(zhuǎn)換成電腦可以識別的文本向量，并在其中映射特定風(fēng)格特征的信息。Embeddings模型和VAE模型一樣后綴格式是.pt。大小僅為幾kb到幾十kb之間。Embeddings和checkpoint模型和lora模型比，它內(nèi)部不包含圖片信息，只是一些電腦可以識別圖片的文本向量。舉個比喻，如果把checkpoint模型比作一本大詞典的話，Embeddings就是這本大詞典中一些特定詞的標(biāo)簽，它能精準(zhǔn)的指向個別字詞的含義，從而提共一個高效的索引。
比如我們像要畫一個明星，但是checkpoint模型沒有該明星名字對應(yīng)的圖片信息，這是我就可以用該明星的Embeddings模型生成這個明星的圖片了，這里你可以Embeddings模型理解為包含這個明星的五官，面部、身體特征的嵌入式向量。使用Embeddings，Stable Diffusion就更容易理解我們畫的明星長什么樣子了！

使用

我們在模型下載網(wǎng)站上下載我們想要的Embeddings模型(國內(nèi)liblib網(wǎng)站)。

然后放到SD WEB UI根目錄下的embeddings文件夾內(nèi)。，然后在SD WEB UI頁面，點擊刷新按鈕，加載出來我們下載的Embeddings模型，然后點擊Embeddings模型，會自動出現(xiàn)在提示詞輸入框。（默認(rèn)會在正向提示詞輸入框內(nèi)，但是當(dāng)鼠標(biāo)光標(biāo)在反向提示詞框內(nèi)時，會出現(xiàn)在反向提示詞框。）

這里的Embeddings模型也可以用提示詞語法，圓括號和冒號來調(diào)整權(quán)重系數(shù)。

LoRa（低秩適應(yīng)模型）

概念

Stable Diffusion Lora模型是一種通過低秩適應(yīng)大型語言模型的方法。其核心思想是將原始的大型參數(shù)矩陣分解成兩個或者多個低秩矩陣，并且只更新其中的一部分，從而減少計算量和存儲需求，提高訓(xùn)練效率和模型性能。Lora的作用在于幫助你向AI傳遞描述某一個特征明確，主體清晰的形象。

使用

我們在模型下載網(wǎng)站（liblib.ai）上下載我們想要的lora模型。Lora模型需要放在 SD WEB UI根目錄下的models\Lora文件夾內(nèi),大小一般為幾十MB到幾百MB。然后和嵌入式模型操作一樣，先刷新在網(wǎng)頁上加載出lora模型，然后點擊lora到提示詞輸入框。

這里和嵌入式模型用法不同的是，lora模型需要加<>括號。格式 <lora:模型名:權(quán)重>，權(quán)重為1的時候，可以不寫 <lora:模型名>，lora的權(quán)重建議設(shè)置在0.6左右，因為lora的權(quán)重越高，其他提示詞的作用就越小，lora的權(quán)重過低，生成的圖片又不像lora的訓(xùn)練的人物模樣。當(dāng)然lora的權(quán)重的最佳值，還跟你選擇checkpoint模型有關(guān)，相同的lora搭配不同的checkpoint模型，生圖的效果也有很大差別。經(jīng)過我自己的大量測試，lora的權(quán)重建議設(shè)置在0.6左右，搭配大多數(shù)checkpoint模型都會有不錯的效果。

值得注意的是有些lora模型需要搭配觸發(fā)提示詞，才能發(fā)揮lora的效果。

Hypernetwork（超網(wǎng)絡(luò)）

概念

Stable Diffusion Hypernetwork是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，它允許動態(tài)生成神經(jīng)網(wǎng)絡(luò)的參數(shù)（權(quán)重）。在Stable Diffusion中，Hypernetwork被用于動態(tài)生成分類器的參數(shù)，為Stable Diffusion模型添加了隨機(jī)性，減少了參數(shù)量，并能夠引入side information來輔助特定任務(wù)，這使得該模型具有更強的通用性和概括能力。

Hypernetwork的重要功能之一是對畫面風(fēng)格的轉(zhuǎn)換，即切換不同的畫風(fēng)。它的特點在于能夠生成多種畫風(fēng)的作品，同時能夠保證畫面的穩(wěn)定性和清晰度。

使用

我們在模型下載網(wǎng)站（liblib.ai）上下載我們想要的lora模型。Hypernetwork模型需要放在 SD WEB UI根目錄下的models\hypernetworks文件夾內(nèi),大小和lora模型差不多，一般為幾十MB到幾百MB。

hypernetworks模型的使用方法和lora模型一樣，不同的是<lora:模型名>替換成了<hypernet:模型名>。格式 <hypernet:模型名:權(quán)重>

可以看出除了Embeddings模型的使用不需要<>尖括號外，hypernetworks模型和lora模型的使用都需要<>尖括號，說明hypernetworks模型和lora模型都是類似的，都是需要圖片訓(xùn)練的，模型的中包含大量圖片信息，而Embeddings模型只是簡單的文本標(biāo)記（向量）。

LoRA和Hypernetwork的區(qū)別

• LoRA和Hypernetwork都是機(jī)器學(xué)習(xí)領(lǐng)域中比較前沿的技術(shù)，但是它們的作用有所不同。LoRA是一種圖像風(fēng)格轉(zhuǎn)換模型，它可以將一張圖片從一種風(fēng)格轉(zhuǎn)換成另一種風(fēng)格，實現(xiàn)藝術(shù)風(fēng)格遷移等功能。而Hypernetwork是一種模型生成技術(shù)，它的作用是學(xué)習(xí)從一個低維空間的潛在表示到一個高維空間的輸出的映射函數(shù)。這種方法的主要目的是提供更加一般性和靈活性的模型生成能力，從而可以用更少的參數(shù)生成效果更好的模型。兩種方法都有各自的優(yōu)點和限制，需要根據(jù)具體任務(wù)的需求來選擇相應(yīng)的方法。

• LoRA模型被廣泛應(yīng)用在圖像處理領(lǐng)域，有很多應(yīng)用場景，比如圖像風(fēng)格轉(zhuǎn)換、藝術(shù)化渲染等等。同時，LoRA模型模型能夠使用預(yù)訓(xùn)練權(quán)重，因此在實際應(yīng)用中獲取高質(zhì)量的樣本比較容易，并且由于LoRA的模型架構(gòu)相對簡單，因此訓(xùn)練比較容易實現(xiàn)。因此，很多人在圖像處理領(lǐng)域中應(yīng)用LoRA模型來處理圖像，使得網(wǎng)上關(guān)于LoRA模型的文章和論文比較多。

• 而Hypernetwork模型則相對較新，目前應(yīng)用還較為局限。它的一個重要應(yīng)用方向是用于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索，可以快速搜索到高效的網(wǎng)絡(luò)結(jié)構(gòu)。但是，這種方法的難度比較大，需要大量的計算資源和專業(yè)知識以及較長的時間進(jìn)行調(diào)試和優(yōu)化。因此，Hypernetwork模型的文章和論文相對比較少，目前還沒有被大規(guī)模應(yīng)用到實際的項目中。