前言

我向來(lái)不喜歡搞一些沒(méi)有用的概念，所以直接整理可能用到的東西。

sd簡(jiǎn)單的說(shuō)就是一個(gè)更據(jù)描述生成不同風(fēng)格的圖片的東西，與之對(duì)應(yīng)的還有mj，但是我絕對(duì)不會(huì)使用他，為什么，因?yàn)槭召M(fèi)，可以不賺錢(qián)，但是絕對(duì)不能往里搭，無(wú)非浪費(fèi)一些時(shí)間而已

軟件下載

• 秋葉aaaki 唯一賬號(hào)：https://space.bilibili.com/12566101

概述

Stable Diffusion模型并不是單一的文生圖模型，而是多個(gè)模型組成的運(yùn)作系統(tǒng)，其中的技術(shù)可以拆解為3個(gè)結(jié)構(gòu)來(lái)看：

• ClipText 文本編碼器 ：用于解析提示詞的Clip模型
  • 編碼器Clip ，它是由OpenAI公司開(kāi)發(fā)的模型，包括文本編碼和圖像編碼2個(gè)部分，分別用于提取文本和圖像的特征，通過(guò)搜集大量網(wǎng)絡(luò)上的圖像和文字信息再對(duì)Clip模型進(jìn)行訓(xùn)練，可以實(shí)現(xiàn)文本和圖像的對(duì)應(yīng)關(guān)系。
  • 在SD模型運(yùn)作過(guò)程中，它可以提取提示詞文本部分的特征傳遞給圖像生成器，讓模型理解我們輸入的提示詞內(nèi)容，從而達(dá)到文本控制圖像生成的目的。
• Diffusion擴(kuò)散模型 ： 用于生成圖像的U-Net 和Sche duler
  • 就是更據(jù)算法什么東西的生成圖像
• VAE模型 ： 用于壓縮和恢復(fù)的圖像解碼器
  • 相當(dāng)于濾鏡

SD安裝

1、安裝軟件

2、啟動(dòng)

3、配置

4、運(yùn)行

5、測(cè)試

要么直接彈窗，要么就復(fù)制控制臺(tái)中的鏈接http://127.0.0.1:7860
打開(kāi)頁(yè)面后直接點(diǎn)擊生成，看看有沒(méi)有圖片生成

導(dǎo)入SD模型【決定畫(huà)風(fēng)】

常用模型

• Checkpoint（大模型）【常用】
  • 相當(dāng)于風(fēng)格濾鏡，例如 油畫(huà)，漫畫(huà)，寫(xiě)實(shí)風(fēng)等。
  • 需要注意的是，一些Checkpoint需要與特定的低碼率編碼器（Lora）配置使用，以獲得更好的效果
• VAE模型
  • 對(duì)模型的濾鏡進(jìn)行微調(diào)，不同的VAE右一些細(xì)節(jié)上的差異，但是不會(huì)影響輸出的效果
  • 可以理解成對(duì)模型進(jìn)行增強(qiáng)，有些模型文件已經(jīng)有了VAE效果，所以不要盲目掛載，選擇自動(dòng)模式就行
• embedding
  • 相當(dāng)于組件。舉個(gè)例子，如果我們想要生成一個(gè)開(kāi)心的皮卡丘，通常需要輸入很多描述詞，如黃毛、老鼠、長(zhǎng)耳朵、紅等等。但是，如果引入皮卡丘的embedding，我們只需要輸入兩個(gè)詞：皮卡丘和開(kāi)心。皮卡丘的embedding打包了所有皮卡丘的特征描述，這樣我們就不用每次輸入很多單詞來(lái)控制生成的畫(huà)面了。
  • 在日常使用中，embedding技術(shù)通常用于控制人物的動(dòng)作和特征，或者生成特定的畫(huà)風(fēng)。相比于其他模型（如LORA），embedding的大小只有幾十KB，而不是幾百兆或幾GB，除了還原度對(duì)比lora差一些但在存儲(chǔ)和使用上更加方便
• LoRA模型【常用】
  • LORA與embedding在本質(zhì)上類似，因?yàn)閿y帶著大量的訓(xùn)練數(shù)據(jù)，所以LORA對(duì)人物和細(xì)節(jié)特征的復(fù)刻更加細(xì)膩。
  • 每個(gè)LORA模型對(duì)輸出圖像的權(quán)重設(shè)置是非常重要的。權(quán)重設(shè)置越大，對(duì)畫(huà)面的影響因素就越淺。通常情況下，權(quán)重應(yīng)該控制在0.7-1之間。如果權(quán)重過(guò)高，會(huì)大幅度影響出圖的質(zhì)量。
  • 為了獲得最佳效果，我們可以根據(jù)不同的LORA模型選擇適當(dāng)?shù)奶崾驹~和排除詞，并在設(shè)置權(quán)重時(shí)進(jìn)行調(diào)整。同時(shí)，我們還可以參考其他作者的經(jīng)驗(yàn)和技巧，以便更好地利用LORA生成圖像

下載安裝模型

• https://civitai.com/各類模型下載也俗稱c站（不穩(wěn)定，用魔法）
• https://lexica.art/找一些風(fēng)格提示詞不錯(cuò)
• https://www.liblib.art/

SD卸載

直接把整個(gè)文件夾刪除，刪除前記得把模型復(fù)制出來(lái)，以后還能用

SD文生圖

Stable Diffusion基礎(chǔ)的操作流程并不復(fù)雜

1. 選擇模型【決定畫(huà)風(fēng)】
2. 選擇功能（文生圖）
3. 填寫(xiě)提示詞【主要決定畫(huà)面內(nèi)容】
4. 設(shè)置參數(shù) 【設(shè)置圖像的預(yù)設(shè)屬性】
5. 點(diǎn)擊生成。
   通過(guò)操作流程就能看出，我們最終的出圖效果是由 模型、提示詞、參數(shù)設(shè)置 三者共同決定的，缺一不可。
   

提示詞

大家都知道，如今的AI工具大多是通過(guò)提示詞來(lái)控制模型算法，那究竟什么是提示詞？

對(duì)于人類而言，在經(jīng)過(guò)多年的學(xué)習(xí)和使用后，我們只需簡(jiǎn)單的幾句話便能輕松的溝通和交流。但如今的人工智能還是基于大模型的數(shù)據(jù)庫(kù)進(jìn)行學(xué)習(xí)，如果只是通過(guò)簡(jiǎn)單的自然語(yǔ)言描述，沒(méi)有辦法做到準(zhǔn)確理解。為了更好的控制AI，人們逐漸摸索出通過(guò)反饋來(lái)約束模型的方法，原理就是當(dāng)模型在執(zhí)行任務(wù)的時(shí)候，人類提供正面或負(fù)面的反饋來(lái)指導(dǎo)模型的行為。而這種用于指導(dǎo)模型的信息，就被統(tǒng)稱為 Prompt提示詞。

Stable Diffusion的咒語(yǔ)上除了prompt（正向關(guān)鍵詞）外，還有Negative prompt反向關(guān)鍵詞。

• 正向提示詞用于描述想要生成的圖像內(nèi)容，
• 反向關(guān)鍵詞用于控制不想出現(xiàn)在圖像中的內(nèi)容

比如目前很多模型還無(wú)法理解的手部構(gòu)造，為了避免出現(xiàn)變形，我們可以提前在反向關(guān)鍵詞中輸入手部相關(guān)的提示詞，讓繪圖結(jié)果規(guī)避出現(xiàn)手的情況。

注意：不是zg人開(kāi)發(fā)的，所以這里的提示詞去翻譯成英文，只需以詞組形式分段輸入即可，詞組間使用英文逗號(hào)進(jìn)行分隔。大部分情況下字母大小寫(xiě)和斷行也不會(huì)影響畫(huà)面內(nèi)容，我們可以直接將不同部分的提示詞進(jìn)行斷行，由此來(lái)提升咒語(yǔ)的可讀性。

提示詞使用技巧

當(dāng)然如果每次都是想到什么輸什么，畫(huà)面中可能還是會(huì)缺失很多信息，這里給大家分享一下我自己平時(shí)使用的提示詞公式，按順序分別為： 主體內(nèi)容、環(huán)境背景、構(gòu)圖鏡頭、圖像設(shè)定、參考風(fēng)格。 后續(xù)在編寫(xiě)咒語(yǔ)時(shí)可以按照一下類目對(duì)號(hào)入座，會(huì)更加規(guī)范和易讀。
需要注意的是，公式只是參考，并非每次編寫(xiě)咒語(yǔ)我們都要包含所有內(nèi)容，正常的流程應(yīng)該是先填寫(xiě)主體內(nèi)容看看出圖效果，再根據(jù)自己的需求來(lái)做優(yōu)化調(diào)整。

提示詞的高級(jí)使用技巧

強(qiáng)調(diào)關(guān)鍵詞

先來(lái)看看 強(qiáng)調(diào)關(guān)鍵詞 ，這應(yīng)該是使用最為頻繁的語(yǔ)法了。強(qiáng)調(diào)關(guān)鍵詞是依賴?yán)ㄌ?hào)和數(shù)值來(lái)控制特定關(guān)鍵詞的權(quán)重，當(dāng)權(quán)重?cái)?shù)值越高，說(shuō)明模型對(duì)該關(guān)鍵詞更加重視，在運(yùn)行過(guò)程中模型就會(huì)著重繪制該部分的元素，在最終成像時(shí)圖片中就會(huì)體現(xiàn)更多對(duì)應(yīng)信息。反之?dāng)?shù)值越低，則最終圖片中對(duì)應(yīng)內(nèi)容會(huì)展示的更少。

控制關(guān)鍵詞的括號(hào)共有三種類型： 圓括號(hào)()、花括號(hào){}和方括號(hào)[] ，分別表示將括號(hào)內(nèi)關(guān)鍵詞的權(quán)重調(diào)整到原有的1.1倍、1.05倍和0.9倍。其中花括號(hào){}平時(shí)很少會(huì)使用， 一般都是用圓括號(hào)()和方括號(hào)[] 。

需要注意的是，這里括號(hào)是支持多層疊加的，每層括號(hào)都表示乘以固定倍數(shù)的權(quán)重

除了直接加括號(hào)外，還有一種更常用的控制權(quán)重方法，那就是直接填寫(xiě)數(shù)值。

雖然強(qiáng)調(diào)關(guān)鍵詞語(yǔ)法支持的權(quán)重范圍在0.1～100之間，但是過(guò)高和過(guò)低的權(quán)重都會(huì)影響出圖效果，因此建議大家控制在 0.5～1.5 范圍即可。

這里還有個(gè)快捷操作的小技巧，就是選中對(duì)應(yīng)關(guān)鍵詞后，按住 ctrl+?? / ?? ，可以快速增加和減少權(quán)重?cái)?shù)值，默認(rèn)每次修改0.1，可以在設(shè)置中修改默認(rèn)數(shù)值。