Stable Diffuse AI 繪畫 之 ControlNet 插件及其對應模型的下載安裝

目錄

Stable Diffuse AI 繪畫 之 ControlNet 插件及其對應模型的下載安裝

一、簡單介紹

二、ControlNet 插件下載安裝

三、ControlNet 插件模型下載安裝

四、ControlNet 插件其他的下載安裝方式

五、ControlNet 插件模型名稱說明

---

一、簡單介紹

Stable Diffusion是一個文本到圖像的潛在擴散模型，由CompVis、Stability AI和LAION的研究人員和工程師創(chuàng)建。它使用來自LAION-5B數(shù)據(jù)庫子集的512x512圖像進行訓練。使用這個模型，可以生成包括人臉在內的任何圖像，因為有開源的預訓練模型，所以我們也可以在自己的機器上運行它，如下圖所示。

Stable Diffusion 是一個AI 繪圖軟件 （開源模型），可本地部署，可切換多種模型，且新的模型和開源庫每天都在更新發(fā)布，最重要的是免費，沒有繪圖次數(shù)限制。

Github 網址：GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
?

玩 Stable Diffusion，就一定要會玩 ControlNet，它是 Stable Diffusion 一個非常重要的擴展插件（sd-webui-controlnet），它不僅可以用來復制構圖和人體姿勢，還有其他很多強大的功能，要使用 ControlNet（sd-webui-controlnet），就必須先要學會怎么安裝它。

ControlNet github 地址：https://github.com/lllyasviel/ControlNet

ControlNet-v1-1-nightly github 地址：https://github.com/lllyasviel/ControlNet-v1-1-nightly

sd-webui-controlnet
github 地址：https://github.com/Mikubill/sd-webui-controlnet

通過上面的方式，ControlNet 可以重用SD編碼器作為一個深度，強，魯棒和強大的骨干來學習不同的控制。許多證據(jù)(像這個和這個)驗證了SD編碼器是一個優(yōu)秀的骨干。

注意，我們連接層的方式是計算效率高的。原始SD編碼器不需要存儲梯度(鎖定的原始SD編碼器塊1234和Middle)。所需的GPU內存并不比原來的SD大多少，盡管增加了許多層。

所有的模型和檢測器都可以從?our Hugging Face page下載。確保SD模型放在“ControlNet/models”中，檢測器放在“ControlNet/annotator/ckpts”中。確保從?our Hugging Face page下載了所有必要的預訓練權重和檢測器模型，包括HED邊緣檢測模型、Midas深度估計模型、Openpose等等。

二、ControlNet 插件下載安裝

1、運行 Stable Diffuse WebUI ，打開網頁，找到擴展-可用-點擊加載自，會出現(xiàn)很多可用的擴展插件

注意：這里可能需要魔法上網

2、“Ctrl+F” 搜索 ControlNet ，查找 ControlNet 插件，點擊安裝

3、安裝好后，即可在擴展-已安裝中找到 ControlNet 插件

4、ControlNet 插件勾選上，然后點擊應用并重啟用戶界面，界面重啟后，就可以看到 ControlNet 相關操作界面

5、在extensions 文件夾即可看到 ControlNet插件文件夾

三、ControlNet 插件模型下載安裝

1、在 hugging face 找到 ControlNet 插件下載地址

ControlNet 插件模型網址：lllyasviel/ControlNet-v1-1 at main

2、模型名稱的說明，有些模型可用和不可用，以及測試中

在下載的時候要注意文件名中"V11"后面的字母，p:表示可以使用，e:表示還在試驗中，u:表示未完成，如果是文件名中的字母是e，就不要下載

3、模型還是較大的，根據(jù)自己需要酌情下載，這里以 canny 為例

注意：對應模型的.pth 和 .yaml 文件都要下載

4、下載好后的模型，放到之前安裝好后的 ControlNet 插件文件夾

5、重啟界面

6、對應的模型，就可以找到

7、自己去試試吧

四、ControlNet 插件其他的下載安裝方式

1、可以在 Github 上拷貝 ControlNet 插件 的 git 地址，然后在 擴展-從網址安裝 進行安裝

ControlNet 插件 GitHub地址：https://github.com/Mikubill/sd-webui-controlnet

2、可以在 Github 上拷貝 ControlNet 插件 的 git 地址，然后在 git clone 進行安裝

注意：在 xxxx\xxxx\stable-diffusion-webui\extensions 文件夾進行克隆

3、可以在 Github 下載 ControlNet 插件包，解壓到? xxxx\xxxx\stable-diffusion-webui\extensions 文件夾下

五、ControlNet 插件模型名稱說明