?

摳圖是圖像處理工具的一項必備能力，可以用在重繪、重組、更換背景等場景。最近我一直在探索 Stable Diffusion WebUI 的各項能力，那么 SD WebUI 的摳圖能力表現(xiàn)如何呢？這篇文章就給大家分享一下。

安裝插件

作為一個生成式AI，SD本身并沒有精細的摳圖控制能力，它需要借助插件來實現(xiàn)。

這里我們使用 stable-diffusion-webui-rembg 這個插件，插件安裝成功后，會出現(xiàn)在“高清化”這個頁面的底部。

安裝方法一

適合網(wǎng)絡(luò)訪問各種資源比較暢通的同學(xué)。

插件地址：GitHub - AUTOMATIC1111/stable-diffusion-webui-rembg: Removes backgrounds from pictures. Extension for webui.

直接在 Stable Diffusion WebUI 中通過網(wǎng)址安裝，操作步驟如下圖所示：

第5點指示插件已經(jīng)安裝成功，只需要在“已安裝”頁面中重啟SD WebUI就可以了。

實際摳圖時，插件還會根據(jù)選擇的摳圖算法自動下載相關(guān)的模型，第一次使用某個算法摳圖時等待的時間會長一點。

安裝方法二

適合訪問外網(wǎng)不怎么方便的同學(xué)。

先通過別的工具，比如迅雷下載到本地，然后再部署到相應(yīng)的目錄。

插件地址：GitHub - AUTOMATIC1111/stable-diffusion-webui-rembg: Removes backgrounds from pictures. Extension for webui.

算法模型地址：GitHub - danielgatis/rembg: Rembg is a tool to remove images background

或者下載我已經(jīng)打包好的文件，關(guān)注公眾號：螢火遛AI，發(fā)消息：摳圖，即可獲取相關(guān)文件。

stable-diffusion-webui-rembg.zip 是插件程序，解壓后放到 stable-diffusion-webui/extensions 目錄。

u2net.zip 是算法模型文件，解壓后放到當前用戶的臨時目錄：

• Windows是：C:\Users\{你登錄的Windows用戶名}\.u2net
• Linux是：/root/.u2net/

如果部署在云服務(wù)器，需要先上傳zip壓縮文件，再解壓到指定的目錄。參考解壓指令：

unzip -o /root/autodl-tmp/stable-diffusion-webui-rembg.zip -d /root/stable-diffusion-webui/extensions/stable-diffusion-webui-rembg/
unzip -o /root/autodl-tmp/u2net.zip -d /root/.u2net/

安裝完畢之后，記得重啟SD。

使用rembg

基本使用

點擊“高清化”頁簽，上傳要摳圖的照片，“Remove background”這里選擇摳圖算法，最后點擊“生成”。

看看默認的摳圖效果：頭發(fā)這里還有些底色沒去掉，這部分和背景有些交錯，算法不能很好的識別。

注意人像周圍黑色的部分實際上都是透明的，我們把這張圖片放到白色的背景中人像周圍就是白色了。

我們把這個“Alpha matting”勾上，然后會出來幾個選項，把“Erode size”的值改為“15”，它可以優(yōu)化前景圖邊緣的分割。

重新生成，看看這次的結(jié)果，頭發(fā)這塊基本上看不出來之前的底色了，但是衣領(lǐng)這里有些模糊了。我嘗試了不同的參數(shù)，也沒能達到完美?；蛟S把圖片放到PS中再處理下是個正確的方法，以結(jié)果為導(dǎo)向，不能死抱著AI不放，有興趣的可以試試。

參數(shù)介紹

上面做了一個基本的演示，但是這些參數(shù)我們?nèi)绾闻渲貌拍馨l(fā)揮最好的效果呢？這一小節(jié)就來看看這些參數(shù)的定義。

先看看這幾個算法模型：

• u2net：通用的的預(yù)訓(xùn)練模型，通常用這個就行。
• u2netp：u2net的輕量級版本。
• u2net_human_seg：專門針對人像分割的預(yù)訓(xùn)練模型，只是分割人像時建議使用。
• u2net_cloth_seg：專門從人像上摳衣服的預(yù)訓(xùn)練模型，它會把衣服分成三部分：上半身、下半身和全身。
• silueta：和u2net相同，但是大小減少到43Mb，方便在小內(nèi)存機器上使用。
• isnet-general-use ：一個新的通用的預(yù)訓(xùn)練模型。
• isnet-anime：專門針對動畫人物的高精度分割。

再看看它的兩個選項：

• Alpha matting：Alpha遮罩，這是一個比較專業(yè)的圖像處理術(shù)語。在圖像處理中，有一個東西用來表示圖像中每個像素點的透明度，這個東西稱為Alpha通道；然后Alpha遮罩利用Alpha通道來控制圖像的透明度，從而達到隱藏或顯示某些部分的目的；在摳圖這里就是努力讓前景部分都顯示出來，讓背景部分都變透明。這個選項有三個參數(shù)，用來控制摳圖的效果，我們看下：

• • Erode size：Alpha摳圖腐蝕尺寸，通過在圖像中構(gòu)建一個長寬為這個值的矩形進行腐蝕。太小了前景和背景分離不徹底，邊緣有交叉；太大了前景和背景會腐蝕的太多，邊緣缺損明顯。
  • Foreground threshold：前景圖像的閾值，值過小背景可能被識別為前景，值過大前景可能被識別為背景。
  • Background threshold：背景圖像的閾值，值小了前景可能被識別為背景，值大了背景可能識別為前景。

使用Alpha遮罩時可以初始用這幾個經(jīng)驗值：(15, 220, 100)，具體參數(shù)值再根據(jù)實際情況進行調(diào)整。

• Return mask：返回摳圖的蒙版圖，下面馬上就會介紹它的用法和用途。

使用蒙版

這一小節(jié)以更換圖片背景為例，演示蒙版的用法。具體想法是生成一張馬斯克登陸火星遭遇外星人的照片。

生成蒙版

只要在生成時勾選上“Return mask”，最終輸出圖片就會變成蒙版圖。

如下圖所示，可以看到人物變成了白色的蒙版，我們把這個蒙版圖片先保存到本機，后面馬上要用。

更換背景

在“圖生圖”中打開“局部繪制(上傳蒙版)”。這里需要上傳兩張照片，一張原圖，一張人物的蒙版圖。

圖生圖的具體參數(shù)如下：

提示詞：(the desert), ((night)), dim sun, (stargate), a man in a suit and white shirt smiling for a picture, a alien standing in the distance, digital painting, stargatejackal,surrealistic, hdri, smooth, sharp focus, illustration, fantasy, intricate, elegant, highly detailed, 8k <lora:sgasgard_v1:1>

反向提示詞：EasyNegative, moon

縮放模式：填充，因為我想調(diào)整下圖片的寬高比到 16:9，原圖沒這么寬，所以需要填充新擴展的空間。

蒙版模式：繪制非蒙版內(nèi)容，在“局部繪制(上傳蒙版)”中白色的區(qū)域是蒙版，因為我們要重繪背景，所以這里選擇的是“繪制非蒙版內(nèi)容”。

采樣器：DPM++ 2M SDE Karras，這是最近新加的一個采樣器，建議體驗下。當然也可以用別的采樣器。

采樣步數(shù)：配合采樣器設(shè)置。

寬度、高度：根據(jù) 16:9的比例設(shè)置。

看看出圖的效果：

---

以上就是本文的主要內(nèi)容了，感興趣的同學(xué)趕緊去試試吧。

如果你剛開始學(xué)習AI繪畫，建議先看這兩篇 Stable Diffusion WebUI 安裝指南：

手把手教你在本機安裝Stable Diffusion秋葉整合包

手把手教你在云環(huán)境煉丹（部署Stable Diffusion WebUI）