Stable Diffusion 中的 ControlNet 是一種用于控制圖像生成過程的技術(shù)，它可以指導(dǎo)模型生成特定風格、內(nèi)容或?qū)傩缘膱D像。下面是關(guān)于 ControlNet 的界面參數(shù)的詳細解釋：

• 低顯存模式

是一種在深度學(xué)習(xí)任務(wù)中用于處理顯存受限設(shè)備的技術(shù)。在這種模式下，模型會對輸入圖像進行一些調(diào)整或者采用一些技巧，以減少所需的顯存占用，從而使模型能夠在顯存受限的設(shè)備上運行。

• 完美匹配像素

是指在圖像處理或生成任務(wù)中，模型生成的圖像能夠盡可能地匹配輸入圖像的像素值。這意味著生成的圖像在像素級別上與輸入圖像非常相似，保留了輸入圖像的細節(jié)和結(jié)構(gòu)。這種匹配可以通過調(diào)整模型架構(gòu)、損失函數(shù)或訓(xùn)練策略來實現(xiàn)。

• Upload independent control image

是一個指示用戶上傳獨立控制圖像的命令或選項。在 Stable Diffusion
或類似的應(yīng)用程序中，用戶可能會使用這個選項來指定一個額外的圖像作為控制信號，以影響生成圖像的外觀或特征。這樣的控制圖像可以用來指導(dǎo)生成圖像的風格、內(nèi)容或其他方面，從而實現(xiàn)更精確的圖像生成。

• controlnet 控制網(wǎng)絡(luò)類型

在 Stable Diffusion 中，controlnet控制網(wǎng)絡(luò)類型用于指導(dǎo)生成過程中的圖像內(nèi)容或風格，從而實現(xiàn)對生成圖像的控制。以下是一些常見的 controlnet 控制網(wǎng)絡(luò)類型及其簡要說明：

All: 使用所有可用的控制信號來指導(dǎo)圖像生成，綜合考慮多種輸入因素。

Canny（線條）: 基于 Canny 邊緣檢測算法的輸入，用于生成具有線條或邊緣特征的圖像。

Depth（深度）: 基于深度圖像的輸入，用于生成具有深度感的圖像，通常用于虛擬現(xiàn)實或增強現(xiàn)實應(yīng)用中。

NormalMap: 基于法向圖的輸入，用于指導(dǎo)生成具有表面法線特征的圖像。

OpenPose（骨骼）: 基于 OpenPose 檢測的人體骨架信息的輸入，用于生成具有人體骨骼結(jié)構(gòu)的圖像。

MLSD（直線）: 基于最小長度分割線（MLSD）算法的輸入，用于生成具有直線特征的圖像。

Lineart（線稿）: 基于線稿圖像的輸入，用于生成類似于手繪線稿的圖像。

SoftEdge（模糊邊緣）: 基于軟邊緣圖像的輸入，用于生成具有柔和邊緣特征的圖像。

Scribble/Sketch: 基于涂鴉或素描的輸入，用于生成與涂鴉或素描風格相似的圖像。

Segmentation: 基于圖像分割結(jié)果的輸入，用于生成具有分割特征的圖像。

Shuffle（圖像打亂）: 對輸入圖像進行隨機重排，用于生成多樣性的圖像。

Tile/Blur: 對輸入圖像進行平鋪或模糊處理，用于生成平鋪效果或模糊效果的圖像。

局部繪制: 基于局部區(qū)域的繪制輸入，用于生成具有局部繪制特征的圖像。

InstructP2P: 基于指導(dǎo)圖像到參考圖像的輸入，用于將指導(dǎo)圖像轉(zhuǎn)換為參考圖像的風格。

Reference: 使用參考圖像作為控制信號，指導(dǎo)生成與參考圖像相似的圖像。

Recolor: 基于顏色重繪的輸入，用于對圖像進行顏色重新著色。

Revision: 對輸入圖像進行修訂或修改，用于生成修訂后的圖像。

T2I-Adapter: 用于適應(yīng)文本到圖像（Text-to-Image）的控制信號的適配器。

IP-Adapter: 用于適應(yīng)圖像到圖像（Image-to-Image）的控制信號的適配器。

Instant_ID: 基于即時圖像檢索結(jié)果的輸入，用于指導(dǎo)生成與即時圖像相似的圖像。

這些 controlnet 控制網(wǎng)絡(luò)類型可以根據(jù)任務(wù)需求和預(yù)期的圖像生成效果進行選擇和調(diào)整，以達到所需的生成效果。

• ControlNet 預(yù)處理器

ControlNet 預(yù)處理器（ControlNet Preprocessor）是 Stable
Diffusion中的一個組件，用于對輸入的控制信號或特征進行預(yù)處理和編碼，以便在生成過程中更好地指導(dǎo)模型生成所需的圖像。

ControlNet 預(yù)處理器的主要功能包括：

特征提取和編碼：對輸入的控制信號進行特征提取和編碼，將其轉(zhuǎn)換為模型可以理解和處理的形式。這可以包括文本向量化、圖像編碼等操作，將控制信號轉(zhuǎn)換為模型可接受的輸入格式。

降維和規(guī)范化：在某些情況下，控制信號可能具有較高的維度或復(fù)雜度，需要進行降維或規(guī)范化以適應(yīng)模型的要求。ControlNet
預(yù)處理器可以對控制信號進行降維處理，提取其中最相關(guān)的特征，以減少輸入的復(fù)雜度。

信息對齊和融合：如果輸入包含多個來源的信息，如文本描述、圖像特征等，ControlNet預(yù)處理器可以對這些信息進行對齊和融合，以確保模型可以同時考慮到所有相關(guān)信息，從而更好地生成圖像。

噪聲處理：在某些情況下，輸入的控制信號可能包含噪聲或不確定性，需要進行噪聲處理以提高模型的穩(wěn)定性和魯棒性。ControlNet預(yù)處理器可以對輸入進行噪聲處理，消除或減少噪聲對生成結(jié)果的影響。

總的來說，ControlNet 預(yù)處理器在 Stable
Diffusion中起著關(guān)鍵作用，它能夠有效地處理和編碼控制信號，為模型生成高質(zhì)量、多樣化的圖像提供重要支持。

• ControlNet控制模式

在 Stable Diffusion 中，ControlNet 控制模式是指通過 ControlNet 控制網(wǎng)絡(luò)來指導(dǎo)圖像生成的方式。在 ControlNet 控制模式下，可以選擇三種不同的操作方式：

平衡模式：在這種模式下，生成的圖像既受 ControlNet
控制網(wǎng)絡(luò)的指導(dǎo)，也受文本提示詞的影響。模型會嘗試在兩者之間達到一種平衡狀態(tài)，生成既符合控制網(wǎng)絡(luò)指導(dǎo)又符合文本提示詞的圖像。

以 ControlNet 為主：在這種模式下，生成的圖像主要受 ControlNet
控制網(wǎng)絡(luò)的指導(dǎo)，而文本提示詞的影響較小。模型會盡量生成符合 ControlNet 控制網(wǎng)絡(luò)指導(dǎo)的圖像，而對文本提示詞的響應(yīng)相對較弱。

以提示詞為主：在這種模式下，生成的圖像主要受文本提示詞的影響，而 ControlNet
控制網(wǎng)絡(luò)的指導(dǎo)較弱。模型會盡量生成符合文本提示詞描述的圖像，而對 ControlNet 控制網(wǎng)絡(luò)的指導(dǎo)相對較少。

用戶可以根據(jù)具體的需求和偏好選擇適合的控制模式，以達到期望的圖像生成效果。

• ControlNet 控制權(quán)重

ControlNet 控制權(quán)重是指在 Stable Diffusion 中用于調(diào)節(jié) ControlNet 控制網(wǎng)絡(luò)對生成圖像的影響程度的參數(shù)。在生成圖像時，ControlNet 控制網(wǎng)絡(luò)可以提供額外的指導(dǎo)信息，以幫助模型更好地生成符合預(yù)期的圖像。

控制權(quán)重通常是一個介于0和1之間的值，表示 ControlNet 控制網(wǎng)絡(luò)和其他輸入（如文本提示詞）之間的相對重要性。較高的權(quán)重值意味著ControlNet控制網(wǎng)絡(luò)的指導(dǎo)更加強烈，生成的圖像更加符合控制網(wǎng)絡(luò)的要求；而較低的權(quán)重值則表示其他輸入的影響更大，生成的圖像更加受文本提示詞等其他輸入的影響。

通過調(diào)節(jié) ControlNet 控制權(quán)重，用戶可以根據(jù)具體的需求和偏好，靈活地控制生成圖像的特征和外觀，以獲得滿意的結(jié)果。

• ControlNet 啟動控制的步數(shù)和結(jié)束控制的步數(shù)

啟動控制的步數(shù)：這是指在生成圖像的過程中，模型開始使用 ControlNet 控制網(wǎng)絡(luò)來指導(dǎo)圖像生成之前的步驟數(shù)量。在啟動控制的步數(shù)內(nèi)，模型會逐漸獲取關(guān)于圖像內(nèi)容的初始指導(dǎo)信息，并準備好啟動 ControlNet控制網(wǎng)絡(luò)。增加啟動控制的步數(shù)可以提高模型對圖像內(nèi)容的理解和指導(dǎo)，從而生成更加符合預(yù)期的圖像。

結(jié)束控制的步數(shù)：這是指在生成圖像的過程中，模型停止使用 ControlNet控制網(wǎng)絡(luò)來指導(dǎo)圖像生成之前的步驟數(shù)量。在結(jié)束控制的步數(shù)后，模型不再受 ControlNet控制網(wǎng)絡(luò)的影響，而是完全依賴于其他輸入（如文本提示詞）來生成圖像。增加結(jié)束控制的步數(shù)可以減少 ControlNet 控制網(wǎng)絡(luò)對生成圖像的影響，讓模型更加自由地生成圖像。

通過調(diào)節(jié)啟動控制的步數(shù)和結(jié)束控制的步數(shù)，可以靈活地控制 ControlNet 控制網(wǎng)絡(luò)在圖像生成過程中的作用程度，以獲得滿意的生成結(jié)果。