當(dāng)前位置：首頁 > news >正文

網(wǎng)站交互圖片怎么做的免費(fèi)搭建網(wǎng)站的軟件

news 2025/7/5 3:39:59

網(wǎng)站交互圖片怎么做的,免費(fèi)搭建網(wǎng)站的軟件,wordpress前臺加速,怎樣做網(wǎng)站推一、什么是LayerDiffusion 隨著Stable Diffusion等散射模型的蓬勃發(fā)展,人工智能圖形生成進(jìn)入了一個(gè)嶄新的階段。我們可以僅僅通過文字提示,就可以讓AI模型為我們生成逼真的圖像。但是,目前主流的AI生成模型大多只能生成普通的RGB圖像,對生成具有透明通道的圖片能力還非常有限。…

一、什么是LayerDiffusion

隨著Stable Diffusion等散射模型的蓬勃發(fā)展,人工智能圖形生成進(jìn)入了一個(gè)嶄新的階段。我們可以僅僅通過文字提示,就可以讓AI模型為我們生成逼真的圖像。但是,目前主流的AI生成模型大多只能生成普通的RGB圖像,對生成具有透明通道的圖片能力還非常有限。這對于許多創(chuàng)作者來說是個(gè)痛點(diǎn)。無數(shù)PS、AE設(shè)計(jì)工作都需要大量高質(zhì)量的透明元素,而目前獲取透明圖像資源的唯一途徑就是人工購買或下載商業(yè)透明素材庫的資產(chǎn),這需要花費(fèi)高昂的費(fèi)用。

這種情況直到最近才有了轉(zhuǎn)機(jī)。一組斯坦福大學(xué)的研究人員提出了一個(gè)叫做LayerDiffusion的方法,可以讓現(xiàn)有的散射模型通過微調(diào)直接生成透明圖像甚至是多層透明圖像[1]。這個(gè)方法背后的核心思路其實(shí)非常簡單直接,研究人員發(fā)現(xiàn),我們可以把透明通道的信息編碼進(jìn)Stable Diffusion等模型的潛向量空間里,也就是給原來的無透明通道的潛向量添加一個(gè)小小的透明通道“偏移”。這個(gè)偏移量非常關(guān)鍵,它必須微小到不影響原始模型潛向量分布的整體形態(tài)。否則的話,加入透明通道反而會使得原始模型的圖像生成質(zhì)量下降。研究者通過構(gòu)建獨(dú)立的Encoder和Decoder網(wǎng)絡(luò)來實(shí)現(xiàn)透明通道的潛向量編碼和解碼,以確保不影響原始Stable
Diffusion等模型的性能。

一旦得到了具有透明通道信息的潛向量表示,我們就可以開始微調(diào)現(xiàn)有的散射模型,讓它們支持生成透明圖像了。為了訓(xùn)練這個(gè)框架,研究團(tuán)隊(duì)還采用了一種人機(jī)交互的方式收集了100萬張高質(zhì)量的透明圖像素材。這些圖像涵蓋了各種各樣的內(nèi)容主題和風(fēng)格,可以很好地支持透明圖像生成模型的訓(xùn)練。

有了LayerDiffusion框架,ComfyUI用戶就可以直接把任何已有的散射模型“托管”到這個(gè)框架里進(jìn)行微調(diào),使其快速獲得生成透明圖像的能力。生成效果非常驚人,完全不遜色于商業(yè)透明素材庫里的專業(yè)素材。更棒的是,這個(gè)框架不僅可以生成單層透明圖像,還可以生成多層圖像。這為各種創(chuàng)意設(shè)計(jì)提供了極大的便利。

例如,用戶可以提供兩個(gè)文字提示,一個(gè)是“火焰”,一個(gè)是“木屋的桌子”,讓模型生成兩層透明圖像——一個(gè)是火焰,一個(gè)是桌子。然后我們可以自由調(diào)整這兩層的堆疊與混合,就可以得到火焰在桌子上的不同效果。這樣的操作極大地豐富了圖像創(chuàng)作的可能性。

總之,LayerDiffusion為基于散射模型的圖像生成帶來了透明圖像和分層圖像的支持,讓藝術(shù)家和設(shè)計(jì)師可以超越傳統(tǒng)二維平面圖像的限制,進(jìn)入一個(gè)嶄新多維的創(chuàng)作空間。它也將會徹底改變我們獲取透明圖像素材的方式——不再需要人工購買或下載現(xiàn)成的資產(chǎn),AI模型可以為我們實(shí)時(shí)生成所需的任何透明元素或?qū)哟侮P(guān)系。相信未來這項(xiàng)技術(shù)還會ProtocolMessageType和強(qiáng)大,帶來更多驚喜。

官方圖樣

二、ComfyUI中的Node介紹

截至3月2日，官方僅僅發(fā)布了Stable Diffusion?WebUI(forge)的插件，這令很多ComfyUI用戶非常著急。根據(jù)官方內(nèi)容，ComfyUI的支持還未列為高優(yōu)先級任務(wù)，何時(shí)能夠支持還遙遙無期。不過高手在民間，今天Github上已有大神huchenlei發(fā)布了最新的ComfyUI的插件。

插件地址：GitHub - huchenlei/ComfyUI-layerdiffusion: Layer Diffusion custom nodes

官方指南里，需要的一個(gè)node：Apply Mask to Image，來自另一個(gè)工具：comfyui-tooling-nodes

這里主體使用了兩個(gè)node：

1、 Layer Diffusion Apply

該節(jié)點(diǎn)用于修飾用于KSample的model，輸入model，輸出也是model。輸出的model鏈接到KSampler的Model輸入。該節(jié)點(diǎn)還帶有2個(gè)參數(shù)：method和weight。

method

其中method包含兩個(gè)方法：Attention Injection以及Conv Injection。

[Attention Injection]

Attention Injection是LayerDiffusion中實(shí)現(xiàn)控制透明圖像生成的一種方法。它通過在預(yù)訓(xùn)練好的Stable Diffusion模型的self-attention層中注入透明度attention map,以控制生成圖像的透明區(qū)域。

具體來說,首先利用輔助網(wǎng)絡(luò)來預(yù)測目標(biāo)透明圖像的透明度attention map。然后在Stable Diffusion模型的self-attention計(jì)算中,將這個(gè)透明度attention map與原始的attention map進(jìn)行concat拼接,送入后續(xù)的attention運(yùn)算。透明度attention map中,透明區(qū)域的值接近1,不透明區(qū)域的值接近0。這樣,原始的attention map與透明度attention map共同作用,可以指導(dǎo)模型僅在指定的透明區(qū)域生成透明效果。

Attention Injection的優(yōu)點(diǎn)是可以精確控制圖像的透明區(qū)域,同時(shí)對原有模型的干擾很小。但需要訓(xùn)練額外的網(wǎng)絡(luò)來預(yù)測透明度attention map,增加了一定計(jì)算量。

[Conv Injection]

Conv Injection是LayerDiffusion中另一種控制透明圖像生成的方法。它通過在Stable Diffusion模型的中間卷積層中注入透明度feat map來控制生成結(jié)果。

具體是,一個(gè)輔助卷積網(wǎng)絡(luò)會預(yù)測目標(biāo)圖像的透明度feat map,然后將其添加到Stable Diffusion模型中途的卷積層作為額外的輸入通道。透明區(qū)域的feat map通道值接近1,不透明區(qū)域接近0。這樣,Stable Diffusion在生成圖像時(shí),會把透明度信息融入到特征中,從而控制最終輸出的透明效果。

與Attention Injection相比,Conv Injection增加的計(jì)算量更小,但控制效果較粗糙。它通過全局的特征融合控制透明效果,不能像Attention Injection那樣精確指定透明的區(qū)域。

綜上,Attention Injection和Conv Injection都是LayerDiffusion實(shí)現(xiàn)控制生成透明圖像的有效方法,各有優(yōu)劣。可以根據(jù)實(shí)際需求選擇使用。

weight

0表示完全不透明,1表示完全透明。weight值在0到1之間表示半透明的透明度。

2、Layer Diffusion Decode

該節(jié)點(diǎn)用于解碼轉(zhuǎn)化為影響圖像生成的信號。具體解釋如下：

Attention Injection

在Attention Injection中,decode的作用是將融合了透明度attention map的attention轉(zhuǎn)化為影響圖像生成的信號。

具體來說,經(jīng)過attention計(jì)算得到的融合attention map,還不能直接影響最終的圖像輸出。需要通過后續(xù)的decode計(jì)算,將attention轉(zhuǎn)化為影響圖像生成的信號,最終反映到輸出結(jié)果中。

這里的decode可以看作是attention的解析過程。它將attention中編碼的透明度信息,解碼出來,轉(zhuǎn)化為模型生成透明的具體操作信號。

Conv Injection

在Conv Injection中,decode的作用也是將透明度feat map轉(zhuǎn)化為影響圖像生成的信號。

經(jīng)過卷積計(jì)算后,特征圖中已經(jīng)包含了透明度信息。但這些特征還需要進(jìn)一步的decode,才能轉(zhuǎn)換為模型生成透明的具體操作。

這里的decode可以視為特征的解析過程。它將特征中編碼的透明度,解碼出來,轉(zhuǎn)化為模型對圖像透明效果的實(shí)際控制。

綜上,在兩種方法中,decode都起到將透明度信息從attention或特征中解析出來的作用。將透明度控制信號轉(zhuǎn)換為模型生成透明圖像的實(shí)際執(zhí)行操作。這個(gè)過程非常關(guān)鍵。

該節(jié)點(diǎn)有2個(gè)輸入，一個(gè)是Sample，接受從KSample輸出的Latent。一個(gè)是Images，用于接受VAE Decode輸出的Image。然后經(jīng)過解碼生成兩個(gè)輸出：Image是包含主體信息的前景RGB圖像， MASK是控制透明度的蒙版。

3、Apply Mask to Image

該節(jié)點(diǎn)來自comfyui-tooling-nodes，其作用是將前景圖像加上透明度蒙版最終合成最終圖像。

完整的Workflow可以參考下圖：

三、在Ultimate SD Upscale?中放大圖像

因?yàn)樽罱K輸出的圖像是包含Alpha通道的4通道圖像，該圖像無法使用Ultimate SD Upscale進(jìn)行放大。可LayerDiffusion目前還無法直接支持Tile放大。但是實(shí)際工作中，我們常常需要使用Ultimate SD Upscale進(jìn)行圖像放大以獲得更加精細(xì)的輸出。尤其在輸出全身像的時(shí)候，原始輸出圖片常常臉崩，只有經(jīng)過Ultimate SD Upscale放大以后才能獲得高質(zhì)量的圖像。這時(shí)候如何使用LayerDIffusion來獲得高質(zhì)量的透明圖像呢。經(jīng)過實(shí)驗(yàn)，可以通過下面方法使用。

1、放大Mask

首先通過Convert Mask to Image將蒙版轉(zhuǎn)換成單通道圖像，使用Image Resize將單通道圖像放大，這里需要注意的是放大后的尺寸必須和原圖放大的尺寸一致，否則后期蒙版和原圖無法合并。

2、放大原始圖

使用Ultimate SD Upscale進(jìn)行圖像放大。

這里放大的圖像使用Layer Diffusion Decode的Image輸出，其他輸入與KSample輸入一致。Upscale Model我習(xí)慣使用4x-UltraSharp.pth，這個(gè)影響不太大。

3、合并圖像生成放大的透明圖

最后，將放大后的Mask和Image進(jìn)行合并，生成最終的透明圖像。這里還是使用Apply Mask to Image節(jié)點(diǎn)完成。

最終放大透明圖的workflow如下：

四、總結(jié)

因?yàn)槲腋矚g使用ComfyUI來完成自己的工作，所以對LayerDiffusion支持ComfyUI這件事更加關(guān)注。自從2月28日LayerDiffusion發(fā)布以來，日日夜夜都在關(guān)注項(xiàng)目進(jìn)度。今天發(fā)現(xiàn)終于等到了ComfyUI-layerdiffusion的發(fā)布。

希望各位能夠痛快的進(jìn)行工作吧。

為了幫助大家更好地掌握 ComfyUI，我在去年花了幾個(gè)月的時(shí)間，撰寫并錄制了一套ComfyUI的基礎(chǔ)教程，共六篇。這套教程詳細(xì)介紹了選擇ComfyUI的理由、其優(yōu)缺點(diǎn)、下載安裝方法、模型與插件的安裝、工作流節(jié)點(diǎn)和底層邏輯詳解、遮罩修改重繪/Inpenting模塊以及SDXL工作流手把手搭建。