實(shí)驗(yàn)?zāi)康?/h2>

使用diffuser庫(kù)生成圖像的文章是很多的，使用方法也并不復(fù)雜，安裝庫(kù)后調(diào)用現(xiàn)成的模型和接口即可，但是因?yàn)榫W(wǎng)絡(luò)原因，模型下載總會(huì)遇到問(wèn)題，對(duì)于使用服務(wù)器的研究者來(lái)說(shuō)，掛梯子并不可行，而且現(xiàn)有的文章對(duì)這部分也語(yǔ)焉不詳。故本文旨在記錄一個(gè)更詳細(xì)、完整、對(duì)新手友好的生圖過(guò)程。

基本認(rèn)識(shí)

擴(kuò)散生成技術(shù)

擴(kuò)散原本是熱力學(xué)的概念，指分子無(wú)規(guī)則熱運(yùn)動(dòng)而形成的物質(zhì)傳遞現(xiàn)象，DDPM論文開(kāi)天辟地地將擴(kuò)散用于生成技術(shù)提高到了實(shí)際應(yīng)用層面，該算法分為前向擴(kuò)散和逆向生成兩個(gè)過(guò)程：
其前向擴(kuò)散過(guò)程是向圖像不斷添加高斯噪聲，直到原圖完全變成噪聲圖像，將該過(guò)程序列與文本提示詞一起輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
逆向生成過(guò)程則是由訓(xùn)練好的網(wǎng)絡(luò)根據(jù)噪聲和提示詞逐步猜測(cè)恢復(fù)出原圖像的過(guò)程。

訓(xùn)練與生成算法的數(shù)學(xué)表示和生成過(guò)程如下圖：

diffuser庫(kù)

首先我們要了解一個(gè)開(kāi)源生成模型——Stable Diffusion，該模型可以說(shuō)是DDPM技術(shù)推動(dòng)的產(chǎn)物，正如蒸汽機(jī)和蒸汽火車(chē)、發(fā)電機(jī)和電燈。該模型完全遵循 DDPM 的前向擴(kuò)散 + 逆向生成框架，但通過(guò)潛在空間優(yōu)化了計(jì)算效率。并且在 DDPM 的基礎(chǔ)上引入 LDM、文本引導(dǎo)等技術(shù)，使其成為更實(shí)用、更強(qiáng)大的生成工具。

而diffuser庫(kù)則是一個(gè)通用的擴(kuò)散模型工具包，支持多種預(yù)訓(xùn)練擴(kuò)散模型（如 Stable Diffusion、DALL-E、Imagen 等），并提供統(tǒng)一的 API 接口。
總的來(lái)說(shuō)，diffuser庫(kù)是封裝了擴(kuò)散生成模型，給開(kāi)發(fā)者提供統(tǒng)一接口的生成模型庫(kù)。

模型下載

按照官方示例直接跑會(huì)報(bào)一大串錯(cuò)誤：

原因是服務(wù)器連接不上，而且模型很大，最好我們手動(dòng)下載模型，相關(guān)文章對(duì)這部分只是一句帶過(guò)：模型很大不太好下或者用git 手動(dòng)下載一下，本文主要對(duì)該過(guò)程進(jìn)行補(bǔ)充。
更詳細(xì)的方法及比較可見(jiàn)快速下載Hugging Face模型，本文參考實(shí)現(xiàn)了簡(jiǎn)單可用的兩種方法。

git下載

git是分布式版本控制系統(tǒng)，可以理解為一個(gè)倉(cāng)庫(kù)存儲(chǔ)了軟件不同版本，方便恢復(fù)和拉取，在克隆過(guò)程中會(huì)將倉(cāng)庫(kù)的整個(gè)歷史記錄傳輸?shù)娇蛻舳?#xff0c;具體操作可見(jiàn)git菜鳥(niǎo)教程。

Git LFS（Large File Storage）是一個(gè)用于Git版本控制系統(tǒng)的擴(kuò)展，它專(zhuān)門(mén)用來(lái)管理大型文件，如圖像、音頻和視頻文件。它通過(guò)延遲地（lazily）下載大文件的相關(guān)版本來(lái)減少大文件在倉(cāng)庫(kù)中的影響，具體來(lái)說(shuō)，大文件是在checkout的過(guò)程中下載的，而不是 clone 或 fetch 過(guò)程中下載的（這意味著你在后臺(tái)定時(shí) fetch 遠(yuǎn)端倉(cāng)庫(kù)內(nèi)容到本地時(shí)，并不會(huì)下載大文件內(nèi)容，而是在你 checkout 到工作區(qū)的時(shí)候才會(huì)真正去下載大文件的內(nèi)容）。
對(duì)目前來(lái)說(shuō)簡(jiǎn)單將其理解為git管理大文件的擴(kuò)展即可。

安裝git和lfs的命令及解釋如下：

sudo apt-get install git 	# 安裝git
git --version 				# 查看git版本
mkdir git					# 創(chuàng)建文件夾，名稱(chēng)任意
cd git						# 進(jìn)入文件夾
git init					# 初始化文件夾為git倉(cāng)庫(kù) 
git lfs install				# 查看lfs是否安裝成功有如下輸出說(shuō)明安裝成功 
Updated git hooks.
Git LFS initialized.

首先進(jìn)入Hugging Face官網(wǎng)，推薦使用國(guó)內(nèi)鏡像網(wǎng)站，點(diǎn)擊model選項(xiàng)卡可見(jiàn)各種模型：

搜索后可見(jiàn)該模型的詳細(xì)界面，點(diǎn)擊紅框的三個(gè)點(diǎn)，和Clone即可獲得git命令，然后進(jìn)入到我們先前初始化的git倉(cāng)庫(kù)即可拉取下載：

但是由于git的機(jī)制，拉取倉(cāng)庫(kù)時(shí)會(huì)拉取所有版本的內(nèi)容，對(duì)網(wǎng)絡(luò)和磁盤(pán)要求很高，詳細(xì)教程也更推薦下面的方式。

鏡像網(wǎng)站工具下載

鏡像網(wǎng)站基于aria2開(kāi)發(fā)了huggingface的專(zhuān)用下載工具，支持多現(xiàn)成下載，不斷連，使用方法如下：

wget https://hf-mirror.com/hfd/hfd.sh		# 下載hfd
chmod a+x hfd.sh							# 授予權(quán)限
export HF_ENDPOINT=https://hf-mirror.com	# 設(shè)置環(huán)境變量
./hfd.sh 模型名								# 下載模型

啟動(dòng)下載后如下圖所示：

下載完成后可以看到整個(gè)模型文件，還是比較大的，有二十多個(gè)G：

生成庫(kù)的使用

前面下載好的模型放到項(xiàng)目目錄下，生成的示例代碼如下：

import torch
from diffusers import StableDiffusionPipeline
import time# 定義管道和預(yù)訓(xùn)練模型，未下載的會(huì)自動(dòng)下載， GPU RAM 少于 10GB，
# 加載 StableDiffusionPipeline 時(shí)使用 float16 精度，而不是的默認(rèn) float32 精度。
model_id = "CompVis/stable-diffusion-v1-4"
# 本地模型路徑
model_path="./stable-diffusion-v1-4"start = time.time()
print("正在加載模型...")
pipe = StableDiffusionPipeline.from_pretrained(model_path,revision="fp16", torch_dtype=torch.float16)
# 提示詞
prompt = "a photograph of an astronaut riding a horse"
# 使用GPU
pipe.to("cuda")print("正在生成圖像...")
image = pipe(prompt).images[0]end=time.time()
print("消耗時(shí)間為：",end-start)
# 保存圖像
image.save(f"astronaut_rides_horse.png")

其他詳細(xì)原理和操作可見(jiàn)官方文檔，包括使用自訓(xùn)練模型，更改推理過(guò)程等，都可以通過(guò)繼承不同的模塊實(shí)現(xiàn)。

對(duì)應(yīng)輸出和生成的圖像如下：


面部細(xì)節(jié)有些失真，馬蹄也有點(diǎn)不統(tǒng)一，但是整體效果還可以。

總結(jié)

本文記錄了diffuser庫(kù)使用CompVis/stable-diffusion-v1-4模型生成圖像的詳細(xì)過(guò)程：
包括庫(kù)和擴(kuò)散生成的基本認(rèn)識(shí)；
CompVis/stable-diffusion-v1-4模型下載；
diffuser庫(kù)的使用和生成圖像的示例代碼。

這是手動(dòng)生成圖像的第一步，但也是關(guān)鍵一步，后續(xù)可以根據(jù)繼承該模型的不同模塊，調(diào)整參數(shù)和生成手段，達(dá)到自己想要的效果。