各位佬看文章之前，可以先去看看這個視頻，并給這位up主點贊投幣，這位佬講解的太好了：大白話AI

1.前置知識的學(xué)習(xí)

1.1 正態(tài)分布特性

? （1）正態(tài)分布的概率密度函數(shù)
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{?\frac{(x?\mu {)}^2}{2{\sigma }^2}},記為N(\mu ,{\sigma }^2)$$

? 當(dāng)$\mu =0,{\sigma }^2=1$時，則記為標(biāo)準(zhǔn)正態(tài)分布，記為$N(0,1)$, 又稱為高斯分布。

? （2）正態(tài)分布的基本性質(zhì)
$$\begin{gathered} N({\mu }_1,{\sigma }_1^2)+N({\mu }_2,{\sigma }_2^2)=N({\mu }_1+\mu 2,{\sigma }_1^2+{\sigma }_2^2) \\ a?N(\mu ,\sigma )=N(a?\mu ,(a?\sigma {)}^2) \end{gathered}$$

1.2 貝葉斯定理

? $A,B$是兩個隨機事件，$P(A)$表示$事件A$發(fā)生的概率，$P(B|A)$表示A事件發(fā)生的情況下B事件發(fā)生的概率，則貝葉斯定理如下：
$$P(A|B)=\frac{P(B|A)?P(A)}{P(B)}$$

2. 前向過程（加噪）

? 如圖所示，前向過程則是一個加載過程，在每個時間步，都從正態(tài)分布中隨機采樣一個和圖片等大的噪聲（也可以理解為噪聲圖片），則加噪過程：
$$x_1=\sqrt{{\beta }_1}?{?}_1+\sqrt{1?{\beta }_1}?x_0$$
? 其中$x_0$表示原始圖片，${?}_1$ 表示隨機噪聲，${\beta }_1$表示擴散速度，$T$表示擴散的次數(shù)，則可以一次推導(dǎo)：
$$\begin{gathered} x_1=\sqrt{{\beta }_1}?{?}_1+\sqrt{1?{\beta }_1}?x_0 \\ {x}_2=\sqrt{{\beta }_2}?{?}_2+\sqrt{1?{\beta }_2}?x_1 \\ {x}_3=\sqrt{{\beta }_3}?{?}_3+\sqrt{1?{\beta }_3}?x_2 \\ ?????? \\ {x}_T=\sqrt{{\beta }_T}?{?}_T+\sqrt{1?{\beta }_T}?x_{T?1} \\ 前后關(guān)系就可以記為： \\ {x}_t=\sqrt{{\beta }_t}?{?}_t+\sqrt{1?{\beta }_t}?x_{t?1} \end{gathered}$$
? 為簡化后續(xù)運算，令${\alpha }_t=1?{\beta }_t$, 則有：
$$x_t=\sqrt{1?{\alpha }_t}?{?}_t+\sqrt{{\alpha }_t}?x_{t?1}$$

? 思考：如何能更快的得到$x_T$？因為如果加噪1000步，豈不是要計算1000次上述的運算！好的，下面介紹怎樣依賴正態(tài)分布的可加性來簡化運算，從而推導(dǎo)出$x_0$到$x_t$的關(guān)系：

$$\begin{gathered} 由正態(tài)分布的基本性質(zhì)可知： \\ {?}_t和{?}_{t?1}服從N(0,1),即：{?}_t～N(0,1),{?}_{t?1}～N(0,1) \\ 可以推導(dǎo)出：\sqrt{1?a_t}?{?}_t～N(0,1?{\alpha }_t) \\ \sqrt{a_t(1?a_{t?1})}?{?}_{t?1}～N(0,a_t?a_t?a_{t?1})) \end{gathered}$$

$$\begin{gathered} 從而推導(dǎo)出： \\ \sqrt{a_t(1?a_{t?1})}?{?}_{t?1}+\sqrt{1?a_t}?{?}_t～N(0,1?a_t?a_{t?1}) \end{gathered}$$

$$\begin{gathered} 進(jìn)而推導(dǎo)出： \\ {x}_t=\sqrt{1?a_t?a_{t?1}}??+\sqrt{a_t?a_{t?1}}?x_{t?2},其中：?～N(0,1?a_t?a_{t?1}) \end{gathered}$$

$$\begin{gathered} 這里就可到了x_t和x_{t?2}之間的關(guān)系，然后依靠上面的方法就可以一次推導(dǎo)出x_t到x_0的關(guān)系(數(shù)學(xué)歸納法證明)，具體如下： \\ {x}_t=\sqrt{1?a_t{a}_{t?1}{a}_{t?2}...a_1}??+\sqrt{a_t{a}_{t?1}{a}_{t?2}...a1}?x_0 \\ 其中，?～N(0,1?a_t{a}_{t?1}{a}_{t?2}...a_1) \end{gathered}$$

$$\begin{gathered} 為了方便表示,記：{\bar{a}}_t=a_t{a}_{t?1}{a}_{t?2}...a_1 \\ 則：x_t=\sqrt{1?{\bar{a}}_t}??+\sqrt{{\bar{a}}_t}{x}_0 \end{gathered}$$

? 至此，前向過程就記錄完成了，我們得到$x_0到x_t$的關(guān)系，并且可以只通過一次采樣就能得到。

3. 反向過程（去噪）

? 去噪過程就是從$x_T$一步步反推回$x_0$。

3.1 反向原理推導(dǎo)

? 由貝葉斯定理：
$$P(A|B)=\frac{P(B|A)?P(A)}{P(B)}$$
? 我們可以令：

$$\begin{gathered} 所以，可以在每個式子后面添加一個先驗x0,即： \\ P(x_{t?1}|x_t,x_0)=\frac{P(x_t|x_{t?1},x_0)?P(x_{t?1}|x_0)}{P(x_t|x_0)} \end{gathered}$$

? 然后就可以把他們分別寫成概率密度形式：

? 然后將概率密度函數(shù)帶入到貝葉斯定理中，就可以得到：

? 化簡成高斯分布得：

? $P(x_{t?1}|x_t,x_0)$ =

? 由此推導(dǎo)出：

$$\begin{gathered} 我們的目的是通過x_t求出x_{t?1},然后由x_{t?1}推導(dǎo)出x_{t?2}???直到求出x_0， \\ 但現(xiàn)在的式子中出現(xiàn)了x_0,怎么辦？ \\ 沒關(guān)系，我們之前由x_t和x_0的關(guān)系： \\ {x}_t=\sqrt{1?{\bar{a}}_t}??+\sqrt{{\bar{a}}_t}{x}_0 \end{gathered}$$
? 變換可以得到：

? 將它帶入到$P(x_{t?1}|x_t,x_0)$的概率密度函數(shù)中可得：

? 它表示的是：對于任意$x_t$的圖像都可以用$x_0$加載而來；而只要知道了從$x_0$到$x_t$加入的噪聲$?$，就能得到它前一時刻$x_{t?1}$的概率分布，即：$P(x_{t?1}|x_t,x_0)$ 。

? 這里我們就需要使用神經(jīng)網(wǎng)絡(luò)，輸入$x_t$時刻的圖像，預(yù)測此圖像相對于某個$x_0$原圖加入的噪聲$?$。

? 如圖所示，也就是說：

?
Step1: 在神經(jīng)網(wǎng)絡(luò)中，輸入$x_t$時刻圖像，訓(xùn)練得到此圖像相對于某個$x_0$原圖加入的噪聲$?$。

? Step2： 將噪聲$?$帶入到$x_{t?1}$的概率密度函數(shù)$P(x_{t?1}|x_t,x_0)$中；

? Step3: 從$x_{t?1}$的概率密度函數(shù)$P(x_{t?1}|x_t,x_0)$中隨機采樣，得到$x_{t?1}$(即t-1時刻對應(yīng)的圖像)；

? Step4: 將$x_{t?1}$作為神經(jīng)網(wǎng)絡(luò)的輸入，帶入到Step1中，循環(huán)Step1 ~ Step3，知道得到$x_0$

? DDPM中的神經(jīng)網(wǎng)絡(luò)選用的UNet.

? 至此，結(jié)束！