導讀

• 概率模型有時既含有觀測變量，又含有隱變量或潛在變量。這句很重要，有時候我們能拿到最后的觀測結果，卻拿不到中間的過程記錄

• EM算法可以用于生成模型的非監(jiān)督學習，EM算法是個一般方法，不具有具體模型

  EM算法是一種迭代算法，用于含有隱變量的概率模型的極大似然估計，或極大后驗概率估計

• 似然和概率的關系可以推廣了解，這章關于概率和似然的符號表示，概率和似然是同樣的形式描述的都是可能性，$P(Y|\theta )$是一個兩變量的函數(shù)，似然是給定結果，求參數(shù)可能性；概率是給定參數(shù)求結果可能性
  是不是可以認為，似然和概率分別對應了Train和Predict的過程？

  假設給定觀測數(shù)據(jù)Y，其概率分布是P(Y|θ)，其中θ是概率分布的參數(shù)。那么不完全數(shù)據(jù)Y的似然函數(shù)是通過將Y視為已知觀測數(shù)據(jù)，而將未觀測到的數(shù)據(jù)表示為缺失或隱變量。似然函數(shù)可以表示為P(Y|θ)

• 無論是三硬幣還是GMM，采樣的過程都是如下:

  1. Sample $z_i～p(z|\pi )$
  2. Sample $x_i～p(x|\pi )$

  注意，這里用到了$\pi$，在強化學習中，隨機性策略$\pi (x,a)$表示為狀態(tài)$x$下選擇動作$a$的概率。

• 關于EM算法的解釋
  注意這里EM不是模型，是個一般方法，不具有具體的模型，這點前面已經提到

  1. PRML
     $kmeans\to GMM\to EM$
     k均值聚類算法就是一個典型的EM算法
  2. 統(tǒng)計學習方法
     1. $MLE\to B$
     2. $F$函數(shù)的極大-極大算法

• HMM作了兩個基本假設，實際上是在說在圖模型中，存在哪些邊

符號說明

一般地，用$Y$表示觀測隨機變量的數(shù)據(jù)，$Z$表示隱隨機變量的數(shù)據(jù)。$Y$和$Z$一起稱為完全數(shù)據(jù)(complete-data)，觀測數(shù)據(jù)$Y$又稱為不完全數(shù)據(jù)(incomplete-data)

上面這個概念很重要，Dempster在1977年提出EM算法的時候文章題目就是《Maximum likelihood from incomplete data via the EM algorithm》，具體看書中本章參考文獻[^3]

假設給定觀測數(shù)據(jù)$Y$，其概率分布是$P(Y|\theta )$，其中$\theta$是需要估計的模型參數(shù)
那么不完全數(shù)據(jù)$Y$的似然函數(shù)是$P(Y|\theta )$，對數(shù)似然函數(shù)是$L(\theta )=\log P(Y|\theta )$

假設$Y$和$Z$的聯(lián)合概率分布是$P(Y,Z|\theta )$，那么完全數(shù)據(jù)的對數(shù)似然函數(shù)是$\log P(Y,Z|\theta )$

上面這部分簡單對應一下，這里說明一下，你看到下面概率分布和似然函數(shù)形式看起來一樣。在概率中，$\theta$已知, 求$Y$，在似然函數(shù)中通過已知的Y去求$\theta$

	觀測數(shù)據(jù)$Y$	不完全數(shù)據(jù)$Y$
不完全數(shù)據(jù)$Y$	概率分布$P(Y	\theta)$	似然函數(shù)$P(Y
完全數(shù)據(jù) $(Y,Z)$	$Y$和$Z$的聯(lián)合概率分布$P(Y,Z	\theta )$	似然函數(shù)$P(Y,Z

有一點要注意下, 這里沒有出現(xiàn)$X$, 有提到一種理解

• 有時訓練數(shù)據(jù)只有輸入沒有對應的輸出$(x_1,?),(x_2,?),\dots ,(x_N,?)$，從這樣的數(shù)據(jù)學習模型稱為非監(jiān)督學習問題。
• EM算法可以用于生成模型的非監(jiān)督學習。
• 生成模型由聯(lián)合概率分布$P(X,Y)$表示，可以認為非監(jiān)督學習訓練數(shù)據(jù)是聯(lián)合概率分布產生的數(shù)據(jù)。$X$為觀測數(shù)據(jù)， $Y$為未觀測數(shù)據(jù)

有時候，只觀測顯變量看不到關系，就需要把隱變量引進來。

混合模型

書中用三硬幣模型做為引子，在學習這部分內容的時候，注意體會觀測數(shù)據(jù)的作用。

伯努利混合模型(三硬幣模型)

問題描述

問題的描述過程中有這樣一句：獨立的重復$n$次實驗(這里$n=10$)，觀測結果如下:

1,1,0,1,0,0,1,0,1,1

思考上面這個觀測和1,1,1,1,1,1,0,0,0,0有區(qū)別么?

沒有任何信息的前提下，我們得到上面的觀測數(shù)據(jù)可以假定是一個二項分布的形式，參數(shù)$n=10,p=0.6$

把$k=6$次成功分布在$n=10$次試驗中有$C(10,6)$種可能

所以上面兩個觀測序列，可能出自同一個模型。在這個問題的求解上是沒有區(qū)別的

我們通過一段代碼來生成這個數(shù)據(jù)

import numpy as npp = 0.6
n = 10
# np.random.seed(2018)
flag_a = 1
flag_b = 1
cnt = 0
while flag_a or flag_b:tmp = np.random.binomial(1, p, n)if (tmp == np.array([1,1,1,1,1,1,0,0,0,0])).all():flag_a = 0print("[1,1,1,1,1,1,0,0,0,0] at %d\n" % cnt)if (tmp == np.array([1,1,0,1,0,0,1,0,1,1])).all():flag_b = 0print("[1,1,0,1,0,0,1,0,1,1] at %d\n" % cnt)cnt += 1

實際上題目的描述中說明了觀測數(shù)據(jù)生成的過程，這些參數(shù)是未知的，所以需要對這些參數(shù)進行估計

三硬幣模型可以寫作
$$\begin{array}{c}\begin{array}{rl}P(y|\theta )& =\sum _{z}P(y,z|\theta )\\ & =\sum _{z}P(z|\theta )P(y|z,\theta )\\ & =\pi p^y(1?p{)}^{1?y}+(1?\pi )q^y(1?q{)}^{1?y}\end{array}\end{array}\text{\hspace{1em}?}$$
以上

1. 隨機變量$y$是觀測變量，表示一次試驗觀測的結果是1或0
2. 隨機變量$z$是隱變量，表示未觀測到的擲硬幣$A$的結果
3. $\theta =(\pi ,p,q)$是模型參數(shù)
4. 這個模型是以上數(shù)據(jù)(1,1,0,1,0,0,1,0,1,1)的生成模型

觀測數(shù)據(jù)表示為$Y=(Y_1,Y_2,Y_3,\dots ,Y_n{)}^T$, 未觀測數(shù)據(jù)表示為$Z=(Z_1,Z_2,Z_3,\dots ,Z_n{)}^T$, 則觀測數(shù)據(jù)的似然函數(shù)為

其實覺得這里應該是小寫的$y=(y_1,y_2,\dots ,y_n),z=(z_1,z_2,\dots ,z_n)$
$$P(Y|\theta )=\sum _{Z}P(Z|\theta )P(Y|Z,\theta )$$
注意這里的求和是下面的"+"描述的部分

即
$$P(Y|\theta )=\prod _{j=1}^n[\pi p^{y_j}(1?p{)}^{1?y_j}+(1?\pi )q^{y_j}(1?q{)}^{1?y_j}]$$

---

---

$$p(x|\theta )p(\theta )=p(\theta |x)p(x)?p(\theta |x)=\frac{p(x|\theta )p(\theta )}{p(x)}?\mathrm{argmax}p(\theta |x)$$

極大似然估計：
$$\hat{\theta }=\arg \underset{\theta }{\max }\log P(Y|\theta )$$
極大后驗概率：
$$\text{argmax}p(\theta |x)?\text{argmax}p(x|\theta )p(\theta )$$
均勻分布下，后一部分是等概率的，N

KL散度=交叉熵+const

三硬幣模型的EM算法

1.初值

EM算法首選參數(shù)初值，記作${\theta }^{(0)}=({\pi }^{(0)},p^{(0)},q^{(0)})$, 然后迭代計算參數(shù)的估計值。

如果第$i$次迭代的模型參數(shù)估計值為${\theta }^{(i)}=({\pi }^{(i)},p^{(i)},q^{(i)})$

2.E步

那么第$i+1$ 次迭代的模型參數(shù)估計值表示為
$${\mu }_j^{i+1}=\frac{{\pi }^{(i)}(p^{(i)}{)}^{y_j}(1?p^{(i)}{)}^{1?y_j}}{{\pi }^{(i)}(p^{(i)}{)}^{y_j}(1?p^{(i)}{)}^{1?y_j}+(1?{\pi }^{(i)})(q^{(i)}{)}^{y_j}(1?q^{(i)}{)}^{1?y_j}}$$
因為是硬幣，只有0，1兩種可能，所有有上面的表達

這個表達方式還可以拆成如下形式
$${\mu }_j^{i+1}=?\begin{array}{ll}\frac{{\pi }^{(i)}{p}^{(i)}}{{\pi }^{(i)}{p}^{(i)}+(1?{\pi }^{(i)})q^{(i)}}& ,y_j=1\\ \frac{{\pi }^{(i)}(1?p^{(i)})}{{\pi }^{(i)}(1?p^{(i)})+(1?{\pi }^{(i)})(1?q^{(i)})}& ,y_j=0\end{array}$$
所以, 這步(求${\mu }_j$)干了什么，樣本起到了什么作用？

這一步，通過假設的參數(shù)，計算了不同的樣本對假設模型的響應(${\mu }_j$)，注意這里因為樣本($y_j$)是二值的，所以，用 { y j , 1 ? y j } \{y_j, 1-y_j\} {yj?,1?yj?} 構成了one-hot的編碼，用來表示樣本歸屬的假設

以上，有點繞

這一步是什么的期望？書中有寫，**觀測數(shù)據(jù)來自硬幣$B$的概率, 在二項分布的情況下, 響應度和概率是一個概念. **這個說明，有助于后面M步公式的理解。

3.M步

$$\begin{array}{rl}{\pi }^{(i+1)}& =\frac{1}{n}\sum _{j=1}^n{\mu }_j^{(i+1)}\\ p^{(i+1)}& =\frac{{\sum }_{j=1}^n{\mu }_j^{(i+1)}{y}_j}{{\sum }_{j=1}^n{\mu }_j^{(i+1)}}\\ q^{(i+1)}& =\frac{{\sum }_{j=1}^n(1?{\mu }_j^{(i+1)})y_j}{{\sum }_{j=1}^n(1?{\mu }_j^{(i+1)})}\end{array}\text{\hspace{1em}?}$$
上面，紅色部分的公式從觀測數(shù)據(jù)是來自硬幣B的概率這句來理解

初值影響

這個例子里面0.5是個合理又牛逼的初值。迭代收斂的最后結果是(0.5, 0.6, 0.6)

這個結果說明，如果A是均勻的，那么一個合理的解就是B，C是同質的。他們的分布情況和觀測的分布一致

p,q 含義

這里面$p$對應了$A=1$，$B=1$，$q$對應了$A=0$，$C=1$

這三個公式可以改寫成如下形式:
$$\begin{array}{rl}{\pi }^{(i+1)}& =\frac{1}{n}\sum _{j=1}^n{\mu }_j^{(i+1)}\\ p^{(i+1)}& =\frac{{\sum }_{j=1}^n{\mu }_j^{(i+1)}{y}_j}{{\sum }_{j=1}^n({\mu }_j^{(i+1)}{y}_j+{\mu }_j^{(i+1)}(1?y_j)}\\ q^{(i+1)}& =\frac{{\sum }_{j=1}^n(1?{\mu }_j^{(i+1)})y_j}{{\sum }_{j=1}^n((1?{\mu }_j^{(i+1)})y_j+(1?{\mu }_j^{(i+1)})(1?y_j))}\end{array}\text{\hspace{1em}?}$$
$\pi$的表達式回答這樣一個問題: 刷了這么多樣本，拿到一堆數(shù)，那么$\pi$應該是多少，均值是個比較好的選擇

$p$的表達式回答這樣一個問題: 如果我知道每個結果$y_j$以${\mu }_j$的可能來自硬幣B(A=1)，那么用這些數(shù)據(jù)刷出來他可能是正面的概率。這里面${\mu }_j$對應了$A=1$

$q$的表達式同理，其中$1?{\mu }_j$對應了$A=0$

到后面講高斯混合模型的時候，可以重新審視這里
$$\begin{array}{rl}{\alpha }_0& ?\pi \\ {\mu }_0& ?p^{y_j}(1?p{)}^{1?y_j}\\ {\alpha }_1& ?1?\pi \\ {\mu }_1& ?q^{y_j}(1?q{)}^{1?y_j}\end{array}$$
以上對應了包含兩個分量的伯努利混合模型

bmm.py對伯努利混合模型做了實現(xiàn), 有幾點說明一下:

1. $(p^{(i)}{)}^{y_i}(1?p^{(i)}{)}^{1?y_i}$這個表達式對應了伯努利分布的概率密度，可以表示成矩陣乘法，盡量不要用for，效率會差

2. 采用了$\pi ,p,q$來表示，注意在題目的說明部分有說明三個符號的含義

3. 實際上不怎么拋硬幣，但是0-1的伯努利分布很多

   當參數(shù)$\theta$的維數(shù)為$d(d\ge 2)$的時候，可以采用一種特殊的GEM算法，它將算法的M步分解成d次條件極大化，每次只改變參數(shù)向量的一個分量，其余量不改變。

EM算法另外視角

輸入: 觀測變量數(shù)據(jù)$Y$，隱變量數(shù)據(jù)$Z$，聯(lián)合分布$P(Y,Z|\theta )$，條件分布$P(Z|Y,\theta )$

輸出: 模型參數(shù)$\theta$

1. 選擇參數(shù)的初值${\theta }^{(0)}$，開始迭代

2. E步：記${\theta }^{(i)}$為第 $i$ 次迭代參數(shù)$\theta$的估計值，在第$i+1$次迭代的$E$步，計算
   $$\begin{array}{rl}Q(\theta ,{\theta }^{(i)})=& E_Z[\log P(Y,Z|\theta )|Y,{\theta }^{(i)}]\\ =& \sum _Z\log P(Y,Z|\theta )P(Z|Y,{\theta }^{(i)})\end{array}\text{\hspace{1em}?}$$

3. M步
   求使$Q(\theta ,{\theta }^{(i)})$最大化的$\theta$，確定第$i+1$次迭代的參數(shù)估計值

$${\theta }^{(i+1)}=\arg \underset{\theta }{\max }Q(\theta ,{\theta }^{(i)})$$

Q 函數(shù)

注意Q函數(shù)的定義，可以幫助理解上面E步中的求和表達式

完全數(shù)據(jù)的對數(shù)似然函數(shù)$\log P(Y,Z|\theta )$關于給定觀測數(shù)據(jù)$Y$的當前參數(shù)${\theta }^{(i)}$下對為觀測數(shù)據(jù)$Z$的條件概率分布$P(Z|Y,{\theta }^{(i)})$的期望稱為Q函數(shù)

BMM的EM算法

輸入: 觀測變量數(shù)據(jù)$y_1,y_2,\dots ,y_N$，伯努利混合模型

輸出: 伯努利混合模型參數(shù)

1. 選擇參數(shù)的初始值開始迭代，$2K$ 個參數(shù)
2. E步:
   $${\hat{\gamma }}_{jk}=\frac{{\alpha }_{k}Bern(y_j|{\theta }_k)}{{\sum }_{k=1}^K{\alpha }_{k}Bern(y_j|{\theta }_k)}=\frac{{\alpha }_k{\mu }_k^{y_j}(1?{\mu }_k{)}^{1?y_j}}{{\sum }_{k=1}^K{\alpha }_k{\mu }_k^{y_j}(1?{\mu }_k{)}^{1?y_j}},j=1,2,\dots ,N;k=1,2,\dots ,K$$
3. M步:
   $$\begin{gathered} {\hat{\mu }}_k=\frac{{\sum }_{j=1}^N{\hat{\gamma }}_{jk}{y}_j}{{\sum }_{j=1}^N{\hat{\gamma }}_{jk}} \\ {\hat{\alpha }}_k=\frac{n_k}{N} \end{gathered}$$

目標函數(shù)L

$$L(\theta )=\log P(Y|\theta )=\log \sum _{Z}P(Y,Z|\theta )=\log (\sum _{Z}P(Y|Z,\theta )P(Z|\theta ))$$

目標函數(shù)是不完全數(shù)據(jù)的對數(shù)似然

EM算法導出

書中這部分內容回答為什么EM算法能近似實現(xiàn)對觀測數(shù)據(jù)的極大似然估計？
$$\begin{array}{rl}L(\theta )?L({\theta }^{(i)})& =\log \left(\sum _{Z}P(Z|Y,{\theta }^{(i)})\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})}\right)?\log P(Y|{\theta }^{(i)})\\ & \ge \sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})}?\log P(Y|{\theta }^{(i)})\\ & =\sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})}?\sum _{Z}P(Z|Y,{\theta }^{(i)})\log P(Y|{\theta }^{(i)})\\ & =\sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})}\end{array}\text{\hspace{1em}?}$$

以上用于推導迭代過程中兩次$L$會變大， 這里面紅色部分是后加的方便理解前后兩步之間的推導。綠色部分是為了構造期望， 進而應用琴聲不等式

高斯混合模型

混合模型，有多種，高斯混合模型是最常用的

高斯混合模型(Gaussian Mixture Model)是具有如下概率分布的模型:
$$P(y|\theta )=\sum _{k=1}^K{\alpha }_k?(y|{\theta }_k)$$
其中，${\alpha }_k$是系數(shù)，${\alpha }_k\ge 0$，$\sum _{k=1}^K{\alpha }_k=1$, $?(y|{\theta }_k)$ 是高斯分布密度，${\theta }_k=(\mu ,{\sigma }^2)$
$$?(y|{\theta }_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k}\exp \left(?\frac{(y?{\mu }_k{)}^2}{2{\sigma }_k^2}\right)$$
上式表示第k個分模型

以上, 注意幾點：

1. GMM的描述是概率分布，形式上可以看成是加權求和，有啥用？

2. 加權求和的權重$\alpha$滿足${\sum }_{k=1}^K{\alpha }_k=1$的約束

3. 求和符號中除去權重的部分，是高斯分布密度(PDF)。高斯混合模型是一種$\sum (權重\times 分布密度)=分布$的表達
   高斯混合模型的參數(shù)估計是EM算法的一個重要應用，隱馬爾科夫模型的非監(jiān)督學習也是EM算法的一個重要應用

4. 書中描述的是一維的高斯混合模型，d維的形式如下[^2]，被稱作多元正態(tài)分布，也叫多元高斯分布
   $$?(y|{\theta }_k)=\frac{1}{\sqrt{(2\pi {)}^d|\Sigma |}}\exp \left(?\frac{(y?{\mu }_k{)}^T{\Sigma }^{?1}(y?{\mu }_k)}{2}\right)$$
   其中，協(xié)方差矩陣$\Sigma \in {\mathbb{R}}^{n\times n}$

5. 另外，關于高斯模型的混合，還有另外一種混合的方式，沿著時間軸的方向做混合?？梢岳斫鉃闉V波器，典型的算法就是Kalman Filter，對應了時域與頻域之間的關系，兩個高斯的混合依然是高斯，混合的方法是卷積，而不是簡單的加法，考慮到的是概率密度的混合，也是一種線性的加權

GMM的EM算法

問題描述:

已知觀測數(shù)據(jù)$y_1,y_2,\dots ,y_N$，由高斯混合模型生成
$$P(y|\theta )=\sum _{k=1}^K{\alpha }_k?(y|{\theta }_k)$$
其中， $\theta =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_K;{\theta }_1,{\theta }_2,\dots ,{\theta }_K)$

補充下，不完全數(shù)據(jù)的似然函數(shù)應該是
$$\begin{array}{rl}P(y|\theta )=& \prod _{j=1}^{N}P(y_j|\theta )\\ =& \prod _{j=1}^N\sum _{k=1}^K{\alpha }_k?(y|{\theta }_k)\end{array}\text{\hspace{1em}?}$$
使用EM算法估計GMM的參數(shù)$\theta$

1. 明確隱變量, 初值

• 觀測數(shù)據(jù)$y_j,j=1,2,\dots ,N$這樣產生, 是已知的:

  1. 依概率${\alpha }_k$選擇第$k$個高斯分布分模型$?(y|{\theta }_k)$;

  2. 依第$k$個分模型的概率分布$?(y|{\theta }_k)$生成觀測數(shù)據(jù)$y_j$

  3. 反映觀測數(shù)據(jù)$y_j$來自第$k$個分模型的數(shù)據(jù)是未知的, $k=1,2,\dots ,K$ 以**隱變量${\gamma }_{jk}$**表示
     注意這里${\gamma }_{jk}$的維度$(j\times k)$
     γ j k = { 1 , 第 j 個觀測來自第 k 個分模型 0 , 否則 j = 1 , 2 , … , N ; k = 1 , 2 , … , K ; γ j k ∈ { 0 , 1 } \gamma_{jk}= \begin{cases} 1, &第j個觀測來自第k個分模型\\ 0, &否則 \end{cases}\\ j=1,2,\dots,N; k=1,2,\dots,K; \gamma_{jk}\in\{0,1\} γjk?={1,0,?第j個觀測來自第k個分模型否則?j=1,2,…,N;k=1,2,…,K;γjk?∈{0,1}
     注意, 以上說明有幾個假設:

  4. 隱變量和觀測變量的數(shù)據(jù)對應, 每個觀測數(shù)據(jù)，對應了一個隱變量，${\gamma }_{jk}$是一種one-hot的形式。

  5. 具體的單一觀測數(shù)據(jù)是混合模型中的某一個模型產生的

• 完全數(shù)據(jù)為$(y_j,{\gamma }_{j1},{\gamma }_{j2},\dots ,{\gamma }_{jK},k=1,2,\dots ,N)$

• 完全數(shù)據(jù)似然函數(shù)
  $$\begin{array}{rl}P(y,\gamma |\theta )=& \prod _{j=1}^{N}P(y_j,{\gamma }_{j1},{\gamma }_{j2},\dots ,{\gamma }_{jK}|\theta )\\ =& \prod _{k=1}^K\prod _{j=1}^N{\left[{\alpha }_k?(y_j|{\theta }_k)\right]}^{{\gamma }_{jk}}\\ =& \prod _{k=1}^K{\alpha }_k^{n_k}\prod _{j=1}^N{\left[?(y_j|{\theta }_k)\right]}^{{\gamma }_{jk}}\\ =& \prod _{k=1}^K{\alpha }_k^{n_k}\prod _{j=1}^N{\left[\frac{1}{\sqrt{2\pi }{\sigma }_k}\exp \left(?\frac{(y_j?{\mu }_k{)}^2}{2{\sigma }^2}\right)\right]}^{{\gamma }_{jk}}\end{array}$$
  其中$n_k={\sum }_{j=1}^N{\gamma }_{jk},{\sum }_{k=1}^K{n}_k=N$

• 完全數(shù)據(jù)對數(shù)似然函數(shù)
  $$\log P(y,\gamma |\theta )=\sum _{k=1}^K\left\{n_k\log {\alpha }_k+\sum _{j=1}^N{\gamma }_{jk}\left[\log \left(\frac{1}{\sqrt{2\pi }}\right)?\log {\sigma }_k?\frac{1}{2{\sigma }^2}(y_j?{\mu }_k{)}^2\right]\right\}$$

2. E步,確定Q函數(shù)

把$Q$ 函數(shù)表示成參數(shù)形式
$$\begin{array}{rl}Q(\theta ,{\theta }^{(i)})=& E[\log P(y,\gamma |\theta )|y,{\theta }^{(i)}]\\ =& E\sum _{k=1}^K{n}_k\log {\alpha }_k+\sum _{j=1}^N{\gamma }_{jk}[\log (\frac{1}{\sqrt{2\pi }})?\log {\sigma }_k?\frac{1}{2{\sigma }^2(y_j?{\mu }_k{)}^2}]\\ =& E\sum _{k=1}^K\sum _{j=1}^N{\gamma }_{jk}\log {\alpha }_k+\sum _{j=1}^N{\gamma }_{jk}[\log (\frac{1}{\sqrt{2\pi }})?\log {\sigma }_k?\frac{1}{2{\sigma }^2(y_j?{\mu }_k{)}^2}]\\ =& \sum _{k=1}^K\sum _{j=1}^N(E{\gamma }_{jk})\log {\alpha }_k+\sum _{j=1}^N(E{\gamma }_{jk})[\log (\frac{1}{\sqrt{2\pi }})?\log {\sigma }_k?\frac{1}{2{\sigma }^2(y_j?{\mu }_k{)}^2}]\end{array}$$
$$\begin{array}{rl}{\hat{\gamma }}_{jk}=& E({\gamma }_{jk}|y,\theta )=P({\gamma }_{jk}=1|y,\theta )\\ =& \frac{P({\gamma }_{jk}=1,y_j|\theta )}{{\sum }_{k=1}^{K}P({\gamma }_{jk}=1,y_j|\theta )}\\ =& \frac{P(y_j|{\gamma }_{jk}=1,\theta )P({\gamma }_{jk}=1|\theta )}{{\sum }_{k=1}^{K}P(y_j|{\gamma }_{jk}=1,\theta )P({\gamma }_{jk}=1|\theta )}\\ =& \frac{{\alpha }_k?(y_j|{\theta }_k)}{{\sum }_{k=1}^K{\alpha }_k?(y_j|{\theta }_k)}\end{array}$$

這部分內容就是搬運了書上的公式，有幾點說明:

1. 注意這里$E({\gamma }_{jk}|y,\theta )$，記為${\hat{\gamma }}_{jk}$， 對應了E步求的期望中的一部分。
2. 對應理解一下上面公式中的紅色，藍色和綠色部分，以及${\hat{\gamma }}_{jk}$中紅色和綠色的對應關系
3. 這里用到了$n_k={\sum }_{j=1}^N{\gamma }_{jk}$
4. ${\hat{\gamma }}_{jk}$為分模型$k$對觀測數(shù)據(jù)$y_j$的響應度。這里，紫色標記的第一行參考伯努利分布的期望。

$$Q(\theta ,{\theta }^{(i)})=\sum _{k=1}^K{n}_k\log {\alpha }_k+\sum _{j=1}^N{\hat{\gamma }}_{jk}\left[\log \left(\frac{1}{\sqrt{2\pi }}\right)?\log {\sigma }_k?\frac{1}{2{\sigma }_k^2}(y_j?{\mu }_k{)}^2\right]$$
其中$i$表示第$i$步迭代

1. 寫出$Q$ 函數(shù)在推導的時候有用，但是在程序計算的時候，E步需要計算的就是${\hat{\gamma }}_{jk}$，M步用到了這個結果。其實抄公式沒有什么意義，主要是能放慢看公式的速度。和圖表一樣，公式簡潔的表達了很多信息，公式中也許更能體會到數(shù)學之美。

3. M步

求函數(shù)$Q(\theta ,{\theta }^{(i)})$對$\theta$的極大值，分別求$\sigma ,\mu ,\alpha$
$${\theta }^{(i+1)}=\arg \underset{\theta }{\max }Q(\theta ,{\theta }^{(i)})$$

• $\arg \max$ 就是求Q的極值對應的參數(shù)$\theta$，如說是離散的，遍歷所有值，最大查找，如果是連續(xù)的，偏導為零求極值。
• $\frac{?Q}{?{\mu }_k}=0,\frac{?Q}{?{\sigma }^2}=0$ 得到${\hat{\mu }}_k,{\hat{\sigma }}_k^2$
• ${\sum }_{k=1}^K{\alpha }_k=1,\frac{?Q}{?{\alpha }_k}=0$ 得到${\alpha }_k$

4. 停止條件

重復以上計算，直到對數(shù)似然函數(shù)值不再有明顯的變化為止。

如何應用

GMM在聚類中的應用

使用EM算法估計了GMM的參數(shù)之后，有新的數(shù)據(jù)點，怎么計算樣本的類別的？

在機器學習[^5]中有一些關于聚類的表述，摘錄這里：

Gaussian mixture modeling is among the popular clustering algorithms. The main assumption is that the points, which belong to the same cluster, are distributed according to the same Gaussian distribution(this is how similarity is defined in this case), of unknown mean and covariance matrix.

Each mixture component defines a different cluster. Thus, the goal is to run the EM algorithm over the available data points to provide, after convergence, the posterior probabilities $P(k|x_n),k=1,2,...,K,n=1,2,...,N$, where each k corresponds to a cluster. Then each point is assigned to cluster $k$ according to the rule.

Assign $x_n$to cluster $k=\arg maxP(i|x_n),i=1,2,...,K$

可以參考下scikit-learn的具體實現(xiàn)，就是用了argmax，選擇概率最大的那個輸出。

Kmeans

另外，直覺上看，GMM最直觀的想法就是Kmeans，那么:

1. 在Kmeans常見的描述中都有距離的概念，對應在算法9.2 的描述中，該如何理解?
   這里面距離對應了方差，二范數(shù)平方
2. 那么又是怎么在每輪刷過距離之后，重新劃分樣本的分類呢?
   這里對應了響應度，響應度對應了一個$j\times k$的矩陣，記錄了每一個$y_j$ 對第$k$個模型的響應度，可以理解為劃分了類別

K怎么定

• 手肘法
• Gap Statistics[^1]
• 第二版中，有對應的描述。$P_{267}$，一般的類別變大的時候，平均直徑會增加，當類別數(shù)超過某個值之后，平均直徑不會變化，這個值可以是最優(yōu)的$k$