PCA算法和LDA算法可以用于對數(shù)據(jù)進行降維，例如可以把一個2維的數(shù)據(jù)降低維度到一維，本文通過舉例子來對PCA算法和LDA算法的計算過程進行教學展示。

PCA算法計算過程(文字版，想看具體計算下面有例子)

1.將原始數(shù)據(jù)排列成n行m列的矩陣，n為數(shù)據(jù)的維度，m為數(shù)據(jù)的個數(shù)，即將每個數(shù)據(jù)豎著展示每個維度的值，然后將他們合成一個矩陣x
2.將x的每一行進行零均值化處理，即每一行的數(shù)據(jù)全部加起來，然后除以m，然后得到一個常數(shù)a，將這一行的每個數(shù)據(jù)都進行-a處理，其余的每一行以此類推。
3.求出協(xié)方差矩陣，c =$X$$X^{\mathrm{T}}$ / m ；其中x和xt已經(jīng)是進行零均值化處理過后的舉證了
4.求出c的特征值以及對應的特征值向量，同時對特征向量進行單位化處理(一定要做，切記不能忘了)
5.特征向量按照特征值的大小從上到下按行排列成舉證，取前k行組成矩陣p(k表示我們需要降低到的維度，例如如果我們要把數(shù)據(jù)降低到1維，我們取第一行就可以了)
6.Y =px，Y即為我們所求的的矩陣

LDA算法計算過程(文字版，想看具體計算下面有例子)

1.計算類內散度矩陣Sw
S_w求法，首先按照類別分別進行計算u，即1類計算u₁，2類計算u₂
u的計算方法為每行為每一類別的總和除以數(shù)量(即同類別的每一行全部加起來，除以個數(shù))，
然后S_w = ${\Sigma }_u$$\Sigma$ =${\Sigma }_{x_0}$（x-u₀)(x-u₀)^T+${\Sigma }_{x_1}$(x-u₁)(x-u₁)^T，其中前面的x為u0類別里面的數(shù)據(jù)，x1為u1類別里面的數(shù)據(jù)，即各自處理各自的數(shù)據(jù)
2.計算類間散度矩陣S_b
S_b=(u₀-u₁)(u₀-u₁)^T
3.求c = S_w^-1S_b
4.計算c的特征值和特征向量，按特征值的大小把特征向量從左到右按列進行排序，取前k列組成矩陣p
5.Y=P^T*X，Y即為我們所求的矩陣

例子:

我們給予兩個種類的二維數(shù)據(jù)(拿豎線進行劃分，左邊的種類為1類，右邊的種類為2類)，求PCA和LDA將其進行降一維后的結果，即降低為一維數(shù)據(jù)
$$\left[\begin{array}{ccccc}?1& ?1& 0& 2& 0\\ ?2& 0& 0& 1& 1\end{array}\right]\text{\hspace{1em}(例子)}$$

PCA:

我們可以看到數(shù)據(jù)為2維5項數(shù)據(jù)，求出他的均值u₀
u₀第一行為(-1-1+0+2+0)/5= 0;
u₀第二行為(-2 + 0 +0 + 1 +1)/5 = 0;
所以$$u_0=\left[\begin{array}{c}0\\ 0\end{array}\right]\text{\hspace{1em}(1)}$$
將五個數(shù)據(jù)分別減去u得到了新的X，因為這題比較特殊，經(jīng)過0均值化處理后數(shù)據(jù)沒有改變，所以x還是原來的數(shù)值沒有發(fā)生改變
$$c=\left[\begin{array}{ccccc}?1& ?1& 0& 2& 0\\ ?2& 0& 0& 1& 1\end{array}\right]?\left[\begin{array}{cc}?1& ?2\\ ?1& 0\\ 0& 0\\ 2& 1\\ 0& 1\end{array}\right]/5=\left[\begin{array}{cc}6/5& 4/5\\ 4/5& 6/5\end{array}\right]$$
求出c的特征值和單位特征向量(這一步不會的可以移步考研數(shù)學李永樂，因為markdown寫latex太難寫了，題主就直接給出求得之后的答案了)
所求得的特征值為:${\lambda }_1$=2,${\lambda }_2$=2/5
然后我們求得對應的單位向量矩陣為(通過特征值的大小對特征向量進行按行排序)
$$p=\frac{1}{\sqrt[]{2}}\left[\begin{array}{cc}1& 1\\ ?1& 1\end{array}\right]$$
因為我們要將數(shù)據(jù)從2維降低到1維，所以我們選擇P的第一行數(shù)據(jù)進行降維度,p的第一行我們記作m,注意，此時的x為進行過0均值化后的數(shù)據(jù)
$$y=m?x=\frac{1}{\sqrt[]{2}}\left[\begin{array}{cc}1& 1\end{array}\right]?\left[\begin{array}{ccccc}?1& ?1& 0& 2& 0\\ ?2& 0& 0& 1& 1\end{array}\right]=\frac{1}{\sqrt[]{2}}\left[\begin{array}{ccccc}?3& ?1& 0& 3& 1\end{array}\right]$$
我們所得到的y即為我們所求的結果

LDA:

$$\left[\begin{array}{ccccc}?1& ?1& 0& 2& 0\\ ?2& 0& 0& 1& 1\end{array}\right]\text{\hspace{1em}(例子)}$$
本題已知前三個數(shù)據(jù)為一個種類，后兩個數(shù)據(jù)為一個種類

所以u₀第一行為(-1-1+0)/3 = -2/3
u₀第二行為(-2+0+0)/3 = -2/3;
u₁第一行為(2+0)/2=1
u₁第二行為(1+1)/2=1
所求得的u₀u₁如下所示:
$$u_0=\left[\begin{array}{c}?\frac{2}{3}\\ ?\frac{2}{3}\end{array}\right]u_1=\left[\begin{array}{c}1\\ 1\end{array}\right]$$
然后我們選擇套公式進行S_w的計算，將前三個值帶入到前面的x₀中，后面的兩個值帶入到后面的x₁中，求得的S_w。
S_w = ${\Sigma }_u$$\Sigma$ =${\Sigma }_{x_0}$（x-u₀)(x-u₀)^T+${\Sigma }_{x_1}$(x-u₁)(x-u₁)^T
S_w的結果為:
$$S_w=\left[\begin{array}{cc}\frac{2}{3}& \frac{2}{3}\\ \frac{2}{3}& \frac{8}{3}\end{array}\right]+\left[\begin{array}{cc}2& 0\\ 0& 0\end{array}\right]=\left[\begin{array}{cc}\frac{8}{3}& \frac{2}{3}\\ \frac{2}{3}& \frac{8}{3}\end{array}\right]$$

然后我們求出S_w^-1，求逆矩陣的方法也可以參照考研數(shù)學，求出來之后的值為:
$$S_w^{?1}=\left[\begin{array}{cc}\frac{2}{5}& ?\frac{1}{10}\\ ?\frac{1}{10}& \frac{2}{5}\end{array}\right]$$
計算類間散度矩陣S_b
S_b=(u₀-u₁)(u₀-u₁)^T
求出S_b的值為:
$$S_b=\left[\begin{array}{cc}\frac{25}{9}& \frac{25}{9}\\ \frac{25}{9}& \frac{25}{9}\end{array}\right]$$
然后我們計算c=S_w^-1*S_b。
求得c為:
$$c=\left[\begin{array}{cc}\frac{6}{5}& \frac{6}{5}\\ \frac{6}{5}& \frac{6}{5}\end{array}\right]$$
求出c的特征值和單位特征向量,將單位特征向量按列排序(按照特征值大小進行排序)，得到的單位特征向量為:
$$特征向量為=\frac{1}{\sqrt[]{2}}\left[\begin{array}{cc}1& ?1\\ 1& ?1\end{array}\right]$$
取出第一列組成矩陣p，然后
y =p^T*x，y即為我們所需要的降維之后的數(shù)據(jù)
$$y=\frac{1}{\sqrt[]{2}}\left[\begin{array}{cc}1& 1\end{array}\right]?\left[\begin{array}{ccccc}?1& ?1& 0& 2& 0\\ ?2& 0& 0& 1& 1\end{array}\right]=\frac{1}{\sqrt[]{2}}\left[\begin{array}{ccccc}?3& ?1& 0& 3& 1\end{array}\right]$$

可以看到 PCA與LDA降維所得到的答案是一樣的，證明了我們計算的正確性

碼字不易，主要是寫latex的語法的矩陣實在是太復雜了，寫的十分折磨，點個贊再走把！