目錄

前言

算法原理

什么是判別分析

線性判別分析(LDA)

數(shù)學(xué)模型

二分類

多分類LDA

?編輯 

算法思想：

 費(fèi)歇（FISHER）判別思想

貝葉斯（BAYES）判別思想

LDA算法流程

LDA與PCA對比

SPSSPRO

1、作用

2、輸入輸出描述

3、案例示例

4、案例數(shù)據(jù)

5、案例操作

6、輸出結(jié)果分析

7、注意事項(xiàng)

8、模型理論

SPSS

判別分析：定義范圍 

判別分析：選擇個(gè)案 

 判別分析：統(tǒng)計(jì)

 判別分析：步進(jìn)法

 判別分析：分類

 判別分析：保存

優(yōu)缺點(diǎn) 

代碼實(shí)現(xiàn)

R語言

MATLAB

python 

基于LDA 手寫數(shù)字的分類

---

前言

線性判別分析是一種很重要的分類算法，同時(shí)也是一種降維方法（這個(gè)我還沒想懂）。和 PCA 一樣，LDA 也是通過投影的方式達(dá)到去除數(shù)據(jù)之間冗余的一種算法。

如下圖所示的 2 類數(shù)據(jù)，為了正確的分類，我們希望這 2 類數(shù)據(jù)投影之后，同類的數(shù)據(jù)盡可能的集中（距離近，有重疊），不同類的數(shù)據(jù)盡可能的分開（距離遠(yuǎn)，無重疊），左圖的投影不好，因?yàn)?2 類數(shù)據(jù)投影后有重疊，而右圖投影之后可以很好地進(jìn)行分類，因?yàn)橥队爸蟮?2 類數(shù)據(jù)之間幾乎沒有重疊，只是類內(nèi)重疊得很厲害，而這正是我們想要的結(jié)果。

算法原理

什么是判別分析

判別分析有兩種主要形式:線性判別分析（LDA）和二次判別分析（QDA）。LDA假設(shè)每個(gè)類別的協(xié)方差矩陣相同，并尋找最優(yōu)的判別方向來最大化類別之間的距離。QDA假設(shè)每個(gè)類別的協(xié)方差矩陣都不同，并尋找最優(yōu)的判別方向來最大化類別之間的距離，同時(shí)也考慮了每個(gè)類別的協(xié)方差矩陣。