樸素貝葉斯法（naive Bayes）是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法。對(duì)于給定的訓(xùn)練數(shù)據(jù)集，首先基于特征條件獨(dú)立假設(shè)學(xué)習(xí)輸入輸出的聯(lián)合概率分布；然后基于此模型，對(duì)給定的輸入$x$，利用貝葉斯定理求出后驗(yàn)概率最大的輸出$y$。

基本方法：

設(shè)輸入空間$X?R^n$為$n$維向量的集合，輸出空間為類標(biāo)記集合 Y = { c 1 , c 2 , . . . , c k } Y=\{c_1,c_2,...,c_k\} Y={c1?,c2?,...,ck?}。輸入為特征向量$x\in X$，輸出為類標(biāo)記$y\in Y$。$X$是定義在輸入空間$X$上的隨機(jī)向量，$Y$是定義在輸出空間$Y$上的隨機(jī)變量。$P(X,Y)$是$X$和$Y$的聯(lián)合概率分布。訓(xùn)練集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$由$P(X,Y)$獨(dú)立同分布產(chǎn)生。

樸素貝葉斯算法就是通過(guò)訓(xùn)練數(shù)據(jù)集學(xué)習(xí)聯(lián)合概率分布$P(X,Y)$。

具體地，學(xué)習(xí)以下先驗(yàn)概率分布及條件概率分布。
先驗(yàn)概率分布：$P(Y=C_k),k=1,2,...,K$；
條件概率分布：$P(X=x|Y=C_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=C_k),k=1,2,...,K$。

由于條件概率分布$P(X=x|Y=C_k)$由指數(shù)級(jí)數(shù)量的參數(shù)，其估計(jì)實(shí)際是不可能的。事實(shí)上，假設(shè)特征$X^{(j)}$可能的取值有$S_j$個(gè)，$j=1,2,...,n$，$Y$可能取值有$K$個(gè)，那么參數(shù)個(gè)數(shù)為$K{\prod }_{j=1}^n{S}_j$個(gè)。

于是樸素貝葉斯算法對(duì)條件概率分布作出了條件獨(dú)立性的假設(shè)。這是一個(gè)非常強(qiáng)的假設(shè)，等于是說(shuō)用于分類的特征在類確定的條件下都是條件獨(dú)立的，具體地，條件獨(dú)立性假設(shè)是
$$P(X=x|Y=C_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=C_k)$$
$$=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=C_k)$$

樸素貝葉斯算法在進(jìn)行分類時(shí)，對(duì)給定的輸入$x$，通過(guò)學(xué)習(xí)到的模型計(jì)算后驗(yàn)概率分布$P(Y=C_k|X=x)$，然后將后驗(yàn)概率最大的類作為$x$的輸出。后驗(yàn)概率計(jì)算根據(jù)貝葉斯定理進(jìn)行：
$$P(Y=C_k|X=x)=\frac{P(X=x|Y=C_k)P(Y=C_k)}{{\sum }_{k}P(X=x|Y=C_k)P(Y=C_k)}$$
$$=\frac{P(Y=C_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=C_k)}{{\sum }_{k}P(Y=C_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=C_k)}$$

于是，樸素貝葉斯分類器可表示為
$$y=f(x)=arg\underset{C_k}{\max }\frac{P(Y=C_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=C_k)}{{\sum }_{k}P(Y=C_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=C_k)}$$

由于分母對(duì)所有的類都是相同的，所以
$$y=f(x)=arg\underset{C_k}{\max }P(Y=C_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=C_k)$$

算法：
輸入：訓(xùn)練集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)}{)}^T$，$x_i^{(j)}$是第$i$個(gè)樣本的第$j$個(gè)特征， x i ( j ) ∈ { a j 1 , a j 2 , . . . , a j S j } x_i^{(j)} \in \{a_{j1},a_{j2},...,a_{jS_j}\} xi(j)?∈{aj1?,aj2?,...,ajSj??}，$a_{jl}$是第$j$個(gè)特征可能取的第$l$個(gè)值，$j=1,2,...,n$，$l=1,2,...,S_j$， y i ∈ { C 1 , C 2 , . . . , C k } y_i \in \{C_1,C_2,...,C_k\} yi?∈{C1?,C2?,...,Ck?}；實(shí)例$x$。
輸出：實(shí)例$x$的分類。

1. 計(jì)算先驗(yàn)概率及條件概率
   $$P(Y=C_k)=\frac{{\sum }_{i=1}^{N}I(y_i=C_k)}{N},k=1,2,...,k$$
   $$P(X^{(j)}=a_{jl}|Y=C_k)=\frac{{\sum }_{i=1}^{N}I(x^{(j)}=a_{jl},y_i=C_k)}{{\sum }_{i=1}^{N}I(y_i=C_k)}$$
   $$j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K$$
2. 對(duì)于給定實(shí)例$x={(x^{(1)},x^{(2)},...,x^{(n)})}^T$，計(jì)算(這里用到了特征條件獨(dú)立假設(shè))
   $$P(Y=C_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=C_k),k=1,2,...,K$$
3. 確定實(shí)例$x$的分類
   $$y=arg\underset{C_k}{\max }P(Y=C_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=C_k)$$