泉州開發(fā)網(wǎng)站的公司有哪些網(wǎng)站推廣費用
支持向量機概述
支持向量機 Support Vector MachineSVM ) 是一類按監(jiān)督學(xué)習(xí) ( supervisedlearning)方式對數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器 (generalized linear classifier) ,其決策邊界是對學(xué)習(xí)樣本求解的最大邊距超亞面 (maximum-margin hyperplane)與邏輯回歸和神經(jīng)網(wǎng)終相比,支持向量機,在學(xué)習(xí)復(fù)雜的非線性方程時提供了一種更為清晰,更加強大的方式
硬間隔、軟間隔和非線性 SVM
假如數(shù)據(jù)是完全的線性可分的,那么學(xué)習(xí)到的模型可以稱為硬間隔支持向量機。換個說法,硬間隔指的就是完全分類準(zhǔn)確,不能存在分類錯誤的情況。軟間隔,就是允許一定量的樣本分類錯誤。
算法思想
找到集合邊緣上的若工數(shù)據(jù) (稱為支持向量 (Support Vector) )用這些點找出一個平面(稱為決策面),使得支持向量到該平面的距離最大
超平面方程:
w ? x + b = 0 \mathbf{w} \cdot \mathbf{x} + b = 0 w?x+b=0
間隔(Margin):
Margin = 2 ∥ w ∥ \text{Margin} = \frac{2}{\|\mathbf{w}\|} Margin=∥w∥2?
決策函數(shù):
( w ? x + b ) / ∣ ∣ w ∣ ∣ > = d , y = 1 (\mathbf{w} \cdot \mathbf{x} + b ) /||w|| >=d ,y=1 (w?x+b)/∣∣w∣∣>=d,y=1
( w ? x + b ) / ∣ ∣ w ∣ ∣ > = d , y = ? 1 (\mathbf{w} \cdot \mathbf{x} + b ) /||w|| >=d ,y=-1 (w?x+b)/∣∣w∣∣>=d,y=?1
如圖所示,根據(jù)支持向量的定義我們知道,支持向量到超平面的距離為 d,其他點到超平面的距離大于 d
至此可以得到最大間隔超平面的上下兩個超平面:
d = ∣ w ? x + b ∣ / ∣ ∣ w ∣ ∣ d=|\mathbf{w} \cdot \mathbf{x} + b | /||w|| d=∣w?x+b∣/∣∣w∣∣