《機(jī)器學(xué)習(xí)100天》完整目錄：目錄

機(jī)器學(xué)習(xí) 100 天，今天講的是：線性支持向量機(jī)-公式推導(dǎo)！

首先來看這樣一個(gè)問題，在二維平面上需要找到一條直線劃分正類和負(fù)類。

我們找到了 A、B、C 三條直線。這三條直線都能正確分類所有訓(xùn)練樣本。但是，哪條直線最好呢？直觀上來看，我們會(huì)選擇 C這條直線，因?yàn)檫@條直線不僅分類正確，而且距離正負(fù)類樣本的距離都很遠(yuǎn)。這樣的好處是增加了該分類線的容錯(cuò)能力和健壯性。因?yàn)槿粢ＷC對(duì)未知的測(cè)試數(shù)據(jù)也能進(jìn)行正確分類，最好讓分類直線距離正類負(fù)類的點(diǎn)都有一定的距離。這樣能讓每個(gè)樣本點(diǎn)附近的圓形區(qū)域是“安全”的。圓形區(qū)域越大，表示分類直線對(duì)測(cè)量數(shù)據(jù)誤差的容忍性越高，越“安全”。

因此， 距離分類線最近的點(diǎn)與分類線的距離越大，表明該分類模型越好。這就是支持向量機(jī)算法的核心思想。

首先，我們定義距離分類線最近的點(diǎn)與分類線的距離叫做最大間距，用 margin 表示。

我們的目標(biāo)就是最大化 margin。必須滿足的條件是：必須讓每個(gè)訓(xùn)練樣本都分類正確。即滿足不等式：