前言

總算要對稍微有點難度的地方動手了，前面介紹的線性可分或者線性不可分的情況，都是使用平面作為分割面的，現(xiàn)在我們采用另一種分割面的設(shè)計方法，也就是核方法。
核方法涉及的分割面不再是$wx+b=0$，而是$f(x)=0$了。

具體內(nèi)容

核方法其實就是坐標映射方法，類似于我們進行回歸的時候?qū)τ诜春瘮?shù)曲線采用$y=\frac{w}{x}+b$的形式來對數(shù)據(jù)進行擬合。
我們常用的標準做法都是先將原始數(shù)據(jù)$x$映射為$\frac{1}{x}$，然后對于數(shù)據(jù)$(\frac{1}{x},y)$尋找線性函數(shù)$y=kt+b$來擬合。

在非線性支持向量機中，我們需要把原始特征x通過映射函數(shù)變換為$?(x)$，對于這個映射函數(shù)沒有什么要求，只不過什么樣的映射函數(shù)映射以后分類效果最佳是未知的，是需要通過比較才能發(fā)現(xiàn)的。
映射函數(shù)一般都是把原始特征$x$變?yōu)榱硪粋€向量$[1,x_1,?,x_n,x_1^2,?,x_i{x}_j,?,x_n^2,?]$其中的一項或者幾項，具體是幾項視具體情況確定，這個的目標是保留原始信息同時要增加盡可能多的生成信息，所以一般往高維方向映射。
當然這個函數(shù)設(shè)計好以后，我們在支持向量機的對偶函數(shù)中其實計算的是$K(x_i,x_j)$，這個函數(shù)是上面映射函數(shù)的乘積，可能計算更加復雜，所以從方便對偶函數(shù)的計算角度出發(fā)，設(shè)計了專門的對偶核函數(shù)，不過對偶核函數(shù)是有要求的，需要對所有特征$x$所構(gòu)成的gram矩陣是半正定的。
而這種情況下我們可以設(shè)計方便計算的核函數(shù)，比如：
多項式核函數(shù)：$K(x,z)=(x?z+1{)}^p$，計算難度大大減小，而且這個多項式核函數(shù)對應(yīng)的映射函數(shù)也比較好求：
$$\begin{array}{rl}K(x,z)& =(x?z+1{)}^2\\ & =(x_1{z}_1+x_2{z}_2+1{)}^2\\ & =x_1^2{z}_1^2+2x_1{x}_2{z}_1{z}_2+2x_1{z}_1+x_2^2{z}_2^2+2x_2{z}_2+1\\ & =[x_1^2,\sqrt{2}{x}_1{x}_2,\sqrt{2}{x}_1,x_2^2,\sqrt{2}{x}_2,1]?[z_1^2,\sqrt{2}{z}_1{z}_2,\sqrt{2}{z}_1,z_2^2,\sqrt{2}{z}_2,1{]}^T\end{array}$$

相當于截取了泰勒展開式中的前幾項。
換句話說，如果我們想將坐標映射為$[1,x_1,x_2,x_1^2,x_1{x}_2,x_2^2]$，然后利用映射后的坐標來計算$w[1,x_1,x_2,x_1^2,x_1{x}_2,x_2^2{]}^T+b$來作為判別函數(shù)，那么這個分界面問題的對偶函數(shù)中$?(x_i)?(x_j)$就是上面的$(x?z+1{)}^p$的形式，也就是我們不用知道中間映射后的坐標，而可以直接計算$(x_i?x_j+1{)}^p$。

高斯核函數(shù);$K(x,z)=\exp (?\frac{{\Vert x?z\Vert }^2}{2{\sigma }^2})$，計算難度大大減小，但是這個核函數(shù)對應(yīng)的映射函數(shù)不容易求出來。
$$\begin{array}{rl}K(x,z)=& \exp (?\frac{(x_1?z_1{)}^2+(x_2?z_2{)}^2}{2{\sigma }^2})\\ =& \exp (?\frac{x_1^2+z_1^2?2x_1{z}_1+x_2^2+z_2^2?2x_2{z}_2}{2{\sigma }^2})\\ =& \exp (?\frac{x_1^2}{2{\sigma }^2})\exp (?\frac{z_1^2}{2{\sigma }^2})\exp (?\frac{x_2^2}{2{\sigma }^2})\exp (?\frac{z_2^2}{2{\sigma }^2})\exp (\frac{2x_1{z}_1}{2{\sigma }^2})\exp (\frac{2x_2{z}_2}{2{\sigma }^2})\\ =& \exp (?\frac{x_1^2}{2{\sigma }^2})\exp (?\frac{z_1^2}{2{\sigma }^2})\exp (?\frac{x_2^2}{2{\sigma }^2})\exp (?\frac{z_2^2}{2{\sigma }^2})[1+\frac{2x_1{z}_1}{2{\sigma }^2}+?+\frac{1}{n!}(\frac{2x_1{z}_1}{2{\sigma }^2}{)}^n+?][1+\frac{2x_2{z}_2}{2{\sigma }^2}+?+\frac{1}{n!}(\frac{2x_2{z}_2}{2{\sigma }^2}{)}^n+?]\\ =& \exp (?\frac{x_1^2}{2{\sigma }^2})\exp (?\frac{z_1^2}{2{\sigma }^2})\exp (?\frac{x_2^2}{2{\sigma }^2})\exp (?\frac{z_2^2}{2{\sigma }^2})[\sum _{t=0}^{+\infty }\sum _{k=0}^{+\infty }\frac{1}{t!}(\frac{2x_1{z}_1}{2{\sigma }^2}{)}^t\frac{1}{k!}(\frac{2x_2{z}_2}{2{\sigma }^2}{)}^k]\\ =& \exp (?\frac{x_1^2}{2{\sigma }^2})\exp (?\frac{x_2^2}{2{\sigma }^2})[1,\frac{x_1}{\sigma },?,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma }{)}^n,?,\frac{x_2}{\sigma },\frac{x_1{x}_2}{{\sigma }^2},?,\sqrt{\frac{1}{n!}}(\frac{x_1^n{x}_2}{{\sigma }^{n+1}}),?,\sqrt{\frac{1}{t!n!}}\frac{x_1^t{x}_2^n}{{\sigma }^{t+n}},?]?\\ & \exp (?\frac{z_1^2}{2{\sigma }^2})\exp (?\frac{z_2^2}{2{\sigma }^2})[1,\frac{z_1}{\sigma },?,\sqrt{\frac{1}{n!}}(\frac{z_1}{\sigma }{)}^n,?,\frac{z_2}{\sigma },\frac{z_1{z}_2}{{\sigma }^2},?,\sqrt{\frac{1}{n!}}(\frac{z_1^n{z}_2}{{\sigma }^{n+1}}),?,\sqrt{\frac{1}{t!n!}}\frac{z_1^t{z}_2^n}{{\sigma }^{t+n}},?]\end{array}$$

所以兩個映射函數(shù)分別如上所示：
$$?(x)=\exp (?\frac{x_1^2}{2{\sigma }^2})\exp (?\frac{x_2^2}{2{\sigma }^2})[1,\frac{x_1}{\sigma },?,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma }{)}^n,?,\frac{x_2}{\sigma },\frac{x_1{x}_2}{{\sigma }^2},?,\sqrt{\frac{1}{n!}}(\frac{x_1^n{x}_2}{{\sigma }^{n+1}}),?,\sqrt{\frac{1}{t!n!}}\frac{x_1^t{x}_2^n}{{\sigma }^{t+n}},?]$$

如果只看后面的向量的話，他就是泰勒展開式中各個項，但是它前面還乘上了系數(shù)$\exp (?\frac{x_1^2}{2{\sigma }^2})\exp (?\frac{x_2^2}{2{\sigma }^2})$縮放了一下。
換句話說，這個映射函數(shù)把原始特征映射為了一個無窮維的坐標，我們實際上做的是用這個映射后的坐標$\exp (?\frac{x_1^2}{2{\sigma }^2})\exp (?\frac{x_2^2}{2{\sigma }^2})[1,\frac{x_1}{\sigma },?,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma }{)}^n,?,\frac{x_2}{\sigma },\frac{x_1{x}_2}{{\sigma }^2},?,\sqrt{\frac{1}{n!}}(\frac{x_1^n{x}_2}{{\sigma }^{n+1}}),?,\sqrt{\frac{1}{t!n!}}\frac{x_1^t{x}_2^n}{{\sigma }^{t+n}},?]$去構(gòu)成分界面$w\exp (?\frac{x_1^2}{2{\sigma }^2})\exp (?\frac{x_2^2}{2{\sigma }^2})[1,\frac{x_1}{\sigma },?,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma }{)}^n,?,\frac{x_2}{\sigma },\frac{x_1{x}_2}{{\sigma }^2},?,\sqrt{\frac{1}{n!}}(\frac{x_1^n{x}_2}{{\sigma }^{n+1}}),?,\sqrt{\frac{1}{t!n!}}\frac{x_1^t{x}_2^n}{{\sigma }^{t+n}},?]+b$作為分界面，其中$w$為無窮維向量，那么這個分界面問題的對偶函數(shù)中$?(x_i)?(x_j)$就是上面的$\exp (?\frac{(x_1?z_1{)}^2+(x_2?z_2{)}^2}{2{\sigma }^2})$的形式，也就是我們不用知道中間映射后的坐標，而可以直接計算$\exp (?\frac{(x_1?z_1{)}^2+(x_2?z_2{)}^2}{2{\sigma }^2})$。