在我們建立一個學(xué)習(xí)算法時，或者說訓(xùn)練一個模型時，我們總是希望最大化某一個給定的評價指標(biāo)（比如說準(zhǔn)確度Acc），但算法在學(xué)習(xí)過程中又會嘗試優(yōu)化某一個損失函數(shù)（比如說均方差MSE或者交叉熵Cross-entropy）。

那為什么不把評價指標(biāo)matric作為學(xué)習(xí)算法的損失函數(shù)loss呢？

拋開復(fù)雜的數(shù)學(xué)，我們可以這么理解，機(jī)器學(xué)習(xí)的評估函數(shù)主要有這三個作用：

• 表現(xiàn)評估：模型表現(xiàn)如何？通過評估指標(biāo)能快速了解我們在做什么

• 模型優(yōu)化：模型是否適合，是否可以改進(jìn)？哪種模型最接近我們的數(shù)據(jù)點(diǎn)？

• 統(tǒng)計決策：模型是否足以讓我們使用？這個模型通過我們嚴(yán)格的假設(shè)檢驗標(biāo)準(zhǔn)了嗎?

損失函數(shù)更多用于模型訓(xùn)練時的優(yōu)化（比如梯度下降），更關(guān)注可微可導(dǎo)、是否為凸函數(shù)等等數(shù)學(xué)性質(zhì)；評價指標(biāo)更關(guān)注于是否能夠反應(yīng)任務(wù)需求、是否符合統(tǒng)計假設(shè)檢驗，此外評價指標(biāo)也會用于模型之間的對比。

這么解釋可能不嚴(yán)謹(jǐn)，但是不妨礙理解。今天的文章我們就來聊聊機(jī)器學(xué)習(xí)中的評價指標(biāo)。

回歸（Regression）算法指標(biāo)X

• Mean Absolute Error 平均絕對誤差

• Mean Squared Error 均方誤差

• Root Mean Squared Error 均方根誤差

• Coefficient of determination 決定系數(shù)

以下為一元變量和二元變量的線性回歸示意圖：

怎樣來衡量回歸模型的好壞呢？我們自然而然會想到采用殘差（實際值與預(yù)測值差值）的均值來衡量，即：

用殘差的均值合理嗎？?當(dāng)實際值分布在擬合曲線兩側(cè)時，對于不同樣本而言 有正有負(fù)，相互抵消，因此我們想到采用預(yù)測值和真實值之間的距離來衡量。

1.1 平均絕對誤差

MAE平均絕對誤差MAE（Mean Absolute Error）又被稱為 L1范數(shù)損失。

MAE有哪些不足？?MAE雖能較好衡量回歸模型的好壞，但是絕對值的存在導(dǎo)致函數(shù)不光滑，在某些點(diǎn)上不能求導(dǎo)，可以考慮將絕對值改為殘差的平方，這就是均方誤差。

1.2 均方誤差 MSE

均方誤差MSE（Mean Squared Error）又被稱為 L2范數(shù)損失。

還有沒有比MSE更合理一些的指標(biāo)？?由于MSE與我們的目標(biāo)變量的量綱不一致，為了保證量綱一致性，我們需要對MSE進(jìn)行開方。

1.3 均方根誤差 RMSE

RMSE有沒有不足的地方？?有沒有規(guī)范化（無量綱化的指標(biāo)）？?上面的幾種衡量標(biāo)準(zhǔn)的取值大小與具體的應(yīng)用場景有關(guān)系，很難定義統(tǒng)一的規(guī)則來衡量模型的好壞。比如說利用機(jī)器學(xué)習(xí)算法預(yù)測上海的房價RMSE在2000元，我們是可以接受的，但是當(dāng)四五線城市的房價RMSE為2000元，我們還可以接受嗎？下面介紹的決定系數(shù)就是一個無量綱化的指標(biāo)。

1.4 決定系數(shù)

決定系數(shù)又稱為?score，反映因變量的全部變異能通過回歸關(guān)系被自變量解釋的比例。

變量之所以有價值，就是因為變量是變化的。什么意思呢？比如說一組因變量為[0, 0, 0, 0, 0]，顯然該因變量的結(jié)果是一個常數(shù) 0，我們也沒有必要建模對該因變量進(jìn)行預(yù)測。假如一組的因變量為[1, 3, 7, 10, 12]，該因變量是變化的，也就是有變異，因此需要通過建立回歸模型進(jìn)行預(yù)測。這里的變異可以理解為一組數(shù)據(jù)的方差不為 0。

• 如果結(jié)果是0，就說明模型預(yù)測不能預(yù)測因變量。

• 如果結(jié)果是1，就說明是函數(shù)關(guān)系。

• 如果結(jié)果是0-1之間的數(shù)，就是我們模型的好壞程度。

化簡上面的公式，分子就變成了我們的均方誤差MSE，下面分母就變成了方差：

以上評估指標(biāo)有沒有缺陷，如果有，該怎樣改進(jìn)？?以上的評估指標(biāo)是基于誤差的均值對進(jìn)行評估的，均值對異常點(diǎn)（outliers）較敏感，如果樣本中有一些異常值出現(xiàn)，會對以上指標(biāo)的值有較大影響，即均值是非魯棒的。

1.5 解決評估指標(biāo)魯棒性問題

我們通常用以下兩種方法解決評估指標(biāo)的魯棒性問題：魯棒性也就是健壯和強(qiáng)壯的意思。它也是在異常和危險情況下系統(tǒng)生存的能力

• 剔除異常值，設(shè)定一個相對誤差，當(dāng)該值超過一定的閾值時，則認(rèn)為其是一個異常點(diǎn)，剔除這個異常點(diǎn)，將異常點(diǎn)剔除之后。再計算平均誤差來對模型進(jìn)行評價。

• 使用誤差的分位數(shù)來代替，如利用中位數(shù)來代替平均數(shù)。

分類(Classification)算法指標(biāo)

• 混淆矩陣 Confusion Matrix

• 準(zhǔn)確度/精度 Accuracy

• 準(zhǔn)確率（查準(zhǔn)率） Precision

• 召回率（查全率）Recall

• P-R曲線

• Fβ Score

• ROC

• AUC

• KS Kolmogorov-Smirnov

2.1 混淆矩陣 Confusion Matrix

從上圖的最左邊的表格，可以很清楚地顯示4個區(qū)域內(nèi)樣本的含義，沿著正對角線，可知，樣本的預(yù)測標(biāo)簽和實際標(biāo)簽都是一致的，因此在第二個表格中將其標(biāo)記為True，負(fù)對角線上預(yù)測標(biāo)簽和真實標(biāo)簽不一致，標(biāo)記為False，在第三個表格中，結(jié)合預(yù)測標(biāo)簽的類別(Positive,Negative)和各個區(qū)域的True，False標(biāo)記，得到了經(jīng)常被搞混的4個縮寫（不需要去記憶，記住上述推演過程即可)：

• True positive (TP) 真實值為 Positive，預(yù)測正確（預(yù)測值為 Positive）

• True negative (TN) 真實值為 Negative，預(yù)測正確（預(yù)測值為 Negative）

• False positive (FP) 真實值為 Negative，預(yù)測錯誤（預(yù)測值為 Positive），第一類錯誤， Type I error。

• False negative (FN) 真實值為 Positive，預(yù)測錯誤（預(yù)測值為 Negative），第二類錯誤， Type II error。

2.2 準(zhǔn)確度/準(zhǔn)確率/精度

錯誤率（錯誤率=1-精度）和精度是分類任務(wù)重最常用的兩種性能度量指標(biāo)，既適用于二分類任務(wù)，也適用于多分類任務(wù)。錯誤率是分類錯誤的樣本數(shù)占樣本總數(shù)的比例，精度則是分類正確的樣本數(shù)占樣本總數(shù)的比例。

Acc 預(yù)測正確的樣本的占總樣本的比例，取值范圍為[0,1]，取值越大，模型預(yù)測能力越好。精度評價指標(biāo)對平等對待每個類別，即每一個樣本判對 (0) 和判錯 (1) 的代價都是一樣的。

其中：

用混淆矩陣來解釋Acc就是混淆矩陣中正對角線上被分類正確樣本之和：正樣本，模型預(yù)測也為正樣本(TP) ，負(fù)樣本，模型預(yù)測也為負(fù)樣本(TN)。

精度有什么缺陷？什么時候精度指標(biāo)會失效？

1. 對于有傾向性的問題，往往不能用精度指標(biāo)來衡量。

• 比如，判斷空中的飛行物是導(dǎo)彈還是其他飛行物，很顯然為了減少損失，我們更傾向于相信是導(dǎo)彈，從而采用相應(yīng)的防護(hù)措施。此時判斷為導(dǎo)彈實際上是其他飛行物與判斷為其他飛行物實際上是導(dǎo)彈這兩種情況的重要性是不一樣的。

1. 對于樣本類別數(shù)量嚴(yán)重不均衡的情況，也不能用精度指標(biāo)來衡量。

• 比如，銀行客戶樣本中好客戶990個，壞客戶10個。如果一個模型直接把所有客戶都判斷為好客戶，得到精度為99%，但這顯然是沒有意義的。

對于以上兩種情況，單純根據(jù)Accuracy來衡量算法的優(yōu)劣已經(jīng)失效。這個時候就需要對目標(biāo)變量的真實值和預(yù)測值做更深入的分析。

2.3 準(zhǔn)確率（查準(zhǔn)率） Precision

Precision 是分類器預(yù)測的正樣本中預(yù)測正確的比例，取值范圍為[0,1]，取值越大，模型預(yù)測能力越好。

可以理解為：所有“我認(rèn)為真的”中有多少是“真的”。

2.4 召回率（查全率）Recall

Recall 是分類器所預(yù)測正確的正樣本占所有正樣本的比例，取值范圍為[0,1]，取值越大，模型預(yù)測能力越好。

可以理解為：所有的“真的”中有多少“我認(rèn)為真的”。

Precision和Recall應(yīng)用場景：

1. 地震的預(yù)測

對于地震的預(yù)測，我們希望的是Recall非常高，也就是說每次地震我們都希望預(yù)測出來。這個時候我們可以犧牲Precision。情愿發(fā)出1000次警報，把10次地震都預(yù)測正確了；也不要預(yù)測100次對了8次漏了2次。

“別漏報”，“寧錯拿一萬，不放過一個”，分類閾值較低。

1. 嫌疑人定罪

基于不錯怪一個好人的原則，對于嫌疑人的定罪我們希望是非常準(zhǔn)確的。即使有時候放過了一些罪犯，但也是值得的。因此我們希望有較高的Precision值，可以合理地犧牲Recall。

“別誤傷”，“寧放過一萬，不錯拿一個”，“疑罪從無”，分類閾值較高。

舉例：某一家互聯(lián)網(wǎng)金融公司風(fēng)控部門的主要工作是利用機(jī)器模型抓取壞客戶?；ヂ?lián)網(wǎng)金融公司要擴(kuò)大業(yè)務(wù)量，盡量多的吸引好客戶，此時風(fēng)控部門該怎樣調(diào)整Recall和Precision？?如果公司壞賬擴(kuò)大，公司縮緊業(yè)務(wù)，盡可能抓住更多的壞客戶，此時風(fēng)控部門該怎樣調(diào)整Recall和Precision？

如果互聯(lián)網(wǎng)公司要擴(kuò)大業(yè)務(wù)量，為了減少好客戶的誤抓率，保證吸引更多的好客戶，風(fēng)控部門就會提高閾值，從而提高模型的查準(zhǔn)率Precision（“別誤傷”），同時，導(dǎo)致查全率Recall下降。如果公司要縮緊業(yè)務(wù)，盡可能抓住更多的壞客戶，風(fēng)控部門就會降低閾值，從而提高模型的查全率Recall（“別漏報”），但是這樣會導(dǎo)致一部分好客戶誤抓，從而降低模型的查準(zhǔn)率 Precision。

根據(jù)以上幾個案，我們知道隨著閾值的變化Recall和Precision往往會向著反方向變化，這種規(guī)律很難滿足我們的期望，即Recall和Precision同時增大。

有沒有什么方法權(quán)衡Recall和Precision 的矛盾？?我們可以用一個指標(biāo)來統(tǒng)一Recall和Precision的矛盾，即利用Recall和Precision的加權(quán)調(diào)和平均值作為衡量標(biāo)準(zhǔn)。

2.5 P-R曲線

Precision和Recall 是互相影響的，理想情況下肯定是做到兩者都高，但是一般情況下Precision高、Recall就低， Recall高、Precision就低。

在很多情形下，我們可以根據(jù)學(xué)習(xí)模型的預(yù)測結(jié)果對樣例進(jìn)行排序，排在前面的是模型認(rèn)為的“最可能”是正例的樣本，排在最后的則是模型認(rèn)為的“最不可能”是正例的樣本。按此順序逐個把樣本作為正例進(jìn)行預(yù)測，則每次可以計算出當(dāng)前的查全率Recall和查準(zhǔn)率Precision。以查準(zhǔn)率為縱軸、查全率為橫軸作圖，就得到了查準(zhǔn)率-查全率曲線，簡稱“P-R曲線”。

P-R曲線可以直觀地顯示機(jī)器學(xué)習(xí)模型在樣本總體上的查全率和查準(zhǔn)率。在進(jìn)行比較時，若一個模型的P-R曲線別另外一個模型的曲線完全“包住”，則后者優(yōu)于前者。例如上圖中A模型性能優(yōu)于C；如果兩個模型的P-R曲線發(fā)生了交叉，則難以一般性地斷言兩者優(yōu)劣，只能在具體的查準(zhǔn)率和查全率下進(jìn)行比較。

2.6 Fβ Score

在一些應(yīng)用中，對查準(zhǔn)率和查全率的重視程度不同。例如在商品推薦系統(tǒng)中，為了盡可能少打擾用戶，更希望推薦內(nèi)容的確是用戶感興趣的，此時查準(zhǔn)率更重要；而在逃犯信息中，更希望盡可能少漏掉逃犯，此時查全率更重要。

為了均衡兩個指標(biāo)，我們可以采用Precision和Recall的加權(quán)調(diào)和平均（weighted harmonic mean）來衡量，即Fβ Score，Fβ能表達(dá)出對查準(zhǔn)率/查全率的不同偏好，公式如下：

β表示權(quán)重：

通俗的語言就是：β 越大，Recall的權(quán)重越大， β 越小，Precision的權(quán)重越大。

β=1時，退化為F1指標(biāo)。

由于Fβ Score 無法直觀反映數(shù)據(jù)的情況，同時業(yè)務(wù)含義相對較弱，實際工作用到的不多。

2.7 ROC 和 AUC

很多機(jī)器學(xué)習(xí)算法為測試樣本產(chǎn)生一個實值或概率預(yù)測，然后將這個預(yù)測值與一個分類閾值（threshod）進(jìn)行比較，若大于閾值則分為正類，否則為反類。

例如，神經(jīng)網(wǎng)絡(luò)在一般情形下對每個測試樣本預(yù)測出一個[0.0 , 1.0]之間的實值，然后將這個值與0.5進(jìn)行比較，大于0.5則判為正例，否則為反例。這個實值或概率預(yù)測結(jié)果的好壞，直接決定了機(jī)器學(xué)習(xí)模型的泛化能力。

實際上，根據(jù)這個實值或者概率預(yù)測結(jié)果，我們可以講測試樣本進(jìn)行排序，“最可能”是正例的排在最前面，“最不可能”是正例的排在最后面。這樣，分類過程就相當(dāng)于在這個排序中以某個“截斷點(diǎn)”（cut point）將樣本分為兩部分，前一部分判做正例，后一部分判做反例。

在不同的應(yīng)用任務(wù)中，我們可以根據(jù)任務(wù)需求來采用不同的截斷點(diǎn)，例如若我們更重視“查準(zhǔn)率”，則可選擇排序中考前的位置進(jìn)行截斷；若更重視“查全率”，則可選擇靠后的位置進(jìn)行截斷。

因此，排序本身的質(zhì)量好壞，體現(xiàn)了綜合考慮機(jī)器學(xué)習(xí)模型在不同任務(wù)下的“期望泛化性能”的好壞，或者說“一般情況下”泛化性能的好壞。

ROC曲線（Receiver Operating Characteristic），翻譯為"接受者操作特性曲線"，就是從這個角度出發(fā)來研究模型泛化性能的有力工具。

2.7.1 ROC

ROC曲線為 FPR 與 TPR 之間的關(guān)系曲線，這個組合以 FPR 對 TPR，即是以代價 (costs) 對收益 (benefits)，顯然收益越高，代價越低，模型的性能就越好。

ROC曲線的?軸為假陽性率（FPR），即在所有的負(fù)樣本中，分類器預(yù)測錯誤的比例。

ROC曲線的?軸為真陽性率（TPR），即在所有的正樣本中，分類器預(yù)測正確的比例（TPR = Recall） 。

對比TPR和FPR的計算公式，我們發(fā)現(xiàn)其分母要么是全部的真實正類，或者全部的真實的負(fù)類，增加真實正類樣本的個數(shù)，不會影響FPR的計算，反之亦然，互不干擾，因此我們常說TPR和FPR對于樣本不平衡不敏感。

為了更好地理解ROC曲線，我們使用具體的實例來說明：

如在醫(yī)學(xué)診斷的主要任務(wù)是盡量把生病的人群都找出來，也就是TPR越高越好。而盡量降低沒病誤診為有病的人數(shù)，也就是FPR越低越好。

不難發(fā)現(xiàn)，這兩個指標(biāo)之間是相互制約的。如果某個醫(yī)生對于有病的癥狀比較敏感，稍微的小癥狀都判斷為有病，那么他的TPR應(yīng)該會很高，但是FPR也就相應(yīng)地變高。最極端的情況下，他把所有的樣本都看做有病，那么TPR達(dá)到1，FPR也為1。

我們以FPR為橫軸，TPR為縱軸，得到如下ROC空間：

我們可以看出：

• 左上角的點(diǎn)(TPR=1，FPR=0)，為完美分類，也就是這個醫(yī)生醫(yī)術(shù)高明，診斷全對；

• 點(diǎn)A(TPR>FPR)，醫(yī)生A的判斷大體是正確的；

• 中線上的點(diǎn)B(TPR=FPR),也就是醫(yī)生B全都是蒙的，蒙對一半，蒙錯一半；

• 下半平面的點(diǎn)C(TPR<FPR)，這個醫(yī)生說你有病，那么你很可能沒有病，醫(yī)生C的話我們要反著聽，為真庸醫(yī)。

上圖中一個閾值，得到一個點(diǎn)?，F(xiàn)在我們需要一個獨(dú)立于閾值的評價指標(biāo)來衡量這個醫(yī)生的醫(yī)術(shù)如何，也就是遍歷所有的閾值，得到 ROC 曲線。

假設(shè)下圖是某醫(yī)生的診斷統(tǒng)計圖，為未得病人群（上圖藍(lán)色）和得病人群（下圖紅色）的模型輸出概率分布圖（橫坐標(biāo)表示模型輸出概率，縱坐標(biāo)表示概率對應(yīng)的人群的數(shù)量），顯然未得病人群的概率值普遍低于得病人群的輸出概率值（即正常人診斷出疾病的概率小于得病人群診斷出疾病的概率）。

豎線代表閾值。顯然，圖中給出了某個閾值對應(yīng)的混淆矩陣，通過改變不同的閾值，得到一系列的混淆矩陣，進(jìn)而得到一系列的TPR和FPR，繪制出ROC曲線。

閾值為1時，不管你什么癥狀，醫(yī)生均未診斷出疾病（預(yù)測值都為N），此時 ，位于左下。閾值為 0 時，不管你什么癥狀，醫(yī)生都診斷結(jié)果都是得病（預(yù)測值都為P），此時，位于右上。

與P-R曲線類似，在進(jìn)行模型比較時，如果一個模型的ROC曲線被另外一個模型的曲線完全“包住”，則可斷言后者的性能優(yōu)于前者；若兩個模型的ROC曲線發(fā)生交叉，則難以一般性地斷言兩者優(yōu)劣。此時如果一定要進(jìn)行比較，則較為合理的判據(jù)是ROC曲線下的面積，即AUC。

2.7.2 AUC

AUC，Area Under Curve的簡稱，其中的Curve就是 ROC。AUC 值為 ROC 曲線所覆蓋的區(qū)域面積。也就是說ROC是一條曲線，AUC是一個面積值。顯然，AUC越大，分類器分類效果越好。

• AUC = 1，是完美分類器。

• 0.5 < AUC < 1，優(yōu)于隨機(jī)猜測。有預(yù)測價值。

• AUC = 0.5，跟隨機(jī)猜測一樣（例：丟銅板），沒有預(yù)測價值。

• AUC < 0.5，比隨機(jī)猜測還差；但只要總是反預(yù)測而行，就優(yōu)于隨機(jī)猜測。注：對于AUC小于 0.5 的模型，我們可以考慮取反（模型預(yù)測為positive，那我們就取negtive），這樣就可以保證模型的性能不可能比隨機(jī)猜測差。

以下為ROC曲線和AUC值的實例：

AUC的物理意義

AUC的物理意義為正樣本的預(yù)測結(jié)果大于負(fù)樣本的預(yù)測結(jié)果的概率。所以AUC反應(yīng)的是分類器對樣本的排序能力。另外值得注意的是，AUC對樣本類別是否均衡并不敏感，這也是不均衡樣本通常用AUC評價分類器性能的一個原因。

為什么說 ROC 和AUC都能應(yīng)用于非均衡的分類問題？?ROC曲線只與橫坐標(biāo) (FPR) 和縱坐標(biāo) (TPR) 有關(guān)系 。我們可以發(fā)現(xiàn)TPR只是正樣本中預(yù)測正確的概率，而FPR只是負(fù)樣本中預(yù)測錯誤的概率，和正負(fù)樣本的比例沒有關(guān)系。因此 ROC 的值與實際的正負(fù)樣本比例無關(guān)，因此既可以用于均衡問題，也可以用于非均衡問題。而 AUC 的幾何意義為 ROC曲線下的面積，因此也和實際的正負(fù)樣本比例無關(guān)。

舉例：小明一家四口，小明5歲，姐姐10歲，爸爸35歲，媽媽33歲，建立一個邏輯回歸分類器，來預(yù)測小明家人為成年人概率。以下為三種模型的輸出結(jié)果，求三種模型的 AUC?：

• AUC更多的是關(guān)注對計算概率的排序，關(guān)注的是概率值的相對大小，與閾值和概率值的絕對大小沒有關(guān)系。例子中并不關(guān)注小明是不是成人，而關(guān)注的是，預(yù)測為成人的概率的排序。

• AUC只關(guān)注正負(fù)樣本之間的排序，并不關(guān)心正樣本內(nèi)部，或者負(fù)樣本內(nèi)部的排序。這也體現(xiàn)了AUC的本質(zhì)：任意個正樣本的概率都大于負(fù)樣本的概率的能力。

例子中AUC只需要保證（小明和姐姐）（爸爸和媽媽），小明和姐姐在前2個排序，爸爸和媽媽在后2個排序，而不會考慮小明和姐姐誰在前，或者爸爸和媽媽誰在前 。AUC只與概率的相對大小（概率排序）有關(guān)，和絕對大小沒關(guān)系。由于三個模型概率排序的前兩位都是未成年人（小明，姐姐），后兩位都是成年人（媽媽，爸爸），因此三個模型的AUC都等于1。

以下已經(jīng)對分類器輸出概率從小到大進(jìn)行了排列，哪些情況的AUC等于1，哪些情況的AUC為0（其中背景色表示True value，紅色表示成年人，藍(lán)色表示未成年人）。

D模型, E模型和F模型的AUC值為1，C 模型的AUC值為0（爸媽為成年人的概率小于小明和姐姐，顯然這個模型預(yù)測反了）。

AUC的計算

• 法1：AUC為ROC曲線下的面積，那我們直接計算面積可得。面積為一個個小的梯形面積（曲線）之和。計算的精度與閾值的精度有關(guān) 。

• 法2：根據(jù)AUC的物理意義，我們計算正樣本預(yù)測結(jié)果大于負(fù)樣本預(yù)測結(jié)果的概率。取n1* n0 (n1為正樣本數(shù)，n0為負(fù)樣本數(shù))個二元組，每個二元組比較正樣本和負(fù)樣本的預(yù)測結(jié)果，正樣本預(yù)測結(jié)果高于負(fù)樣本預(yù)測結(jié)果則為預(yù)測正確，預(yù)測正確的二元組占總二元組的比率就是最后得到的AUC。時間復(fù)雜度為O(N*M)。

• 法3：我們首先把所有樣本按照score排序，依次用rank表示他們，如最大score的樣本，rank=n (n=n0+n1，其中n0為負(fù)樣本個數(shù)，n1為正樣本個數(shù))，其次為n-1。那么對于正樣本中rank最大的樣本，rank_max，有n1-1個其他正樣本比他score小，那么就有(rank_max-1)-(n1-1)個負(fù)樣本比他score小。其次為(rank_second-1)-(n1-2)。最后我們得到正樣本大于負(fù)樣本的概率如下，其計算復(fù)雜度為O(N+M)：

下面有一個簡單的例子：

• 真實標(biāo)簽為 (1, 0, 0, 1, 0)

• 預(yù)測結(jié)果1（0.9, 0.3, 0.2, 0.7, 0.5）

• 預(yù)測結(jié)果2（0.9, 0.3, 0.2, 0.7, 0.8）

分別對兩個預(yù)測結(jié)果進(jìn)行排序，并提取他們的序號：

• 結(jié)果1 (5, 2, 1, 4, 3)

• 結(jié)果2 (5, 2, 1, 3, 4)

對正分類序號累加：

• 結(jié)果1：SUM正樣本（rank(score))=5+4=9

• 結(jié)果2：SUM正樣本（rank(score))=5+3=8

計算兩個結(jié)果的AUC：

• 結(jié)果1：AUC= (9-2*3/2)/6=1

• 結(jié)果2：AUC= (8-2*3/2)/6=0.833

2.8 KS Kolmogorov-Smirnov

KS值是在模型中用于區(qū)分預(yù)測正負(fù)樣本分隔程度的評價指標(biāo)，一般應(yīng)用于金融風(fēng)控領(lǐng)域。

與ROC曲線相似，ROC是以FPR作為橫坐標(biāo)，TPR作為縱坐標(biāo)，通過改變不同閾值，從而得到ROC曲線。

而在KS曲線中，則是以閾值作為橫坐標(biāo)，以FPR和TPR作為縱坐標(biāo)，KS曲線則為TPR-FPR，KS曲線的最大值通常為KS值。

為什么這樣求KS值呢？?我們知道，當(dāng)閾值減小時，TPR和FPR會同時減小，當(dāng)閾值增大時，TPR和FPR會同時增大。而在實際工程中，我們希望TPR更大一些，FPR更小一些，即TPR-FPR越大越好，即KS值越大越好。

可以理解TPR是收益，FPR是代價，KS值是收益最大。圖中綠色線是TPR、藍(lán)色線是FPR。

好了，關(guān)于機(jī)器學(xué)習(xí)常用評估指標(biāo)就說到這里，在后續(xù)的學(xué)習(xí)中，我們還會遇到更多的指標(biāo)，到時候我們再一一解釋。相信大家已經(jīng)有些云里霧里了，尤其是關(guān)于混淆矩陣和ROC&AUC?？梢苑磸?fù)多看幾遍，慢慢體會，也推薦看看周志華老師《機(jī)器學(xué)習(xí)》西瓜書里關(guān)于這一部分的描述。