1.什么是Adaboost

????????AdaBoost（adapt boost），自適應(yīng)推進(jìn)算法，屬于Boosting方法的學(xué)習(xí)機(jī)制。是一種通過改變訓(xùn)練樣本權(quán)重來學(xué)習(xí)多個(gè)弱分類器并進(jìn)行線性結(jié)合的過程。它的自適應(yīng)在于：被前一個(gè)基本分類器誤分類的樣本的權(quán)值會(huì)增大，而正確分類的樣本的權(quán)值會(huì)減小，并再次用來訓(xùn)練下一個(gè)基本分類器。同時(shí)，在每一輪迭代中，加入一個(gè)新的弱分類器，直到達(dá)到某個(gè)預(yù)定的足夠小的錯(cuò)誤率或預(yù)先指定的最大迭代次數(shù)再確定最后的強(qiáng)分類器。Adaboost主要解決的問題有: 兩類問題、多類單標(biāo)簽問題、多類多標(biāo)簽問題、回歸問題。

2.Adaboost算法流程

2-1 權(quán)值初始化

? ? ? ? 初始化訓(xùn)練數(shù)據(jù)的權(quán)值分布D1。假設(shè)有N個(gè)訓(xùn)練樣本數(shù)據(jù)，則每一個(gè)訓(xùn)練樣本最開始時(shí)，都會(huì)被賦予相同的權(quán)值：w1 = 1/N。

2-2 訓(xùn)練弱分類器

?????????訓(xùn)練弱分類器Ci。訓(xùn)練過程中提高被弱分類器錯(cuò)分樣本的權(quán)值，降低正分樣本的權(quán)值，作為下一輪基本分類器的訓(xùn)練樣本。這樣一來，那些沒有得到正確分類的數(shù)據(jù)，由于其價(jià)值加大后收到后一輪弱分類器的更大關(guān)注，于是，分類問題被一系列弱分類器"分而治之"。具體訓(xùn)練過程：如果某個(gè)訓(xùn)練樣本點(diǎn)，被弱分類器Ci準(zhǔn)確地分類，那么再構(gòu)造下一個(gè)訓(xùn)練集中，它對應(yīng)的權(quán)值要減小；相反，如果某個(gè)訓(xùn)練樣本點(diǎn)被錯(cuò)誤分類，那么它的權(quán)值就應(yīng)該增大。權(quán)值的更新過的樣本被用于訓(xùn)練下一個(gè)弱分類器，整個(gè)過程如此迭代下去。??????????????

? ? ? ? 第一個(gè)分類器將三個(gè)藍(lán)色樣本錯(cuò)誤分類到紅色樣本區(qū)域，所以將藍(lán)色樣本的權(quán)值增大，作為第二個(gè)分類器的訓(xùn)練數(shù)據(jù)。

?????????第二個(gè)分類器將兩個(gè)藍(lán)色樣本錯(cuò)誤分類到紅色樣本區(qū)域同時(shí)也將一個(gè)紅色樣本錯(cuò)誤分類到藍(lán)色樣本區(qū)域，所以對應(yīng)的藍(lán)色樣本和紅色樣本的權(quán)值增大，作為第三個(gè)分類器的訓(xùn)練數(shù)據(jù)。?

? ? ? ? 第三個(gè)分類器將經(jīng)過前兩個(gè)分類器后進(jìn)行權(quán)值調(diào)整的數(shù)據(jù)再次訓(xùn)練，并進(jìn)行劃分。

2-3 集成組合 ? ? ? ?

????????將各個(gè)訓(xùn)練得到的弱分類器組合成一個(gè)強(qiáng)分類器。采取加權(quán)多數(shù)表決的方法，誤差率小的分類器的權(quán)值大，使其在表決過程中起較大作用。????????

????????各個(gè)弱分類器的訓(xùn)練過程結(jié)束后，加大分類誤差率小的弱分類器的權(quán)重，使其在最終的分類函數(shù)中起著較大的決定作用，而降低分類誤差率大的弱分類器的權(quán)重，使其在最終的分類函數(shù)中起著較小的決定作用。誤差率低的弱分類器在最終分類器中占的權(quán)重較大，誤差率高的弱分類器在最終分類器中占的權(quán)重較小。?

3.Adaboost公式推導(dǎo)

3-1 Adaboost 公式

3-1 推導(dǎo)?

4.Adaboost的優(yōu)點(diǎn)和缺點(diǎn)

4-1 優(yōu)點(diǎn)

（1）Adaboost提供一種框架，在框架內(nèi)可以使用各種方法構(gòu)建子分類器?？梢允褂煤唵蔚娜醴诸惼?#xff0c;不用對特征進(jìn)行篩選，也不存在過擬合的現(xiàn)象。

（2）Adaboost算法不需要弱分類器的先驗(yàn)知識，最后得到的強(qiáng)分類器的分類精度依賴于所有弱分類器。無論是應(yīng)用于人造數(shù)據(jù)還是真實(shí)數(shù)據(jù)，Adaboost都能顯著的提高學(xué)習(xí)精度。

（3）Adaboost算法不需要預(yù)先知道弱分類器的錯(cuò)誤率上限，且最后得到的強(qiáng)分類器的分類精度依賴于所有弱分類器的分類精度，可以深挖分類器的能力。Adaboost可以根據(jù)弱分類器的反饋，自適應(yīng)地調(diào)整假定的錯(cuò)誤率，執(zhí)行的效率高。

（4）Adaboost對同一個(gè)訓(xùn)練樣本集訓(xùn)練不同的弱分類器，按照一定的方法把這些弱分類器集合起來，構(gòu)造一個(gè)分類能力很強(qiáng)的強(qiáng)分類器，即“三個(gè)臭皮匠賽過一個(gè)諸葛亮”。

4-2?缺點(diǎn)

????????在Adaboost訓(xùn)練過程中，Adaboost會(huì)使得難于分類樣本的權(quán)值呈指數(shù)增長，訓(xùn)練將會(huì)過于偏向這類困難的樣本，導(dǎo)致Adaboost算法易受噪聲干擾。此外，Adaboost依賴于弱分類器，而弱分類器的訓(xùn)練時(shí)間往往很長。? ? ? ??