然后上一節(jié)我們說(shuō)了L1,L2正則是為了提高,模型的泛化能力,

提高泛化能力,實(shí)際上就是把模型的公式的w,權(quán)重值,變小對(duì)吧.

然后我們這里首先看第一個(gè)L1正則,是怎么做到把w權(quán)重變小的

可以看到最上面是線性回歸的損失函數(shù),然后

L1可以看到,這個(gè)正則,就是在損失函數(shù)的基礎(chǔ)上給損失函數(shù),添加了一個(gè)帶有絕對(duì)值的||所有的w的和對(duì),不過(guò)這里,又有一個(gè)阿爾法對(duì)吧.

這個(gè)阿爾法是用來(lái)調(diào)節(jié),這個(gè)泛化能力強(qiáng)弱的,其實(shí)就是用來(lái)調(diào)節(jié)|w|,w權(quán)重的絕對(duì)值之和,這L1正則的,所占的比重對(duì)吧.

我們知道如果不添加正則化,那么出現(xiàn)過(guò)擬合的話,會(huì)是2這種圖,可以看到,有很多地方的拐點(diǎn),比較陡峭,我們知道w指的是斜率,那么曲線,曲里拐彎,說(shuō)明斜率大對(duì)吧,其實(shí)就是w大,那么我們要做的就是

用L1,或者L2來(lái)降低w,把這個(gè)曲線,2這個(gè)曲線捋直,成3這個(gè)曲線對(duì)吧,讓模型,不再死板,可以舉一反三.

然后我們來(lái)看這個(gè)線性回歸函數(shù),我們可以看到之前的損失函數(shù)是上面的

按行中間是L1,可以看到新的這個(gè)套索回歸,其實(shí)就是原來(lái)的線性回歸函數(shù),+一個(gè)L1正則

對(duì)吧  L1中的這個(gè)1表示范數(shù),其實(shí)就是指的 這個(gè)函數(shù)是一次的,這個(gè)L1正則是一次冪對(duì)吧