前文回顧：機(jī)器學(xué)習(xí)概述

📚線(xiàn)性回歸概念

我們要使用一個(gè)數(shù)據(jù)集，數(shù)據(jù)集包含俄勒岡州波特蘭市的住房?jī)r(jià)格。在這里，我要根據(jù)不同房屋尺寸所售出的價(jià)格，畫(huà)出我的數(shù)據(jù)集。比方說(shuō)，如果你朋友的房子是 1250 平方尺大小，你要告訴他們這房子能賣(mài)多少錢(qián)。那么，你可以做的一件事就是構(gòu)建一個(gè)模型，也許是條直線(xiàn)，從這個(gè)數(shù)據(jù)模型上來(lái)看，也許你可以告訴你的朋友，他能以大約 220000(美元)左右的價(jià)格賣(mài)掉這個(gè)房子。這就是監(jiān)督學(xué)習(xí)算法的一個(gè)例子。

它被稱(chēng)作監(jiān)督學(xué)習(xí)是因?yàn)閷?duì)于每個(gè)數(shù)據(jù)來(lái)說(shuō)，我們給出了“正確的答案”，即告訴我們：根據(jù)我們的數(shù)據(jù)來(lái)說(shuō)，房子實(shí)際的價(jià)格是多少，而且，更具體來(lái)說(shuō)，這是一個(gè)回歸問(wèn)題。

線(xiàn)性回歸：一種通過(guò)屬性的線(xiàn)性組合來(lái)進(jìn)行預(yù)測(cè)的線(xiàn)性模型，其目的是找到一條直線(xiàn)或者一個(gè)平面或者更高維的超平面，使得預(yù)測(cè)值與真實(shí)值之間的誤差最小化。

🐇符號(hào)約定

這里x/y的上標(biāo)指的是索引，表示第幾行/第幾列

🐇算法流程

損失函數(shù)：度量單樣本預(yù)測(cè)的錯(cuò)誤程度，損失函數(shù)值越小，模型就越好。
代價(jià)函數(shù)：度量全部樣本集的平均誤差。
目標(biāo)函數(shù)：代價(jià)函數(shù)和正則化函數(shù)，最終要優(yōu)化的函數(shù)。

📚單變量回歸

下式為一種可能的表達(dá)式，因?yàn)橹挥幸粋€(gè)輸入變量，因此這樣的問(wèn)題叫做單變量線(xiàn)性回歸問(wèn)題。

🐇代價(jià)函數(shù)

• 通過(guò)訓(xùn)練集我們可以得到假設(shè)函數(shù)h即我們建立的模型，y是測(cè)試集。

• 通過(guò)輸入測(cè)試集的自變量向函數(shù)h和y,得出預(yù)測(cè)出來(lái)的結(jié)果與實(shí)際的結(jié)果，讓兩者相減得到誤差。

• 通過(guò)誤差可以看出我們預(yù)測(cè)的結(jié)果好還是不好，如果誤差小于某一個(gè)極小數(shù)時(shí)，我們可以認(rèn)為我們建立的模型非常成功，反之則是失敗。

• 求和的目的是把所有預(yù)測(cè)值的誤差加起來(lái)，平方的目的是保證求和的時(shí)候誤差是正數(shù)，除以m是求平均誤差，除以2是為了計(jì)算方便，有沒(méi)有這個(gè)2最后所求出的最小代價(jià)對(duì)應(yīng)的假設(shè)函數(shù)都是一樣的。

💡假設(shè)函數(shù)與代價(jià)函數(shù)的關(guān)系

🐇梯度下降

梯度下降的目的即求代價(jià)函數(shù)的最小值。且梯度下降有種“動(dòng)態(tài)規(guī)劃”的意思。

理解“梯度下降”:我們把它想象成“下山”的場(chǎng)景。
如何從山上盡快下山?以我們所在的位置為基準(zhǔn)，尋找該位置最陡峭(即變化最快)的方向，然后沿該方向走一段路程，并且每走一段路程，都要重新尋找當(dāng)前位置最陡峭(即變化最快)的方向，然后沿新的方向再走一段路程，反復(fù)采用以上的方法，就能以最快的速度走到山腳下。

💡背后的數(shù)學(xué)原理

💡梯度下降的直觀感受

在梯度下降法中，當(dāng)我們接近局部最低點(diǎn)時(shí)，梯度下降法會(huì)自動(dòng)采取更小的幅度，這是因?yàn)楫?dāng)我們接近局部最低點(diǎn)時(shí)，很顯然在局部最低點(diǎn)時(shí)導(dǎo)數(shù)等于0，所以當(dāng)我們接近局部最低時(shí)，導(dǎo)數(shù)值會(huì)自動(dòng)變得越來(lái)越小，所以梯度下降將采取較小的幅度，這就是梯度下降的做法，所以實(shí)際上沒(méi)有必要再另外減小α。

🐇線(xiàn)性回歸的梯度下降

我們將梯度下降和代價(jià)函數(shù)結(jié)合，將其應(yīng)用于具體的擬合直線(xiàn)的線(xiàn)性回歸算法里。

梯度下降算法和線(xiàn)性回歸算法

對(duì)我們之前的線(xiàn)性回歸問(wèn)題運(yùn)用梯度下降法，關(guān)鍵在于求出代價(jià)函數(shù)的導(dǎo)數(shù)，即：

在下山的過(guò)程中，我們每走一段路，就要確定新的方向，不斷確定新的方向意味著代價(jià)函數(shù)的參數(shù)不斷在變化，而新的參數(shù)又在已知舊的參數(shù)的基礎(chǔ)上獲得。在梯度下降的每一步中，我們都用到了所有的訓(xùn)練樣本，我們需要不斷重復(fù)更新參數(shù)的過(guò)程是批量梯度下降。

參考學(xué)習(xí)鏈接：【中英字幕】吳恩達(dá)機(jī)器學(xué)習(xí)系列課程，本篇對(duì)應(yīng)2.1-2.7

😢富文本編輯器電腦里頭的LaTeX公式在手機(jī)平板看就錯(cuò)行，只能額外加一步截圖——不樂(lè)。

😢電腦富文本編輯器里頭，引用里邊不能插圖片——不樂(lè)。

😢電腦富文本編輯器里開(kāi)的草稿在手機(jī)平板內(nèi)容編輯里都會(huì)出現(xiàn)混亂，打開(kāi)的總是別的文章——不樂(lè)。