學(xué)習(xí)視頻：第1章-緒論_嗶哩嗶哩_bilibili
西瓜書(shū)對(duì)應(yīng)章節(jié)： 第一章 & 第二章

---

---

機(jī)器學(xué)習(xí)三觀

What：什么是機(jī)器學(xué)習(xí)？

關(guān)鍵詞：“學(xué)習(xí)算法”

Why: 為什么要學(xué)機(jī)器學(xué)習(xí)？

1. 機(jī)器學(xué)習(xí)理論研究

2. 機(jī)器學(xué)習(xí)系統(tǒng)開(kāi)發(fā)

3. 機(jī)器學(xué)習(xí)算法遷移 （AI+）

4. AI 應(yīng)用方向研究：NLP, CV, 推薦系統(tǒng)

How: 怎樣學(xué)習(xí)深度學(xué)習(xí)？

- 純理論研究

- 系統(tǒng)的開(kāi)發(fā)

- 算法遷移 （AI for Science)

- AI 應(yīng)用方向研究

---

基礎(chǔ)核心知識(shí)概念

假設(shè)空間 & 版本空間

假設(shè)空間定義了所有可能的解決方案；版本空間則是在考慮了訓(xùn)練數(shù)據(jù)后，認(rèn)為可能正確的解決方案的集合

算法

從數(shù)據(jù)中學(xué)得模型的“具體方法”，其產(chǎn)出結(jié)果稱為“模型”

樣本（示例）

關(guān)于一個(gè)事件或?qū)ο蟮拿枋觥Ｓ孟蛄窟M(jìn)行表示，向量中的各個(gè)維度稱為“特征”或“屬性“。向量中的元素用分號(hào) “;” 表示為列向量，用逗號(hào) ","表示為行向量。

標(biāo)記

學(xué)習(xí)樣本在某方面的表現(xiàn)存在潛在規(guī)律的的信息。

樣本空間 & 標(biāo)記空間

所有可能的輸入數(shù)據(jù)或特征向量的集合；
所有可能的輸出標(biāo)簽或目標(biāo)值的集合

機(jī)器學(xué)習(xí)任務(wù)分類 （根據(jù)標(biāo)記取值類型不同）

• 標(biāo)記取值為“離散型”， 任務(wù)為 分類
• 標(biāo)記取值為 “連續(xù)型”， 任務(wù)為 回歸

機(jī)器學(xué)習(xí)任務(wù)分類 （根據(jù)是否用到標(biāo)記信息）

• 訓(xùn)練階段有用到標(biāo)記信息，此類任務(wù)為 “監(jiān)督學(xué)習(xí)”
• 訓(xùn)練階段沒(méi)用到標(biāo)記信息，此類任務(wù)為 “無(wú)監(jiān)督學(xué)習(xí)”

數(shù)據(jù)集

• 通常用集合表示
• 一般同一份數(shù)據(jù)集中的每個(gè)樣本都含相同個(gè)數(shù)的特征
• 樣本 $x_{ij}$ 表示樣本 $x_i$ 在第 j 個(gè)屬性上的取值

泛化

模型對(duì)未在訓(xùn)練過(guò)程中見(jiàn)過(guò)的數(shù)據(jù)進(jìn)行準(zhǔn)確預(yù)測(cè)的能力

分布

概率論中的概率分布。

歸納偏好

不同的機(jī)器學(xué)習(xí)算法有不同的偏好

• 最常用的評(píng)價(jià)方法是 - 基于模型在測(cè)試集上的表現(xiàn)評(píng)判模型的優(yōu)劣。
• 機(jī)器學(xué)習(xí)算法沒(méi)有絕對(duì)的優(yōu)劣之分，只有是否適合當(dāng)前待解決問(wèn)題之分。
• 沒(méi)有免費(fèi)的午餐定理（NFL)：眾算法生而平等（哪個(gè)算法訓(xùn)出來(lái)的模型在測(cè)試集上表現(xiàn)好哪個(gè)算法 nb）。

數(shù)據(jù)決定模型的上限，算法則是讓模型無(wú)限逼近上限

- 數(shù)據(jù)決定模型的上限

數(shù)據(jù)是指從 數(shù)據(jù)量 和 特征工程 兩個(gè)角度考慮

• 通常數(shù)據(jù)量越大模型效果越好
• 通常對(duì)特征數(shù)值化越合理，特征收集越全越細(xì)致，模型效果通常越好

---

模型評(píng)估與選擇

- 經(jīng)驗(yàn)誤差與過(guò)擬合

- 精度

- 訓(xùn)練誤差 & 泛化誤差

訓(xùn)練集上的誤差；新樣本上的誤差

- 過(guò)擬合

- 欠擬合

- 評(píng)估方法

- 留出法

直接將數(shù)據(jù)集劃分為 數(shù)據(jù)集 和 測(cè)試集 。

• 訓(xùn)練集和測(cè)試集要盡量保證數(shù)據(jù)分布的一致性
• 采用采樣類別比例相似的 分層采樣 。

- 交叉驗(yàn)證法

先將數(shù)據(jù)集劃分為 k 個(gè)互斥子集，盡可能保持?jǐn)?shù)據(jù)分布的一致性，然后以 k-1 個(gè)子集的并集作為訓(xùn)練集，余下子集作為測(cè)試集，進(jìn)行k次訓(xùn)練測(cè)試，最終返回訓(xùn)練結(jié)果的均值。

• 有m個(gè)數(shù)據(jù)，令 k = m，則為 留一法 。

- 自助法

可重復(fù)有放回采樣。

• 訓(xùn)練集的數(shù)量會(huì)增多
• 有可能會(huì)改變數(shù)據(jù)集的分布

- 驗(yàn)證集

對(duì)模型進(jìn)行評(píng)估測(cè)試的數(shù)據(jù)集。

性能度量

- 均方誤差

- 錯(cuò)誤率

分類錯(cuò)誤樣本數(shù)占樣本總數(shù)的比例。

- 精度

分類正確的樣本數(shù)占樣本總數(shù)的比例。

- 查準(zhǔn)率 & 查全率

- F1 度量

- ROC 曲線

- 代價(jià)敏感錯(cuò)誤率 & 代價(jià)曲線

X軸 -

Y軸 -

- 比較檢驗(yàn)

- 假設(shè)檢驗(yàn)

- 交叉驗(yàn)證T檢驗(yàn)

- McNemar 檢驗(yàn)

- Friedman 檢驗(yàn) 和 Nemenyi 后續(xù)檢驗(yàn)

---

- 偏差與方差

• 偏差 度量了 學(xué)習(xí)算法的期望預(yù)測(cè)與真實(shí)結(jié)果的偏離程度，刻畫(huà)了學(xué)習(xí)算法本身的擬合能力
• 方差 度量了同樣大小的訓(xùn)練集的變動(dòng)導(dǎo)致的學(xué)習(xí)性能的變化，刻畫(huà)了數(shù)據(jù)擾動(dòng)造成的影響
• 噪聲 表達(dá)了當(dāng)前任務(wù)上任何學(xué)習(xí)算法所能達(dá)到的期望泛化的誤差的下界，刻畫(huà)了學(xué)習(xí)問(wèn)題本身的難度
• 泛化性能是由 學(xué)習(xí)算法的能力、數(shù)據(jù)的充分性、學(xué)習(xí)任務(wù)本身的難度 共同決定的。為了取得良好的泛化性能，需要使得方差、偏差都較小。

---