有時(shí)，根據(jù)測(cè)試集的精度衡量，模型表現(xiàn)得非常出色。 但是當(dāng)數(shù)據(jù)分布突然改變時(shí)，模型在部署中會(huì)出現(xiàn)災(zāi)難性的失敗。
有時(shí)模型的部署本身就是擾亂數(shù)據(jù)分布的催化劑。 舉一個(gè)有點(diǎn)荒謬卻可能真實(shí)存在的例子。 假設(shè)我們訓(xùn)練了一個(gè)貸款申請(qǐng)人違約風(fēng)險(xiǎn)模型，用來(lái)預(yù)測(cè)誰(shuí)將償還貸款或違約。 這個(gè)模型發(fā)現(xiàn)申請(qǐng)人的鞋子與違約風(fēng)險(xiǎn)相關(guān)（穿牛津鞋申請(qǐng)人會(huì)償還，穿運(yùn)動(dòng)鞋申請(qǐng)人會(huì)違約）。 此后，這個(gè)模型可能傾向于向所有穿著牛津鞋的申請(qǐng)人發(fā)放貸款，并拒絕所有穿著運(yùn)動(dòng)鞋的申請(qǐng)人。
本章會(huì)揭露揭示一些常見的問(wèn)題

1 分布偏移的類型

1.1協(xié)變量偏移

指的是訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的輸入分布不同，但條件分布 $P(y\mid x)$ 保持不變，即輸入的分布可能隨時(shí)間而改變， 但標(biāo)簽函數(shù)（即條件分布
）沒(méi)有改變。

以區(qū)分貓狗為例，下面是訓(xùn)練集用的圖像：

下面是測(cè)試集用的圖像，即對(duì)下面的圖像進(jìn)行分類：

訓(xùn)練集由真實(shí)照片組成，而測(cè)試集只包含卡通圖片。 假設(shè)在一個(gè)與測(cè)試集的特征有著本質(zhì)不同的數(shù)據(jù)集上進(jìn)行訓(xùn)練， 如果沒(méi)有方法來(lái)適應(yīng)新的領(lǐng)域，可能會(huì)有麻煩。

1.2 標(biāo)簽偏移

指的是訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的標(biāo)簽分布不同，但條件分布 $P(x\mid y)$保持不變。即標(biāo)簽的邊際分布發(fā)生了變化，而給定標(biāo)簽的輸入特征分布保持不變。

以開發(fā)一個(gè)疾病診斷模型為例：

• 在 A 醫(yī)院收集了很多患者的診斷數(shù)據(jù)，進(jìn)行模型訓(xùn)練，可能因?yàn)?A 醫(yī)院專長(zhǎng)于某種疾病，該疾病的比例在數(shù)據(jù)中非常高。
• 你在 B 醫(yī)院測(cè)試模型，但是B醫(yī)院的患者數(shù)據(jù)標(biāo)簽分布與A醫(yī)院不同，可能該疾病的患者比例較低，由于訓(xùn)練集和測(cè)試集的標(biāo)簽分布不同，模型可能更傾向于預(yù)測(cè)該病

1.3 概念偏移

指的是輸入數(shù)據(jù)與標(biāo)簽之間的關(guān)系發(fā)生了變化，即條件分布 $P(y\mid x)$ 發(fā)生變化。這種變化通常出現(xiàn)在模型部署后的實(shí)際應(yīng)用中，環(huán)境、用戶行為、市場(chǎng)趨勢(shì)等隨時(shí)間改變，導(dǎo)致原有模型不再準(zhǔn)確。

以金融欺詐檢測(cè)為例：

• 訓(xùn)練階段：模型學(xué)到了根據(jù)歷史交易特征（如金額、時(shí)間、地點(diǎn)）來(lái)預(yù)測(cè)是否是欺詐行為。
• 部署后：欺詐者的行為模式改變，使用新的手段進(jìn)行欺詐，因此同樣的交易特征可能不再代表欺詐行為。

2 分布偏移糾正

2.1 經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際風(fēng)險(xiǎn)

經(jīng)驗(yàn)風(fēng)險(xiǎn)：指模型在給定訓(xùn)練數(shù)據(jù)集上所犯錯(cuò)誤的平均值

經(jīng)驗(yàn)風(fēng)險(xiǎn)（empirical risk）是為了近似 真實(shí)風(fēng)險(xiǎn)（true risk）， 整個(gè)訓(xùn)練數(shù)據(jù)上的平均損失，即從其真實(shí)分布$p(x,y)$中抽取的所有數(shù)據(jù)的總體損失的期望值：

2.2 協(xié)變量偏移糾正

我們可以通過(guò)在真實(shí)風(fēng)險(xiǎn)的計(jì)算中，使用以下簡(jiǎn)單的恒等式來(lái)進(jìn)行糾正：
$$\begin{array}{r}\int \int l(f(\mathbf{x}),y)p(y\mid \mathbf{x})p(\mathbf{x})d\mathbf{x}dy=\int \int l(f(\mathbf{x}),y)q(y\mid \mathbf{x})q(\mathbf{x})\frac{p(\mathbf{x})}{q(\mathbf{x})}d\mathbf{x}dy.\end{array}$$
即根據(jù)數(shù)據(jù)來(lái)自正確分布與來(lái)自錯(cuò)誤分布的概率之比， 來(lái)重新衡量每個(gè)數(shù)據(jù)樣本的權(quán)重：
$${\beta }_i\stackrel{\mathrm{def}}{=}\frac{p({\mathbf{x}}_i)}{q({\mathbf{x}}_i)}.$$

將權(quán)重${\beta }_i$代入到每個(gè)數(shù)據(jù)樣本$({\mathbf{x}}_i,y_i)$中， 我們可以使用”加權(quán)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化“來(lái)訓(xùn)練模型：
$${\mathrm{minimize}}_f\frac{1}{n}\sum _{i=1}^n{\beta }_{i}l(f({\mathbf{x}}_i),y_i).$$

由于不知道這個(gè)比率，我們需要估計(jì)它，這里使用對(duì)數(shù)幾率回歸（logistic regression）

現(xiàn)在，我們來(lái)看一下完整的協(xié)變量偏移糾正算法。 假設(shè)我們有一個(gè)訓(xùn)練集$\{({\mathbf{x}}_1,y_1),\dots ,({\mathbf{x}}_n,y_n)\}$和一個(gè)未標(biāo)記的測(cè)試集 { u 1 , … , u m } \{\mathbf{u}_1, \ldots, \mathbf{u}_m\} {u1?,…,um?}.。對(duì)于協(xié)變量偏移，我們假設(shè)$1\le i\le n$的$x_i$來(lái)自某個(gè)源分布，${\mathbf{u}}_i$來(lái)自目標(biāo)分布。 以下是糾正協(xié)變量偏移的典型算法：

2.3 標(biāo)簽偏移糾正

重要性加權(quán)是一種常用的技術(shù)，用于調(diào)整模型的訓(xùn)練過(guò)程，使其更好地適應(yīng)測(cè)試數(shù)據(jù)的標(biāo)簽分布。通過(guò)為訓(xùn)練數(shù)據(jù)中的每個(gè)樣本分配權(quán)重，使得樣本的影響程度與其在測(cè)試集中的重要性相匹配。

步驟：
1、估計(jì)訓(xùn)練集和測(cè)試集的標(biāo)簽分布：

• ?$P_{train}(y)$：訓(xùn)練集中的標(biāo)簽分布
• ?$P_{test}(y)$：測(cè)試集中的標(biāo)簽分布

2、計(jì)算權(quán)重：
$$weight(y)=\frac{P_{test}(y)}{P_{train}(y)}$$

3、在訓(xùn)練過(guò)程中，對(duì)每個(gè)樣本的損失進(jìn)行加權(quán)：
$$weightedloss=\sum _{i}weight(y_i)?L(f(x_i,\theta ),y_i)$$

通過(guò)這種方式，模型在訓(xùn)練時(shí)會(huì)更重視那些在測(cè)試集中頻繁出現(xiàn)的標(biāo)簽。

2.4 概念偏移糾正

使用新數(shù)據(jù)更新現(xiàn)有的網(wǎng)絡(luò)權(quán)重，而不是從頭開始訓(xùn)練。

3 學(xué)習(xí)問(wèn)題的分類法

有了如何處理分布變化的知識(shí)，我們現(xiàn)在可以考慮機(jī)器學(xué)習(xí)問(wèn)題形式化的其他方面。

3.1 批量學(xué)習(xí)

在批量學(xué)習(xí)（batch learning）中，我們可以訪問(wèn)一組訓(xùn)練特征和標(biāo)簽 $\{({\mathbf{x}}_1,y_1),\dots ,({\mathbf{x}}_n,y_n)\}$， 我們使用這些特性和標(biāo)簽訓(xùn)練$f(\mathbf{x})$。 然后，我們部署此模型來(lái)對(duì)來(lái)自同一分布的新數(shù)據(jù)$(\mathbf{x},y)$進(jìn)行評(píng)分。

例如，我們可以根據(jù)貓和狗的大量圖片訓(xùn)練貓檢測(cè)器。 一旦我們訓(xùn)練了它，我們就把它作為智能貓門計(jì)算視覺(jué)系統(tǒng)的一部分，來(lái)控制只允許貓進(jìn)入。 然后這個(gè)系統(tǒng)會(huì)被安裝在客戶家中，基本再也不會(huì)更新。

3.2 在線學(xué)習(xí)

在線學(xué)習(xí)是一種逐步更新模型的方法。在這種學(xué)習(xí)模式下，模型在接收到新數(shù)據(jù)后會(huì)立即進(jìn)行更新，而不需要在訓(xùn)練結(jié)束后一次性處理所有數(shù)據(jù)。與傳統(tǒng)的批量學(xué)習(xí)（Batch Learning）相對(duì)，后者通常在收集完所有數(shù)據(jù)后進(jìn)行訓(xùn)練。

例如，在實(shí)時(shí)推薦系統(tǒng)中，在用戶行為不斷變化的場(chǎng)景中，在線學(xué)習(xí)可以根據(jù)最新的用戶活動(dòng)實(shí)時(shí)調(diào)整推薦算法。

3.3 老虎機(jī)

老虎機(jī)問(wèn)題是在線學(xué)習(xí)中的一個(gè)經(jīng)典特例，旨在解決探索與利用之間的權(quán)衡。該問(wèn)題可以通過(guò)“老虎機(jī)”來(lái)形象化，想象有多個(gè)老虎機(jī)，每個(gè)老虎機(jī)都有不同的中獎(jiǎng)概率。玩家的目標(biāo)是在有限的嘗試次數(shù)內(nèi)最大化其總獎(jiǎng)勵(lì)。

例如，在線廣告投放，即在多個(gè)廣告選項(xiàng)中選擇以最大化點(diǎn)擊率。

3.4 控制

3.5 強(qiáng)化學(xué)習(xí)