針對圖像到圖像生成模型遺忘學(xué)習(xí)：超高效且不需要重新訓(xùn)練就能從生成模型中移除特定數(shù)據(jù)

• • 提出背景
  • • 如何在不重訓(xùn)練模型的情況下從I2I生成模型中移除特定數(shù)據(jù)？
  • 超高效的機器遺忘方法
  • • 子問題1: 如何在圖像到圖像（I2I）生成模型中進(jìn)行高效的機器遺忘？
    • 子問題2: 如何確定哪些數(shù)據(jù)需要被遺忘？
    • 子問題3: 如何保持對其他數(shù)據(jù)的記憶不受影響？
  • 評估與效果
  • • 子問題: 機器遺忘算法如何平衡保留集和遺忘集之間的性能？
    • 子問題: 如何定義一個能夠量化遺忘效果的目標(biāo)函數(shù)？

?

---

提出背景

論文：https://arxiv.org/pdf/2402.00351.pdf

代碼：https://github.com/jpmorganchase/l2l-generator-unlearning

?

如何在不重訓(xùn)練模型的情況下從I2I生成模型中移除特定數(shù)據(jù)？

• 背景: 現(xiàn)行法律對數(shù)據(jù)隱私和版權(quán)提出了新要求，這需要機器學(xué)習(xí)模型能夠遺忘特定的訓(xùn)練數(shù)據(jù)。

傳統(tǒng)的機器遺忘方法，如SISA，需要重新訓(xùn)練模型，這在大型生成模型中不現(xiàn)實。

探索直接操作訓(xùn)練好的模型權(quán)重的方法，如使用Neural Tangent Kernel (NTK)或最大化遺忘集上的損失，減少遺忘所需的計算量。

• 解法: 探索允許模型刪除特定的訓(xùn)練樣本數(shù)據(jù)，而無需從頭開始重訓(xùn)練整個模型。
• 例子: 用戶要求刪除其數(shù)據(jù)，遺忘技術(shù)能讓模型忘記這些數(shù)據(jù)，而不影響對其他數(shù)據(jù)的處理能力。

與重新訓(xùn)練整個模型或簡單的數(shù)據(jù)刪除相比，提出的機器遺忘方案在計算效率和應(yīng)用的靈活性方面更為優(yōu)越。

?

---

超高效的機器遺忘方法

子問題1: 如何在圖像到圖像（I2I）生成模型中進(jìn)行高效的機器遺忘？

• 背景: 在I2I生成模型中，刪除敏感數(shù)據(jù)的同時保持模型性能是一個挑戰(zhàn)，因為簡單的數(shù)據(jù)刪除無法消除模型中已經(jīng)學(xué)到的信息。
• 解法: 提出了一種不需從頭開始訓(xùn)練模型的高效遺忘算法，通過優(yōu)化KL散度和利用L2損失實現(xiàn)遺忘。

這種解法避免了從頭開始訓(xùn)練整個模型，而是直接在模型的現(xiàn)有權(quán)重上應(yīng)用調(diào)整。

它使用KL散度來度量和最大化遺忘集（即將被模型“遺忘”的數(shù)據(jù)）的生成圖像與原圖之間的統(tǒng)計分布差異，同時利用L2損失來最小化保留集（即模型需要繼續(xù)記住的數(shù)據(jù)）的生成圖像與原圖之間的差異。

?

假設(shè)有一個I2I模型，它被訓(xùn)練用于將簡筆畫轉(zhuǎn)換為詳細(xì)的彩色圖像。

出于隱私原因，我們需要模型遺忘所有包含特定符號的簡筆畫。

在不重訓(xùn)練模型的情況下，我們可以調(diào)整模型的權(quán)重，使得當(dāng)模型再次看到這些特定符號的簡筆畫時，它生成的圖像與原圖的KL散度最大化（即生成的圖像與原圖差異很大），而對于其他類型的簡筆畫，模型應(yīng)通過L2損失保持其原有的轉(zhuǎn)換能力。

這張圖提供了一個機器遺忘方法的概覽。

在這個方法中，有兩個數(shù)據(jù)集：遺忘集（( D_F )）和保留集（( D_R )），以及兩個編碼器：目標(biāo)模型編碼器 $E_{\theta }$（可學(xué)習(xí)的）和原始模型編碼器 $E_{{\theta }_0}$（固定的）。

對于遺忘集（( x_f )），方法的目標(biāo)是最小化目標(biāo)模型編碼器 $E_{\theta }$ 輸出的嵌入向量與由高斯噪聲 ( n )生成的嵌入向量之間的L2損失（$L_F$）。

這意味著，在遺忘集上，目標(biāo)模型的輸出應(yīng)與隨機噪聲相似，從而“遺忘”或移除相關(guān)的特征。

對于保留集（$x_r$），目標(biāo)是最小化目標(biāo)模型編碼器 $E_{\theta }$ 輸出的嵌入向量與原始模型編碼器 $E_{{\theta }_0}$ 輸出的嵌入向量之間的L2損失（( L_R )）。

這確保了在保留集上，即使經(jīng)過遺忘過程，目標(biāo)模型仍然能夠保持對原始特征的記憶。

• 遺忘方法的核心原理，即通過調(diào)整編碼器輸出，使得遺忘集的數(shù)據(jù)被有效地去除，同時保留集的數(shù)據(jù)特征被保留。
• 這種方法旨在保護(hù)隱私，同時保持模型在不需要遺忘的數(shù)據(jù)上的性能。

子問題2: 如何確定哪些數(shù)據(jù)需要被遺忘？

• 背景: 在應(yīng)對隱私保護(hù)法律要求或用戶的個人數(shù)據(jù)刪除請求時，必須明確哪些數(shù)據(jù)需要從模型中移除。
• 解法: 設(shè)立一個遺忘集（( D_F )），包含所有需被遺忘的數(shù)據(jù)樣本。
• 例子: 如果用戶要求刪除其在在線服務(wù)中的面部數(shù)據(jù)，所有包含該用戶面部的圖像將被歸入遺忘集。

子問題3: 如何保持對其他數(shù)據(jù)的記憶不受影響？

• 背景: 在移除特定數(shù)據(jù)的同時，不應(yīng)損害模型對于其他數(shù)據(jù)的處理能力。
• 解法: 設(shè)立一個保留集（( D_R )），并通過算法保證在遺忘過程中這些數(shù)據(jù)的特征不會被改變。
• 例子: 在同一個面部識別服務(wù)中，即便刪除某些用戶的數(shù)據(jù)，服務(wù)仍能準(zhǔn)確識別并處理其他用戶的面部圖像。

通過區(qū)分遺忘集和保留集，并對遺忘集應(yīng)用特定的遺忘算法，實現(xiàn)了數(shù)據(jù)的精確遺忘。

不足之處可能在于如何確保在遺忘集和保留集之間劃分的界限是明確的，以及如何處理邊界模糊的情況。
?

邏輯鏈條：

1. 確定哪些數(shù)據(jù)需要被遺忘：這是邏輯鏈條的起點。

   在這一步，我們需要識別出哪些數(shù)據(jù)因隱私保護(hù)法律要求、用戶個人數(shù)據(jù)刪除請求或其他原因需要從模型中移除。

   這個過程涉及到將特定的數(shù)據(jù)樣本標(biāo)記為遺忘集（( D_F )）。

2. 高效的機器遺忘算法：一旦確定了遺忘集，下一步就是應(yīng)用高效的機器遺忘算法。

   這個算法直接在模型的現(xiàn)有權(quán)重上進(jìn)行調(diào)整，而不是從頭開始重新訓(xùn)練整個模型。

   它利用KL散度和L2損失來分別最大化遺忘集的數(shù)據(jù)與模型生成圖像之間的差異，并最小化保留集（( D_R )）的數(shù)據(jù)與模型生成圖像之間的差異。

   這一步確保了特定數(shù)據(jù)的遺忘，同時保持了對其他數(shù)據(jù)的處理能力。

3. 保持對其他數(shù)據(jù)的記憶不受影響（子問題3）：這是邏輯鏈條的最后一個環(huán)節(jié)。

   通過設(shè)立保留集并精確控制遺忘算法的應(yīng)用，我們可以確保在遺忘特定數(shù)據(jù)的同時，模型對于保留集中的數(shù)據(jù)特征記憶不受影響。這保證了模型在刪除某些數(shù)據(jù)后，仍能準(zhǔn)確處理和識別其他數(shù)據(jù)。

這個邏輯鏈條反映了一個從識別需要遺忘的數(shù)據(jù)，到應(yīng)用特定算法遺忘這些數(shù)據(jù)，最終確保模型整體性能不受影響的完整過程。

它是線性的，因為每個步驟都依賴于前一個步驟的完成，并為下一個步驟提供基礎(chǔ)。

雖然每個步驟內(nèi)部可能涉及更復(fù)雜的決策和算法處理，但從宏觀上看，這些子問題和解法形成了解決機器遺忘問題的直接邏輯鏈條。
?

---

評估與效果

子問題: 機器遺忘算法如何平衡保留集和遺忘集之間的性能？

• 背景: 在機器遺忘中需要確保遺忘集中的數(shù)據(jù)被去除，同時保留集的數(shù)據(jù)性能不受影響。
• 解法: 通過最小化保留集的生成圖像與原圖的分布差異，同時最大化遺忘集的生成圖像與原圖的分布差異。
• 例子: 對于風(fēng)格轉(zhuǎn)換模型，保留集中的藝術(shù)風(fēng)格轉(zhuǎn)換能力不受影響，而遺忘集中特定藝術(shù)家的風(fēng)格被模型遺忘。

在這種方法中，目標(biāo)是調(diào)整模型權(quán)重，使得保留集上的圖像生成盡可能保持高質(zhì)量（與原圖差異小），而遺忘集上的圖像生成則明顯偏離原有數(shù)據(jù)分布。

這通常通過在訓(xùn)練期間添加特定的約束或損失函數(shù)來實現(xiàn)，以確保模型在保留集上的生成圖像與真實圖像保持一致，同時在遺忘集上生成與原圖不同的圖像。

?
考慮一個被訓(xùn)練用于風(fēng)格遷移的I2I模型，現(xiàn)在需要遺忘特定藝術(shù)家的風(fēng)格。

遺忘操作將通過調(diào)整模型權(quán)重實現(xiàn)，當(dāng)模型嘗試在遺忘集上進(jìn)行風(fēng)格遷移時，結(jié)果圖像與原始藝術(shù)家風(fēng)格的分布有很大差異，而在保留集上的其他藝術(shù)風(fēng)格則保持不變。

這張圖展示了一個機器遺忘框架在不同類型的圖像到圖像（I2I）生成模型上的應(yīng)用效果，包括擴散模型（Diffusion Models）、向量量化生成對抗網(wǎng)絡(luò)（VQ-GAN），以及掩蔽自編碼器（MAE）。

圖中展示了兩個不同的集合：保留集（Retain Set）和遺忘集（Forget Set）。

在保留集部分（a），可以看到原始圖片（Ground Truth），輸入圖片（Input），以及遺忘前后的圖片（Before Unlearning 和 After Unlearning）。

保留集的圖片在遺忘前后幾乎沒有受到影響，圖像質(zhì)量和內(nèi)容保持一致。

在遺忘集部分（b），同樣展示了原始圖片和輸入圖片，以及遺忘前后的圖片。

遺忘后的圖片與原始圖片相比，幾乎成為了噪聲，這意味著模型成功“忘記”了遺忘集中的信息，圖片內(nèi)容被大幅度扭曲，以至于無法識別原來的內(nèi)容，符合遺忘框架的設(shè)計目的。

• 機器遺忘框架在各種I2I生成模型上的適用性，并驗證了其能夠有效地在遺忘集上實現(xiàn)數(shù)據(jù)的遺忘，同時保持保留集上數(shù)據(jù)的完整性。

?

---

子問題: 如何定義一個能夠量化遺忘效果的目標(biāo)函數(shù)？

• 背景: 需要一個清晰的目標(biāo)，以量化模型遺忘特定數(shù)據(jù)的效果。
• 解法: 使用KL散度和互信息（MI）作為度量，定義了一個目標(biāo)函數(shù)來量化遺忘的效果。
• 例子: 在遺忘算法的效果評估中，可以通過比較遺忘前后模型生成的圖像與原圖的KL散度來量化遺忘的程度。

在這個解法中，使用KL散度和互信息（MI）來定義一個目標(biāo)函數(shù)，旨在量化模型遺忘特定數(shù)據(jù)的效果。

KL散度衡量兩個概率分布之間的差異，而互信息量化兩個變量間的相互依賴性。

這些指標(biāo)結(jié)合起來能夠給出模型遺忘效果的量化評估。

?
假如有一個生成模型被用于生成人臉圖像，現(xiàn)在需要遺忘某個人的臉部數(shù)據(jù)。

通過調(diào)整模型參數(shù)，當(dāng)模型接收到與該人臉相關(guān)的輸入時，輸出的圖像與原始人臉的KL散度很高，表明生成的圖像與被遺忘的人臉差異很大。

同時，通過測量互信息，確保在保留集上模型仍能生成與輸入高度相關(guān)的人臉圖像。

遺忘性能展示:

• 上半部分（Figure 3） 展示了在擴散模型上對中心8x8像素塊進(jìn)行裁剪后的結(jié)果，其中每個裁剪塊的大小為16x16像素。
• 圖像從左到右依次展示了：
  • “Ground Truth”：原始未處理的圖像。
  • “Input”：輸入到模型中的圖像，中間有被遺忘的8x8像素塊。
  • 一系列不同遺忘方法的結(jié)果，包括“Original Model”（原始模型輸出），“Max Loss”（最大化損失），“Noisy Label”（噪聲標(biāo)簽），“Retain Label”（保留標(biāo)簽），“Random Encoder”（隨機編碼器），以及“Ours”（我們的方法）。

這部分顯示了在進(jìn)行遺忘操作后，保留集的圖像質(zhì)量幾乎沒有影響，而遺忘集的圖像則變得接近噪聲，說明遺忘操作成功執(zhí)行。