1 概述

1.1 要點(diǎn)

題目：簡單黑盒對抗攻擊 (Simple black-box adversarial attacks)

策略：提出了一個(gè)在黑盒設(shè)置下構(gòu)建對抗圖像的簡單方法：

1. 從預(yù)定義的正交基中隨機(jī)采樣一個(gè)向量，并將其添加或減去到目標(biāo)圖像；
2. 在多個(gè)現(xiàn)實(shí)任務(wù)下展示了算法的性能和效率；
3. 算法非常快，且實(shí)現(xiàn)僅需不要20Pytorch代碼；

1.2 代碼

https://github.com/cg563/simple-blackbox-attack

1.3 引用

@inproceedings{Guo:2019:24842493,
author		=	{Guo, Chuan and Gardner, Jacob and You, Yurong and Wilson, Andrew Gordon and Weinberger, Kilian},
title		=	{Simple black-box adversarial attacks},
booktitle	=	{{ICML}},
pages		=	{2484--2493},
year		=	{2019},
url			=	{https://proceedings.mlr.press/v97/guo19a.html}
}

2 背景

對抗樣本的研究關(guān)注于機(jī)器學(xué)習(xí)模型對細(xì)微改變的健壯性。圖像分類的任務(wù)是成功預(yù)測人類所認(rèn)知的圖像。自然地，這樣的微小改變不會(huì)影響人類的判斷?；诖?#xff0c;可以將健壯性形式化表述為：給定一個(gè)模型$h$和一些輸入-標(biāo)簽對$(x,y)$，如果模型能正確分類$h(x)=y$，則稱$h$是關(guān)于概率度量$d(?,?)$為$\rho$健壯的：
h ( x ′ ) = y ? x ′ ∈ { x ′ ∣ d ( x ′ , x ) ≤ ρ } . h(x')=y\ \forall x'\in\{ x' | d(x',x) \leq \rho \}. h(x′)=y??x′∈{x′∣d(x′,x)≤ρ}.度量$d$通常被近似為$L_0,L_2,L_{\infty }$，以度量輸入$x$和擾動(dòng)$x^{\prime }$之間視覺不相似性的程度。除非特別說明，本文均采用$d(x,x^{\prime })=\Vert x?x^{\prime }{\Vert }_2$作為感知度量。在幾何上，難以察覺的變化區(qū)域被定義為一個(gè)半徑$\rho$、以$x$為中心的超球。對抗攻擊的目標(biāo)便是找到一個(gè)對抗方向$\delta$，使得模型對$x^{\prime }=x+\delta$的決策發(fā)生改變。

2.1 目標(biāo)與非目標(biāo)攻擊

最簡單的成功攻擊的條件是將原始預(yù)測改變?yōu)槠渌我忸悇e$h(x^{\prime })\ne y$。這便是非目標(biāo)攻擊。與此相應(yīng)地，目標(biāo)攻擊的目標(biāo)是對于選擇的目標(biāo)類$y^{\prime }$，有$h(x^{\prime })=y^{\prime }$。為了簡便，余下的討論均在目標(biāo)攻擊下進(jìn)行。

2.2 最小化損失

由于模型輸出離散決策，因此尋找對抗性擾動(dòng)來改變模型首先是一個(gè)離散優(yōu)化問題。然而，其經(jīng)常定義一個(gè)代理損失${?}_y(?)$來度量模型$h$將輸入歸類為$y$的確信度。因此，對抗擾動(dòng)問題可以被制定為最小化模型分類確信度的連續(xù)優(yōu)化問題：
$$\underset{\delta }{\min }{?}_y(x+\delta )\text{?subject?to?}\Vert \delta {\Vert }_2<\rho$$當(dāng)模型$h$輸出對應(yīng)于每個(gè)類別的概率$p_h(?|x)$時(shí)，一個(gè)常用的對抗損失是類別$y$的概率：${?}_y(x^{\prime })=p_h(y|x^{\prime })$，其需要最小化正確分類的概率。對于目標(biāo)攻擊，一個(gè)選擇是${?}_{y^{\prime }}(x^{\prime })=?p_h(y^{\prime }|x^{\prime })$，本質(zhì)上是最大化誤分類為$y^{\prime }$的概率。

2.3 白盒威脅模型

依賴于所在的應(yīng)用領(lǐng)域，攻擊者對于目標(biāo)模型$h$的知識有不同程度的了解。在白盒威脅模型下，分類器$h$將提供給攻擊者。在該設(shè)置下，一個(gè)有力的攻擊策略是在對抗損失${?}_y(?)$下執(zhí)行梯度下降或者近似理論。為了確保不易察覺的改變，一種方式是控制擾動(dòng)的范數(shù)$\Vert \delta {\Vert }_2$、早停，或者直接在損失優(yōu)化過程中引入正則或者約束。

2.4 黑盒威脅模型

對于很多實(shí)際應(yīng)用而言，白盒假設(shè)是不切實(shí)際的。例如，模型$h$的展示形式是API，僅能夠基于輸入獲取查詢結(jié)果。對于攻擊者而言，黑盒模型將更具有挑戰(zhàn)性，這是因?yàn)樘荻刃畔⒉荒芤龑?dǎo)對抗方向$\delta$，且每次查詢將消耗時(shí)間和金錢。因此，黑盒威脅設(shè)置下，附加了最小化查詢次數(shù)$h$的優(yōu)化目標(biāo)。修改后的優(yōu)化目標(biāo)為：
$$\underset{\delta }{\min }{?}_y(x+\delta )\text{?subject?to:?}\Vert \delta \Vert <\rho ,\text{?queries}\le B$$其中$B$是固定代價(jià)。對于迭代優(yōu)化算法而言，攻擊算法需要快速收斂到可行解。

3 簡單黑盒攻擊

假設(shè)已有一張圖像$x$、黑盒神經(jīng)網(wǎng)絡(luò)$h$，分類器$h(x)=y$。我們的目標(biāo)是找到一個(gè)小的擾動(dòng)$\delta$，其滿足$h(x+\delta )\ne y$。盡管在黑盒設(shè)置下，梯度信息是缺失的，輸出概率依然可以用于引導(dǎo)對抗圖像的生成。

3.1 算法

算法1展示了本文輸入的偽代碼：對于任意方向$\mathbf{q}$和步長大小$?$，$x+?\mathbf{q}$或者$x??\mathbf{q}$可能會(huì)降低$p_h(y|x)$。因此我們重復(fù)地隨機(jī)選擇方向$\mathbf{q}$并添加或者減去它。為了最小化查詢$h(?)$的次數(shù)，總是首先嘗試添加$?\mathbf{q}$。如果概率$p_h(y|x)$降低則采取該步驟，否則將減去$?\mathbf{q}$。

所提出的簡單黑盒攻擊 (SimBA) ，使用目標(biāo)圖像標(biāo)簽對$(x,y)$作為輸入，以及正交候選向量$Q$和步長$?>0$。為了簡化，我們均勻隨機(jī)采樣$\mathbf{q}\in Q$。為了保證最大的查詢效率，確保了沒有兩個(gè)方向?qū)?huì)取消或者削減對方，或者不合適地放大或者增加$\delta$的范數(shù)。在$T$次更新后，擾動(dòng)的范數(shù)為$\Vert \delta {\Vert }_2=\sqrt{T}?$。

3.2 Cartesian基

正交搜索方向$Q$的一個(gè)很自然的選擇是標(biāo)準(zhǔn)基$Q=I$，其對應(yīng)算法在像素空間的更新方向。本質(zhì)上，算法在每次更新隨機(jī)選擇一個(gè)像素增加或者減少，這樣的攻擊被稱為$L_0$攻擊，其將盡可能少的改變像素。

3.3 離散余弦基

最近的工作發(fā)現(xiàn)低頻空間中的隨機(jī)噪聲更有可能是對抗性的。對此，我們將探索離散余弦變換 (DCT)。DCT是一個(gè)正交變換，其用于將2D圖像空間${\mathbb{R}}^{d\times d}$中的信號映射到與余弦波函數(shù)的幅度相對于的頻率系數(shù)。接下來，我們將DCT提取的正交頻率集合稱為$Q_{\text{DCT}}$。完整的$Q_{\text{DCT}}$包含$d\times d$個(gè)頻段，我們僅保留比例$r$的低頻段，以在低頻空間中生成對抗擾動(dòng)。

3.4 一般基

理論上，在基向量可以被高效采集的前提下，任意的正交基都能用于本文方法。這對于高分辨率數(shù)據(jù)集，例如ImageNet來說無疑是一個(gè)大的挑戰(zhàn)，因?yàn)槊恳粋€(gè)正交基的維度是$d\times d$。迭代采樣方法，例如Gram-Schmidt不能使用，因?yàn)閮?nèi)存代價(jià)隨采樣向量的數(shù)量線性增長。因此，本文僅選用標(biāo)準(zhǔn)基向量和DCT基向量。

3.5 學(xué)習(xí)率$?$

給定任意的搜索方向$Q$，一些方法能夠更多的降低$p_h(y|x)$。此外，輸出概率$p_h(y|x+?\mathbf{q})$可能是非單調(diào)的。圖1展示了在像素空間和DCT空間隨機(jī)采樣搜索方向時(shí)，輸出概率隨$?$變化的相對情況 (ReaNet-50預(yù)測ImageNet驗(yàn)證集)。結(jié)果表明，概率$p_h(y|x+?\mathbf{q})$的下降與$?$的增長相匹配。盡管一些方向增加了正確類別的概率，該概率的預(yù)期變化為負(fù)且斜率相對較陡。這說明算法對$?$的選擇不敏感，其將快速降低正類別的概率。

3.6 預(yù)算

通過探索$Q$的正交性，我們能夠約束$\delta$的范數(shù)。在每次迭代過程中，基向量將被用于加或者減，當(dāng)無法改變輸出概率時(shí)，則拋棄。令 α i ∈ { ? ? , 0 , ? } \alpha_i\in\{-\epsilon,0,\epsilon\} αi?∈{??,0,?}表示在第$t$步時(shí)的搜索方向，因此：
$${\delta }_{t+1}={\delta }_t+{\alpha }_t{\mathbf{q}}_t$$最終的擾動(dòng)可以記作：
$${\delta }_T=\sum _{t=1}^T{\alpha }_t{\mathbf{q}}_t$$因?yàn)榉较?span id="vxwlu0yf4" class="katex--inline">${\mathbf{q}}_t$是正交的，對于任意的$t\ne t^{\prime }$，${\mathbf{q}}_t^{?}{\mathbf{q}}_{t^{\prime }}=0$。因此，對抗擾動(dòng)的$L_2$范數(shù)計(jì)算為：
$${\Vert {\delta }_T\Vert }_2^2={\Vert \sum _{t=1}^T{\alpha }_t{\mathbf{q}}_t\Vert }_2^2=\sum _{t=1}^T{\Vert {\alpha }_t{\mathbf{q}}_t\Vert }_2^2=\sum _{t=1}^T{\alpha }_t^2{\Vert {\mathbf{q}}_t\Vert }_2^2\le T{?}^2$$因此，在$T$輪迭代之后，對抗擾動(dòng)的最大$L_2$范數(shù)為$\sqrt{T}?$，這對于任意正交基均成立。