論文鏈接：https://arxiv.org/pdf/2102.11165.pdf

?

目錄

摘要：

引言

問題定義

方法

Graph Deviation Networks

Cross-network Meta-learning

---

摘要：

????????網(wǎng)絡(luò)異常檢測旨在找到與絕大多數(shù)行為顯著不同的網(wǎng)絡(luò)元素（例如節(jié)點、邊、子圖）。它對從金融、醫(yī)療保健到社交網(wǎng)絡(luò)分析等各種應(yīng)用產(chǎn)生了深遠(yuǎn)的影響。

????????由于難以承受的標(biāo)簽成本，現(xiàn)有方法主要是以無監(jiān)督的方式開發(fā)的。盡管如此，由于缺乏對感興趣的異常的先驗知識，他們識別的異常可能會變成數(shù)據(jù)噪聲或無趣的數(shù)據(jù)實例。

????????因此，研究和開發(fā)網(wǎng)絡(luò)異常檢測的小樣本學(xué)習(xí)至關(guān)重要。在現(xiàn)實場景中，很少有標(biāo)記的異常也很容易在與目標(biāo)網(wǎng)絡(luò)相同域的類似網(wǎng)絡(luò)上訪問，而大多數(shù)現(xiàn)有工作都忽略了利用它們，而僅僅關(guān)注單個網(wǎng)絡(luò)。

????????利用這一潛力，在這項工作中，我們通過（1）提出一個新的圖神經(jīng)網(wǎng)絡(luò)系列——圖偏差網(wǎng)絡(luò)（GDN）來解決小樣本網(wǎng)絡(luò)異常檢測的問題，它可以利用少量標(biāo)記的異常來檢測強(qiáng)制網(wǎng)絡(luò)上異常節(jié)點和正常節(jié)點之間存在統(tǒng)計顯著偏差； (2)為所提出的GDN配備了一種新的跨網(wǎng)絡(luò)元學(xué)習(xí)算法，通過從多個輔助網(wǎng)絡(luò)傳輸元知識來實現(xiàn)??小樣本網(wǎng)絡(luò)異常檢測。廣泛的評估證明了所提出的方法在少量甚至一次性網(wǎng)絡(luò)異常檢測方面的有效性。

引言

????????由于標(biāo)記異常是高度勞動密集型的，并且需要專門的領(lǐng)域知識，現(xiàn)有的方法主要是以無監(jiān)督的方式開發(fā)的。作為一種流行的范式，人們嘗試用基于自動編碼器的模型的重建誤差[6, 18]或基于矩陣分解的方法的殘差[2,17,34]來測量節(jié)點的異常。

????????然而，由于缺乏對感興趣的異常的先驗知識，他們識別的異?？赡軙兂蓴?shù)據(jù)噪聲或不感興趣趣的數(shù)據(jù)實例。該問題的一個潛在解決方案是利用有限或很少的標(biāo)記異常作為先驗知識來學(xué)習(xí)異常通知模型，因為它在現(xiàn)實場景中成本相對較低 - 一小組標(biāo)記異?？梢詠碜砸巡渴鸬臋z測系統(tǒng)或由用戶反饋提供。與此同時，這些有價值的知識通常分散在目標(biāo)網(wǎng)絡(luò)同一域內(nèi)的其他網(wǎng)絡(luò)中，可以進(jìn)一步利用這些網(wǎng)絡(luò)來提取監(jiān)督信號。

????????可以將 ACM 和 DBLP 視為計算機(jī)科學(xué)領(lǐng)域中具有類似引文關(guān)系的引文網(wǎng)絡(luò)。根據(jù)之前的研究[33,51,52]，由于拓?fù)浣Y(jié)構(gòu)和節(jié)點屬性的相似性，將有價值的知識從源網(wǎng)絡(luò)轉(zhuǎn)移到目標(biāo)網(wǎng)絡(luò)，從而提高目標(biāo)網(wǎng)絡(luò)的性能是可行的。因此，在這項工作中，我們建議研究跨網(wǎng)絡(luò)設(shè)置下的少樣本網(wǎng)絡(luò)異常檢測的新問題。

????????盡管如此，解決這個尚未探索的問題仍然很重要，主要是由于以下原因：（1）從微觀（網(wǎng)絡(luò)內(nèi)）的角度來看，由于我們對異常的了解有限，因此很難精確地描述異常模式。如果我們直接采用現(xiàn)有的半監(jiān)督[37]或PU[40]學(xué)習(xí)技術(shù)，這些方法往往無法達(dá)到令人滿意的結(jié)果，因為它們可能仍然需要相對較大比例的正例[23]。為了處理如圖1（a）所示的這種不完全監(jiān)督挑戰(zhàn)[47]，有必要探索如何利用盡可能少的標(biāo)記異常來學(xué)習(xí)正常模式的高級抽象，而不是關(guān)注異常節(jié)點； (2)從宏觀(網(wǎng)絡(luò)間)的角度來看，雖然同一域內(nèi)的網(wǎng)絡(luò)總體上可能具有相似的特征，但不同網(wǎng)絡(luò)中存在的異常可能來自非常不同的流形。先前關(guān)于跨網(wǎng)絡(luò)學(xué)習(xí)的研究[29, 41]大多集中于僅從單個網(wǎng)絡(luò)遷移知識，這可能會導(dǎo)致結(jié)果不穩(wěn)定和負(fù)遷移的風(fēng)險。由于從多個網(wǎng)絡(luò)中學(xué)習(xí)可以提供有關(guān)異常特征的更全面的知識，因此非常需要一種能夠適應(yīng)這些知識的跨網(wǎng)絡(luò)學(xué)習(xí)算法

?（圖 1：由于異常通常具有不同的模式，(a) 現(xiàn)有方法可能很容易無法將它們與潛在表示空間中的正常節(jié)點區(qū)分開來，而標(biāo)記的異常很少，(b) 雖然它們可以在異常得分空間中通過以下方式很好地分離：強(qiáng)制異常節(jié)點和正常節(jié)點之間存在統(tǒng)計顯著偏差。）

????????為了應(yīng)對上述挑戰(zhàn)，我們在這項工作中首先設(shè)計了一種新的 GNN 架構(gòu)，即圖形偏差網(wǎng)絡(luò)（GDN），以便在標(biāo)注數(shù)據(jù)有限的情況下進(jìn)行網(wǎng)絡(luò)異常檢測。具體來說，給定一個任意網(wǎng)絡(luò)，GDN 首先使用一個 GNN 骨干異常得分學(xué)習(xí)器為每個節(jié)點分配異常得分，然后根據(jù)先驗概率定義異常得分的平均值，作為指導(dǎo)后續(xù)異常得分學(xué)習(xí)的參考得分。通過利用偏差損失[23]，GDN 能夠在異常得分空間中強(qiáng)制執(zhí)行異常節(jié)點的異常得分與正常節(jié)點的異常得分在統(tǒng)計上的顯著偏差（如圖 1(b)所示）。為了進(jìn)一步將這一能力從多個網(wǎng)絡(luò)轉(zhuǎn)移到目標(biāo)網(wǎng)絡(luò)，我們提出了一種跨網(wǎng)絡(luò)元學(xué)習(xí)算法，從多個少量網(wǎng)絡(luò)異常檢測任務(wù)中學(xué)習(xí)通用性良好的 GDN 初始化。無縫集成的框架 Meta-GDN 能夠提取用于檢測多個網(wǎng)絡(luò)異常的綜合元知識，這在很大程度上緩解了從單一網(wǎng)絡(luò)遷移的局限性。隨后，初始化可以通過微調(diào)輕松適應(yīng)目標(biāo)網(wǎng)絡(luò)，只需少量甚至一個標(biāo)注異常點，就能在很大程度上提高目標(biāo)網(wǎng)絡(luò)的異常檢測性能?？偠灾?#xff0c;我們的主要貢獻(xiàn)有三個方面：

????????問題：據(jù)我們所知，我們是第一個研究小樣本網(wǎng)絡(luò)異常檢測這一新問題的人。值得注意的是，我們建議通過跨多個網(wǎng)絡(luò)轉(zhuǎn)移知識來解決這個問題。

????????算法：我們提出了一個原則框架 Meta-GDN，它集成了一系列新的圖神經(jīng)網(wǎng)絡(luò)（即 GDN）和跨網(wǎng)絡(luò)元學(xué)習(xí)，以檢測帶有少量標(biāo)記實例的異常。

????????評估：我們進(jìn)行了大量的實驗來證實我們方法的有效性。實驗結(jié)果證明了 Meta-GNN 在網(wǎng)絡(luò)異常檢測方面優(yōu)于最先進(jìn)的方法。

問題定義

????????在本節(jié)中，我們正式定義少樣本跨網(wǎng)絡(luò)異常檢測問題。在整篇論文中，我們使用粗體大寫字母表示矩陣（例如，A），粗體小寫字母表示向量（例如，u），小寫字母表示標(biāo)量（例如，𝑠），并使用書法字體來表示集合（例如，V）。值得注意的是，在這項工作中，我們專注于屬性網(wǎng)絡(luò)以實現(xiàn)更通用的目的。給定一個屬性網(wǎng)絡(luò) G = (V, E, X)，其中 V 是節(jié)點集，即 {𝑣1, 𝑣2,…。 。 。 , 𝑣𝑛}，E 表示邊的集合，即 {𝑒1, 𝑒2, . 。 。 ，𝑒𝑚}。節(jié)點屬性由 X = [x T 1 , x T 2 , · · · , x T 𝑛 ] ∈ R 𝑛×𝑑 表示，x𝑖 是節(jié)點 𝑣𝑖 的屬性向量。更具體地說，我們將屬性網(wǎng)絡(luò)表示為 G = (A, X)，其中 A = {0, 1} 𝑛×𝑛 是表示網(wǎng)絡(luò)結(jié)構(gòu)的鄰接矩陣。具體來說，A𝑖,𝑗 = 1 表示節(jié)點 𝑣𝑖 和節(jié)點 𝑣𝑗 之間存在邊；否則，A𝑖,𝑗 = 0

????????一般來說，少樣本跨網(wǎng)絡(luò)異常檢測旨在通過從輔助網(wǎng)絡(luò)傳輸非常有限的ground truth異常監(jiān)督知識來最大限度地提高目標(biāo)網(wǎng)絡(luò)的檢測性能。除了目標(biāo)網(wǎng)絡(luò) G𝑡 之外，在這項工作中，我們假設(shè)還存在 𝑃 輔助網(wǎng)絡(luò) G 𝑠 = {G𝑠 1 , G𝑠 2 , 。 。 。 , G𝑠 𝑃 } 與 G𝑡 共享相同或相似的域。對于屬性網(wǎng)絡(luò)，標(biāo)記的異常節(jié)點的集合表示為 V𝐿，未標(biāo)記的節(jié)點的集合表示為 V𝑈 。請注意 V = {V𝐿 , V𝑈 } 并且在我們的問題中 |V𝐿 |? |V𝑈 |因為只給出了少量的標(biāo)記數(shù)據(jù)。由于網(wǎng)絡(luò)異常檢測通常被表述為排序問題[1]，我們正式定義少樣本跨網(wǎng)絡(luò)異常檢測問題如下：

????????問題 1. 小樣本跨網(wǎng)絡(luò)異常檢測：給定： 𝑃 輔助網(wǎng)絡(luò)，即 G 𝑠 = {G𝑠 1 = (A 𝑠 1 , X 𝑠 1 ), G𝑠 2 = (A 𝑠 2 , X 𝑠 2 ), 。 。 。 , G𝑠 𝑃 = (A 𝑠 𝑃 , X 𝑠 𝑃 )} 和目標(biāo)網(wǎng)絡(luò) G𝑡 = (A 𝑡 , X 𝑡 )，每個網(wǎng)絡(luò)都包含一組少樣本標(biāo)記異常（即 V𝐿 1 , V𝐿 2 , . . . , V𝐿 𝑃 和 V𝐿 𝑡 )

????????目標(biāo)：學(xué)習(xí)一個異常檢測模型，該模型能夠利用來自多個輔助網(wǎng)絡(luò)的真實異常知識，即 {G𝑠 1 , G𝑠 2 , . 。 。 , G𝑠 𝑃 }，檢測目標(biāo)網(wǎng)絡(luò) G𝑡 中的異常節(jié)點。理想情況下，檢測到的異常應(yīng)該比正常節(jié)點具有更高的排名分?jǐn)?shù)。

方法

????????在本節(jié)中，我們將介紹所提出的框架 - 用于小樣本網(wǎng)絡(luò)異常檢測的 Meta-GDN 的詳細(xì)信息。具體來說，Meta-GDN 通過以下兩個關(guān)鍵貢獻(xiàn)解決了所討論的挑戰(zhàn)：（1）圖偏差網(wǎng)絡(luò)（GDN），一個新的圖神經(jīng)網(wǎng)絡(luò)系列，可以使用有限的標(biāo)記數(shù)據(jù)對任意單個網(wǎng)絡(luò)進(jìn)行異常檢測； (2) 跨網(wǎng)絡(luò)元學(xué)習(xí)算法，使 GDN 能夠跨多個輔助網(wǎng)絡(luò)傳輸元知識，以實現(xiàn)對目標(biāo)網(wǎng)絡(luò)的小樣本異常檢測。圖 2 概述了擬議的 Meta-GDN。

Graph Deviation Networks

?????????為了能夠在具有少量標(biāo)記數(shù)據(jù)的任意網(wǎng)絡(luò)上進(jìn)行異常檢測，我們首先提出了一個新的圖神經(jīng)網(wǎng)絡(luò)系列，稱為圖偏差網(wǎng)絡(luò)（GDN）。

????????由三個關(guān)鍵構(gòu)建塊組成，包括（1）用于學(xué)習(xí)節(jié)點表示的網(wǎng)絡(luò)編碼器； (2)異常評估器，用于評估每個節(jié)點的異常得分； (3) 用于優(yōu)化帶有少量標(biāo)記異常的模型的偏差損失。詳情如下所示：

????????網(wǎng)絡(luò)編碼器。為了從輸入網(wǎng)絡(luò)學(xué)習(xí)表達(dá)節(jié)點表示，我們首先構(gòu)建網(wǎng)絡(luò)編碼器模塊。具體來說，它由多個 GNN 層構(gòu)建，將每個節(jié)點編碼為低維潛在表示。一般來說，GNN 遵循鄰域消息傳遞機(jī)制，并通過以迭代方式聚合局部鄰域的特征來計算節(jié)點表示。形式上，通用 GNN 層使用兩個關(guān)鍵函數(shù)計算節(jié)點表示：

?????????為了捕獲網(wǎng)絡(luò)中的遠(yuǎn)程節(jié)點依賴性，我們在網(wǎng)絡(luò)編碼器中堆疊多個 GNN 層。因此，網(wǎng)絡(luò)編碼器可以表示為：

?????????異常評估器。然后，從網(wǎng)絡(luò)編碼器學(xué)習(xí)到的節(jié)點表示將被傳遞給異常評估器𝑓𝜽𝑠（·），以進(jìn)一步估計每個節(jié)點的異常情況。具體來說，異常評估器由兩個前饋層構(gòu)建，將中間節(jié)??點表示轉(zhuǎn)換為標(biāo)量異常分?jǐn)?shù)：

?????????偏差損失。本質(zhì)上，GDN 的目標(biāo)是根據(jù)計算出的帶有少樣本標(biāo)簽的異常分?jǐn)?shù)來區(qū)分正常節(jié)點和異常節(jié)點。在這里，我們建議采用偏差損失[23]來強(qiáng)制模型為那些特征顯著偏離正常節(jié)點的節(jié)點分配較大的異常分?jǐn)?shù)。為了指導(dǎo)模型學(xué)習(xí)，我們首先定義一個參考分?jǐn)?shù)（即𝜇𝑟）作為一組隨機(jī)選擇的正常節(jié)點的異常分?jǐn)?shù)的平均值。它可以作為量化異常節(jié)點的分?jǐn)?shù)與正常節(jié)點的偏差程度的參考。

????????根據(jù)之前的研究 [15, 23]，高斯分布通常是擬合各種數(shù)據(jù)集的異常分?jǐn)?shù)的穩(wěn)健選擇。基于這個假設(shè)，我們首先從高斯先驗分布中采樣一組 𝑘 異常分?jǐn)?shù)，即 R = {𝑟1, 𝑟2, 。 。 。 , 𝑟𝑘 } ～ N(𝜇, 𝜎2 )，其中每一個表示隨機(jī)正常節(jié)點的異常。參考分?jǐn)?shù)計算為所有采樣分?jǐn)?shù)的平均值：

?????????有了參考分?jǐn)?shù)𝜇𝑟，節(jié)點𝑣𝑖的異常分?jǐn)?shù)與參考分?jǐn)?shù)之間的偏差可以用標(biāo)準(zhǔn)分?jǐn)?shù)的形式定義：

?????????其中 𝜎𝑟 是采樣異常分?jǐn)?shù)集的標(biāo)準(zhǔn)差 R = {𝑟1, . 。 。 ，𝑟𝑘}。然后，通過將距離函數(shù)替換為式（6）中的偏差，可以從對比損失[11]中導(dǎo)出最終的目標(biāo)函數(shù)：

?????????其中 𝑦𝑖 是輸入節(jié)點 𝑣𝑖 的真實標(biāo)簽。如果節(jié)點 𝑣𝑖 是異常節(jié)點，則 𝑦𝑖 = 1，否則，𝑦𝑖 = 0。請注意，𝑚 是定義偏差周圍半徑的置信邊際

????????通過最小化上述損失函數(shù)，GDN 會將正常節(jié)點的異常分?jǐn)?shù)盡可能接近 𝜇𝑟，同時強(qiáng)制 𝜇𝑟 與異常節(jié)點的異常分?jǐn)?shù)之間至少有 𝑚 的較大正偏差。這樣，GDN 就能夠?qū)W習(xí)正常模式的高級抽象，而標(biāo)記的異常要少得多，并使節(jié)點表示學(xué)習(xí)能夠區(qū)分正常節(jié)點和罕見異常。因此，如果節(jié)點的模式顯著偏離學(xué)習(xí)到的正常模式的抽象，則將向該節(jié)點分配較大的異常分?jǐn)?shù)

????????我們的初步結(jié)果表明，只要 𝜎 不太大，GDN 對 𝜇 和 𝜎 的選擇并不敏感。具體來說，我們在實驗中設(shè)置𝜇=0和𝜎=1，這有助于GDN在不同數(shù)據(jù)集上實現(xiàn)穩(wěn)定的檢測性能。還值得一提的是，由于我們無法訪問正常節(jié)點的標(biāo)簽，因此我們簡單地將 V𝑈 中未標(biāo)記的節(jié)點視為正常節(jié)點。請注意，這樣剩余的未標(biāo)記異常和所有正常節(jié)點將被視為正常，從而將污染引入到訓(xùn)練集中（即未標(biāo)記異常與總未標(biāo)記訓(xùn)練數(shù)據(jù) V𝑈 的比率）。值得注意的是，GDN 通過使用這種簡單的策略表現(xiàn)非常好，并且對不同的污染水平具有魯棒性。第 2 節(jié)評估了不同污染水平對模型性能的影響。 5.4.

Cross-network Meta-learning

????????有了所提出的圖偏差網(wǎng)絡(luò)（GDN），我們能夠有效地檢測具有有限標(biāo)記數(shù)據(jù)的任意網(wǎng)絡(luò)上的異常。當(dāng)來自目標(biāo)網(wǎng)絡(luò)同一域的輔助網(wǎng)絡(luò)可用時，如何傳遞這些有價值的知識是在目標(biāo)網(wǎng)絡(luò)上實現(xiàn)少樣本異常檢測的關(guān)鍵。盡管它具有可行性，但如果我們直接借用現(xiàn)有跨網(wǎng)絡(luò)學(xué)習(xí)方法的思想，性能將相當(dāng)有限。主要原因是這些方法僅僅專注于從單個網(wǎng)絡(luò)轉(zhuǎn)移知識[29, 41]，這可能會由于不同網(wǎng)絡(luò)上的異常特征不同而導(dǎo)致負(fù)轉(zhuǎn)移。為此，我們轉(zhuǎn)而利用多個輔助網(wǎng)絡(luò)來提取異常的全面知識。

????????作為提取和轉(zhuǎn)移知識的有效范式，元學(xué)習(xí)由于在各種高影響力領(lǐng)域的廣泛應(yīng)用，最近受到越來越多的研究關(guān)注[8,19,20,27,36,38]。本質(zhì)上，元學(xué)習(xí)的目標(biāo)是在各種學(xué)習(xí)任務(wù)上訓(xùn)練模型，使得學(xué)習(xí)到的模型能夠有效地適應(yīng)很少甚至只有一個標(biāo)記數(shù)據(jù)的新任務(wù)[13]。特別是，芬恩等人?[10]提出了一種與模型無關(guān)的元學(xué)習(xí)算法來顯式地學(xué)習(xí)模型參數(shù)，使得模型可以通過少量的梯度步驟和有限的標(biāo)記數(shù)據(jù)實現(xiàn)對新任務(wù)的良好泛化。受這項工作的啟發(fā)，我們建議學(xué)習(xí)一個元學(xué)習(xí)器（即 Meta-GDN）作為來自多個輔助網(wǎng)絡(luò)的 GDN 的初始化，它具有有效識別新目標(biāo)網(wǎng)絡(luò)上異常節(jié)點的泛化能力。具體來說，Meta-GDN 在訓(xùn)練階段從輔助網(wǎng)絡(luò)上的不同小樣本網(wǎng)絡(luò)異常檢測任務(wù)中提取真實異常的元知識，并將針對目標(biāo)網(wǎng)絡(luò)上的新任務(wù)進(jìn)行進(jìn)一步微調(diào)，使得模型可以做出快速有效的適應(yīng)。

????????我們將每個學(xué)習(xí)任務(wù)定義為在單個網(wǎng)絡(luò)上執(zhí)行少量異常檢測，其目標(biāo)是強(qiáng)制將大異常分?jǐn)?shù)分配給等式（7）中定義的異常。 令 T𝑖 表示由網(wǎng)絡(luò) G𝑠 𝑖 構(gòu)建的少樣本網(wǎng)絡(luò)異常檢測任務(wù)，那么每個時期我們都有 𝑃 學(xué)習(xí)任務(wù)。我們考慮由帶有參數(shù) 𝜽 的參數(shù)化函數(shù) 𝑓𝜽 表示的 GDN 模型。給定 𝑃 任務(wù)，優(yōu)化算法首先針對每個學(xué)習(xí)任務(wù) T𝑖 獨立調(diào)整初始模型參數(shù) 𝜽 至 𝜽 ′ 𝑖。具體來說，更新的參數(shù) 𝜽 ′ 𝑖 是使用 LT𝑖 對從 G𝑠 𝑖 中的 V𝐿 𝑖 和 V𝑈 𝑖 采樣的一批訓(xùn)練數(shù)據(jù)計算的。形式上，一步梯度的參數(shù)更新可以表示為：

?????????通過在所有學(xué)習(xí)任務(wù)中優(yōu)化 𝑓𝜽 相對于 𝜽 的最佳性能來訓(xùn)練模型參數(shù)。更具體地，元目標(biāo)函數(shù)定義如下：

?????????通過優(yōu)化 GDN 的目標(biāo)，更新后的模型參數(shù)可以保留檢測每個網(wǎng)絡(luò)異常的能力。由于元優(yōu)化是在參數(shù)𝜽上執(zhí)行的，目標(biāo)是使用所有任務(wù)的更新參數(shù)計算的，相應(yīng)地，模型參數(shù)被優(yōu)化，使得目標(biāo)任務(wù)（網(wǎng)絡(luò)）上的一個或少量梯度步驟將產(chǎn)生巨大的效果。

????????形式上，我們利用隨機(jī)梯度下降（SGD）來更新所有任務(wù)的模型參數(shù)𝜽，使得模型參數(shù)𝜽更新如下：

?????????其中 𝛽 是元步長。完整的算法總結(jié)在算法 1 中。具體來說，對于每個批次，我們從未標(biāo)記數(shù)據(jù)（即 V𝑈 ）和標(biāo)記異常數(shù)據(jù)（即 V𝐿 ）中隨機(jī)采樣相同數(shù)量的節(jié)點，分別表示正常和異常節(jié)點（步驟- 4).

?