當(dāng)前位置：首頁 > news >正文

辦文明網(wǎng)站做文明網(wǎng)民活動關(guān)鍵詞查詢網(wǎng)

news 2025/7/10 8:23:11

辦文明網(wǎng)站做文明網(wǎng)民活動,關(guān)鍵詞查詢網(wǎng),電商網(wǎng)站的宣傳推廣,濱海新區(qū)做網(wǎng)站電話2 FAST APROXIMATE CONVOLUTIONS ON GRAPHS 在這一章節(jié)，我們?yōu)檫@種特殊的的圖基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型f(X, A)提供理論上的支持。我們考慮一個多層的圖卷積網(wǎng)絡(luò)（GCN），它通過以下方式進(jìn)行層間的傳播： 這里，是無…

2 FAST? APROXIMATE? CONVOLUTIONS ON GRAPHS

在這一章節(jié)，我們?yōu)檫@種特殊的的圖基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型f(X, A)提供理論上的支持。我們考慮一個多層的圖卷積網(wǎng)絡(luò)（GCN），它通過以下方式進(jìn)行層間的傳播：

$H^{(l+1)} = \sigma (\widetilde{D}^{-1/2} \widetilde{A}(\widetilde{D}^{-1/2} H^{(l)}W^{(l)}) \quad (2)$

這里， $\widetilde{A} = A+ I_{N}$ 是無向圖鄰接矩陣加上自己本身。 $I_{N}$ 是對稱矩陣， $\widetilde{D_{ii}} = \sum _j\widetilde{A_{ij}}$ , $W^{(l)}$ 是層的訓(xùn)練權(quán)重矩陣。 $\sigma (.)$ 表示激活函數(shù)，例如ReLu. $H^{(l)}\in R^{N*D}$ 是 $l^{th}$ 層的激活矩陣， $H^{(0)} = X$ .在接下來中，我們將會展示，這種規(guī)則的傳播方式是局部譜域濾波的一階近似。

2.1 SPECTRAL GRAPH CONVOLUTIONS

我們考慮圖上的譜域卷積：多維信號 $x\in R^N$ ，用參數(shù) $\theta \in R^N$ 定義的傅里葉過濾器 $g_\theta =diag(\theta )$ ，i.e.:

$g_\theta * x = Ug_\theta U^{T}x, \quad (3)$

這里U是歸一化的圖拉普拉斯矩陣的特征向量矩陣，這里 $L = I_N - D^{-1/2}AD^{-1/2} = U \Lambda U^{T}$ ,

對角矩陣是特征值 $\Lambda$ ， $U^Tx$ 是x的圖傅里葉的轉(zhuǎn)換。我們可以理解 $g_\theta$ 是拉普拉斯矩陣L的特征值的函數(shù)，即 $g_\theta (\Lambda )$ 。計算公式(3)是非常繁重的計算，因為特征向量的矩陣U的乘法是 $O(N^2)$ 。并且，在大的圖上計算L的特征值分解，其計算量之大以至于無法做到。為了規(guī)避在大圖上特征值分解的問題， $g_{\theta }(\Lambda )$ 近似是切比雪夫多項式 $K^{th}$ 級截斷 $T_k(x)$ ?：

$g_\theta (\Lambda )\approx \sum_{k=0}^{K}{\theta_k}^{'}T_k(\widetilde{\Lambda }) \quad (4)$

$\widetilde{\Lambda } = \frac{2}{\lambda _{max}}\Lambda - I_N$ 。 $\lambda _{max}$ 表示L的最大特征值。 $\theta ^{'} \in R^K$ 是切比雪夫向量的系數(shù)。切比雪夫多項式遞歸地定義為 $T_k(x) = 2xT_{(k-1)}(x) - T_{k-2}(x)$ ，這里面 $T_0(x) = 1 , T_1(x) = x$ 。

回到我們信號x過濾器

${g_\theta}^{'} * x \approx \sum_{k=0}^{K}{\theta _k}^{'}T_k(\widetilde{L})x,\quad (5)$

這里 $\widetilde{L} = \frac{2}{\lambda_{max} }L - I_N$ ；可以輕易驗證 $(U\Lambda U^{T})^k = U \Lambda ^kU^T$ 。這個表達(dá)式是K階截斷的拉普拉斯多項式近似，它依賴于中心節(jié)點周圍做多K個節(jié)點的作用。公式 5的復(fù)雜度是 $O(|\varepsilon |)$ ，隨著邊的數(shù)量線性增長。Defferrard et al 使用K階卷積定義了圖上的卷積網(wǎng)絡(luò)。

2.2 LAYER-WISE LINEAR MODEL

通過公式5，圖卷積神經(jīng)網(wǎng)絡(luò)可以疊多個卷積層，每一層都是非線性的?，F(xiàn)在，如果我們將層的卷積操作K=1，即圖譜域拉普拉斯矩陣L的限行函數(shù)。

這種一階的線性方式，我們?nèi)匀豢梢粤_列多層的卷積層，這不局限于切比雪夫多項式。我直覺期望這樣的模型能夠?qū)τ邳c的度數(shù)很高的分布（例如，社交網(wǎng)絡(luò)、引用網(wǎng)絡(luò)、知識圖譜和其他一些真實世界的數(shù)據(jù)庫）的圖結(jié)構(gòu)起到減輕過擬合的作用。并且，對于一定的計算資源，這種一階的layer-wise方式能夠建立更深的網(wǎng)絡(luò)。

這樣一種GCN的方式，我們近似 $\lambda_{max} \approx 2$ ，訓(xùn)練過程中，網(wǎng)絡(luò)的參數(shù)適應(yīng)如下方式：

$g_{\theta^{'}} * x = {\theta _0}^{'}x + {\theta _1}^{'}(L- I_N)x= {\theta _0}^{'}x - {\theta _1}^{'}D^{-1/2}AD^{-1/2}x, \quad (6)$

這里2個自由參數(shù) $\theta _0^{'}$ 和 $\theta _1^{'}$ 。這個過濾器的參數(shù)被整個網(wǎng)絡(luò)共享。多層卷積過濾能夠卷積到一個節(jié)點的第 $K$ 層鄰居，k就是圖神經(jīng)網(wǎng)絡(luò)卷積層的層數(shù)。

在實際中，限制參數(shù)的數(shù)量以減少計算（例如矩陣乘法）已解決過擬合的問題，這種優(yōu)化可以得到如下公式 $g_\theta *x \approx \theta (I_N + D^{-1/2}AD^{-1/2})x,\quad (7)$

一個參數(shù) $\theta =\theta _0^{'}=-\theta _1^{'}$ 。注意 $I_N + D^{-1/2}AD^{-1/2}$ 的特征值取值范圍在 $[0,2]$ 。在神經(jīng)網(wǎng)絡(luò)里面疊多層這樣的操作將導(dǎo)致數(shù)值不穩(wěn)定，以及神經(jīng)網(wǎng)絡(luò)梯度的消失。為了有效緩解這個問題，我們將使用再歸一化的技巧： $I_N + D^{-1/2}AD^{-1/2}->\widetilde{D}^{-1/2}\widetilde{A}\widetilde{D}^{-1/2}$ ， $\widetilde{A} = A + I_N$ 和 $\widetilde{D_{ii}} = \sum_{j}\widetilde{A_{ij}}$ 。