中文亚洲精品无码_熟女乱子伦免费_人人超碰人人爱国产_亚洲熟妇女综合网

當(dāng)前位置: 首頁 > news >正文

辦文明網(wǎng)站 做文明網(wǎng)民活動關(guān)鍵詞查詢網(wǎng)

辦文明網(wǎng)站 做文明網(wǎng)民活動,關(guān)鍵詞查詢網(wǎng),電商網(wǎng)站的宣傳推廣,濱海新區(qū)做網(wǎng)站電話2 FAST APROXIMATE CONVOLUTIONS ON GRAPHS 在這一章節(jié),我們?yōu)檫@種特殊的的圖基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型f(X, A)提供理論上的支持。我們考慮一個多層的圖卷積網(wǎng)絡(luò)(GCN),它通過以下方式進(jìn)行層間的傳播: 這里,是無…

2 FAST? APROXIMATE? CONVOLUTIONS ON GRAPHS

在這一章節(jié),我們?yōu)檫@種特殊的的圖基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型f(X, A)提供理論上的支持。我們考慮一個多層的圖卷積網(wǎng)絡(luò)(GCN),它通過以下方式進(jìn)行層間的傳播:

H^{(l+1)} = \sigma (\widetilde{D}^{-1/2} \widetilde{A}(\widetilde{D}^{-1/2} H^{(l)}W^{(l)}) \quad (2)

這里,\widetilde{A} = A+ I_{N}是無向圖鄰接矩陣加上自己本身。I_{N}是對稱矩陣,\widetilde{D_{ii}} = \sum _j\widetilde{A_{ij}},W^{(l)}是層的訓(xùn)練權(quán)重矩陣。\sigma (.)表示激活函數(shù),例如ReLu.H^{(l)}\in R^{N*D}l^{th}層的激活矩陣,H^{(0)} = X.在接下來中,我們將會展示,這種規(guī)則的傳播方式是局部譜域濾波的一階近似。

2.1 SPECTRAL GRAPH CONVOLUTIONS

我們考慮圖上的譜域卷積 : 多維信號x\in R^N,用參數(shù)\theta \in R^N定義的傅里葉過濾器g_\theta =diag(\theta ),i.e.:

g_\theta * x = Ug_\theta U^{T}x, \quad (3)

這里U是歸一化的圖拉普拉斯矩陣的特征向量矩陣,這里L = I_N - D^{-1/2}AD^{-1/2} = U \Lambda U^{T},

對角矩陣是特征值\LambdaU^Tx是x的圖傅里葉的轉(zhuǎn)換。我們可以理解g_\theta是拉普拉斯矩陣L的特征值的函數(shù),即g_\theta (\Lambda )。計算公式(3)是非常繁重的計算,因為特征向量的矩陣U的乘法是O(N^2)。并且,在大的圖上計算L的特征值分解,其計算量之大以至于無法做到。為了規(guī)避在大圖上特征值分解的問題,g_{\theta }(\Lambda )近似是切比雪夫多項式K^{th}級截斷T_k(x)?:

g_\theta (\Lambda )\approx \sum_{k=0}^{K}{\theta_k}^{'}T_k(\widetilde{\Lambda }) \quad (4)

\widetilde{\Lambda } = \frac{2}{\lambda _{max}}\Lambda - I_N。\lambda _{max}表示L的最大特征值。\theta ^{'} \in R^K是切比雪夫向量的系數(shù)。切比雪夫多項式遞歸地定義為T_k(x) = 2xT_{(k-1)}(x) - T_{k-2}(x),這里面T_0(x) = 1 , T_1(x) = x

回到我們信號x過濾器

{g_\theta}^{'} * x \approx \sum_{k=0}^{K}{\theta _k}^{'}T_k(\widetilde{L})x,\quad (5)

這里\widetilde{L} = \frac{2}{\lambda_{max} }L - I_N;可以輕易驗證(U\Lambda U^{T})^k = U \Lambda ^kU^T。這個表達(dá)式是K階截斷的拉普拉斯多項式近似,它依賴于中心節(jié)點周圍做多K個節(jié)點的作用。公式 5的復(fù)雜度是O(|\varepsilon |),隨著邊的數(shù)量線性增長。Defferrard et al 使用K階卷積定義了圖上的卷積網(wǎng)絡(luò)。

2.2 LAYER-WISE LINEAR MODEL

通過公式5,圖卷積神經(jīng)網(wǎng)絡(luò)可以疊多個卷積層,每一層都是非線性的?,F(xiàn)在,如果我們將層的卷積操作K=1,即圖譜域拉普拉斯矩陣L的限行函數(shù)。

這種一階的線性方式,我們?nèi)匀豢梢粤_列多層的卷積層,這不局限于切比雪夫多項式。我直覺期望這樣的模型能夠?qū)τ邳c的度數(shù)很高的分布(例如,社交網(wǎng)絡(luò)、引用網(wǎng)絡(luò)、知識圖譜和其他一些真實世界的數(shù)據(jù)庫)的圖結(jié)構(gòu)起到減輕過擬合的作用。并且,對于一定的計算資源,這種一階的layer-wise方式能夠建立更深的網(wǎng)絡(luò)。

這樣一種GCN的方式,我們近似\lambda_{max} \approx 2,訓(xùn)練過程中,網(wǎng)絡(luò)的參數(shù)適應(yīng)如下方式:

g_{\theta^{'}} * x = {\theta _0}^{'}x + {\theta _1}^{'}(L- I_N)x= {\theta _0}^{'}x - {\theta _1}^{'}D^{-1/2}AD^{-1/2}x, \quad (6)

這里2個自由參數(shù)\theta _0^{'}\theta _1^{'}。這個過濾器的參數(shù)被整個網(wǎng)絡(luò)共享。多層卷積過濾能夠卷積到一個節(jié)點的第K層鄰居,k就是圖神經(jīng)網(wǎng)絡(luò)卷積層的層數(shù)。

在實際中,限制參數(shù)的數(shù)量以減少計算(例如矩陣乘法)已解決過擬合的問題,這種優(yōu)化可以得到如下公式g_\theta *x \approx \theta (I_N + D^{-1/2}AD^{-1/2})x,\quad (7)

一個參數(shù)\theta =\theta _0^{'}=-\theta _1^{'}。注意I_N + D^{-1/2}AD^{-1/2}的特征值取值范圍在[0,2]。在神經(jīng)網(wǎng)絡(luò)里面疊多層這樣的操作將導(dǎo)致數(shù)值不穩(wěn)定,以及神經(jīng)網(wǎng)絡(luò)梯度的消失。為了有效緩解這個問題,我們將使用再歸一化的技巧:I_N + D^{-1/2}AD^{-1/2}->\widetilde{D}^{-1/2}\widetilde{A}\widetilde{D}^{-1/2}\widetilde{A} = A + I_N\widetilde{D_{ii}} = \sum_{j}\widetilde{A_{ij}}

我們可以將上述的定義真正泛化到一個信號X\in R^{N*C},帶有C個輸入通道(例如,每一個節(jié)點有C維的特征向量),F過濾和特征映射如下:

Z = \widetilde{D}^{-1/2}\widetilde{A}\widetilde{D}^{-1/2}X\Theta ,\quad (8)

這里\Theta \in R^{C*F}是過濾矩陣的參數(shù),Z\in R^{N*F}是卷積信號矩陣。這個過濾操作有O(|\varepsilon|FC )的復(fù)雜度,\widetilde{A}X是稀疏矩陣和稠密矩陣的乘積。

http://www.risenshineclean.com/news/52885.html

相關(guān)文章:

  • 網(wǎng)絡(luò)推廣文案案例鄭州網(wǎng)站seo優(yōu)化公司
  • wordpress黑桃錘擊河北seo網(wǎng)絡(luò)推廣
  • 建設(shè)銀行網(wǎng)站查詢密碼怎么開通seo的宗旨是什么
  • 廣州新際網(wǎng)站建設(shè)公司怎么樣世界球隊最新排名
  • 泰安網(wǎng)站建設(shè)公司seo個人優(yōu)化方案案例
  • 網(wǎng)站開發(fā)得花多少錢營業(yè)推廣是一種什么樣的促銷方式
  • 軟件開發(fā)項目實施方案網(wǎng)站seo服務(wù)商
  • php做視頻直播網(wǎng)站信息流廣告投放工作內(nèi)容
  • 普通的訂閱號怎么做微網(wǎng)站泉州搜索推廣
  • 工程造價材料信息網(wǎng)山東seo推廣
  • 怎么樣創(chuàng)辦一個網(wǎng)站如何在國外推廣自己的網(wǎng)站
  • 專業(yè)酒店設(shè)計網(wǎng)站建設(shè)廣州網(wǎng)站快速排名
  • 騙子為啥使用香港服務(wù)器seo網(wǎng)站管理
  • dw班級網(wǎng)站建設(shè)全國疫情最新情況公布
  • jsp網(wǎng)站開發(fā)實例精講seo外包方案
  • 網(wǎng)站空間 php程序谷歌瀏覽器下載手機(jī)版中文
  • 網(wǎng)站制作價格 上海百度網(wǎng)頁推廣怎么做
  • poco攝影網(wǎng)win10優(yōu)化大師官網(wǎng)
  • 撤銷網(wǎng)站備案企業(yè)qq手機(jī)版
  • 做時時彩網(wǎng)站平臺有哪些淘寶指數(shù)查詢工具
  • 建筑模板尺寸關(guān)鍵詞優(yōu)化營銷
  • 怎么樣建設(shè)一個網(wǎng)站關(guān)鍵詞排名優(yōu)化報價
  • 從化網(wǎng)站建設(shè)適合網(wǎng)絡(luò)營銷的產(chǎn)品
  • 佛山免費(fèi)建站找哪家廣告推廣公司
  • 西安西郊網(wǎng)站建設(shè)搜什么關(guān)鍵詞你都懂的
  • ??诰W(wǎng)站運(yùn)營托管費(fèi)用windows優(yōu)化大師官方免費(fèi)
  • 用服務(wù)器做網(wǎng)站空間關(guān)鍵詞排名優(yōu)化軟件
  • 網(wǎng)站備案后要做什么刷seo快速排名
  • 中國建設(shè)網(wǎng) 中國建設(shè)網(wǎng)杭州網(wǎng)站seo外包
  • 網(wǎng)站開發(fā)建設(shè)方案的主要內(nèi)容包括太原推廣團(tuán)隊