Title

題目

Dual-stream multi-dependency graph neural network enables precise cancer survival analysis

《雙流多依賴圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)精確的癌癥生存分析》

01

文獻(xiàn)速遞介紹

癌癥是全球主要的死亡原因，2020年約有1930萬(wàn)新發(fā)癌癥病例和近1000萬(wàn)癌癥相關(guān)死亡病例（Sung et al., 2021）。令人震驚的是，預(yù)計(jì)到2040年全球癌癥負(fù)擔(dān)將增加47%，達(dá)到2840萬(wàn)例（Sung et al., 2021）。鑒于癌癥種類繁多，對(duì)各種器官和系統(tǒng)的影響各異，精準(zhǔn)醫(yī)學(xué)，特別是考慮到個(gè)體患者狀況和癌癥進(jìn)展的生存分析，具有顯著減少癌癥流行并應(yīng)對(duì)腫瘤異質(zhì)性挑戰(zhàn)的潛力，從而具有重要的臨床和商業(yè)價(jià)值。

通常，基于組織病理學(xué)的生存分析依賴于在組織病理切片中目視檢查和量化細(xì)胞形態(tài)、侵襲性或炎癥/浸潤(rùn)的組織病理學(xué)改變/特征（Gurcan et al., 2009）。然而，由于全切片圖像（WSI）的巨像素大小，這一過(guò)程對(duì)于病理學(xué)家來(lái)說(shuō)非常耗時(shí)且勞動(dòng)密集。此外，最終分析還受到病理學(xué)家主觀經(jīng)驗(yàn)和知識(shí)的影響，使預(yù)測(cè)結(jié)果不確定。在過(guò)去幾年中，先進(jìn)的全切片成像技術(shù)與深度學(xué)習(xí)技術(shù)的結(jié)合在基于組織病理WSI的生存分析中引起了顯著的研究興趣，提供了克服這些挑戰(zhàn)的有希望的解決方案。與傳統(tǒng)方法相比，計(jì)算病理學(xué)方法在效率、客觀性、可重復(fù)性和遠(yuǎn)程診斷的可能性方面表現(xiàn)突出（Abels et al., 2019；Louis et al., 2016），這可能為緩解全球合格病理學(xué)家的嚴(yán)重短缺和區(qū)域不平衡提供新的視角。

Abstract

摘要

基于組織病理圖像的生存預(yù)測(cè)旨在提供精確的癌癥預(yù)后評(píng)估，并為個(gè)性化治療決策提供信息，以改善患者的治療效果。然而，現(xiàn)有的方法無(wú)法自動(dòng)建模每張全切片圖像（WSI）中眾多形態(tài)多樣的補(bǔ)丁之間的復(fù)雜相關(guān)性，從而阻礙了對(duì)患者狀態(tài)的更深層次理解和推斷。為了解決這個(gè)問(wèn)題，我們提出了一種新的深度學(xué)習(xí)框架，稱為雙流多依賴圖神經(jīng)網(wǎng)絡(luò)（DM-GNN），以實(shí)現(xiàn)精確的癌癥患者生存分析。具體來(lái)說(shuō)，DM-GNN通過(guò)特征更新和全局分析分支來(lái)更好地將每個(gè)WSI建模為基于形態(tài)親和性和全局共同激活依賴關(guān)系的兩個(gè)圖。這兩種依賴關(guān)系從不同但互補(bǔ)的角度描繪了每個(gè)WSI，DM-GNN的兩個(gè)設(shè)計(jì)分支能夠共同實(shí)現(xiàn)對(duì)補(bǔ)丁間復(fù)雜相關(guān)性的多視圖建模。此外，DM-GNN還通過(guò)引入親和性引導(dǎo)的注意力重新校準(zhǔn)模塊作為讀出功能，增強(qiáng)了在圖構(gòu)建過(guò)程中對(duì)依賴信息的利用。這個(gè)新穎的模塊提高了對(duì)特征擾動(dòng)的魯棒性，從而確保了更可靠和穩(wěn)定的預(yù)測(cè)。在五個(gè)TCGA數(shù)據(jù)集上的廣泛基準(zhǔn)實(shí)驗(yàn)表明，DM-GNN優(yōu)于其他最先進(jìn)的方法，并基于高注意力補(bǔ)丁的形態(tài)描述提供了可解釋的預(yù)測(cè)見(jiàn)解?？傮w而言，DM-GNN代表了一種強(qiáng)大且輔助的基于組織病理圖像的個(gè)性化癌癥預(yù)后工具，具有很大的潛力來(lái)幫助臨床醫(yī)生做出個(gè)性化的治療決策，并改善患者的治療效果。

Conclusion

結(jié)論

In this study, we have developed a novel dual-stream multidependency graph neural network, referred to as DM-GNN to improve histopathology image-based cancer patient survival analysis.Importantly, DM-GNN is capable of modeling the complex correlationsbetween numerous morphology-diverse patches in each WSI, therebyenabling a more profound understanding and inference of patients’survival status. More specifically, DM-GNN models the original WSIas two independent graphs with theoretically distinct dependencies,which focus on the morphological similarities and global co-activatingcorrelations, respectively. Leveraging such a strategy, DM-GNN cansuccessfully establish the deep correlations between patches from theglobal viewpoint, thereby being able to conduct a comprehensiveanalysis of each WSI. Moreover, we also propose a new affinity-guidedattention recalibration module to enable more robust node-level featureaggregation against noise from multiple perspectives. To assess theperformance and utility of the proposed DM-GNN framework, wehave performed extensive benchmarking experiments on five TCGAbenchmark datasets. We envision that the development and availabilityof the data-driven deep learning-based tools, such as DM-GNN proposedin this study, can be explored as powerful tools to facilitate communitywide efforts and inform clinical decision-making underpinning digitalpathology and precision oncology

在本研究中，我們開(kāi)發(fā)了一種新的雙流多依賴圖神經(jīng)網(wǎng)絡(luò)，稱為DM-GNN，以改進(jìn)基于組織病理圖像的癌癥患者生存分析。重要的是，DM-GNN能夠建模每個(gè)WSI中眾多形態(tài)多樣補(bǔ)丁之間的復(fù)雜關(guān)聯(lián)，從而實(shí)現(xiàn)對(duì)患者生存狀態(tài)的更深入理解和推斷。更具體地說(shuō)，DM-GNN將原始WSI建模為具有理論上不同依賴關(guān)系的兩個(gè)獨(dú)立圖，分別關(guān)注形態(tài)相似性和全局共同激活相關(guān)性。利用這種策略，DM-GNN可以從全局視角成功建立補(bǔ)丁之間的深層關(guān)聯(lián)，從而能夠?qū)γ總€(gè)WSI進(jìn)行綜合分析。此外，我們還提出了一種新的基于親和性的注意力重新校準(zhǔn)模塊，以從多個(gè)角度增強(qiáng)對(duì)抗噪聲的節(jié)點(diǎn)級(jí)特征聚合的魯棒性。為了評(píng)估所提出的DM-GNN框架的性能和實(shí)用性，我們?cè)谖鍌€(gè)TCGA基準(zhǔn)數(shù)據(jù)集上進(jìn)行了廣泛的基準(zhǔn)實(shí)驗(yàn)。我們?cè)O(shè)想，數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)工具（如本研究中提出的DM-GNN）的開(kāi)發(fā)和可用性可以作為強(qiáng)大的工具來(lái)促進(jìn)社區(qū)范圍內(nèi)的努力，并為數(shù)字病理學(xué)和精準(zhǔn)腫瘤學(xué)的臨床決策提供信息。

Figure

圖

Fig. 1. Overview of the proposed dual-stream multi-dependency graph neural network (DM-GNN). The framework comprises pre-processing operations to convert WSIs into bags offeatures and feed-forward computation to predict hazard rates. Regarding the network, it is constructed by the feature updating branch and global analysis branch for representationgeneration and affinity-guided attention recalibration module for graph-level feature aggregation. Eventually, one linear layer will predict the risk of each patient.

圖1. 所提出的雙流多依賴圖神經(jīng)網(wǎng)絡(luò)（DM-GNN）的概述。該框架包括預(yù)處理操作，將WSI轉(zhuǎn)換為特征包，并進(jìn)行前饋計(jì)算以預(yù)測(cè)風(fēng)險(xiǎn)率。網(wǎng)絡(luò)方面，它由特征更新分支和全局分析分支構(gòu)成，用于表示生成和基于親和性的注意力重新校準(zhǔn)模塊，用于圖級(jí)特征聚合。最終，通過(guò)一個(gè)線性層來(lái)預(yù)測(cè)每個(gè)患者的風(fēng)險(xiǎn)。

Fig. 2. Kaplan–Meier survival curves of our proposed DM-GNN and ground truth across five cancer types. High-risk and low-risk patients are represented by red and blue lines,respectively. The x-axis shows the time in months and the y-axis presents the probability of survival. The log-rank test is used to evaluate the statistical significance in survival distributions between low-risk and high-risk patients (P-Value < 0.05).

圖2. 我們提出的DM-GNN與五種癌癥類型的真實(shí)數(shù)據(jù)的Kaplan-Meier生存曲線。高風(fēng)險(xiǎn)和低風(fēng)險(xiǎn)患者分別由紅色和藍(lán)色線表示。x軸顯示時(shí)間（月），y軸表示生存概率。使用log-rank檢驗(yàn)評(píng)估低風(fēng)險(xiǎn)和高風(fēng)險(xiǎn)患者生存分布的統(tǒng)計(jì)顯著性（P值 < 0.05）。

Fig. 3. Attention visualization of DM-GNN on two WSIs in high-risk and low-risk cohorts from the TCGA-BLCA dataset. (a,d), (b,e) and (c,f) present the segmented WSIs,attention-mapped WSIs, and high-attention patches, respectively. Particularly, experienced pathologists depict the morphological features of the attention patches, revealing theprediction insights of the trained model.

圖3. DM-GNN在TCGA-BLCA數(shù)據(jù)集中高風(fēng)險(xiǎn)和低風(fēng)險(xiǎn)隊(duì)列的兩個(gè)WSI上的注意力可視化。(a,d)、(b,e)和(c,f)分別展示了分割后的WSI、注意力映射的WSI以及高注意力補(bǔ)丁。特別是，有經(jīng)驗(yàn)的病理學(xué)家描述了注意力補(bǔ)丁的形態(tài)特征，揭示了訓(xùn)練模型的預(yù)測(cè)見(jiàn)解。

Fig. 4. Case study of the WSI from TCGA-GBMLGG dataset in terms of segmented WSI (a), attention WSI (b), affinity matrix (c), and attention matrix (d).

圖4. TCGA-GBMLGG數(shù)據(jù)集中WSI的案例研究，包括分割后的WSI (a)、注意力WSI (b)、親和矩陣 (c) 和注意力矩陣 (d)。

Table

表

Table 1 Data details of the BLCA, BRCA, GBMLGG, LUAD and UCEC datasets with CS, US,and AP representing censored samples, uncensored samples and average patches,respectively.

表1 BLCA、BRCA、GBMLGG、LUAD和UCEC數(shù)據(jù)集的詳細(xì)數(shù)據(jù)，其中CS、US和AP分別代表刪失樣本、未刪失樣本和平均補(bǔ)丁數(shù)。

Table 2 Performance comparison with state-of-the-art methods on TCGA datasets in terms of c-index.

表2 在TCGA數(shù)據(jù)集上與最先進(jìn)方法在c-index方面的性能比較。

Table 3Analysis of the number of local prototypes on TCGA datasets in terms of c-index.

表3TCGA數(shù)據(jù)集上基于c-index的局部原型數(shù)量分析。

Table 4 Ablation study on the TCGA-GBMLGG, TCGA-LUAD and TCGA-UCEC datasets. Specifically, we evaluate the significance of the proposed FUB, GAB, and AARM in terms of c-index

with detail.

表4 在TCGA-GBMLGG、TCGA-LUAD和TCGA-UCEC數(shù)據(jù)集上的消融研究。具體來(lái)說(shuō)，我們?cè)u(píng)估了所提出的FUB、GAB和AARM在c-index方面的詳細(xì)意義。