張健 | 作者

個(gè)人主頁(yè)：

https://blog.csdn.net/lKin_Chueng

[ 作者介紹 ]

YU ZHOU，HAIXIA ZHENG，XIN HUANG，SHUFENG HAO，DENGAO LI，JUMIN ZHAO，目前在山西省空間信息網(wǎng)絡(luò)工程技術(shù)研究中心的工作，國(guó)際計(jì)算機(jī)學(xué)會(huì)（ACM）太原分會(huì)員。感興趣的研究方向是大數(shù)據(jù)技術(shù)及應(yīng)用、人工智能、腦信息學(xué)、腦網(wǎng)絡(luò)組學(xué)分析、醫(yī)療大數(shù)據(jù)。他們的h指數(shù)分別為12，8，26，25，14，36.

[ 期刊介紹]

[ 文章結(jié)構(gòu)]

    圖作為一種復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，由節(jié)點(diǎn)和邊組成。它可以模擬現(xiàn)實(shí)世界中的諸多復(fù)雜系統(tǒng)，如社交網(wǎng)絡(luò)和知識(shí)圖譜等。因此，分析復(fù)雜網(wǎng)絡(luò)已成為一個(gè)極具挑戰(zhàn)性的研究前沿。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，許多學(xué)者開(kāi)始采用深度學(xué)習(xí)架構(gòu)來(lái)處理圖。在這種情況下，圖神經(jīng)網(wǎng)絡(luò)（GNN）應(yīng)運(yùn)而生。至今，GNN已經(jīng)成為一種流行而強(qiáng)大的計(jì)算框架，可處理圖和流形等不規(guī)則數(shù)據(jù)。

| 1.結(jié)構(gòu)

圖卷積神經(jīng)網(wǎng)絡(luò) (GCNN)

在現(xiàn)實(shí)世界中，無(wú)標(biāo)簽的文本語(yǔ)料非常龐大，而有標(biāo)簽的數(shù)據(jù)非常稀缺。如何有效利用未標(biāo)注的原始文本對(duì)于緩解自然語(yǔ)言處理相關(guān)任務(wù)對(duì)監(jiān)督學(xué)習(xí)方法的依賴(lài)至關(guān)重要。

GCNN在處理圖、流形等不規(guī)則數(shù)據(jù)方面發(fā)揮著關(guān)鍵作用。它們受到卷積神經(jīng)網(wǎng)絡(luò)( CNN )的啟發(fā)，學(xué)習(xí)不規(guī)則數(shù)據(jù)的分層表示。有一些努力將CNN擴(kuò)展到圖。然而，它通常計(jì)算昂貴且不能捕獲光譜或空間特征。本文從以下6個(gè)方面對(duì)GCNN進(jìn)行介紹：譜GCNN、空間GCNN、圖小波神經(jīng)網(wǎng)絡(luò)和特殊圖上的GCNN。

圖1 光譜 GCNN 的計(jì)算框架

圖2 空間 GCNN 的計(jì)算框架

圖池化算子

圖池化算子是GCNN非常重要和有用的模塊，尤其是對(duì)于圖級(jí)別的任務(wù)(例如圖分類(lèi))。圖池算子有兩種，分別是全局圖池算子和層次圖池算子。前者的目的是獲得輸入圖的一般表示，后者的目的是獲得節(jié)點(diǎn)表示的充分結(jié)構(gòu)信息。

圖注意力機(jī)制

  首先將注意力機(jī)制引入深度學(xué)習(xí)社區(qū)，引導(dǎo)深度學(xué)習(xí)模型關(guān)注其輸入的任務(wù)相關(guān)部分，從而做出準(zhǔn)確的預(yù)測(cè)或推斷。最近，注意力機(jī)制在GCNN中的應(yīng)用引起了廣泛的關(guān)注，因此各種注意力技術(shù)被提出。本文從四個(gè)角度總結(jié)了圖上的圖注意力機(jī)制，分別是基于softmax的圖注意力、基于相似性的圖注意力、譜注意力和注意力引導(dǎo)游走。

圖3 兩種圖注意力機(jī)制

圖遞歸神經(jīng)網(wǎng)絡(luò)

圖循環(huán)神經(jīng)網(wǎng)絡(luò) (GRNN) 將循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 推廣到處理圖結(jié)構(gòu)數(shù)據(jù)，文章中介紹一些可用的 GRNN 架構(gòu)。

圖4 注意力引導(dǎo)游走的計(jì)算框架

圖5 Graph LSTM 的計(jì)算框架

上述架構(gòu)實(shí)質(zhì)上提供了構(gòu)建GNN的要素。本文從譜圖GCNN、能力與可解釋性、深度圖表示學(xué)習(xí)、深度圖生成模型、PI與GNN的結(jié)合、GNN的對(duì)抗攻擊、圖神經(jīng)架構(gòu)搜索和圖強(qiáng)化學(xué)習(xí)八個(gè)方面對(duì)GNN的擴(kuò)展進(jìn)行了研究。最后對(duì)GNN的應(yīng)用進(jìn)行了簡(jiǎn)要總結(jié)。

特殊圖上的 GCNN

普通GCNN旨在學(xué)習(xí)輸入圖(有向或無(wú)向、加權(quán)或無(wú)權(quán))的表示。真實(shí)世界的圖可能具有更多的額外特征，如時(shí)空?qǐng)D、異構(gòu)圖、超圖、符號(hào)圖等。簽名圖GCNN利用平衡理論，通過(guò)正負(fù)鏈接聚合和傳播信息。

模型能力和可解釋性

GCNN 在圖上的監(jiān)督、半監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)方面取得了巨大的經(jīng)驗(yàn)成功。最近，許多研究開(kāi)始關(guān)注 GCNN 的能力和可解釋性。

深度圖表示學(xué)習(xí)

   圖表示學(xué)習(xí)（或稱(chēng)為網(wǎng)絡(luò)嵌入）是圖上無(wú)監(jiān)督學(xué)習(xí)的一種范式。自以來(lái)，它獲得了大量的普及。隨后，許多研究利用深度學(xué)習(xí)技術(shù)來(lái)學(xué)習(xí)節(jié)點(diǎn)的低維表示。

深度圖生成模型

    上述工作重點(diǎn)是將輸入圖嵌入到低維向量空間中，在圖上執(zhí)行半監(jiān)督/監(jiān)督/無(wú)監(jiān)督學(xué)習(xí)任務(wù)。本節(jié)介紹了一種旨在模仿現(xiàn)實(shí)世界中復(fù)雜地圖的深度圖生成模型。由于圖的高度非線性和任意連通性，從潛在表示生成復(fù)雜圖面臨著巨大的挑戰(zhàn)。注意圖平移[ 214 ]與圖生成類(lèi)似。但兩者的區(qū)別在于前者以輸入圖和目標(biāo)圖作為輸入，而后者僅以單個(gè)圖作為輸入。NetGAN使用生成對(duì)抗網(wǎng)絡(luò)來(lái)模擬輸入的真實(shí)世界圖。更具體地說(shuō)，它由兩個(gè)組件組成，即生成器G和判別器D。判別器D被建模為L(zhǎng)STM，以區(qū)分由二階隨機(jī)游走方案node2vec生成的真實(shí)節(jié)點(diǎn)序列和偽造的節(jié)點(diǎn)序列。生成器G旨在通過(guò)另一個(gè)LSTM生成偽造的節(jié)點(diǎn)序列。

圖神經(jīng)架構(gòu)搜索

神經(jīng)架構(gòu)搜索( NAS )在發(fā)現(xiàn)圖像和語(yǔ)言學(xué)習(xí)任務(wù)的最佳神經(jīng)網(wǎng)絡(luò)架構(gòu)方面取得了巨大的成功。然而，現(xiàn)有的NAS算法無(wú)法直接擴(kuò)展到尋找最優(yōu)的GNN架構(gòu)。幸運(yùn)的是，已經(jīng)有一些研究能夠彌合這一鴻溝。圖神經(jīng)結(jié)構(gòu)搜索的目的是在設(shè)計(jì)的搜索空間中搜索最佳的GNN結(jié)構(gòu)。它通常使用基于強(qiáng)化學(xué)習(xí)的控制器( RNN )對(duì)生成的架構(gòu)進(jìn)行貪婪驗(yàn)證，然后將驗(yàn)證結(jié)果反饋給控制器。圖超網(wǎng)絡(luò)( GHN )用于分配訓(xùn)練數(shù)千個(gè)不同網(wǎng)絡(luò)的搜索成本。通過(guò)GCNN產(chǎn)生的權(quán)值對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以最小化采樣網(wǎng)絡(luò)的訓(xùn)練損失。

應(yīng)用

在本節(jié)中，我們對(duì)GNN的應(yīng)用進(jìn)行了介紹，限于篇幅，僅列舉了應(yīng)用領(lǐng)域，包括復(fù)雜網(wǎng)絡(luò)分析、組合優(yōu)化、知識(shí)圖譜、生物信息學(xué)、化學(xué)、腦網(wǎng)絡(luò)分析、物理系統(tǒng)、源代碼分析、智能交通、推薦系統(tǒng)、計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等。

| 3.基準(zhǔn)和評(píng)估缺陷

基準(zhǔn)

圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為挖掘復(fù)雜圖的強(qiáng)大工具包。評(píng)估新的GNN架構(gòu)的有效性以及在具有一致實(shí)驗(yàn)設(shè)置和大數(shù)據(jù)集的標(biāo)準(zhǔn)化基準(zhǔn)下比較不同的GNN模型變得越來(lái)越重要。GNN的可行基準(zhǔn)應(yīng)該包括適當(dāng)?shù)膱D形數(shù)據(jù)集、強(qiáng)大的編碼接口和實(shí)驗(yàn)設(shè)置，以便不同的GNN架構(gòu)可以在相同的設(shè)置中進(jìn)行比較。一些文獻(xiàn)率先構(gòu)建了一個(gè)可復(fù)制的GNN基準(zhǔn)框架，以方便研究人員衡量不同GNN架構(gòu)的有效性。

評(píng)估缺陷

之前的文獻(xiàn)比較了4種典型的GCNN架構(gòu)：GCN、MoNet、GAT和Graph SAGE，使用3種聚合策略和4種基線模型：邏輯回歸、多層感知機(jī)、標(biāo)簽傳播和標(biāo)準(zhǔn)化拉普拉斯標(biāo)簽傳播，并對(duì)所有這些模型使用標(biāo)準(zhǔn)化訓(xùn)練和超參數(shù)調(diào)整程序以進(jìn)行更公平的比較。實(shí)驗(yàn)結(jié)果表明，對(duì)數(shù)據(jù)集進(jìn)行不同的訓(xùn)練/驗(yàn)證/測(cè)試拆分，會(huì)導(dǎo)致模型排名出現(xiàn)明顯差異。此外，他們的研究結(jié)果還表明，只有在對(duì)所有模型的超參數(shù)和訓(xùn)練程序進(jìn)行公平調(diào)整的情況下，更簡(jiǎn)單的GCNN架構(gòu)才能優(yōu)于更復(fù)雜的架構(gòu)。

| 4.未來(lái)的研究方向

盡管 GNN 在許多領(lǐng)域取得了巨大的成功，但仍然存在一些未解決的問(wèn)題，本節(jié)總結(jié)了 GNN 的未來(lái)研究方向。

高度可擴(kuò)展的 GNN

現(xiàn)實(shí)世界的圖通常包含數(shù)以?xún)|計(jì)的節(jié)點(diǎn)和邊，具有動(dòng)態(tài)演化的特性。事實(shí)證明，現(xiàn)有的GNN架構(gòu)很難擴(kuò)展到一個(gè)巨大的真實(shí)世界圖。這促使我們?cè)O(shè)計(jì)一個(gè)高可擴(kuò)展的GNN架構(gòu)，可以有效地學(xué)習(xí)巨大的動(dòng)態(tài)演化圖的節(jié)點(diǎn)/邊/圖表示。

GNN的魯棒性

   現(xiàn)有的GNN架構(gòu)容易受到對(duì)抗攻擊。即一旦輸入圖的結(jié)構(gòu)和/或初始特征受到攻擊者的攻擊，GNN模型的性能會(huì)急劇下降。因此，應(yīng)在GNN架構(gòu)中加入攻擊和防御機(jī)制，即構(gòu)建健壯的GNN架構(gòu)，以增強(qiáng)其抵御對(duì)抗攻擊的能力。

GNN的可解釋性

現(xiàn)有的GNN工作在黑箱中。我們不明白為什么它們?cè)诠?jié)點(diǎn)分類(lèi)任務(wù)、圖分類(lèi)任務(wù)和圖嵌入任務(wù)中取得了最先進(jìn)的性能?？山忉屝猿蔀镚NN應(yīng)用于實(shí)際問(wèn)題的主要障礙。一些研究雖然解釋了一些特定的GNN模型，但無(wú)法解釋一般的GNN模型。這促使我們?yōu)镚NN構(gòu)建一個(gè)統(tǒng)一的可解釋框架。

| 5.結(jié)論

本文旨在為GNN提供分類(lèi)、進(jìn)展和趨勢(shì)。本文的內(nèi)容從架構(gòu)、擴(kuò)展與應(yīng)用、基準(zhǔn)與評(píng)價(jià)陷阱、未來(lái)研究方向四個(gè)維度展開(kāi)。從圖卷積神經(jīng)網(wǎng)絡(luò)、圖池化算子、圖注意力機(jī)制和圖循環(huán)神經(jīng)網(wǎng)絡(luò)4個(gè)角度對(duì)GNN架構(gòu)進(jìn)行擴(kuò)展。從8個(gè)角度進(jìn)行擴(kuò)展：特殊圖上的GCNNS、能力和可解釋性、深度圖表示學(xué)習(xí)、深度圖生成模型、PI和GNN對(duì)GNN的組合對(duì)抗連接、圖神經(jīng)架構(gòu)搜索和圖強(qiáng)化。在未來(lái)的方向上，我們提出了四個(gè)關(guān)于GNN的前瞻性課題：高度可擴(kuò)展的GNN、魯棒的GNN、超越WL測(cè)試的GNN和可解釋的GNN。希望相關(guān)學(xué)者通過(guò)閱讀這篇綜述，了解GNN的計(jì)算原理，夯實(shí)GNN的基礎(chǔ)，并將其應(yīng)用到越來(lái)越多的實(shí)際問(wèn)題中。

[ 分享者介紹 ]

Jian Zhang received his bachelor's degree from Jinggangshan University, China in 2022. He is currently pursuing a master's degree in Management Science and Engineering, School of Management, University of Shanghai for Science and Technology, China. His research focuses on graded reading.

微信號(hào)｜共讀共享共思