【原】NeurIPS 2020 | 用于半監(jiān)督學(xué)習(xí)的圖隨機(jī)神經(jīng)網(wǎng)絡(luò)

學(xué)術(shù)頭條 2020-12-01

展開全文

導(dǎo)讀：在 NeurIPS 2020 上，清華大學(xué)聯(lián)合微眾銀行、微軟研究院以及博世人工智能中心提出了 Graph Random Neural Network (GRAND)，一種用于圖半監(jiān)督學(xué)習(xí)的新型圖神經(jīng)網(wǎng)絡(luò)框架。在模型架構(gòu)上，GRAND 提出了一種簡單有效的圖數(shù)據(jù)增強(qiáng)方法 Random Propagation，用來增強(qiáng)模型魯棒性及減輕過平滑。基于 Random Propagation，GRAND 在優(yōu)化過程中使用一致性正則（Consistency Regularization）來增強(qiáng)模型的泛化性，即除了優(yōu)化標(biāo)簽節(jié)點(diǎn)的 cross-entropy loss 之外，還會優(yōu)化模型在無標(biāo)簽節(jié)點(diǎn)的多次數(shù)據(jù)增強(qiáng)的預(yù)測一致性。GRAND 不僅在理論上有良好的解釋，還在三個(gè)公開數(shù)據(jù)集上超越了 14 種不同的 GNN 模型，取得了 SOTA 的效果。

這項(xiàng)研究被收入為 NeurIPS 2020 的 Oral paper (105/9454)。

論文名稱：GraphRandom Neural Network for Semi-Supervised Learning on Graphs

ArXiv: https:///abs/2005.11079

Github: https://github.com/THUDM/GRAND

研究背景

圖是用于建模結(jié)構(gòu)化和關(guān)系數(shù)據(jù)的一種通用的數(shù)據(jù)結(jié)構(gòu)。在這項(xiàng)工作中，我們重點(diǎn)研究基于圖的半監(jiān)督學(xué)習(xí)問題，這個(gè)問題的輸入是一個(gè)節(jié)點(diǎn)帶屬性的無向圖，其中只有一小部分節(jié)點(diǎn)有標(biāo)簽，我們的目的是要根據(jù)節(jié)點(diǎn)屬性，圖的結(jié)構(gòu)去預(yù)測無標(biāo)簽節(jié)點(diǎn)的標(biāo)簽。近幾年來，解決這個(gè)問題一類有效的方法是以圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）[1] 為代表的圖神經(jīng)網(wǎng)絡(luò)模型（GNN）。其主要思想是通過一個(gè)確定性的特征傳播來聚合鄰居節(jié)點(diǎn)的信息，以此來達(dá)到對特征降噪的目的。

但是，最近的研究表明，這種傳播過程會帶來一些固有的問題，例如：

1) 過平滑，圖卷積可以看做是一種特殊形式的拉普拉斯平滑，疊加多層之后節(jié)點(diǎn)之間的 feature 就會變得不可區(qū)分。

2）欠魯棒，GNN 中的特征傳播會使得節(jié)點(diǎn)的預(yù)測嚴(yán)重依賴于特定的鄰居節(jié)點(diǎn)，這樣的模型對噪音的容忍度會很差，例如 KDD’18 的 best paper [2] 就表明我們甚至可以通過間接攻擊的方式通過改變目標(biāo)節(jié)點(diǎn)鄰居的屬性來達(dá)到攻擊目標(biāo)節(jié)點(diǎn)的目的。

3）過擬合，在半監(jiān)督節(jié)點(diǎn)分類的任務(wù)中，有標(biāo)簽的節(jié)點(diǎn)很少，而一般 GNN 僅僅依靠這些少量的監(jiān)督信息做訓(xùn)練，這樣訓(xùn)練出來的模型泛化能力會比較差。

模型介紹

為了解決這些問題，在這個(gè)工作中我們提出了圖隨機(jī)神經(jīng)網(wǎng)絡(luò)（GRAND），一種簡單有效的圖半監(jiān)督學(xué)習(xí)方法。與傳統(tǒng) GNN 不同，GRAND 采用隨機(jī)傳播 (Random Propagation）策略。具體來說，我們首先隨機(jī)丟棄一些節(jié)點(diǎn)的屬性對節(jié)點(diǎn)特征做一個(gè)隨機(jī)擾動(dòng)，然后對擾動(dòng)后的節(jié)點(diǎn)特征做一個(gè)高階傳播。這樣一來，每個(gè)節(jié)點(diǎn)的特征就會隨機(jī)地與其高階鄰居的特征進(jìn)交互，這種策略會降低節(jié)點(diǎn)對某些特定節(jié)點(diǎn)的依賴，提升模型的魯棒性。

除此之外，在同質(zhì)圖中，相鄰的節(jié)點(diǎn)往往具有相似的特征及標(biāo)簽，這樣節(jié)點(diǎn)丟棄的信息就可以被其鄰居的信息補(bǔ)償過來。因此這樣形成的節(jié)點(diǎn)特征就可以看成是一種針對圖數(shù)據(jù)的數(shù)據(jù)增強(qiáng)方法?；谶@種傳播方法，我們進(jìn)而設(shè)計(jì)了基于一致性正則（consistency regularization）的訓(xùn)練方法，即每次訓(xùn)練時(shí)進(jìn)行多次 Random Propagation 生成多個(gè)不同的節(jié)點(diǎn)增強(qiáng)表示，然后將這些增強(qiáng)表示輸入到一個(gè) MLP 中，除了優(yōu)化交叉熵?fù)p失之外，我們還會去優(yōu)化 MLP 模型對多個(gè)數(shù)據(jù)增強(qiáng)產(chǎn)生預(yù)測結(jié)果的一致性。這種一致性正則損失無需標(biāo)簽，可以使模型利用充足的無標(biāo)簽數(shù)據(jù)，以彌補(bǔ)半監(jiān)督任務(wù)中監(jiān)督信息少的不足，提升模型的泛化能力，減小過擬合的風(fēng)險(xiǎn)。

圖一

圖二

我們對 GRAND 進(jìn)行了理論分析，分析結(jié)果表明，這種 Random propagation + Consistency Regularization 的訓(xùn)練方式實(shí)際上是在優(yōu)化模型對節(jié)點(diǎn)與其鄰居節(jié)點(diǎn)預(yù)測置信度之間的一致性。

實(shí)驗(yàn)結(jié)果

我們在 GNN 基準(zhǔn)數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果對 GRAND 進(jìn)行了評測，實(shí)驗(yàn)結(jié)果顯示GRAND 在 3 個(gè)公開數(shù)據(jù)集中顯著超越了 14 種不同種類的 GNN 模型，取得了 SOTA 的效果。實(shí)驗(yàn)結(jié)果（圖三）：

圖三

此外我們還對模型泛化性，魯棒性，過平滑等問題進(jìn)行了分析，實(shí)驗(yàn)結(jié)果顯示 1）Consistency Regularization 和 Random Propagation 均能提升模型的泛化能力（圖四）；2）GRAND 具有更好的對抗魯棒性（圖五）；3）GRAND 可以減輕過平滑問題（圖六）。

圖四

圖五

圖六

參考文獻(xiàn)：
[1] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016.
[2] Zügner D, Akbarnejad A, Günnemann S. Adversarial attacks on neural networks for graph data[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 2847-2856.