點(diǎn)上方人工智能算法與Python大數(shù)據(jù)獲取更多干貨

在右上方 ··· 設(shè)為星標(biāo) ★，第一時(shí)間獲取資源

僅做學(xué)術(shù)分享，如有侵權(quán)，聯(lián)系刪除

轉(zhuǎn)載于 ：專(zhuān)知

作者 | 楊亞明，管子玉，李建新

趙偉，崔江濤，王泉

論文地址：https://www./paper/c55c7aa0af69bfeee9a7499f5824f530

代碼地址：https://github.com/kepsail/ie-HGCN

1. 引言

2. 方法

下圖通過(guò)在DBLP上的一個(gè)模型實(shí)例展示了方法的基本流程。如左側(cè)子圖（a）所示，模型一共包含5層。在每一層，針對(duì)某個(gè)對(duì)象類(lèi)型，都將其異質(zhì)鄰居的特征聚合過(guò)來(lái)（實(shí)線(xiàn)），同時(shí)也將其自身的上一層的特征聚合過(guò)來(lái)（虛線(xiàn)）。右側(cè)子圖（b）展示了針對(duì)P（Paper）類(lèi)型對(duì)象的計(jì)算過(guò)程：（1）自身/鄰居的特征投影；（2）利用歸一化鄰接矩陣聚合；（3）利用注意力聚合。

投影

考慮到在異質(zhì)圖里，不同類(lèi)型的對(duì)象的特征通常有著不同的分布，因此在每一層，通過(guò)相關(guān)的投影矩陣把鄰居特征映射到一個(gè)共同的語(yǔ)義空間中。同時(shí)，也將上一層輸出的目標(biāo)對(duì)象的自身特征也投影到這個(gè)空間：

對(duì)象級(jí)聚合

對(duì)于每種類(lèi)型的鄰居，通過(guò)相應(yīng)的行歸一化的鄰接矩陣將其投影后的特征聚合起來(lái)。這里，自身的投影特征不需要執(zhí)行對(duì)象級(jí)聚合。至此，形成若干個(gè)臨時(shí)的特征，即：目標(biāo)對(duì)象自身的投影特征，以及聚合的各種類(lèi)型的鄰居的投影特征。每種特征都從不同的方面反映了目標(biāo)對(duì)象的特性。

類(lèi)型級(jí)聚合

利用注意力機(jī)制將這些臨時(shí)的特征聚合起來(lái)，從而全面地刻畫(huà)目標(biāo)對(duì)象的特性。首先，通過(guò)不同的參數(shù)將目標(biāo)對(duì)象的自身投影特征映射為注意力的查詢(xún)值和鍵值，也通過(guò)不同的參數(shù)將鄰居的聚合特征映射為相應(yīng)的鍵值：

然后，通過(guò)一個(gè)小型的非線(xiàn)性神經(jīng)網(wǎng)絡(luò)將查詢(xún)與鍵值映射為注意力系數(shù)：

通過(guò)softmax函數(shù)將注意力系數(shù)歸一化：

利用歸一化的注意力系數(shù)，將若干個(gè)臨時(shí)特征聚合起來(lái)，形成目標(biāo)對(duì)象本層輸出的新的特征：

3. 理論分析

論文從理論上證明、分析了該模型具有以下三個(gè)良好的性質(zhì)：

• 在粗粒度和細(xì)粒度兩個(gè)層面上，可以自動(dòng)發(fā)現(xiàn)針對(duì)當(dāng)前任務(wù)最優(yōu)的原路徑。

• 模型實(shí)際上是在譜域執(zhí)行異質(zhì)譜圖卷積。

• 具有近似線(xiàn)性的時(shí)間復(fù)雜度。

4. 實(shí)驗(yàn)

論文在4個(gè)公開(kāi)的真實(shí)數(shù)據(jù)集上與若干個(gè)先進(jìn)的基線(xiàn)方法進(jìn)行了實(shí)驗(yàn)比較。結(jié)果顯示該模型能夠取得優(yōu)越的性能以及效率。最重要的是，模型可以有效地自動(dòng)發(fā)現(xiàn)最有用的元路徑，從而促進(jìn)了模型的可解釋性。我們考慮在DBLP數(shù)據(jù)集上對(duì)作者（A）類(lèi)型的對(duì)象進(jìn)行分類(lèi)任務(wù)。下圖展示了模型發(fā)現(xiàn)的針對(duì)此任務(wù)最有用的若干元路徑。上方的子圖（a）展示了每一層中，每個(gè)目標(biāo)對(duì)象類(lèi)型與鄰居類(lèi)型（包括自身）之間的歸一化注意力系數(shù)。下方的子圖（b）展示了最有用的幾條元路徑的重要性得分及其計(jì)算過(guò)程。其中，第二列中的符號(hào)“—”代表了自連接（如圖1中的虛線(xiàn)所示），這表明了有些路徑是可以“坍縮”的。如此，經(jīng)過(guò)合并一系列等價(jià)的路徑，我們可以得到任意長(zhǎng)度的元路徑（第一列）的重要性得分。

很明顯，我們可以看到，元路徑CPA的得分最高，而該路徑的語(yǔ)義是：作者（A）將其論文（P）發(fā)表到了會(huì)議（C）。令人鼓舞的是，這與數(shù)據(jù)集的真實(shí)情況高度吻合。實(shí)際上，這個(gè)數(shù)據(jù)集中，作者（A）類(lèi)型對(duì)象的真實(shí)類(lèi)別標(biāo)簽（ground-truth label）就是根據(jù)作者的論文（P）所發(fā)表的會(huì)議（C）來(lái)被標(biāo)記的。

其他幾個(gè)得分高的元路徑也可以得到合理的解釋。元路徑CPTPA表明除了作者自己所發(fā)表論文的會(huì)議以外，另外一些會(huì)議也很重要，這些會(huì)議里的論文和作者的論文有很多共同的關(guān)鍵詞（T）。元路徑CPAPA表明作者的共同合作者所發(fā)表論文的會(huì)議也很重要。元路徑CPCPA也比較有意思，因?yàn)橐黄撐耐ǔＶ粫?huì)被發(fā)表到一個(gè)會(huì)議，從而左側(cè)的子路徑CPC等價(jià)于子路徑C，進(jìn)而CPCPA也可以被解釋為CPA。

圖2 模型自動(dòng)發(fā)現(xiàn)的最有用的若干元路徑