|
也許我們從來沒有意識(shí)到，我們正生活在一個(gè)充滿圖的世界。例如，我們最熟悉的社交網(wǎng)絡(luò)（如下圖所示），就是一個(gè)最典型的圖。 在計(jì)算機(jī)領(lǐng)域，我們通常用圖指代一種廣義的抽象結(jié)構(gòu)，用來表示一堆實(shí)體和它們之間的關(guān)系。實(shí)體被叫作圖的節(jié)點(diǎn)，而實(shí)體和實(shí)體之間的關(guān)系構(gòu)成了圖的邊。嚴(yán)格來說，一個(gè)圖 G = {V, E} 包含一個(gè)節(jié)點(diǎn)集合V 和一個(gè)邊的集合E。 以社交網(wǎng)絡(luò)為例，用戶可以作為節(jié)點(diǎn)，而用戶和用戶之間的朋友關(guān)系可以作為邊。事實(shí)上，作為表示實(shí)體關(guān)系和結(jié)構(gòu)化數(shù)據(jù)的一種方式，圖幾乎無處不在。
除此之外，在人工智能的研究和應(yīng)用產(chǎn)品中，圖結(jié)構(gòu)的數(shù)據(jù)也占據(jù)了非常重要的地位。
此類例子不勝枚舉。 甚至在很多原本沒有明顯圖的數(shù)據(jù)上，人們也發(fā)現(xiàn)可以利用圖結(jié)構(gòu)獲得新的突破。 一個(gè)典型的例子是文本摘要中利用句子之間的相似性構(gòu)建的圖，對(duì)早期文檔摘要領(lǐng)域做出了巨大的貢獻(xiàn)。 在定理證明中，邏輯表達(dá)式可以表示成由變量和操作構(gòu)成的圖。 同樣地，程序也可以表示成由變量構(gòu)成的圖，用來判斷正確性；在多智能體（Multi-agent）系統(tǒng)中，agent 之間的隱性交互也被當(dāng)作圖來處理。 毫無疑問，深度學(xué)習(xí)正在成為人類實(shí)現(xiàn)人工智能最重要的工具。 在當(dāng)前時(shí)代，在大量數(shù)據(jù)和超強(qiáng)計(jì)算資源的推動(dòng)下，深度學(xué)習(xí)強(qiáng)大的表征能力使其在各個(gè)應(yīng)用領(lǐng)域（自然語言處理、計(jì)算機(jī)視覺、計(jì)算機(jī)語音等）有了突破性的進(jìn)展。 時(shí)至今日，在人工智能各種任務(wù)的排行榜上，我們已經(jīng)很難找到非深度學(xué)習(xí)的最優(yōu)模型了。 然而，大部分傳統(tǒng)深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）等， 處理的數(shù)據(jù)都限定在歐幾里得空間，如二維的網(wǎng)格數(shù)據(jù)—圖像和一維的序列數(shù)據(jù)—文本，因?yàn)樗鼈兊哪Ｐ驮O(shè)計(jì)正得益于歐幾里得空間中這些數(shù)據(jù)的一些性質(zhì)：例如，平移不變性和局部可聯(lián)通性。圖數(shù)據(jù)不像圖像和文本一樣具有規(guī)則的歐幾里得空間結(jié)構(gòu)，因此這些模型無法直接應(yīng)用到圖數(shù)據(jù)上。  以卷積神經(jīng)網(wǎng)絡(luò)為例，我們通過對(duì)比網(wǎng)格數(shù)據(jù)和圖數(shù)據(jù)（如下圖所示）來說明為什么它不能直接用在圖上。 1. 節(jié)點(diǎn)的不均勻分布 在網(wǎng)格數(shù)據(jù)中，每個(gè)節(jié)點(diǎn)（不包含邊緣節(jié)點(diǎn)）只有 4 個(gè)鄰接點(diǎn)，因此我們可以很方便地在一個(gè)網(wǎng)格數(shù)據(jù)的每個(gè)小區(qū)域中定義均勻的卷積操作。而在圖結(jié)構(gòu)中，節(jié)點(diǎn)的度數(shù)可以任意變化，每個(gè)鄰域中的節(jié)點(diǎn)數(shù)都可能不一樣，我們沒有辦法直接把卷積操作復(fù)制到圖上。 2. 排列不變性 當(dāng)我們?nèi)我庾儞Q兩個(gè)節(jié)點(diǎn)在圖結(jié)構(gòu)中的空間位置時(shí)，整個(gè)圖的結(jié)構(gòu)是不變的。如果用鄰接矩陣表示圖，調(diào)換鄰接矩陣的兩行，則圖的最終表示應(yīng)該是不變的。在網(wǎng)格中，例如在圖像上，如果我們變換兩行像素，則圖像的結(jié)構(gòu)會(huì)明顯變化。因此，我們沒有辦法像處理圖像一樣直接用卷積神經(jīng)網(wǎng)絡(luò)處理圖的鄰接矩陣，因?yàn)檫@樣得到的表示不具有排列不變性。 3. 邊的額外屬性 大部分圖結(jié)構(gòu)上的邊并非只能取值二元的 {0,1}，因?yàn)閷?shí)體和實(shí)體的關(guān)系不僅僅是有和沒有，在很多情況下，我們希望了解這些實(shí)體關(guān)系連接的強(qiáng)度或者類型。強(qiáng)度對(duì)應(yīng)到邊的權(quán)重，而類型則對(duì)應(yīng)到邊的屬性。顯然，在網(wǎng)格中，邊是沒有任何屬性和權(quán)重的，而卷積神經(jīng)網(wǎng)絡(luò)也沒有可以處理邊的屬性的機(jī)制。 由于圖結(jié)構(gòu)的普遍性，將深度學(xué)習(xí)擴(kuò)展到圖結(jié)構(gòu)上的研究得到了越來越多的關(guān)注，圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks，GNN）的模型應(yīng)運(yùn)而生。總體來說，深度學(xué)習(xí)在圖上的應(yīng)用有以下幾個(gè)難點(diǎn)。 1. 圖數(shù)據(jù)的不規(guī)則性 正如前面所講，相對(duì)于網(wǎng)格數(shù)據(jù)，圖結(jié)構(gòu)數(shù)據(jù)的不規(guī)則性使得傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)不能直接應(yīng)用在圖上，因此，在圖上，我們必須發(fā)展新的深度學(xué)習(xí)模型。 2. 圖結(jié)構(gòu)的多樣性 作為表示實(shí)體關(guān)系的數(shù)據(jù)類型，圖結(jié)構(gòu)具有豐富的變體。圖可以是無向的，也可以是有向的；可以是無權(quán)重的，也可以是有權(quán)重的；除了同質(zhì)圖，還有異構(gòu)圖；等等。 3. 圖數(shù)據(jù)的大規(guī)模性 大數(shù)據(jù)作為深度學(xué)習(xí)的“燃料”，在各個(gè)應(yīng)用領(lǐng)域發(fā)揮了重要的作用。在大數(shù)據(jù)時(shí)代，我們同樣面臨大規(guī)模的圖的處理難題。我們常用的圖結(jié)構(gòu)數(shù)據(jù)，如互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、金融交易網(wǎng)絡(luò)，動(dòng)輒有數(shù)以億計(jì)的節(jié)點(diǎn)和邊，這對(duì)深度學(xué)習(xí)模型的效率提出了很高的要求。 4. 圖研究的跨領(lǐng)域性 我們介紹了各種各樣的圖，很容易發(fā)現(xiàn)圖的研究是橫跨很多不同的領(lǐng)域的，而在很多任務(wù)上，研究圖的性質(zhì)都需要具有領(lǐng)域知識(shí)。例如，對(duì)分子圖的性質(zhì)進(jìn)行預(yù)測(cè)，我們需要具有一些化學(xué)知識(shí)；對(duì)邏輯表達(dá)式的圖進(jìn)行處理，我們需要具有一些邏輯學(xué)知識(shí)。在《圖神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)與前沿》這本書中，我們將繼續(xù)探討圖神經(jīng)網(wǎng)絡(luò)如何解決這些問題。  ▊《圖神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)與前沿》 馬騰飛 編著
圖神經(jīng)網(wǎng)絡(luò)是人工智能領(lǐng)域的一個(gè)新興方向，它不僅迅速得到了學(xué)術(shù)界的廣泛關(guān)注，而且被成功地應(yīng)用在工業(yè)界的多個(gè)領(lǐng)域。 本書介紹了圖神經(jīng)網(wǎng)絡(luò)和圖深度學(xué)習(xí)的基礎(chǔ)知識(shí)和前沿研究，不僅包括它們的發(fā)展歷史和經(jīng)典模型，還包括圖神經(jīng)網(wǎng)絡(luò)在深層網(wǎng)絡(luò)、無監(jiān)督學(xué)習(xí)、大規(guī)模訓(xùn)練、知識(shí)圖譜推理等方面的前沿研究，以及它們?cè)诓煌I(lǐng)域（如推薦系統(tǒng)、生化醫(yī)療、自然語言處理等）的實(shí)際應(yīng)用。 本書既可作為人工智能領(lǐng)域研究和開發(fā)人員的技術(shù)參考書，也可作為對(duì)圖上的深度學(xué)習(xí)感興趣的高年級(jí)本科生和研究生的入門書。 |
|
|
