原文THE NEURAL NETWORK ZOO，出自Asimov人工智能研究所。

新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不斷涌現(xiàn)，我們很難一一掌握。哪怕一開始只是記住所有的簡(jiǎn)稱（ DCIGN，BiLSTM，DCGAN ），也會(huì)讓同學(xué)們吃不消。

所以我決定寫篇文章歸納歸納，各種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它們大部分都是神經(jīng)網(wǎng)絡(luò)，也有一些是完全不同的結(jié)構(gòu)。雖然所有結(jié)構(gòu)說起來都是新穎而獨(dú)特的，但當(dāng)我畫出結(jié)點(diǎn)的結(jié)構(gòu)圖時(shí)……它們之間的內(nèi)在聯(lián)系顯得更有意思。

總表

13

反卷積網(wǎng)絡(luò)（DN）又名逆向圖網(wǎng)絡(luò)（IGN），是卷積神經(jīng)網(wǎng)絡(luò)的逆轉(zhuǎn)。舉個(gè)栗子：輸入“貓”這個(gè)詞，通過對(duì)比網(wǎng)絡(luò)生成的圖像和貓的真實(shí)圖像來訓(xùn)練網(wǎng)絡(luò)，使網(wǎng)絡(luò)產(chǎn)生更像貓的圖像。DN 可以像常規(guī) CNN 那樣與 FFNN 相結(jié)合，這樣就需要給它一個(gè)新的“縮寫”了?！吧疃确淳矸e網(wǎng)絡(luò)”的稱呼大概可行，但你可能會(huì)反駁說，分別把 FFNN 接在 DN 的前端或后端時(shí)，應(yīng)該用兩個(gè)不同的名字來指代。

在大多數(shù)應(yīng)用場(chǎng)合，輸入網(wǎng)絡(luò)的不是文字式的類別信息而是二值向量。 如 表示貓， 表示狗， 表示貓和狗。在 DN 中，CNN常見的采樣層被類似的反向操作替換，主要有插值方法和帶有偏置假設(shè)的外推方法等等（如果采樣層使用最大值采樣，可以在做逆向操作時(shí)單獨(dú)制造出一些比最大值小的新數(shù)據(jù)。）

Zeiler, Matthew D., et al. “Deconvolutional networks.” Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010.

14

深度卷積逆向圖網(wǎng)絡(luò)（DCIGN）的名稱有一定的誤導(dǎo)性，它實(shí)際上是一類變分自動(dòng)編碼器（VAE），只不過分別用 CNN 作編碼器、DN 作解碼器了。DCIGN 在編碼時(shí)試圖將“特征”以概率建模，這樣一來就算僅僅學(xué)習(xí)了只有貓或狗一方存在的圖像，它也能夠?qū)W著去產(chǎn)生貓狗共存的圖片。假如一張照片里既有貓，又有鄰居家那條討厭的狗，你可以把照片輸入網(wǎng)絡(luò)，讓網(wǎng)絡(luò)自動(dòng)把那條狗扒出去，而無須額外的操作。演示程序表明，該網(wǎng)絡(luò)還能學(xué)習(xí)對(duì)圖像做復(fù)雜的變換，比如改變光源和旋轉(zhuǎn)3D物體。該網(wǎng)絡(luò)通常使用反向傳播來訓(xùn)練。

Kulkarni, Tejas D., et al. “Deep convolutional inverse graphics network.” Advances in Neural Information Processing Systems. 2015.

15

生成對(duì)抗網(wǎng)絡(luò)（GAN）源出另一類網(wǎng)絡(luò)，它由兩個(gè)成對(duì)的網(wǎng)絡(luò)協(xié)同運(yùn)作。GAN 由任意兩個(gè)的網(wǎng)絡(luò)組成（不過通常是 FFNN 和 CNN 的組合），一個(gè)用來生成，另一個(gè)用來判別。判別網(wǎng)絡(luò)的輸入是訓(xùn)練數(shù)據(jù)或者生成網(wǎng)絡(luò)產(chǎn)生的內(nèi)容，它正確區(qū)分?jǐn)?shù)據(jù)來源的能力構(gòu)成了生成網(wǎng)絡(luò)錯(cuò)誤水平的表現(xiàn)的一部分。這樣就形成了一種競(jìng)爭(zhēng)形式：判別器越來越擅長(zhǎng)區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，與此同時(shí)生成器不斷學(xué)習(xí)從而讓判別器更難區(qū)分。有時(shí)候，這樣的機(jī)制效果還不錯(cuò)，因?yàn)榧幢闶窍喈?dāng)復(fù)雜的類噪聲模式最終都是可預(yù)測(cè)的，但與輸入數(shù)據(jù)特征相似的生成數(shù)據(jù)更難區(qū)分。GAN 很難訓(xùn)練——你不僅需要訓(xùn)練兩個(gè)網(wǎng)絡(luò)（它們可能都有自己的問題），還要很好地平衡它們的動(dòng)態(tài)情況。如果預(yù)測(cè)或者生成任意一方比另一方更強(qiáng)，這個(gè) GAN 就不會(huì)收斂，而是直接發(fā)散掉了。

Goodfellow, Ian, et al. “Generative adversarial nets.” Advances in Neural Information Processing Systems. 2014.

16

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是帶有“時(shí)間結(jié)”的 FFNN。RNN 不是無狀態(tài)的[1]，它既存在層間的聯(lián)系，也存在時(shí)間上的聯(lián)系。輸入到神經(jīng)元的信息不僅由上一層傳來，還來自前次傳遞時(shí)神經(jīng)元自身的狀態(tài)。這意味著輸入和訓(xùn)練網(wǎng)絡(luò)的順序很關(guān)鍵：先輸入“牛奶”、再輸入“曲奇”，與先輸入“曲奇”再輸入“牛奶”會(huì)得到不同的結(jié)果。RNN 的一大問題是，使用不同的激勵(lì)函數(shù)會(huì)各自造成梯度彌散或者爆炸，這樣會(huì)讓信息隨時(shí)間變化而迅速流失，就像在極深 FFNN 中隨深度增加而流失一樣。乍一看好像不是什么大問題，因?yàn)檫@些信息只是權(quán)重而不是神經(jīng)元的狀態(tài)。

但是，不同時(shí)間上的權(quán)值實(shí)際存儲(chǔ)了來自過去的信息，而如果權(quán)值變成了 0 或 100 0000，就無所謂之前的狀態(tài)了。大體上說，RNN 可以用在很多領(lǐng)域。盡管大部分?jǐn)?shù)據(jù)并不存在形如音頻、視頻之類的時(shí)間線，但不妨把它們表示為序列的形式。圖像、文字序列可以用每次一個(gè)像素、字符的方式來輸入，這樣，時(shí)間相關(guān)的權(quán)值并非來自前 x 秒出現(xiàn)的狀態(tài)，而是對(duì)序列早前狀態(tài)的表示。通常來說，循環(huán)網(wǎng)絡(luò)善于預(yù)測(cè)和補(bǔ)全信息，比如可以用來做自動(dòng)的補(bǔ)全。

[1] “無狀態(tài)的（stateless）”，意為“輸出僅由本時(shí)刻的輸入決定”。RNN 由于部分“記憶”了之前輸入的狀態(tài)，所以是“有狀態(tài)的（stateful）”?！g注。

Elman, Jeffrey L. “Finding structure in time.” Cognitive science 14.2 (1990): 179-211.

17

長(zhǎng)短時(shí)記憶（LSTM）網(wǎng)絡(luò)試圖通過引進(jìn)“門”和定義明確的記憶單元來對(duì)抗梯度彌散/爆炸問題。相較生物學(xué)，它更多受到電路學(xué)的啟發(fā)。每個(gè)神經(jīng)元有一個(gè)記憶單元和輸入、輸出、遺忘三個(gè)門。門的作用是通過阻止和允許信息的流動(dòng)來實(shí)現(xiàn)對(duì)信息的保護(hù)。輸入門決定了前一層的信息有多少能夠存儲(chǔ)在當(dāng)前單元內(nèi)；另一端的輸出門決定了后一層能夠在當(dāng)前單元中獲取多少信息；遺忘門乍看起來有點(diǎn)奇怪，但“遺忘”有時(shí)候是對(duì)的——比如正在學(xué)習(xí)一本書，然后新的一章開始了，這時(shí)候網(wǎng)絡(luò)可能得忘掉一些在上一章中學(xué)到的文字。LSTM 能夠?qū)W習(xí)復(fù)雜的序列，可以像莎士比亞一樣寫作、創(chuàng)作新的樂曲。由于每個(gè)門對(duì)都有對(duì)前一個(gè)神經(jīng)元的權(quán)重，網(wǎng)絡(luò)運(yùn)行需要更多的資源。

Hochreiter, Sepp, and Jürgen Schmidhuber. “Long short-term memory.” Neural computation 9.8 (1997): 1735-1780.

18

門控循環(huán)單元（GRU）由LSTM的稍作變化而來。GRU 減少了一個(gè)門，還改變了連接方式：更新門取代了輸入、輸出、遺忘門。更新門決定了分別從上一個(gè)狀態(tài)和前一層網(wǎng)絡(luò)中分別保留、流入多少信息；重置門很像 LSTM 的遺忘門，不過位置稍有改變。GRU 會(huì)直接傳出全部狀態(tài)，而不是額外通過一個(gè)輸出門。通常，GRU 與 LSTM 功能接近，最大的區(qū)別在于， GRU 速度更快、運(yùn)行也更容易（不過表達(dá)能力稍弱）。實(shí)踐中運(yùn)行性能可能與表達(dá)能力相互抵消：運(yùn)行一個(gè)更大的網(wǎng)絡(luò)來獲得更強(qiáng)的表達(dá)能力時(shí)，運(yùn)行性能的優(yōu)勢(shì)會(huì)被壓制。而在不需要額外的表達(dá)能力時(shí)，GRU 的性能超過 LSTM。

Chung, Junyoung, et al. “Empirical evaluation of gated recurrent neural networks on sequence modeling.” arXiv preprint arXiv:1412.3555 (2014).

19

神經(jīng)圖靈機(jī)（NTM）可以理解為 LSTM 的抽象形式。它試圖將神經(jīng)網(wǎng)絡(luò)“去黑盒化”，從而讓我們部分了解神經(jīng)網(wǎng)絡(luò)內(nèi)部發(fā)生了什么。不同于直接把記憶單元編碼進(jìn)神經(jīng)元，NTM 的記憶被分開了。NTM 想把常規(guī)數(shù)字化存儲(chǔ)的高效性與持久性、神經(jīng)網(wǎng)絡(luò)的高效性與表達(dá)能力結(jié)合起來；它的設(shè)想是，建立內(nèi)容可尋址的記憶組，以及可讀寫這個(gè)記憶組的神經(jīng)網(wǎng)絡(luò)。“神經(jīng)圖靈機(jī)”中的“圖靈”是說它是圖靈完備的：能夠讀、寫，以及根據(jù)讀入內(nèi)容改變狀態(tài)。這就是說，它可以表達(dá)通用圖靈機(jī)所能表達(dá)的一切。

Graves, Alex, Greg Wayne, and Ivo Danihelka. “Neural turing machines.” arXiv preprint arXiv:1410.5401 (2014).

20

雙向循環(huán)網(wǎng)絡(luò)，雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和雙向門控循環(huán)單元（BiRNN，BiLSTM 和 BiGRU）同它們的單向形式看上去完全一樣，所以不畫出來了。區(qū)別在于，這些網(wǎng)絡(luò)不僅與過去的狀態(tài)連接，還與未來的狀態(tài)連接。舉例來說，讓單向 LSTM 通過依次輸入字母的形式訓(xùn)練，來預(yù)測(cè)單詞 “fish”，此時(shí)時(shí)間軸上的循環(huán)連接就記住了之前狀態(tài)的值。而雙向 LSTM 在反向傳值的時(shí)候會(huì)繼續(xù)得到序列接下來的字母，即獲得了未來的信息。這就教會(huì)了網(wǎng)絡(luò)填補(bǔ)空隙、而不是預(yù)測(cè)信息——它們不是去擴(kuò)展圖像的邊緣，而是填充圖像的中空。

Schuster, Mike, and Kuldip K. Paliwal. “Bidirectional recurrent neural networks.” IEEE Transactions on Signal Processing 45.11 (1997): 2673-2681.

21

深度殘差網(wǎng)絡(luò)（DRN）是在逐層連接的基礎(chǔ)上，帶有額外層間連接（通常間隔二到五層）的極深 FFNN。DRN 不像常規(guī)網(wǎng)絡(luò)那樣，力求解得輸入到輸出經(jīng)過多層網(wǎng)絡(luò)傳遞后的映射關(guān)系；它往解中添加了一點(diǎn)兒恒等性，即把淺層的輸入直接提供給了更深層的單元。實(shí)驗(yàn)證明，DRN 可以高效地學(xué)得深達(dá)150層的網(wǎng)絡(luò)，其性能遠(yuǎn)遠(yuǎn)超過了常規(guī)的二到五層的簡(jiǎn)單網(wǎng)絡(luò)。然而有人證明，DRN 其實(shí)是不具備明確時(shí)間結(jié)構(gòu)的 RNN，所以經(jīng)常被類比作沒有門單元的 LSTM。

He, Kaiming, et al. “Deep residual learning for image recognition.” arXiv preprint arXiv:1512.03385 (2015).

22

回聲狀態(tài)網(wǎng)絡(luò)（ESN）是另一種循環(huán)網(wǎng)絡(luò)。與一般網(wǎng)絡(luò)的不同在于，ESN 神經(jīng)元之間的連接是隨機(jī)的（就是說，沒有整齊的層-層形式），訓(xùn)練過程自然也就不同。數(shù)據(jù)前向輸入、誤差反向傳播的法子不能用了，我們需要把數(shù)據(jù)前向輸入，等一會(huì)兒再更新單元，再等一會(huì)兒，最后觀察輸出。與一般神經(jīng)網(wǎng)絡(luò)相比，ESN 中輸入和輸出層的角色發(fā)生了相當(dāng)?shù)母淖儭斎雽影研畔⑻畛浣o網(wǎng)絡(luò)、輸出層觀察激活模式隨時(shí)間展開的狀態(tài)。訓(xùn)練時(shí)，只有輸出層和一部分隱層單元之間的連接會(huì)被改變。

Jaeger, Herbert, and Harald Haas. “Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication.” science 304.5667 (2004): 78-80.

23

極限學(xué)習(xí)機(jī)（ELM）基本上是隨機(jī)連接的 FFNN。看上去很像 LSM 和 ESN，但 ELM 既不是循環(huán)式的、也不是脈沖式的。ELM 也不用反向傳播，而是初始化為隨機(jī)權(quán)值，然后用最小二乘擬合（在所有函數(shù)上誤差最?。⒁徊降轿坏赝瓿捎?xùn)練。這樣得到的是一個(gè)表達(dá)能力稍弱，但遠(yuǎn)快于使用反向傳播的神經(jīng)網(wǎng)絡(luò)。

Cambria, Erik, et al. “Extreme learning machines [trends & controversies].” IEEE Intelligent Systems 28.6 (2013): 30-59.

24

液體狀態(tài)機(jī)（LSM）跟 ESN 比較像，區(qū)別在于 LSM 是一類脈沖神經(jīng)網(wǎng)絡(luò)： sigmoid 激活函數(shù)被閾值函數(shù)取代；每個(gè)神經(jīng)元都是累加的記憶單元。所以更新神經(jīng)元時(shí)，它的值不是相連神經(jīng)元的和，而是自身的累加，一旦達(dá)到閾值就把能量釋放給其他神經(jīng)元。這就形成了脈沖式的網(wǎng)絡(luò)——超過閾值后，狀態(tài)才會(huì)改變。

Maass, Wolfgang, Thomas Natschl?ger, and Henry Markram. “Real-time computing without stable states: A new framework for neural computation based on perturbations.” Neural computation 14.11 (2002): 2531-2560.

25

支持向量機(jī)（SVM）為分類問題找到最優(yōu)解。最初 SVM 只能處理線性可分的數(shù)據(jù)，比如判斷哪張是加菲貓，哪張是史努比，而不存在其他的情況?？梢赃@樣理解 SVM 的訓(xùn)練：將所有的數(shù)據(jù)（比如加菲貓和史努比）在（2D）圖上畫出，在兩類數(shù)據(jù)中間想辦法畫一條線，這條線把數(shù)據(jù)區(qū)分開，即所有的史努比在這邊、所有的加菲貓?jiān)诹硪贿叀Ｍㄟ^最大化兩邊數(shù)據(jù)點(diǎn)與這條分割線的間隔來找到最優(yōu)解。對(duì)新的數(shù)據(jù)做分類時(shí)，只要把數(shù)據(jù)點(diǎn)畫在圖上，看看它在線的那一邊就好了。使用核方法可以分類 n 維數(shù)據(jù)，這時(shí)需要把點(diǎn)畫在三維圖中，從而讓 SVM 能夠區(qū)分史努比、加菲貓和——比如說西蒙的貓——或者是更高的維度、更多的卡通形象類別。有時(shí)候，人們也不把 SVM 當(dāng)成神經(jīng)網(wǎng)絡(luò)。

Cortes, Corinna, and Vladimir Vapnik. “Support-vector networks.” Machine learning 20.3 (1995): 273-297.

26

最后介紹Kohonen 網(wǎng)絡(luò)（KN，也叫自組織（特征）圖，SOM，SOFM）。KN 利用競(jìng)爭(zhēng)性學(xué)習(xí)來無監(jiān)督地分類數(shù)據(jù)。輸入數(shù)據(jù)之后，網(wǎng)絡(luò)會(huì)評(píng)估哪些神經(jīng)元與輸入的匹配度最高，然后做微調(diào)來繼續(xù)提高匹配度，并慢慢帶動(dòng)鄰近它們的其他神經(jīng)元發(fā)生變化。鄰近神經(jīng)元被改變的程度，由其到匹配度最高的單元之間的距離來決定。Kohonen有時(shí)候也不被認(rèn)為是神經(jīng)網(wǎng)絡(luò)。

Kohonen, Teuvo. “Self-organized formation of topologically correct feature maps.” Biological cybernetics 43.1 (1982): 59-69.