神經(jīng)網(wǎng)絡(luò)主要類型及其應(yīng)用指南

網(wǎng)摘文苑 2022-11-27 發(fā)布于新疆

展開全文

目前深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)種類繁多，用途各異。由于這個分支在指數(shù)增長，跟蹤神經(jīng)網(wǎng)絡(luò)的不同拓?fù)溆兄诟羁痰睦斫狻Ｔ诒疚闹?，我們將展示神?jīng)網(wǎng)絡(luò)中最常用的拓?fù)浣Y(jié)構(gòu)。

圖2: 感知器: 大腦中信息存儲和組織的概率模型[3] | 來源: 康奈爾航空實驗室的弗蘭克 · 羅森布拉特標(biāo)記的感知器。紐約水牛城，1960

神經(jīng)網(wǎng)絡(luò)拓?fù)?/h2>

1. 感知器(Perceptron(P)) :

感知器模型也稱為單層神經(jīng)網(wǎng)絡(luò)。這個神經(jīng)網(wǎng)絡(luò)只包含兩層:

輸入層
輸出層

這種類型的神經(jīng)網(wǎng)絡(luò)沒有隱藏層。它接受輸入并計算每個節(jié)點的加權(quán)。然后，它使用激活函數(shù)(大多數(shù)是Sigmoid函數(shù))進行分類。

應(yīng)用:

分類
編碼數(shù)據(jù)庫(多層感知器)
監(jiān)控訪問數(shù)據(jù)(多層感知器)

2. 前饋(Feed Forward (FF)) :

前饋神經(jīng)網(wǎng)絡(luò)是一種其中的節(jié)點不會形成循環(huán)的人工神經(jīng)網(wǎng)絡(luò)。在這種神經(jīng)網(wǎng)絡(luò)中，所有的感知器都被安排在輸入層接收輸入，輸出層產(chǎn)生輸出。隱藏層與外部世界沒有聯(lián)系，這就是為什么它們被稱為隱藏層。在前饋神經(jīng)網(wǎng)絡(luò)中，一層的每個感知器與下一層的每個節(jié)點連接。因此，所有節(jié)點都是完全連接的。需要注意的是，同一層中的節(jié)點之間沒有可見或不可見的連接。在前饋網(wǎng)絡(luò)中沒有后回路。因此，為了使預(yù)測誤差最小化，我們通常使用反向傳播算法來更新權(quán)值。

應(yīng)用:

數(shù)據(jù)壓縮
模式識別
計算機視覺
聲納目標(biāo)識別
語音識別
手寫字符識別

3.徑向基網(wǎng)絡(luò)(Radial Basis Network (RBN)) :

徑向基函數(shù)網(wǎng)絡(luò)通常用于解決函數(shù)逼近問題。區(qū)別于其它神經(jīng)網(wǎng)絡(luò)，它們有更快的學(xué)習(xí)速度和通用逼近能力。徑向基神經(jīng)網(wǎng)絡(luò)和前饋神經(jīng)網(wǎng)絡(luò)的主要區(qū)別在于，徑向基神經(jīng)網(wǎng)絡(luò)使用徑向基函數(shù)作為激活函數(shù)。Logistic(sigmoid)函數(shù)的輸出值在0到1之間，用來判斷答案是是或否。問題是，如果我們有連續(xù)的值，則用不了前饋神經(jīng)網(wǎng)絡(luò)。徑向基神經(jīng)網(wǎng)絡(luò)確定生成的輸出和目標(biāo)輸出距離多大。在連續(xù)值的情況下非常有用?？傊瑥较蚧窠?jīng)網(wǎng)絡(luò)使用其它的激活函數(shù)表現(xiàn)就和前饋神經(jīng)網(wǎng)絡(luò)一樣。

應(yīng)用:

函數(shù)逼近
時間序列預(yù)測
分類
系統(tǒng)控制

4. 深度前饋(Deep Feed-forward (DFF)) :

深層前饋網(wǎng)絡(luò)是使用多個隱藏層的前饋網(wǎng)絡(luò)。只用一層隱藏層的主要問題是過擬合，因此通過增加隱藏層，可以減少過擬合，提高泛化能力。

應(yīng)用:

數(shù)據(jù)壓縮
模式識別
計算機視覺
心電圖噪聲濾波
金融預(yù)測

5. 循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network (RNN)):

循環(huán)神經(jīng)網(wǎng)絡(luò)是前饋神經(jīng)網(wǎng)絡(luò)的一種改進形式。在這種類型中，隱藏層中的每個神經(jīng)元接收具有特定時間延遲的輸入。使用這種類型的神經(jīng)網(wǎng)絡(luò)，我們需要在當(dāng)前的迭代中訪問之前的信息。例如，當(dāng)我們試圖預(yù)測一個句子中的下一個單詞時，我們首先需要知道之前使用的單詞。循環(huán)神經(jīng)網(wǎng)絡(luò)可以處理輸入并跨時共享任意長度和權(quán)重。模型大小不會隨著輸入的大小而增加，模型中的計算會考慮到歷史信息。然而，這種神經(jīng)網(wǎng)絡(luò)的問題是計算速度慢。此外，它不能考慮當(dāng)前狀態(tài)的任何未來輸入。它也無法記住很久以前的信息。

應(yīng)用:

機器翻譯
機器人控制
時間序列預(yù)測
語音識別
語音合成
時間序列異常檢測
節(jié)奏學(xué)習(xí)
音樂創(chuàng)作

6. 長/短期記憶(Long / Short Term Memory (LSTM)) :

LSTM 網(wǎng)絡(luò)引入了一個記憶單元。他們可以處理間隔記憶的數(shù)據(jù)。如上可見，我們可以在RNN中考慮時間延遲，但如果我們有大量的相關(guān)數(shù)據(jù)，RNN很容易失敗，而LSTMs 正好適合。另外，與 LSTMs 相比，RNN不能記憶很久以前的數(shù)據(jù)。
應(yīng)用:

語音識別
寫作識別

7. 門控循環(huán)單位(Gated Recurrent Unit (GRU)):

GRU是LSTM的一個變種，因為它們都有相似的設(shè)計，絕大多數(shù)時候結(jié)果一樣好。GRU只有三個門，并且它們不維持內(nèi)部單元狀態(tài)。

a. 更新門(Update Gate): 決定有多少過去的知識可以傳遞給未來。
b. 重置門(Reset Gate): 決定過去的知識有多少需要遺忘。
c. 當(dāng)前記憶門(Current Memory Gate): 重置命運的子部分。

應(yīng)用:

復(fù)調(diào)音樂模型
語音信號建模
自然語言處理

8. 自動編碼器(Auto Encoder (AE)) :

自動編碼器神經(jīng)網(wǎng)絡(luò)是一個非監(jiān)督式機器學(xué)習(xí)算法。在自動編碼器中，隱藏神經(jīng)元的數(shù)量小于輸入神經(jīng)元的數(shù)量。自動編碼器中輸入神經(jīng)元的數(shù)目等于輸出神經(jīng)元的數(shù)目。在自動編碼器網(wǎng)絡(luò)中，我們訓(xùn)練它來顯示輸出，輸出和輸入盡可能接近，這迫使自動編碼器找到共同的模式和歸納數(shù)據(jù)。我們使用自動編碼器來更小的表示輸入。我們還可以從壓縮的數(shù)據(jù)中重建原始數(shù)據(jù)。該算法相對簡單，因為自動編碼器要求輸出與輸入相同。

編碼器: 轉(zhuǎn)換輸入數(shù)據(jù)到低維
解碼器: 重構(gòu)壓縮數(shù)據(jù)

應(yīng)用:

分類
聚類
特征壓縮

9. 變分自動編碼器(Variational Autoencoder (VAE)) :

變分自動編碼器(VAE)使用一種概率方法來描述觀測。它顯示了一個特征集中每個屬性的概率分布。

應(yīng)用:

在句子之間插入
圖像自動生成

10. 去噪自動編碼器(Denoising Autoencoder (DAE) ：

在這種自動編碼器中，網(wǎng)絡(luò)不能簡單地將輸入復(fù)制到其輸出，因為輸入也包含隨機噪聲。在 DAE 上，我們制造它是為了降低噪聲并在其中產(chǎn)生有意義的數(shù)據(jù)。在這種情況下，該算法迫使隱藏層學(xué)習(xí)更魯棒的特征，以便輸出是噪聲輸入的更精確版本。

應(yīng)用:

特征提取
降維

11.稀疏自動編碼器(Sparse Autoencoder (SAE)) :

在稀疏自動編碼器網(wǎng)絡(luò)中，我們通過懲罰隱藏層的激活來構(gòu)造我們的損失函數(shù)，這樣當(dāng)我們將一個樣本輸入網(wǎng)絡(luò)時，只有少數(shù)節(jié)點被激活。這種方法背后的直覺是，例如，如果一個人聲稱自己是A、 B、 C 和 D 學(xué)科的專家，那么這個人可能在這些科目上更多的是一個通才。然而，如果這個人只是聲稱自己專注于學(xué)科D，那么大概率預(yù)期可以從這個人的學(xué)科 D 的知識中得到啟發(fā)。
應(yīng)用:

特征提取
手寫數(shù)字識別

12. 馬爾可夫鏈(Markov Chain (MC)) :

馬爾可夫鏈?zhǔn)且粋€基于某些概率規(guī)則經(jīng)歷從一種狀態(tài)到另一種狀態(tài)轉(zhuǎn)換的數(shù)學(xué)系統(tǒng)。過渡到任何特定狀態(tài)的概率完全取決于當(dāng)前狀態(tài)和經(jīng)過的時間。

例如，一些可能的狀態(tài)可以是:

信件
數(shù)字
天氣情況
棒球比分
股票表現(xiàn)

應(yīng)用:

語音識別
信息及通訊系統(tǒng)
排隊論
統(tǒng)計學(xué)

13. 霍菲特網(wǎng)絡(luò)(Hopfield Network (HN)):

在 Hopfield 神經(jīng)網(wǎng)絡(luò)中，每個神經(jīng)元都與其它神經(jīng)元直接相連。在這個網(wǎng)絡(luò)中，神經(jīng)元要么是開的，要么是關(guān)的。神經(jīng)元的狀態(tài)可以通過接受其它神經(jīng)元的輸入而改變。我們通常使用 Hopfield 網(wǎng)絡(luò)來存儲模式和記憶。當(dāng)我們在一組模式上訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)，它就能夠識別這個模式，即使它有點扭曲或不完整。當(dāng)我們提供不完整的輸入時，它可以識別完整的模式，這將返回最佳的猜測。
應(yīng)用:

優(yōu)化問題
圖像檢測與識別
醫(yī)學(xué)圖像識別
增強 X 射線圖像

14. 波茨曼機(Boltzmann Machine (BM)):

波茨曼機網(wǎng)絡(luò)包括從一個原始數(shù)據(jù)集中學(xué)習(xí)一個概率分布，并使用它來推斷沒見過的數(shù)據(jù)。在 BM 中，有輸入節(jié)點和隱藏節(jié)點，一旦所有隱藏節(jié)點的狀態(tài)發(fā)生改變，輸入節(jié)點就會轉(zhuǎn)換為輸出節(jié)點。例如: 假設(shè)我們在核電站工作，安全必須是第一位的。我們的工作是確保動力裝置中的所有組件都可以安全使用——每個組件都會有相關(guān)的狀態(tài)，使用布爾值1表示可用，0表示不可用。然而，還有一些組成部分，我們不可能定期測量它們的狀態(tài)。

此外，沒有數(shù)據(jù)可以告訴我們，如果隱藏的部件停止工作，發(fā)電廠什么時候會爆炸。在這種情況下，我們構(gòu)建了一個模型，當(dāng)組件更改其狀態(tài)時，它會發(fā)出通知。這樣，我們將得到通知檢查該組件，并確保動力裝置的安全。

應(yīng)用：

降維
分類
回歸
協(xié)同過濾
特征學(xué)習(xí)

15. 受限玻爾茲曼機(Restricted Boltzmann Machine (RBM)):

RBM 是 BM 的一種變種。在這個模型中，輸入層和隱藏層的神經(jīng)元之間可能有對稱的連接。需要注意的一點是，每一層內(nèi)部都沒有內(nèi)部連接。相比之下，玻爾茲曼機可能有內(nèi)部連接的隱藏層。這些限制讓模型的訓(xùn)練更高效。
應(yīng)用:

過濾
特征學(xué)習(xí)
分類
風(fēng)險檢測
商業(yè)及經(jīng)濟分析

16.深度信念網(wǎng)絡(luò)(Deep Belief Network (DBN)) :

深度信念網(wǎng)絡(luò)包含許多隱藏層。我們可以使用無監(jiān)督算法調(diào)用 DBN，因為它首先學(xué)習(xí)而不需要任何監(jiān)督。DBN 中的層起著特征檢測器的作用。經(jīng)過無監(jiān)督訓(xùn)練后，我們可以用監(jiān)督方法訓(xùn)練我們的模型進行分類。我們可以將 DBN 表示為受限玻耳茲曼機(RBM)和自動編碼器(AE)的組合，最后的 DBN 使用概率方法得到結(jié)果。

應(yīng)用:

檢索文件/圖像
非線性降維

17. 深度卷積網(wǎng)絡(luò)(Deep Convolutional Network (DCN)) :

卷積神經(jīng)網(wǎng)絡(luò)是一種神經(jīng)網(wǎng)絡(luò)，主要用于圖像分類、圖像聚類和目標(biāo)識別。DNN 允許無監(jiān)督地構(gòu)造層次圖像表示。DNN 被用來添加更復(fù)雜的特征，以便它能夠更準(zhǔn)確地執(zhí)行任務(wù)。

應(yīng)用:

識別面部，街道標(biāo)志，腫瘤
圖像識別
視頻分析
自然語言處理
異常檢測
藥物發(fā)現(xiàn)
跳棋游戲
時間序列預(yù)測

18. 反卷積神經(jīng)網(wǎng)絡(luò)(Deconvolutional Neural Networks (DN)) :

反卷積網(wǎng)絡(luò)是一種反向過程的卷積神經(jīng)網(wǎng)絡(luò)。盡管反卷積網(wǎng)絡(luò)在執(zhí)行方式上類似于 CNN，但它在 AI 中的應(yīng)用是非常不同的。反卷積網(wǎng)絡(luò)有助于在以前認(rèn)為有用的網(wǎng)絡(luò)中找到丟失的特征或信號。卷積網(wǎng)絡(luò)可能由于與其它信號卷積而丟失信號。反卷積網(wǎng)絡(luò)可以接受一個向量輸入并還原成照片。

應(yīng)用:

圖像超分辨率
圖像的表面深度估計
光流估計

19. 深度卷積逆圖形網(wǎng)絡(luò)(Deep Convolutional Inverse Graphics Network (DC-IGN)) :

深度卷積逆圖形網(wǎng)絡(luò)旨在將圖形表示與圖像聯(lián)系起來。它使用元素，如照明，對象的位置，紋理，和其它方面的圖像設(shè)計來進行非常復(fù)雜的圖像處理。它使用不同的層來處理輸入和輸出。深度卷積逆圖形網(wǎng)絡(luò)利用初始層通過各種卷積和最大池化進行編碼，然后利用后續(xù)層進行展開解碼。

應(yīng)用:

人臉處理

20. 生成對抗網(wǎng)絡(luò)(Generative Adversarial Network (GAN)) :

給定訓(xùn)練數(shù)據(jù)，GANs 學(xué)習(xí)用與訓(xùn)練數(shù)據(jù)相同的統(tǒng)計數(shù)據(jù)生成新的數(shù)據(jù)。例如，如果我們對 GAN 模型進行照片訓(xùn)練，那么一個經(jīng)過訓(xùn)練的模型就能夠生成人眼看起來真實可信的新照片。GAN的目標(biāo)是區(qū)分真實結(jié)果和合成結(jié)果，以便產(chǎn)生更真實的結(jié)果。

應(yīng)用:

創(chuàng)造新的人體姿勢
照片變Emoji
面部老化
超分辨率
服裝變換
視頻預(yù)測

21. 液態(tài)機(Liquid State Machine (LSM)):

液態(tài)機是一種特殊的脈沖神經(jīng)網(wǎng)絡(luò)。液態(tài)機由大量的神經(jīng)元組成。這里，每個節(jié)點接收來自外部源和其它節(jié)點的輸入，這些輸入可能隨時間而變化。請注意，液態(tài)機上的節(jié)點是隨機連接的。在液態(tài)機中，激活函數(shù)替換為閾值級別。只有當(dāng)液態(tài)機達到閾值水平時，一個特定的神經(jīng)元才會發(fā)出輸出。

應(yīng)用:

語音識別
計算機視覺

22. 極限學(xué)習(xí)機(Extreme Learning Machine (ELM)):

傳統(tǒng)系統(tǒng)處理大量數(shù)據(jù)的主要缺點是:

基于梯度算法學(xué)習(xí)速度慢
迭代調(diào)優(yōu)所有參數(shù)

極限學(xué)習(xí)機隨機選擇隱藏節(jié)點，然后通過分析確定輸出權(quán)重。因此，這些算法比一般的神經(jīng)網(wǎng)絡(luò)算法更快。另外，在極限學(xué)習(xí)機網(wǎng)絡(luò)中，隨機分配的權(quán)重通常不會更新。它只需一步就能學(xué)會輸出權(quán)重。

應(yīng)用:

分類
回歸
聚類
稀疏逼近
特征學(xué)習(xí)

23. 回聲狀態(tài)網(wǎng)絡(luò)(Echo State Network (ESN)) :

ESN是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個子類型。這里每個輸入節(jié)點接收到一個非線性信號。在 ESN 中，隱藏的節(jié)點是稀疏連接的。隱節(jié)點的連通度和權(quán)值是隨機分配的。在ESN上，最終的輸出權(quán)重是可訓(xùn)練更新的。

應(yīng)用:

時間序列預(yù)測
數(shù)據(jù)挖掘

24.深度殘差網(wǎng)絡(luò)(Deep Residual Network (DRN)) :

具有多層結(jié)構(gòu)的深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練很難，且需要花費大量的時間。它也可能導(dǎo)致結(jié)果退化。深度殘差網(wǎng)絡(luò)即使有很多層也可以防止結(jié)果退化。使用殘差網(wǎng)絡(luò)，其輸入的一些部分會傳遞到下一層。因此，這些網(wǎng)絡(luò)可以相當(dāng)深(它可能包含大約300層)。

應(yīng)用:

圖像分類
目標(biāo)檢測
語義分割
語音識別
語言識別

25. Kohonen網(wǎng)絡(luò)(Kohonen Networks (KN) ):

Kohonen 網(wǎng)絡(luò)是一種無監(jiān)督算法。Kohonen 網(wǎng)絡(luò)也稱為自組織映射，當(dāng)我們的數(shù)據(jù)分散在多個維度，而我們希望它只有一個或兩個維度時，這非常有用。它可以認(rèn)為是一種降維的方法。我們使用 Kohonen 網(wǎng)絡(luò)可視化高維數(shù)據(jù)。他們使用競爭學(xué)習(xí)而不是糾錯學(xué)習(xí)。

各種拓?fù)浣Y(jié)構(gòu):

矩形網(wǎng)格拓?fù)?/li>
六邊形網(wǎng)格拓?fù)?/li>

應(yīng)用：

降維
水質(zhì)評價與預(yù)測
沿岸水資源管理

26. 支持向量機(Support Vector Machines (SVM)):

支持向量機神經(jīng)網(wǎng)絡(luò)是支持向量機和神經(jīng)網(wǎng)絡(luò)的混合算法。對于一組新的樣本，它總是試圖分為兩類: 是或否(1或0)。支持向量機通常用于二分類。這些通常不被認(rèn)為是神經(jīng)網(wǎng)絡(luò)。

應(yīng)用:

人臉檢測
文本分類
分類
生物信息學(xué)
手寫識別

27. 神經(jīng)圖靈機(Neural Turing Machine (NTM)) :

神經(jīng)圖靈機結(jié)構(gòu)包含兩個主要組件:

神經(jīng)網(wǎng)絡(luò)控制器
記憶庫

在這個神經(jīng)網(wǎng)絡(luò)中，控制器通過輸入和輸出向量與外界進行交互。它還通過與記憶矩陣交互來執(zhí)行選擇性讀寫操作。圖靈機被認(rèn)為在計算上等同于現(xiàn)代計算機。因此，NTM通過與外部存儲的交互，擴展了標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的能力。

應(yīng)用: