|
煉丹俠必知的11大神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)匯總！  隨著深度學(xué)習(xí)的快速發(fā)展，目前已經(jīng)出現(xiàn)了海量的不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，本文介紹11種煉丹師都需要知道一點的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。   1.Perceptron 感知機是所有神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，主要由全連接層組成，下面是感知機示意圖。 2.Feed-Forward Network(FNN) FNN是有Perceptron組合得到的，由輸入層、隱藏層和輸出層組成，其結(jié)構(gòu)如下： 3.Residual Networks (ResNet) 深度神經(jīng)網(wǎng)絡(luò)最大問題就是當(dāng)網(wǎng)絡(luò)深度達到一定程度時就會出現(xiàn)消失梯度的問題，導(dǎo)致模型訓(xùn)練不佳，為了緩解該問題，我們設(shè)計了殘差網(wǎng)絡(luò)。它通過一個“跳躍”層傳播信息號，大大緩解了梯度消失的問題。
 4.Recurrent Neural Network (RNN) 遞歸神經(jīng)網(wǎng)絡(luò)是早期處理序列問題的始祖，它包含循環(huán)，并在自身上進行遞歸，因此得名“遞歸”。RNN允許將信息存儲在網(wǎng)絡(luò)中，并使用先前訓(xùn)練中的推理，對即將發(fā)生的事件做出更好、更明智的決策。
5.Long Short Term Memory Network (LSTM) RNN最大的問題在于，一旦處理的序列較長的時候，例如100，RNN的效果就會大大變差，所以大家設(shè)計了LSTM，LSTM可以處理大約300左右長度的序列，這也是為什么目前LSTM在序列化的問題中還經(jīng)常被使用的原因。
6.Echo State Networks(ESN) 回聲狀態(tài)網(wǎng)絡(luò)由輸入層、隱藏層(即儲備池)、輸出層組成，是遞歸神經(jīng)網(wǎng)絡(luò)的一種變體，它有一個非常稀疏連接的隱層（通常是百分之一左右的連通性）。神經(jīng)元的連接和權(quán)值是隨機分配的，忽略層和神經(jīng)元的差異（跳躍連接）。ESN將隱藏層設(shè)計成一個具有很多神經(jīng)元組成的稀疏網(wǎng)絡(luò)，通過調(diào)整網(wǎng)絡(luò)內(nèi)部權(quán)值的特性達到記憶數(shù)據(jù)的功能。
7.Convolutional Neural Network (CNN) CNN早期在圖像中取得了巨大的成功，在今日，CNN仍然是不可或缺的一部分。因為圖像數(shù)據(jù)有著非常高的維度，訓(xùn)練一個標(biāo)準(zhǔn)網(wǎng)絡(luò)訓(xùn)練圖像（例如簡單的MLP）都需要數(shù)十萬個輸入神經(jīng)元，除了明顯的高計算開銷外，還會導(dǎo)致許多與神經(jīng)網(wǎng)絡(luò)維數(shù)災(zāi)難相關(guān)的問題。CNN則利用卷積層來幫助降低圖像的維數(shù)，不僅大大降低了訓(xùn)練的參數(shù)，而且在效果上也取得了巨大的提升。
8.Deconvolutional Neural Network (DNN) 反卷積神經(jīng)網(wǎng)絡(luò)，顧名思義，其性能與卷積神經(jīng)網(wǎng)絡(luò)相反。DNN并不是通過卷積來降低來圖像的維數(shù)，而是利用反卷積來創(chuàng)建圖像，一般是從噪聲中生成的。DNN還經(jīng)常用于尋找丟失的特征或信號，這些特征或信號以前可能被認(rèn)為對卷積神經(jīng)網(wǎng)絡(luò)的任務(wù)并不重要。一個信號可能由于與其他信號卷積而丟失。信號的Deconvolution可以用于圖像合成和分析。
9.Generative Adversarial Network (GAN) 生成性對抗網(wǎng)絡(luò)是一種專門設(shè)計用來生成圖像的網(wǎng)絡(luò)，它由兩個網(wǎng)絡(luò)組成：一個生成器和一個判別器。判別器的任務(wù)是區(qū)分圖像是從數(shù)據(jù)集中提取的還是由生成器生成的，生成器的任務(wù)是生成虛假的圖像，盡可能使得判別器無法區(qū)分圖像是否真實，目前GAN生成的圖像很多都是栩栩如生，甚至達到了以假亂真的程度。
10.Auto Encoder (AE) 自動編碼器的應(yīng)用非常廣，包括模型壓縮、數(shù)據(jù)去噪、異常檢測、推薦系統(tǒng)等等。其基本思想是將原始的高維數(shù)據(jù)“壓縮”、低維的數(shù)據(jù)，然后將壓縮后的數(shù)據(jù)投影到一個新的空間中。
11.Variational Auto Encoder (VAE) 自動編碼器學(xué)習(xí)輸入的壓縮表示，而變分自動編碼器（VAE）學(xué)習(xí)表示數(shù)據(jù)的概率分布的參數(shù)。它不只是學(xué)習(xí)表示數(shù)據(jù)的函數(shù)，而是獲得更詳細(xì)和細(xì)致的數(shù)據(jù)視圖，從分布中采樣并生成新的輸入數(shù)據(jù)樣本。所以VAE更像是一個“生成”模式，類似于GAN。
整理不易，還望給個在看！ |
|
|
