1新智元編譯

深度學(xué)習(xí)11大概念：激活函數(shù)、反向傳播算法、學(xué)習(xí)率、梯度下降等

概念一節(jié)下分為激活函數(shù)：反向傳播算法、學(xué)習(xí)率、梯度下降和損失（最小化）目標(biāo)（最大化）函數(shù)。

1. 激活函數(shù)。它根據(jù)一個輸入或輸入集，定義輸出。主要有7大類：Relu、Sigmold/Logistc、Binary、Tanh、Softplus、Softmax、Maxout，當(dāng)然還有其他。

2. 反向傳播算法

這是在人工神經(jīng)網(wǎng)絡(luò)用于計算每個神經(jīng)單元在接受一批數(shù)據(jù)后帶來的誤差的影響的一種方法，它計算損失函數(shù)的梯度，通常在梯度下降優(yōu)化算法中使用。它也被稱為誤差的反向傳播，因為誤差是在輸出中進(jìn)行計算，然后通過神經(jīng)網(wǎng)絡(luò)曾反向分布。

3. 學(xué)習(xí)率

神經(jīng)網(wǎng)絡(luò)通常根據(jù)權(quán)重由梯度下降進(jìn)行訓(xùn)練。這意味著，我們會使用反向傳播來計算損失函數(shù)的誤差，與每個權(quán)重進(jìn)行對比，將之從權(quán)重中減掉。然而，如果你真的嘗試了，權(quán)重將會變化太多，每次迭代，這將使他們“過度糾正”，損失實際上會增加/派生。所以在實踐中，人們通常將每個派生乘以一個稱為“學(xué)習(xí)率”的小值，然后將其從相應(yīng)的權(quán)重中減去。

4. 梯度下降

是用于查找函數(shù)最小值的一階迭代優(yōu)化算法。為了使用梯度下降找到函數(shù)的局部最小值，人們會在當(dāng)前點向負(fù)數(shù)面調(diào)整函數(shù)的梯度（或近似梯度），如果相反，如果朝正數(shù)方向進(jìn)行調(diào)整，則接近該函數(shù)的局部最大值。該程序隨后被稱為梯度上升。

5.權(quán)重初始化，分為三種：全零初始化、少量隨機(jī)數(shù)字初始化和變量校準(zhǔn)初始化。

6. 神經(jīng)單元

7. 輸入層

8. 隱藏層

9. 巴斯正則化

10. 梯度下降和損失（最小化）目標(biāo)（最大化）函數(shù)

11. 正則化

架構(gòu)：LSTM、GAN、Auto-ENcoder、CNN、RNN

架構(gòu)這一部分，列舉了LSTM、GAN、Auto-ENcoder、CNN、RNN和具體策略，其中策略部分又包括參數(shù)初始化和優(yōu)化。

1. 前向

是一種人造神經(jīng)網(wǎng)絡(luò)，其中單元之間的連接不形成循環(huán)。在這個網(wǎng)絡(luò)中，信息只從一個方向移動，從輸入節(jié)點向前移動，通過隱藏節(jié)點（如果有的話）和輸出節(jié)點。網(wǎng)絡(luò)中沒有周期或循環(huán)。

2. LSTM

3. GAN

4. Auto-Encoder

這是一種人工神經(jīng)網(wǎng)絡(luò)，用于無監(jiān)督學(xué)習(xí)有效地編碼。

5.CNN（卷積神經(jīng)網(wǎng)絡(luò)），它們被用于圖像和視頻中，可以進(jìn)行識別、推薦系統(tǒng)和自然語言處理。

6. RNN（循環(huán)），可以使用網(wǎng)絡(luò)內(nèi)部的記憶，來處理連續(xù)的輸入。

7.RNN（遞歸）

7. 策略：參數(shù)初始化和優(yōu)化

TensorFlow

點擊閱讀原文可查看職位詳情，期待你的加入~