|
flyfish Sigmoid函數(shù)是一種具有S形曲線的數(shù)學函數(shù)。
Sigmoid函數(shù)是一種激活函數(shù)，并且更具體地定義為擠壓函數(shù)（squashing function）。壓縮函數(shù)將輸出限制在0到1之間，從而使這些函數(shù)在概率預測中非常有用。
擠壓函數(shù)（squashing function）
擠壓函數(shù)是將大范圍輸入擠壓到較小區(qū)間的函數(shù)，通常被用于做 激活函數(shù) ，主要有 Sigmoid 函數(shù) 和 Tanh 雙曲正切函數(shù)兩種。
其中 Sigmoid 函數(shù)是一種常見的擠壓函數(shù)，可將較大范圍的輸入擠壓到[0,1]內(nèi)。
Tanh 雙曲正切函數(shù)是 Sigmoid 函數(shù)的變體，其取值范圍在 [-1,1]，定義域為 R，其同為擠壓函數(shù)的一種。 通常和Softmax函數(shù)做比較
1、Softmax用于Logistic回歸模型中的多分類。Sigmoid用于Logistic回歸模型中的二進制分類。
2、Softmax概率和是1，Sigmoid概率和不需要是1。
3、Softmax用于不同層次的神經(jīng)網(wǎng)絡。Sigmoid在構(gòu)建神經(jīng)網(wǎng)絡時用作激活函數(shù)。
4、Softmax 大值比其他值具有更大的概率。Sigmoid數(shù)值大則概率大，但概率不會比另一個數(shù)值的概率更大。
S
(
x
)
=
1
1
+
e
?
x
=
e
x
e
x
+
1
.
{\displaystyle S(x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{e^{x}+1}}.}
S(x)=1+e?x1=ex+1ex. 圖像
解釋e e
=
∑
n
=
0
∞
1
n
!
=
1
1
+
1
1
+
1
1
?
2
+
1
1
?
2
?
3
+
?
{\displaystyle e=\displaystyle \sum \limits _{n=0}^{\infty }{\dfrac {1}{n!}}={\frac {1}{1}}+{\frac {1}{1}}+{\frac {1}{1\cdot 2}}+{\frac {1}{1\cdot 2\cdot 3}}+\cdots }
e=n=0∑∞n!1=11+11+1?21+1?2?31+? e
=
∑
n
=
0
∞
1
n
!
e=\sum _{n=0}^{\infty }{\frac {1}{n!}}
e=∑n=0∞n!1 e
=
lim
?
n
→
∞
(
1
+
1
n
)
n
e=\lim _{n\to \infty }\left(1+{\frac {1}{n}}\right)^{n}
e=limn→∞(1+n1)n
|
