UFLDL 筆記 01 神經(jīng)網(wǎng)絡(luò)

UFLDL=Unsupervised Feature Learning and Deep Learning

01 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)由神經(jīng)元構(gòu)成，首先看神經(jīng)元的結(jié)構(gòu)：

1.1 神經(jīng)元

單個神經(jīng)元簡單來說就是輸入數(shù)值（刺激），代入一個激活函數(shù)，如果達(dá)到閾值便輸出一個對應(yīng)的值。

其輸出為hW,b=f(Wtx)=f(∑3i=1Wixi+b)
其中激活函數(shù)一般可以選為sigmoid函數(shù)或者雙曲正切tanh函數(shù)，當(dāng)選用sigmoid函數(shù)時，單個神經(jīng)元實際上可以看做一個邏輯回歸
導(dǎo)數(shù)公式}
sigmoid的導(dǎo)數(shù)：

1.2神經(jīng)網(wǎng)絡(luò)

多個神經(jīng)元首位相接就是神經(jīng)網(wǎng)絡(luò)，如下圖

這里的+1是截距，叫作偏置節(jié)點，在說某一層的節(jié)點數(shù)量時，偏置節(jié)點不計數(shù)在內(nèi)。
以上網(wǎng)絡(luò)的數(shù)學(xué)形式為

其實這可以寫成矩陣的形式，利用線代的知識快速求解
可以看出一共有3?3+3?1個權(quán)重值w
這里還有簡單的標(biāo)記形式
記z(l)i為l層第i單元輸入加權(quán)和
那么a(l)i=f(z(l)i)
那么最后輸出的hW,b就是以z(3)為輸入的了，這里沒寫下表i，就表示所有向量了。
以上的神經(jīng)網(wǎng)絡(luò)的輸出為單個輸出，如果輸出層為多個節(jié)點，那就就可以是多輸出了。
這樣 一層一層先前計算的就是向前神經(jīng)網(wǎng)路