我學(xué)習(xí)使用的是帶中文翻譯字幕的網(wǎng)易課程，公開(kāi)課地址：http://study.163.com/course/courseLearn.htm?courseId=1003223001#/learn/video?lessonId=1003734105&courseId=1003223001

該節(jié)課中提到了一種叫作softmax的函數(shù)，因?yàn)橹皩?duì)這個(gè)概念不了解，所以本篇就這個(gè)函數(shù)進(jìn)行整理，如下：

維基給出的解釋：softmax函數(shù)，也稱指數(shù)歸一化函數(shù)，它是一種logistic函數(shù)的歸一化形式，可以將K維實(shí)數(shù)向量壓縮成范圍[0-1]的新的K維實(shí)數(shù)向量。函數(shù)形式為：

  （1）

其中，分母部分起到歸一化的作用。至于取指數(shù)的原因，第一是要模擬max的行為，即使得大的數(shù)值更大；第二是方便求導(dǎo)運(yùn)算。

在概率論中，softmax函數(shù)輸出可以代表一個(gè)類別分布--有k個(gè)可能結(jié)果的概率分布。

從定義中也可以看出，softmax函數(shù)與logistic函數(shù)有著緊密的的聯(lián)系，對(duì)于logistic函數(shù)，定義如下：

最顯著的區(qū)別:logistic 回歸是針對(duì)二分類問(wèn)題，softmax則是針對(duì)多分類問(wèn)題，logistic可看成softmax的特例。

二分類器（two-class classifier）要最大化數(shù)據(jù)集的似然值等價(jià)于將每個(gè)數(shù)據(jù)點(diǎn)的線性回歸輸出推向正無(wú)窮(類1)和負(fù)無(wú)窮(類2)。邏輯回歸的損失方程(Loss Function):

對(duì)于給定的測(cè)試輸入 ，假如想用假設(shè)函數(shù)針對(duì)每一個(gè)類別j估算出概率值 。即估計(jì)  的每一種分類結(jié)果出現(xiàn)的概率。因此，假設(shè)函數(shù)將要輸出一個(gè)  維的向量（向量元素的和為1）來(lái)表示這  個(gè)估計(jì)的概率值。 假設(shè)函數(shù)  形式如下：

其中  是模型的參數(shù)。請(qǐng)注意 這一項(xiàng)對(duì)概率分布進(jìn)行歸一化，使得所有概率之和為 1 。

其代價(jià)函數(shù)可以寫為：

其中，1{真}=1,1{假}=0.

12.23補(bǔ)充：

關(guān)于代價(jià)函數(shù)，softmax用的是cross-entropy loss，信息論中有個(gè)重要的概念叫做交叉熵cross-entropy， 公式是： 

香農(nóng)熵的公式：

交叉熵與 loss的聯(lián)系，設(shè)p(x)代表的是真實(shí)的概率分布，那么可以看出上式是概率分布為的相對(duì)熵公式，是對(duì)第i個(gè)類別概率的估計(jì)。使用損失函數(shù)可以描述真實(shí)分布于估計(jì)分布的交叉熵。交叉熵可以看做熵與相對(duì)熵之和：，這里的相對(duì)熵也叫作kl距離，在信息論中，D(P||Q)表示當(dāng)用概率分布Q來(lái)擬合真實(shí)分布P時(shí)，產(chǎn)生的信息損耗，其中P表示真實(shí)分布，Q表示P的擬合分布。又因?yàn)檎鎸?shí)值的熵是不變的，交叉熵也描述預(yù)測(cè)結(jié)果與真實(shí)結(jié)果的相似性，用來(lái)做損失函數(shù)可保證預(yù)測(cè)值符合真實(shí)值。 

softmax的應(yīng)用：

在人工神經(jīng)網(wǎng)絡(luò)（ANN）中，Softmax常被用作輸出層的激活函數(shù)。其中，表示第L層（通常是最后一層）第j個(gè)神經(jīng)元的輸入，表示第L層第j個(gè)神經(jīng)元的輸出，表示自然常數(shù)。注意看，表示了第L層所有神經(jīng)元的輸入之和。

不僅是因?yàn)樗男Ч?，而且它使得ANN的輸出值更易于理解，即神經(jīng)元的輸出值越大，則該神經(jīng)元對(duì)應(yīng)的類別是真實(shí)類別的可能性更高。

12.17補(bǔ)充：softmax求導(dǎo)

由公式（1）可知，softmax函數(shù)僅與分類有關(guān):

其負(fù)對(duì)數(shù)似然函數(shù)為：

對(duì)該似然函數(shù)求導(dǎo)，得：

注：參考博客里上面求導(dǎo)公式有誤，已更正。

對(duì)于①條件：先Copy一下Softmax的結(jié)果(即prob_data)到bottom_diff，再對(duì)k位置的unit減去1
對(duì)于②條件：直接Copy一下Softmax的結(jié)果(即prob_data)到bottom_diff
對(duì)于③條件：找到ignore位置的unit，強(qiáng)行置為0。

參考：

https://en./wiki/Softmax_function

https://zhuanlan.zhihu.com/p/25723112

http://ufldl./wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

https://www.cnblogs.com/maybe2030/p/5678387.html?utm_source=tuicool&utm_medium=referral

http://blog.csdn.net/bea_tree/article/details/51489969#t10

https://github.com/YuDamon/Softmax

https://www.cnblogs.com/neopenx/p/5590756.html