一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

再談貝葉斯學(xué)派與頻率學(xué)派的區(qū)別

 戀上咸鴨蛋 2019-12-24

頻率主義(Frequentism)與貝葉斯主義(Bayesianism)的哲學(xué)辨異與實踐(Python仿真)

從 Beta_Binomial共軛分布開始說起:

Beta(p|α,β) BinomCount(m1,m2)=Beta(p|α m1,β m2)

一個小小的特例為:

Beta(p|1,1) BinomCount(α?1,β?1)=Beta(p|α,β)

Beta(p|1,1)恰好正是均勻分布U[0,1](概率密度恒等于1,且與p無關(guān))
假設(shè)有一個不均勻的(或者說均勻與否不可知)的硬幣拋出正面的概率為 p,拋 m次后出現(xiàn)正面和反面的次數(shù)分別是 m1,m2,那么按傳統(tǒng)的頻率學(xué)派觀點,p 的估計值應(yīng)該為 ?p=m1m,而如果從貝葉斯的觀點來看,開始時對硬幣的不均勻性一無所知,所以應(yīng)該假設(shè) p~U[0,1],于是有了二項分布的計數(shù) (m1,m2)之后,按照貝葉斯公式如下計算 p的后驗分布:

P(p|m1,m2)=P(p)P(m1,m2|p)P(m1,m2)=P(p)P(m1,m2|p)∫10P(m1,m2|t)P(t)dt=1?P(m1,m2|p)∫10P(m1,m2|t)?1dt=(mm1)pm1(1?p)m2∫10(mm1)tm1(1?t)m2dt=pm1(1?p)m2∫10tm1(1?t)m2dt
計算得到的后驗分布正好是 Beta(p|m1 1,m2 1)

文本建模中的頻率學(xué)派與貝葉斯學(xué)派

頻率學(xué)派:上帝只有一個骰子,這個骰子有 V個面,每個面對應(yīng)一個詞,各個面的概率不一;每拋一次,拋出的面就對應(yīng)產(chǎn)生一個詞,如果一篇文檔有 N個詞(也即詞頻),上帝就是獨立的拋 n次以產(chǎn)生這 N個詞(可見有重復(fù));

詞頻為 N時,如果我們關(guān)注每個詞 vi的發(fā)生次數(shù) ni,那么→n=(n1,n2,…,nV)恰好是一個多項分布:

p(→n)=Multi(→n|N,→p)=(N→n)V∏k=1pnkk
其中 ∑Vk=1pk=1,∑Vk=1nk=N
此時,一個很重要的任務(wù)即是估計模型中的參數(shù) →p=(p1,p2,…,pV),也就是問上帝擁有的這個骰子的各個面的概率分別是多大,按照統(tǒng)計學(xué)家中頻率派的觀點,使用最大似然估計最大化 p(W),于是參數(shù) pi的估計值是:
?pi=niN
對于以上模型,貝葉斯統(tǒng)計學(xué)派的統(tǒng)計學(xué)家會有不同的意見,他們會很挑剔地批評只假設(shè)上帝擁有唯一一個固定的骰子(也即 →p=(p1,p2,…,pV))是不合理的。在貝葉斯學(xué)派看來,一切參數(shù)都是隨機(jī)變量,也即以上模型中的骰子 →p不是唯一固定的,它是一個隨機(jī)變量。

貝葉斯學(xué)派:上帝有一個裝有無窮多骰子的壇子,里面有各式各樣的骰子(也即 →p各不相同),每個骰子均有 V個面;上帝從壇子里面抽了一個骰子出來,然后用這個骰子不斷地拋,拋 N次。

上帝的這個壇子里面,骰子可以是無窮多個,有些類型的骰子數(shù)量多,有些類型的骰子少,所以從概率分布的角度看,壇子里邊的骰子 →p服從于概率分布 p(→p),這個分布稱為參數(shù) →p的先驗分布。

以上是貝葉斯學(xué)派的游戲規(guī)則,此時預(yù)料 W的概率如何計算呢?由于我們并不知道上帝到底使用了哪個骰子(→p),所以每個骰子都有可能被使用,只是使用的概率由先驗分布 p(→p)來決定。對每一個具體的骰子 \vcp,由該骰子產(chǎn)生的數(shù)據(jù)的概率是 p(W|→p),所以最終數(shù)據(jù)產(chǎn)生的概率就是對每一個骰子 →p產(chǎn)生的數(shù)據(jù)概率進(jìn)行積分累加求和:

p(W)=∫p(W|→p)p(→p)d→p
在貝葉斯分析的框架下,此處先驗分布 p(→p)可以有多種選擇,注意到:
p(W|→p)=p(→n|N,→p)=(N→n)V∏k=1pnkk
實際上在計算一個多項分布的概率,所以對先驗分布 p(→p) 的一個比較好的選擇即是與多項分布成共軛的共軛分布,也即Dirichlet分布:
Dir(→p|→α)=1Δ(→α)V∏k=1pαk?1kΔ(→α)=∫V∏k=1pαk?1kd→p
Δ(→p)是歸一化因子;

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多

    久久国产成人精品国产成人亚洲 | 亚洲深夜精品福利一区| 十八禁日本一区二区三区| 亚洲熟女熟妇乱色一区| 免费精品一区二区三区| 成人免费高清在线一区二区| 在线观看欧美视频一区| 中国日韩一级黄色大片| 最近中文字幕高清中文字幕无| 日本最新不卡免费一区二区| 精品国自产拍天天青青草原| 美日韩一区二区精品系列| 日韩中文字幕欧美亚洲| 亚洲专区中文字幕视频| 伊人久久青草地综合婷婷| 国产又黄又猛又粗又爽的片| 国产成人精品国内自产拍| 国产精品欧美一区两区| 天堂av一区一区一区| 国产内射一级一片内射高清视频| 色综合久久中文综合网| 亚洲高清欧美中文字幕| 国产精品日韩欧美第一页| 久久精品亚洲精品国产欧美| 黑丝国产精品一区二区| 99香蕉精品视频国产版| 亚洲一区二区三区日韩91| 国产午夜精品美女露脸视频| 高清国产日韩欧美熟女| 久久99国产精品果冻传媒| 人妻露脸一区二区三区| 91久久国产福利自产拍 | 色一情一伦一区二区三| 国产av精品高清一区二区三区| 精品一区二区三区中文字幕| 91一区国产中文字幕| 国产91人妻精品一区二区三区| 色小姐干香蕉在线综合网| 五月激情五月天综合网| 亚洲精品国男人在线视频| 日本不卡在线视频你懂的|