|
from http://www./archives/40694 作者:John Horgan 貝葉斯定理，被吹捧為一種生成知識(shí)的強(qiáng)大方法，也可能被用于促進(jìn)迷信和偽科學(xué)。 貝葉斯定理已經(jīng)如此流行，以至于在CBS劇《生活大爆炸》中也出現(xiàn)了它的身影。但是像任何一個(gè)工具一樣，它也可能被錯(cuò)誤應(yīng)用。 我不確定第一次聽(tīng)到貝葉斯定理是在何時(shí)。但是我確實(shí)在過(guò)去十年才開(kāi)始注意它，在我的幾個(gè)不靠譜的學(xué)生將其幾乎鼓吹為人生神奇導(dǎo)航指南之后。 學(xué)生的夸張讓我困惑，像這個(gè)定理在維基百科和其他地方的解釋一樣，我發(fā)現(xiàn)它們要么太簡(jiǎn)單化要么太復(fù)雜化。我自然覺(jué)得貝葉斯只是一股風(fēng)潮，不值得深入探索。但是現(xiàn)在，貝葉斯已經(jīng)變得無(wú)處不在，不容忽視。 貝葉斯統(tǒng)計(jì)學(xué)家“遍布一切，從物理學(xué)到癌癥研究，從生態(tài)學(xué)到心理學(xué)，”《紐約時(shí)報(bào)》這樣說(shuō)。物理學(xué)家提出了量子機(jī)器的貝葉斯解釋?zhuān)约柏惾~斯捍衛(wèi)了弦和多重宇宙理論。哲學(xué)家主張作為一個(gè)整體的科學(xué)可以被視為一個(gè)貝葉斯過(guò)程，還有Karl Popper普及的方法，貝葉斯能夠更精確地區(qū)分科學(xué)和偽科學(xué)。 人工智能研究者，包括Google自動(dòng)駕駛汽車(chē)的設(shè)計(jì)者，使用貝葉斯軟件幫助及其識(shí)別模式并作出決策。根據(jù)一位流行的貝葉斯理論歷史寫(xiě)作者Sharon Bertsch McGrayne所說(shuō)，貝葉斯程序“挑選出電子郵件中的垃圾郵件，評(píng)估藥物和國(guó)土安全風(fēng)險(xiǎn)以及從其他東西中破譯DNA?！痹诰W(wǎng)站Edge.org中，物理學(xué)家John Mather為貝葉斯機(jī)器可能已經(jīng)足夠聰明去“淘汰”人類(lèi)而著急。 認(rèn)知科學(xué)家猜測(cè)，我們的大腦在理解、思考和決定時(shí)按照貝葉斯算法運(yùn)行。十一月時(shí)，科學(xué)家和哲學(xué)家們?cè)诩~約大學(xué)的一個(gè)名為“大腦是貝葉斯的嗎?”的會(huì)議上探討了這種可能性。 狂熱信徒們堅(jiān)信如果我們中更多人有意識(shí)地使用貝葉斯推斷(而不是大腦無(wú)意識(shí)的貝葉斯過(guò)程)，世界將會(huì)更好。在“貝葉斯的一個(gè)直觀解釋”理論中，AI理論學(xué)家Eliezer Yudkowsky承認(rèn)了這種狂熱的激情。 “為什么一個(gè)數(shù)學(xué)概念會(huì)產(chǎn)生這種奇怪的熱情?這種席卷科學(xué)界，號(hào)稱(chēng)甚至包括實(shí)驗(yàn)性方法本身作為一個(gè)特例的所謂貝葉斯革命是什么?貝葉斯信徒知道的秘密是什么?他們看到的光是什么?很快你就會(huì)知道，很快你就會(huì)成為我們之中的一員?！盰udkowsky是在開(kāi)玩笑，還是別的? 鑒于這嘈雜的一切，我試圖到達(dá)貝葉斯的最底端，一勞永逸。在網(wǎng)絡(luò)上無(wú)數(shù)的解釋中，我發(fā)現(xiàn)一些特別有幫助，包括Yudkowsky的文章，維基百科條目，以及由哲學(xué)家Curtis Brown、計(jì)算機(jī)科學(xué)家Oscar Bonilla和Kalid Azad提出的較短的片段。在這篇文章中，我將嘗試解釋——主要是出于我自己的目的——什么是貝葉斯。 以其發(fā)明者的名字，18世紀(jì)長(zhǎng)老教會(huì)牧師Thomas Bayes命名，貝葉斯定理是一種基于最佳可用證據(jù)(觀察、數(shù)據(jù)、信息)計(jì)算信念效力(假設(shè)、主張、命題)的方法。這是最簡(jiǎn)化的描述：初始信念加上新證據(jù)等于新的改進(jìn)信念。 還有一個(gè)更全面的版本：給定新證據(jù)時(shí)信念是真實(shí)的概率等于不考慮證據(jù)時(shí)信念為真的概 率乘以給定信念為真時(shí)證據(jù)為真的概率除以不考慮信念時(shí)證據(jù)為真的概率。明白了嗎? 基本的數(shù)學(xué)公式是這個(gè)樣子：P(B|E) = P(B) x P(E|B) / P(E)，其中P表示概率，E表示信念，E表示證據(jù)。P(B)是B為真的概率，而P(E)是E為真的概率。P(B|E)的意思是如果E為真時(shí)B的概率，P(E|B)則是B為真時(shí)E的概率。 醫(yī)學(xué)檢查經(jīng)常被用來(lái)說(shuō)明這個(gè)公式。假設(shè)接受癌癥的檢查，癌癥在同年齡的人中的發(fā)病率為1%。如果這個(gè)測(cè)試100%可靠，那么不需要貝葉斯定理去理解測(cè)試陽(yáng)性意味著什么，但是讓我們?nèi)匀皇褂枚ɡ砜纯此侨绾喂ぷ鞯摹?/p> 為了解出P(B|E)，把數(shù)據(jù)代入貝葉斯等式的右邊。P(B)，也就是在檢查之前患有癌癥的概率，是1%，或者說(shuō)0.01。P(E)的值也一樣，它是檢查結(jié)果為陽(yáng)性的概率。由于它們分別在分子和分母上，互相約去，留下P(B|E) = P(E|B) = 1。如果檢查結(jié)果是陽(yáng)性，那么一定得了癌癥，反之亦然。 在真實(shí)的世界中，檢查很少完全可靠。因此假設(shè)檢查可靠性是99%，也就是說(shuō)，100個(gè)癌癥患者中有99個(gè)檢查結(jié)果陽(yáng)性，100個(gè)健康人中有99個(gè)檢查結(jié)果陰性。這仍然是個(gè)不錯(cuò)的檢查。如果結(jié)果陽(yáng)性，有多大可能得了癌癥? 現(xiàn)在貝葉斯定理顯示出它的力量了。大多數(shù)人認(rèn)為答案是99%，或者很接近這個(gè)數(shù)字。這正是檢查的可靠性，對(duì)吧?但是由貝葉斯定理得出的正確答案只有50%。 將數(shù)據(jù)代入貝葉斯等式的右邊以找到原因。P(B)仍然是0.01，得癌癥而且結(jié)果陽(yáng)性的概率，也就是P(E|B)，現(xiàn)在是0.99。因此P(B)乘以P(E|B)等于0.01乘以0.99，即0.0099。這是得到真陽(yáng)性結(jié)果，顯示陽(yáng)性結(jié)果中得癌癥的概率。 分母P(E)是什么?這就是事情有意思的地方。P(E)是無(wú)論是否得癌癥時(shí)結(jié)果陽(yáng)性的概率，換句話說(shuō)，它包括假陽(yáng)性和真陽(yáng)性。 為了計(jì)算假陽(yáng)性的概率，你用假陽(yáng)性率，也就是1%，或者0.01，乘以沒(méi)有癌癥的人群百分比0.99。結(jié)果是0.0099。是的，你很了不起，99%準(zhǔn)確率的檢查得到的假陽(yáng)性和真陽(yáng)性一樣多。 讓我們完成計(jì)算。為得到P(E)，將真陽(yáng)性和假陽(yáng)性相加，總和為0.0198，然后除以0.0099，得到0.5。所以再說(shuō)一次，檢查結(jié)果陽(yáng)性時(shí)你得癌癥的概率P(B|E)是50%。 如果再檢查一次，可以極大地減少不確定性，因?yàn)槟愕冒┌Y的概率P(B)現(xiàn)在是50%，而不是1%。如果第二次結(jié)果仍然是陽(yáng)性，貝葉斯定理告訴你得癌癥的概率現(xiàn)在是99%，或者0.99。像這個(gè)例子顯示的這樣，迭代貝葉斯定理可以得到非常精確的信息。 但是如果檢查可靠性是90%，這看起來(lái)仍然挺不錯(cuò)，但即使兩次檢查結(jié)果都是陽(yáng)性，確實(shí)得癌癥的也仍然小于50%。(在這篇博文中的手工計(jì)算檢查我的數(shù)學(xué)。) 大多數(shù)人，包括醫(yī)生，都很難理解這些奇怪之處，這有助于解釋為什么我們過(guò)度診斷和過(guò)度治療癌癥和其他疾病。這個(gè)例子表明貝葉斯是正確的：如果更多人——或者至少更多醫(yī)療保健消費(fèi)者與提供者——使用貝葉斯推斷，世界確實(shí)會(huì)變得更好。 另一方面，貝葉斯定理只是常識(shí)的匯編。就像Yudkowsky在他的教程結(jié)尾寫(xiě)的那樣：“在這一點(diǎn)上，貝葉斯定理似乎非常明顯且重復(fù)，而不是新穎而令人興奮的。如果是這樣，這份概述在它的目的上已經(jīng)全然成功?！?/p> 考慮癌癥檢查的例子，貝葉斯定理表明結(jié)果陽(yáng)性時(shí)得癌癥的概率是真陽(yáng)性的概率除以所有陽(yáng)性的概率，包括假陽(yáng)性和真陽(yáng)性。簡(jiǎn)言之，要小心假陽(yáng)性誤報(bào)。 這里是我對(duì)該原則更一般性的陳述：你的信念可信性取決于你的信念——只是你的信念——解釋證據(jù)的程度。證據(jù)的替代性解釋越多，你的信念越不可信。對(duì)我來(lái)說(shuō)，這就是貝葉斯定理的本質(zhì)。 “替代性解釋”可以包含很多東西。你的證據(jù)可能是錯(cuò)誤的，可能被一個(gè)儀器故障所歪曲，可能是錯(cuò)誤分析、證實(shí)偏見(jiàn)甚至欺詐。你的證據(jù)可能很合理，但是可以解釋很多信念或者假設(shè)，不僅是你的。換句話說(shuō)，貝葉斯定理沒(méi)什么神奇的。它歸結(jié)為你的信念只為它的證據(jù)所證實(shí)。如果你有很好的證據(jù)，貝葉斯定理可以產(chǎn)生很好的結(jié)果。如果你的證據(jù)站不住腳，貝葉斯定理也不會(huì)有多大用處。進(jìn)來(lái)的是垃圾，出去的還是垃圾。 貝葉斯定理可能的濫用從P(B)開(kāi)始，也就是對(duì)信念概率的初始估計(jì)，往往被稱(chēng)為“先驗(yàn)”。在上面的癌癥檢查例子中，我們有一個(gè)很棒的精確先驗(yàn)概率1%，或者說(shuō)0.01，作為癌癥的流行程度。在真實(shí)世界中，專(zhuān)家會(huì)爭(zhēng)論如何對(duì)癌癥患者診斷和計(jì)數(shù)。先驗(yàn)概率通常由一系列概率組成，而不是單個(gè)數(shù)字。 在很多案例中，估計(jì)先驗(yàn)概率只是猜測(cè)，允許主觀因素進(jìn)入到計(jì)算中。你可能會(huì)猜測(cè)某些事情——不像癌癥——的概率根本不存在，例如弦，多重宇宙，通貨膨脹或上帝。然后，你可能會(huì)用可疑的證據(jù)支持你可疑的信念。在這種情況下，貝葉斯定理可能和推理一樣促進(jìn)了偽科學(xué)和迷信。 包含在貝葉斯定理中的是一個(gè)道德訊息：如果不細(xì)心尋找你的證據(jù)的替代解釋?zhuān)C據(jù)將只能確認(rèn)你已經(jīng)相信的。科學(xué)家往往未能注意到這一格言，這可以解釋為什么這么多科學(xué)主張被證明是錯(cuò)誤的。貝葉斯聲稱(chēng)他們的方法可以幫助科學(xué)家們克服證實(shí)偏見(jiàn)并產(chǎn)生更可靠的結(jié)果，但是我有一些疑問(wèn)。 如我在前面所說(shuō)的，一些弦理論和多重宇宙愛(ài)好者正在擁抱貝葉斯分析。為什么?因?yàn)閻?ài)好者們已經(jīng)受夠了聽(tīng)到弦理論和多重宇宙無(wú)法證偽因此不科學(xué)這樣的說(shuō)法，而貝葉斯定理允許他們把這些理論展示在更有利的光線下。這時(shí)，貝葉斯定理遠(yuǎn)非反對(duì)證實(shí)偏見(jiàn)，而是使它成為可能。 科學(xué)作家Faye Flam最近在《紐約時(shí)報(bào)》上發(fā)表文章，貝葉斯統(tǒng)計(jì)“不能從壞科學(xué)中拯救我們?！必惾~斯定理是一個(gè)萬(wàn)能工具，可以為任何事業(yè)服務(wù)。哈佛大學(xué)著名貝葉斯統(tǒng)計(jì)學(xué)家Donald Rubin為面臨吸煙傷害訴訟的煙草公司擔(dān)任顧問(wèn)。 我仍然為貝葉斯定理著迷。它讓我想起了進(jìn)化論，另一個(gè)似乎是簡(jiǎn)單重復(fù)或者驚人深刻的想法，這取決于你如何看待它，而且它同樣激發(fā)了大量無(wú)意義廢話以及深遠(yuǎn)見(jiàn)解。 也許這是因?yàn)槲业拇竽X是貝葉斯的，但是我已經(jīng)發(fā)現(xiàn)貝葉斯的暗喻無(wú)處不在。當(dāng)最近在我的Kindle上瀏覽Edgar Allen Poe全集時(shí)，我偶然在The Narrative of Arthur Gordon Pym of Nantucket中看到這個(gè)句子：“無(wú)關(guān)純粹的偏見(jiàn)，贊成或者反對(duì)，我們使用全部確定性作出推斷，哪怕是最簡(jiǎn)單的數(shù)據(jù)。” 在跳上貝葉斯的馬車(chē)前，請(qǐng)記住Poe的警告。 原文： http://blogs./cross-check/bayes-s-theorem-what-s-the-big-deal/
via:數(shù)藝智訓(xùn) End.
轉(zhuǎn)載請(qǐng)注明來(lái)自36大數(shù)據(jù)（)：36大數(shù)據(jù) ? 貝葉斯定理：多大點(diǎn)事? |
|
|
來(lái)自： 心不留意外塵 > 《數(shù)理簡(jiǎn)講》
