門派之爭

你了解多少

愛因斯坦和波爾的世紀(jì)論戰(zhàn)燃爆了整個20世紀(jì)初的物理學(xué)界。

爭論促進了物理學(xué)的發(fā)展，吸引了更多人的關(guān)注，很多的學(xué)者和吃瓜群眾更是對爭論樂此不疲，津津樂道，就像是看一部跌但起伏的武俠小說，對各大門派的英雄以及他們的看家本領(lǐng)如數(shù)家珍。

同樣，作為一項基礎(chǔ)研究的統(tǒng)計學(xué)，也不乏著名的論戰(zhàn)和門派之爭。

下面我們就復(fù)盤一下統(tǒng)計學(xué)上的一出著名的門派之爭，直到現(xiàn)在雙方都難分高下。

統(tǒng)計學(xué)的研究目的就是要通過獲取的已有數(shù)據(jù)對系統(tǒng)未知的知識做出判斷，得出結(jié)論，因為我們通常情況下不可能了解未知系統(tǒng)的所有信息。

比如，要判斷工廠里生產(chǎn)出來的手機的質(zhì)量是否達標(biāo)，我們不可能去把每一手機都進行檢查；要判斷一種化肥對農(nóng)作物的影響，我們也不可能大規(guī)模的進行田間試驗等等。

這些就是統(tǒng)計學(xué)要解決的問題，從學(xué)術(shù)角度來講就是根據(jù)數(shù)據(jù)信息對未知的參數(shù)做出估計和判斷，即統(tǒng)計學(xué)重要內(nèi)容之一——統(tǒng)計推斷。

首先，我們從數(shù)據(jù)的基礎(chǔ)信息說起。

數(shù)據(jù)信息無外乎就有三種：總體信息、樣本信息和先驗信息。

總體信息是指所研究事件的分布情況等，如人的身高符合正態(tài)分布。

樣本信息是從總體抽取的樣本給我們提供的信息。

人們希望對這些有限的樣本信息加以分析和處理得出關(guān)于總體的一些特征和信息。

至此，我們引出統(tǒng)計學(xué)中重要的一派——頻率派。

頻率派認為樣本信息來自總體，僅通過研究樣本信息可以對總體信息做出合理的推斷和估計，并且樣本越多，就越準(zhǔn)確。

說起頻率派就不得不提統(tǒng)計學(xué)領(lǐng)域的大牛羅納德·費希爾 (Ronald Aylmer Fisher，1890–1962)，現(xiàn)代統(tǒng)計學(xué)專業(yè)教科書中的很多內(nèi)容都是來源于這位的研究工作。

費希爾

費希爾畢業(yè)于英國劍橋大學(xué)，受到過系統(tǒng)的數(shù)學(xué)和理論物理專業(yè)的訓(xùn)練。

他繼承了高斯、勒讓德、皮爾遜等人的研究成果，充分發(fā)揮出了他的數(shù)學(xué)和理論功底，對實驗設(shè)計、數(shù)據(jù)收集等進行了系統(tǒng)的研究和論述，使統(tǒng)計學(xué)真正成為了一門較為系統(tǒng)的研究領(lǐng)域。

他發(fā)表的《試驗設(shè)計》、《統(tǒng)計方法和科學(xué)推理》構(gòu)成了醫(yī)藥等行業(yè)統(tǒng)計分析的基礎(chǔ)。

在劍橋期間，他制造了那個大名鼎鼎的女士品茶案例，那個發(fā)生在劍橋的陽關(guān)明媚的午后的故事，使統(tǒng)計學(xué)充滿了童話般浪漫主義的色彩，一本著名的統(tǒng)計史的著作還以此故事命名。

頻率派的統(tǒng)計學(xué)方法在二十世紀(jì)下半葉在農(nóng)業(yè)、醫(yī)學(xué)、經(jīng)濟、管理、軍事等領(lǐng)域獲得了廣泛的應(yīng)用。

為了更具體的描述頻率派的方法，我們舉個栗子。

比如我們想了解一個公交站在下一個單位時間內(nèi)候車的人數(shù)情況。

常識告訴我們候車的人數(shù)分布應(yīng)該是符合泊松分布的：

也就是說單位時間內(nèi)有k個人候車的概率，我們可以通過帶入這個公式直接計算出來。

但是，我們面對的問題就是我們雖然知道這個分布公式，但其中有個未知參數(shù)λ_c。

所以，我們需要做的就是在已知分布的情況下如何去估計分布中未知的參數(shù)λ_c。

參數(shù)估計的經(jīng)典方法認為未知參數(shù)λ_c是一個固定的常數(shù)，只不過是我們并沒有確切的知道這個值。但是我們可以通過抽樣得到的數(shù)據(jù)信息對這個值進行估計。

為此費希爾把高斯的極大似然估計方法做了重新論述，使之用來對參數(shù)進行估計。

簡要說一下這個方法的大概思路。

我們從車站觀察了5次，x₁、x₂、x₃、x₄、x₅?，我們認為在僅有的實驗條件下出現(xiàn)的結(jié)果應(yīng)該就是最大概率出現(xiàn)的結(jié)果。

所以我們寫出似然函數(shù)：

然后求使得這個式子達到最大值的λ_c的值。

由于對數(shù)的單調(diào)性，通常會取對數(shù)再求極值。

具體計算省略掉，得到的值為：

這便是費希爾的經(jīng)典方法。

可見，頻率派基于樣本信息便可以得到總體的參數(shù)信息，好了，頻率派先說到這。

簡單說來，就是，先判斷總體分布，然后從總體中取樣，再通過統(tǒng)計方法進行參數(shù)估計。

這不是一個很好的方法嗎？看上去一切都很完美，沒有任何瑕疵。

也的確如此，在費希爾之后，很多統(tǒng)計學(xué)家繼承了頻率派的研究方法，使這個派的勢力日漸壯大，并一度處于江湖中的統(tǒng)治地位。

那貝葉斯派是如何誕生和發(fā)展起來的呢？

大家別忘了，還有另外一個信息，我們還沒有提及、那就是第三種信息——先驗信息，是指在抽樣之前基于人們經(jīng)驗或者歷史資料得到的一些關(guān)于總體的參數(shù)信息。

先驗信息在我們?nèi)粘Ｉ町?dāng)中會自覺或不自覺的使用。

前兩種信息，加上第三種信息，進行統(tǒng)計推斷，我們成為貝葉斯派。

貝葉斯派起源于英國學(xué)者貝葉斯發(fā)表的一篇“論有關(guān)機遇問題的求解”的文章，不好意思，又是英國人。

在論文中，他提出著名的貝葉斯公式和一種歸納推理方法。

然而，在貝葉斯之后，該方法長久沒有得到發(fā)展。

直到二次大戰(zhàn)之后，人們才愈發(fā)感受到貝葉斯方法的巨大潛能，并一舉打破經(jīng)典統(tǒng)計學(xué)（頻率派）一統(tǒng)天下的局面。

貝葉斯

貝葉斯學(xué)派的最基本觀點就是：任何一個未知量都可以看作是隨機的，應(yīng)該用一個概率分布去描述未知參數(shù)，而不是頻率派認為的固定值。

在進行參數(shù)估計之前，通過先驗信息，我們常?？梢缘玫揭粋€關(guān)于未知參數(shù)的概率分布，即先驗分布，或主觀分布。

這在頻率派看來是根本不允許的，說好的未知參數(shù)是一個固定值，只能通過大量的重復(fù)的實驗頻率來確定，怎么到這里成了一個不確定的值了呢？

一句話而言，頻率派認為未知參數(shù)是客觀的，貝葉斯派認為未知參數(shù)可以先從主觀角度來考慮。

有沒有發(fā)現(xiàn)這兩個門派的矛盾已經(jīng)開始顯現(xiàn)？

這就像兩個不同的世界觀，一個說世界是客觀的，一個說世界是主觀的。

世界觀不同，方法論自然就會不同，所以他們兩者的不同已經(jīng)不是技術(shù)層面的問題了，而是上升到哲學(xué)層面。

好了，先不討論哲學(xué)了，具體根據(jù)上邊的例子我們說明一下，貝葉斯方法是如何估計λ_c的。

貝葉斯認為，?λ_c不應(yīng)該是一個固定值，而應(yīng)該是一個隨機變量。

我們平時根據(jù)經(jīng)驗，可以對做出一個分布的估計。

在這個例子中，我們根據(jù)平時候車的經(jīng)驗，感覺λ_c的值有75%的可能是10，有25%的可能是8，基本上沒有其他的可能性了。

用貝葉斯方法的描述就是，關(guān)于λ_c的先驗分布為：

如果我們現(xiàn)在去公交車站，觀察了一次，?X?=7，也就是說我們獲得了最新的數(shù)據(jù)信息。

最新的數(shù)據(jù)信息有助于我們更新對?λ_c的認識，即更新關(guān)于λ_c的先驗分布。

應(yīng)用貝葉斯定理，得到:

帶入，得到：

同理得：

所以，通過我們獲得的信息，我們更新了我們對于先驗分布的認識，從而得到了后驗分布。

從認知的角度而言，貝葉斯方法是一個動態(tài)的過程。

隨著我們經(jīng)驗的積累、獲取數(shù)據(jù)的積累，對未知參數(shù)的估計不斷進行著調(diào)整。

所以，貝葉斯方法很快在自然語言處理方面展現(xiàn)出了較好的特性。

貝葉斯派的蓬勃發(fā)展致使兩派斗爭如火如荼，無數(shù)學(xué)者前赴后繼。

頻率派詬病道：把未知參數(shù)看成是隨機變量是否妥當(dāng)？先驗分布到底是否存在？如何選?。?/span>

貝葉斯學(xué)派反擊道：頻率派中的置信區(qū)間能夠覆蓋到真實參數(shù)的概率是1-α，這與未知參數(shù)是固定值的觀點相互矛盾！

而貝葉斯方法本身就認為未知參數(shù)是隨機的，不存在這樣的問題！

頻率派認為很多的估計結(jié)果都需要大量的重復(fù)的實驗去驗證。

但是實際操作中，很多情況下是沒有條件也不允許這樣的重復(fù)實驗，往往大都是針對某一問題使用一次！

貝格爾（Berger，1985）說：“防止誤用的最好方法是給人們在先驗信息方面以適當(dāng)?shù)慕逃?，另外在貝葉斯分析的最后報告中，應(yīng)將先驗分開來寫，以便使其他人對主觀輸入的合理性做出評價。”

Good（1973）更是直截了當(dāng)?shù)恼f：“主觀主義者直抒他們的判斷，而客觀主義者以假設(shè)來掩蓋其判斷，并以此享受科學(xué)客觀性的榮耀?！?/span>

關(guān)于這兩派的爭論還將繼續(xù)下去，相信也不會分出勝負，對于我們這些吃瓜群眾而言，爭論足夠精彩就足矣！

何況兩大門派現(xiàn)在都在人工智能和機器學(xué)習(xí)領(lǐng)域扮演者重要的角色，給我們的生活帶來著這樣那樣的驚喜！