在貝葉斯影響下，概率分布被大量用于解決棘手的問題。在討論了正態(tài)分布之后，我們將介紹其他基本分布和更高級的分布，包括 Beta 分布、Dirichlet 分布、Poisson 分布和 Gamma 分布。我們還將討論包括共軛先驗(yàn)、指數(shù)分布族和矩量法在內(nèi)的主題。

伯努利分布

伯努利分布是單個(gè)二進(jìn)制隨機(jī)變量X ∈ {0, 1} 的離散分布，概率分別為 1- θ和θ。例如，拋硬幣時(shí)，正面的機(jī)會(huì)為θ。

伯努利分布的期望值和方差為：

二項(xiàng)分布

二項(xiàng)分布是獨(dú)立伯努利試驗(yàn)的匯總結(jié)果。例如，我們拋硬幣N次并模擬出現(xiàn)x次正面的機(jī)會(huì)。

二項(xiàng)分布的期望值和方差為：

分類分布

伯努利分布有兩種可能的結(jié)果。在分類分布中，我們有K個(gè)可能的結(jié)果，概率分別為 p?、p?、p?、...和pk。所有這些概率加起來為 1。

多項(xiàng)分布

多項(xiàng)分布是二項(xiàng)分布的推廣。它有k個(gè)可能的結(jié)果，而不是兩個(gè)結(jié)果。如果二項(xiàng)分布對應(yīng)于伯努利分布，則多項(xiàng)分布對應(yīng)于分類分布。

假設(shè)這些結(jié)果分別與概率θ?、θ?、…和θk相關(guān)聯(lián)。我們收集大小為N的樣本，x?表示結(jié)果i的計(jì)數(shù)。聯(lián)合概率為

多項(xiàng)分布的期望值和方差為：

貝塔分布

對于伯努利分布或二項(xiàng)分布，我們?nèi)绾螌Ζ鹊闹颠M(jìn)行建模？例如，如果發(fā)現(xiàn)了一種新病毒，我們可以使用概率分布來模擬感染概率θ嗎？

貝塔分布是在有限的值區(qū)間上的連續(xù)隨機(jī)變量上的分布。它通常用于模擬一些二元事件的概率，如θ。該模型有兩個(gè)影響分布形狀的正參數(shù)α和β 。

當(dāng)我們對新病毒一無所知時(shí)，我們可以設(shè)置α = β = 1 以實(shí)現(xiàn)均勻分布，即θ ∈ [0, 1] 的任何可能概率值都是等可能的。這是我們的先決條件。

α = β = 1 用于均勻分布

然后我們可以將貝葉斯推理與由二項(xiàng)分布建模的似然性應(yīng)用。后驗(yàn)將是一個(gè) beta 分布，也對α和β進(jìn)行了更新。給定觀察到的數(shù)據(jù)，這將成為新的感染率分布，并在觀察到新樣本時(shí)充當(dāng)新的先驗(yàn)。

數(shù)學(xué)上，β分布定義為：

beta 函數(shù)B將 RHS 歸一化為概率分布。

這個(gè)定義看起來很復(fù)雜，但是當(dāng)它用于貝葉斯推理時(shí)，計(jì)算變得非常簡單。假設(shè) CDC 報(bào)告了N個(gè)人中的x 個(gè)新感染病例。應(yīng)用貝葉斯定理，后驗(yàn)將是：

即，我們只需將新的正數(shù)添加到α并將新的負(fù)數(shù) ( Nx ) 添加到β。

貝塔分布的期望值和方差為

狄利克雷分布

在前面的貝葉斯推理示例中，似然性由二項(xiàng)分布建模。我們將它與 beta 分布（先驗(yàn)）合作，以輕松計(jì)算后驗(yàn)。對于具有多項(xiàng)分布的似然性，對應(yīng)的分布是狄利克雷分布。

狄利克雷分布定義為：

這個(gè)隨機(jī)過程有K個(gè)結(jié)果，相應(yīng)的 Dirichlet 分布將由K分量α參數(shù)化。

與 beta 分布類似，它與相應(yīng)似然的相似性使得后驗(yàn)計(jì)算變得容易。

Dirichlet 分布的期望值和方差為：

泊松分布

泊松分布對給定數(shù)量的事件在固定時(shí)間間隔內(nèi)發(fā)生的概率進(jìn)行建模。它模擬泊松過程，其中事件以恒定的平均速率獨(dú)立且連續(xù)地發(fā)生。

如圖所示，如果事件相對罕見，二項(xiàng)分布可以簡化為泊松分布。

假設(shè)泊松過程是無記憶的——過去不會(huì)影響任何未來的預(yù)測。無論上一個(gè)事件發(fā)生在 1 分鐘前還是 5 小時(shí)前，下一個(gè)事件的平均等待時(shí)間都是相同的。

泊松分布的期望值和方差為：

指數(shù)分布

指數(shù)分布是泊松過程中下一個(gè)事件發(fā)生之前等待時(shí)間的概率分布。如下右圖所示，對于 λ = 0.1（速率參數(shù)），等待超過 15 的幾率為 0.22。

在數(shù)學(xué)上，它被定義為：

指數(shù)分布的期望值和方差為：

狄拉克分布

狄拉克 δ 分布（δ分布）可以被認(rèn)為是在x = 0處具有窄峰的函數(shù)。具體而言，δ ( x ) 在除x = 0之外的所有地方都具有零值，并且峰下的面積（積分）是 1。

該函數(shù)對于高窄尖峰函數(shù)（脈沖）或概率分布中的某些確定性值是有用的近似值。它幫助我們將一些模型轉(zhuǎn)換為數(shù)學(xué)方程。

回顧

以下是所討論的一些概率分布的回顧。

伽瑪分布

指數(shù)分布和卡方分布是伽馬分布的特例。伽馬分布可以被認(rèn)為是具有指數(shù)分布的k個(gè)獨(dú)立隨機(jī)變量的總和。

直觀地說，它是第k個(gè) 事件發(fā)生的等待時(shí)間的分布。

這是伽馬分布的數(shù)學(xué)定義。

根據(jù)上下文，伽馬分布可以用兩種不同的方式參數(shù)化。

α (aka k ) 參數(shù)化 gamma 分布的形狀，而β參數(shù)化尺度。正如中心定理所建議的，隨著k的增加，伽馬分布類似于正態(tài)分布。

當(dāng)我們改變β時(shí)，形狀保持不變，但x和y軸的比例發(fā)生變化。

Gamma 分布的期望和方差為：

先驗(yàn)共軛

如前所述，如果我們巧妙地將似然分布和先驗(yàn)分布配對，我們可以使貝葉斯推理變得易于處理。

在貝葉斯推理中，如果相應(yīng)的后驗(yàn)屬于先驗(yàn)的同一類分布，則先驗(yàn)是共軛先驗(yàn)。

例如，beta 分布是二項(xiàng)分布（可能性）之前的共軛。使用貝葉斯定理計(jì)算的后驗(yàn)也是貝塔分布。這里有更多共軛先驗(yàn)的例子。

充分的統(tǒng)計(jì)

根據(jù)定義，當(dāng)一個(gè)分布寫成

T ( x ) 稱為充分統(tǒng)計(jì)量。

這是一個(gè)應(yīng)用于泊松分布的示例。

T( x ) 在x ? 上求和。

充分統(tǒng)計(jì)的意義在于，根據(jù)x?、x?、x?、……計(jì)算的其他統(tǒng)計(jì)量不會(huì)提供任何附加信息來估計(jì)分布參數(shù)θ。如果我們知道T ( x )，我們就有足夠的信息來估計(jì)θ。不需要其他信息。我們不需要保留x?, x?, x?, …來構(gòu)建模型。例如，給定一個(gè)由θ（又名 λ）建模的泊松分布，我們可以通過將T ( x )除以n來估計(jì)θ。

指數(shù)分布族

正態(tài)分布、伯努利分布、伽瑪分布、貝塔分布、狄利克雷分布、指數(shù)分布、泊松分布和許多其他分布都屬于稱為指數(shù)族的分布族。它的形式為

以下是二項(xiàng)式和泊松分布的指數(shù)族形式，由h ( x )、η、T ( x ) 和A表示。

從源代碼修改

我們可以將參數(shù)θ和自然參數(shù)η相互轉(zhuǎn)換。例如，可以使用邏輯函數(shù)從相應(yīng)的自然參數(shù)η計(jì)算伯努利參數(shù)θ 。

這是以指數(shù)族的形式編寫正態(tài)分布的另一個(gè)示例。

這種抽象概括的優(yōu)點(diǎn)是什么？

指數(shù)族為解決其分布族的問題提供了一個(gè)通用的數(shù)學(xué)框架。例如，計(jì)算泊松分布的期望值可能很困難。

相反，對于A，指數(shù)族的所有期望值都可以相當(dāng)容易地計(jì)算出來。如下左圖所示，A'( η ) 等于T ( x )的期望值。由于泊松分布中的T ( x ) = x和λ = exp( η ) 和A ( λ) = λ = exp( η ) ，我們對 A( η ) 進(jìn)行微分以找到 [ x ]。這等于λ。

這個(gè)分布族在貝葉斯分析中也有很好的特性。如果似然屬于指數(shù)族，則存在通常是指數(shù)族的共軛先驗(yàn)。如果我們有一個(gè)指數(shù)族寫成

由 γ 參數(shù)化的共軛先驗(yàn)將具有形式

由γ建模的共軛先驗(yàn)將具有一個(gè)額外的自由度。例如，伯努利分布有一個(gè)由θ建模的自由度。相應(yīng)的 beta 分布將具有由α和β建模的兩個(gè)自由度。

以指數(shù)族的形式考慮下面的伯努利分布，

我們可以定義（或猜測）

我們得到

即β分布是伯努利分布之前的共軛。

最大熵原理

可能有無限的模型可以精確地?cái)M合先驗(yàn)數(shù)據(jù)（先驗(yàn)知識）。最大熵原理斷言最能代表系統(tǒng)的概率分布是具有最大熵的系統(tǒng)。在信息論中，隨機(jī)變量的熵衡量了可能結(jié)果所固有的“驚喜”。根據(jù)這一原則，我們避免對可能的情況施加不必要的額外約束，因?yàn)榧s束會(huì)降低系統(tǒng)的熵。

許多分布可以滿足由充分統(tǒng)計(jì)施加的約束。但是我們可以選擇的那個(gè)是熵最高的那個(gè)?？梢宰C明，指數(shù)族具有與給定充分統(tǒng)計(jì)約束一致的最大熵分布。

第 K 時(shí)刻

矩定量地描述了函數(shù)的形狀。如果函數(shù)f是概率分布，則零矩為總概率（=1），第一矩為均值。對于第二個(gè)和更高的矩，中心矩提供了關(guān)于分布形狀的更好信息。第二個(gè)中心矩是方差，第三個(gè)標(biāo)準(zhǔn)化矩是偏度，第四個(gè)矩是峰度。

函數(shù)f的第k個(gè)矩或第k個(gè)原始矩定義為

這個(gè)時(shí)刻被稱為關(guān)于零的時(shí)刻。但是，如果我們先用平均值減去x，它將被稱為中心矩。

k階矩等于 A(η) 的k階導(dǎo)數(shù)。

矩量法

我們?nèi)绾瓮ㄟ^抽樣來估計(jì)模型參數(shù)？我們?nèi)绾斡胵*對人口密度p建模？在矩匹配中，我們從樣本數(shù)據(jù)中計(jì)算矩，這樣它們的足夠統(tǒng)計(jì)量的期望就會(huì)匹配。

考慮一個(gè)簡單的零中心分布模型f，由θ參數(shù)化，T ( X ) =x。

第一個(gè)和第二個(gè)理論矩是：

從源代碼修改

二階樣本矩為：

通過讓樣本矩等于理論矩，我們得到σ（采樣σ）的估計(jì)值。

但總的來說，整合并不容易。但是我們可以使用A的導(dǎo)數(shù)來計(jì)算矩并求解分布參數(shù)。例如，在 gamma 分布中，其參數(shù)α和β可以從樣本均值和方差估計(jì)。