基于貝葉斯估計的概率公式推導

dbn9981 2019-12-14

展開全文

統(tǒng)計學習方法第四章貝葉斯估計題

參考1：https://blog.csdn.net/bumingqiu/article/details/73397812

參考2：https://blog.csdn.net/bitcarmanlee/article/details/82156281

一、第一個公式：

$p(Y=c_{k} )=\frac{\lambda+\sum_{i=1}^{N} {I(y_{i}=c_{k})}}{N+K\lambda}, (1)$

其中， $c_{k}$ 為第種類別，共有種；為樣本數目；

證：

設 $p(Y=c_{i})=\pi_{i},i\in [1,K]$ ，且 $(\pi_{1},\pi_{2},...,\pi_{K})$ 服從參數為 $\lambda$ 的Dirichlet分布（先驗分布），則有概率質量函數（即離散變量的概率密度函數）如下：

$\large p(\pi_{1},\pi_{2},...,\pi_{K})=\frac{1}{B(\lambda)}\prod_{i=1}^{K}\pi_{i}^{\lambda-1},(2)$ ;

（2）式可改寫成：

$\large p(\pi_{1},\pi_{2},...,\pi_{K})\propto \prod_{i=1}^{K}\pi_{i}^{\lambda-1},(3)$

設 $M_{j},j\in[1,K]$ 為各類別的觀測數，有：

$M_{j}=\sum_{i=1}^{N}I(y_{i}=c_{j}),j\in[1,K],(4)$

則根據觀測數據對先驗分布改進如下：

$\large p(\overrightarrow{\pi}|\overrightarrow{M})=\frac{p(\overrightarrow{M}|\overrightarrow{\pi})p(\overrightarrow{\pi})}{p(\overrightarrow{M})},(5)$

其中， $\large \overrightarrow{\pi}=(\pi_{1},\pi_{2},...,\pi_{K}),\overrightarrow{M}=(M_{1},M_{2},...,M_{K})$ ，又 $\large p(\overrightarrow{M})$ 是與 $\large \pi$ 無關的量，故（5）式可寫為：

$\large p(\overrightarrow{\pi}|\overrightarrow{M})\propto p(\overrightarrow{M}|\overrightarrow{\pi})p(\overrightarrow{\pi}),(6)$

設 $\large p(\overrightarrow{M}|\overrightarrow{\pi})$ 服從多項分布，則有：

$\large p(\overrightarrow{M}|\overrightarrow{\pi})=\frac{N!}{\prod_{j=1}^{K}M_{j}!}\prod_{j=1}^{K}\pi_{j}^{M_{j}},j\in[1,K],(7)$

(7)式可改寫成：

$\large p(\overrightarrow{M}|\overrightarrow{\pi})\propto \prod_{j=1}^{K}\pi_{j}^{M_{j}},j\in[1,K],(8)$

將(3)式和(8)式帶入(6)式，可得：

$\large p(\overrightarrow{\pi}|\overrightarrow{M})\propto \prod_{j=1}^{K}\pi_{j}^{M_{j}+\lambda-1},(9)$

因此得出結論， $\large \overrightarrow{\pi}$ 的后驗概率 $\large p(\overrightarrow{\pi}|\overrightarrow{M})$ 服從參數為 $\large M_{j}+\lambda$ 的Dirichlet分布：

故 $\large \overrightarrow{\pi}$ 的期望有(Dirichlet分布期望公式):

$\large E(\overrightarrow{\pi})=(\frac{M_{1}+\lambda}{\sum_{j=1}^{K}(M_{j}+\lambda)},\frac{M_{2}+\lambda}{\sum_{j=1}^{K}(M_{j}+\lambda)},...,\frac{M_{K}+\lambda}{\sum_{j=1}^{K}(M_{j}+\lambda)}),(10)$

即有：

$\large E(\pi_{j})=\frac{M_{j}+\lambda}{\sum_{j=1}^{K}(M_{j}+\lambda)}\Leftrightarrow p(Y=c_{k})=\frac{\sum_{i=1}^{N}I(y_{i}=c_{k})+\lambda}{N+K\lambda},(11)$

故原式得證。

二、第二個公式

$p(X^{j}=a_{jl_{j}}|Y=c_{k})=\frac{\sum_{i=1}^{N}I(x_{i}^{j}=a_{jl_{j}},y_{i}=c_{k})+\lambda}{\sum_{i=1}^{N}I(y_{i}=c_{k})+S_{j}\lambda},j\in[1,n],l_{j}\in[1,S_{j}],k\in[1,K],(1)$

其中， $X_{i}^{j}$ 表示第個樣本的第維特征值， $S_{j}$ 表示第維特征可取值個數,表示特征維數，表示類別數，為樣本數；

證明:

參考第一個公式的證明，設：

$p(X^{j}=a_{jl_{j}}|Y=c_{k})=\pi_{l_{j}},l_{j}\in[1,S_{j}]$ ，且 $(\pi_{1},\pi_{2},...,\pi_{S_{j}})$ 服從參數為 $\lambda$ 的Dirichlet分布（先驗分布），則有概率質量函數（即離散變量的概率密度函數）如下：

$\large p(\pi_{1},\pi_{2},...,\pi_{S_{j}})=\frac{1}{B(\lambda)}\prod_{l_{j}=1}^{S_{j}}\pi_{l_{j}}^{\lambda-1},(2)$

(2)是可改寫為：

$\large p(\pi_{1},\pi_{2},...,\pi_{S_{j}})\propto \prod_{l_{j}=1}^{S_{j}}\pi_{l_{j}}^{\lambda-1},(3)$

設 $M_{jl_{j}},j\in[1,n]$ 為第維度 $l_{j}$ 種特征值的觀測數，有：

$M_{jl_j}}=\sum_{i=1}^{N}I(x_{i}^{j}=a_{jl_{j}},y_{i}=c_{k}),j\in[1,n],l_{j}\in[1,S_{j}],(4)$

根據觀測數據對(3)式進行改進如下：

$\large p(\overrightarrow{\pi}|\overrightarrow{M})=\frac{p(\overrightarrow{M}|\overrightarrow{\pi})p(\overrightarrow{\pi})}{p(\overrightarrow{M})},(5)$

其中， $\large \overrightarrow{\pi}=(\pi_{1},\pi_{2},...,\pi_{S_{j}}),\overrightarrow{M}=(M_{j1},M_{j1},...,M_{jS_{j}})$ ，又 $\large p(\overrightarrow{M})$ 是與 $\large \pi$ 無關的量，故（5）式可寫為：

$\large p(\overrightarrow{\pi}|\overrightarrow{M})\propto p(\overrightarrow{M}|\overrightarrow{\pi})p(\overrightarrow{\pi}),(6)$

設 $\large p(\overrightarrow{M}|\overrightarrow{\pi})$ 服從多項分布，則有：

$\large p(\overrightarrow{M}|\overrightarrow{\pi})=\frac{\Gamma (\sum_{i=1}^{N}I(y_{i}=c_{k}))}{\prod_{l_{j}=1}^{S_{j}}\Gamma (M_{jl_{j}})}\prod_{l_{j}=1}^{S_{j}}\pi_{l_{j}}^{M_{jl_{j}}},j\in[1,n],l_{j}\in[1,S_{j}],(7)$

(7)式可改寫為：

$\large p(\overrightarrow{M}|\overrightarrow{\pi})\propto \prod_{l_{j}=1}^{S_{j}}\pi_{l_{j}}^{M_{jl_{j}}},j\in[1,n],l_{j}\in[1,S_{j}],(8)$

將(3)式和(8)式帶入(6)式，則有：

$\large p(\overrightarrow{\pi}|\overrightarrow{M})\propto \prod_{l_{j}=1}^{S_{j}}\pi_{l_{j}}^{M_{jl_{j}}+\lambda-1},(9)$

因此得出結論， $\large \overrightarrow{\pi}$ 的后驗概率 $\large p(\overrightarrow{\pi}|\overrightarrow{M})$ 服從參數為 $\large M_{jl_{j}}+\lambda$ 的Dirichlet分布：

故 $\large \overrightarrow{\pi}$ 的期望有(Dirichlet分布期望公式):

$\large E(\overrightarrow{\pi})=(\frac{M_{i1}+\lambda}{\sum_{l_{j}=1}^{S_{j}}(M_{jl_{j}}+\lambda)},\frac{M_{j2}+\lambda}{\sum_{l_{j}=1}^{S_{j}}(M_{jl_{j}}+\lambda)},...,\frac{M_{jS_{j}}+\lambda}{\sum_{l_{j}=1}^{S_{j}}(M_{jl_{j}}+\lambda)}),(10)$

即有：

$\large E(\pi_{l_{j}})=\frac{M_{jS_{j}}+\lambda}{\sum_{l_{j}=1}^{S_{j}}(M_{jl_{j}}+\lambda)}\Leftrightarrow p(X^{j}=a_{jl_{j}}|Y=c_{k})=\frac{\sum_{i=1}^{N}I(x_{i}^{j}=a_{jl_{j}},y_{i}=c_{k})+\lambda}{\sum_{i=1}^{N}I(y_{i}=c_{k})+S_{j}\lambda},(11)$

于是，原式得證。