2.1 貝葉斯公式

2.1.1 二維離散型隨機(jī)變量的貝葉斯公式

對(duì)于二維離散型隨機(jī)變量 ，由其條件概率質(zhì)量函數(shù)與全概率公式，容易得到其貝葉斯公式：

2.1.2 二維連續(xù)型隨機(jī)變量的貝葉斯公式

對(duì)于二維連續(xù)型隨機(jī)變量，由其條件概率密度函數(shù)與全概率公式，容易得到其貝葉斯公式：

2.2 先驗(yàn)概率、似然概率與后驗(yàn)概率

· 被稱為先驗(yàn)概率密度（Prior Probability Density），表示根據(jù)以往的經(jīng)驗(yàn)和分析，在本次試驗(yàn)或采樣前便可獲得的隨機(jī)變量 X 的概率密度；

· 被稱為似然概率密度（Likelihood Probability Density），表示在狀態(tài)隨機(jī)變量 X 取值為 x 的條件下，觀測(cè)隨機(jī)變量 Y 取值為 y 的概率密度，狀態(tài)為因，觀測(cè)為果，即由因推果；

· 被成為后驗(yàn)概率密度（Posterior Probability Density），表示在觀測(cè)隨機(jī)變量 Y 取值為 y 的條件下，狀態(tài)隨機(jī)變量 X 取值為 x 的概率密度，狀態(tài)為因，觀測(cè)為果，即由果推因。

此外，當(dāng) y 為定值時(shí)， 為一常數(shù)，常被稱為貝葉斯公式的歸一化常數(shù)。

2.3 再談似然概率

上文中提到，似然概率密度函數(shù)表示在狀態(tài)隨機(jī)變量 X 取值為 X 的條件下，觀測(cè)隨機(jī)變量 Y  取值為 y 的概率密度。似然概率密度函數(shù)表征了傳感器檢測(cè)精度，對(duì)于給定的狀態(tài)條件 ，觀測(cè)結(jié)果 的概率分布通常有三種模型：

若假定似然概率密度函數(shù)為高斯函數(shù)，此時(shí)，似然概率密度函數(shù)的均值 x 代表狀態(tài)量真值，代表傳感器檢測(cè)精度范圍。若同時(shí)假定先驗(yàn)概率密度函數(shù)為高斯函數(shù)，即：

由于

若 ，則近似有：

若 ，則近似有：

2.4 貝葉斯濾波推導(dǎo)

2.4.1 問題建模

求解 k 時(shí)刻狀態(tài)量隨機(jī)變量  的最優(yōu)估計(jì) 。

以貝葉斯公式為求解方向，將問題轉(zhuǎn)化為求解狀態(tài)量隨機(jī)變量  后驗(yàn)概率密度函數(shù)的期望：

進(jìn)而需要求解狀態(tài)量隨機(jī)變量 的先驗(yàn)概率密度函數(shù)與似然概率密度函數(shù)。我們認(rèn)為，k 時(shí)刻的狀態(tài)量隨機(jī)變量 與且僅與上一時(shí)刻的狀態(tài)量隨機(jī)變量有關(guān)，k 時(shí)刻的觀測(cè)量隨機(jī)變量與且僅與 k 時(shí)刻的狀態(tài)量隨機(jī)變量 有關(guān)，其中的數(shù)量關(guān)系我們分別稱之為狀態(tài)方程與觀測(cè)方程：

 被稱為狀態(tài)轉(zhuǎn)移函數(shù)， 被稱為觀測(cè)函數(shù)。

對(duì)于 0 時(shí)刻的初始狀態(tài)量隨機(jī)變量 ，認(rèn)為觀測(cè)值  即為其真值，其后驗(yàn)概率密度函數(shù)即為其先驗(yàn)概率密度函數(shù)。我們可以根據(jù)經(jīng)驗(yàn)知識(shí)（建模精度和傳感器精度）寫出 0 時(shí)刻的初始狀態(tài)量隨機(jī)變量  的后驗(yàn)概率密度函數(shù) 、k 時(shí)刻過程噪聲隨機(jī)變量 的概率密度函數(shù)  和 k 時(shí)刻觀測(cè)噪聲隨機(jī)變量  的概率密度函數(shù)。

· 各時(shí)刻的狀態(tài)量隨機(jī)變量

· 各時(shí)刻的觀測(cè)量隨機(jī)變量

· 各時(shí)刻的觀測(cè)值

· 各時(shí)刻的過程噪聲隨機(jī)變量

· 各時(shí)刻的觀測(cè)噪聲隨機(jī)變量

· 各時(shí)刻的過程噪聲隨機(jī)變量概率密度函數(shù)

· 各時(shí)刻的觀測(cè)噪聲隨機(jī)變量概率密度函數(shù)

· 各時(shí)刻的狀態(tài)量隨機(jī)變量先驗(yàn)概率密度函數(shù)

· 各時(shí)刻的狀態(tài)量隨機(jī)變量后驗(yàn)概率密度函數(shù)

· 各時(shí)刻狀態(tài)量隨機(jī)變量與觀測(cè)量隨機(jī)變量的似然概率密度函數(shù)

·  分別與  相互獨(dú)立；

·  分別與  相互獨(dú)立；

·  與  相互獨(dú)立；

·  與  相互獨(dú)立。

2.4.2 預(yù)測(cè)步推導(dǎo)

已知 0 時(shí)刻狀態(tài)量隨機(jī)變量  的后驗(yàn)概率密度函數(shù) ，狀態(tài)轉(zhuǎn)移函數(shù)，1 時(shí)刻過程噪聲隨機(jī)變量  的概率密度函數(shù) ，求解 1 時(shí)刻狀態(tài)量隨機(jī)變量  的先驗(yàn)概率密度函數(shù) 。

類似二維連續(xù)型隨機(jī)變量貝葉斯公式的推導(dǎo)過程，我們從求解  的先驗(yàn)累積分布函數(shù)  入手。

故，1 時(shí)刻狀態(tài)量隨機(jī)變量 的先驗(yàn)概率密度函數(shù)為：

2.4.3 更新步推導(dǎo)

已知 1 時(shí)刻觀測(cè)量隨機(jī)變量  的取值，求解 1 時(shí)刻狀態(tài)量隨機(jī)變量與觀測(cè)量隨機(jī)變量的似然概率密度函數(shù) ，并聯(lián)合預(yù)測(cè)步得到的 1 時(shí)刻狀態(tài)量隨機(jī)變量  的先驗(yàn)概率密度函數(shù) ，求解 1 時(shí)刻狀態(tài)量隨機(jī)變量  的后驗(yàn)概率密度函數(shù) 。

首先，求解似然概率密度函數(shù) ：

然后，聯(lián)合預(yù)測(cè)步得到的 1 時(shí)刻狀態(tài)量隨機(jī)變量 的先驗(yàn)概率密度函數(shù) ，求解 1 時(shí)刻狀態(tài)量隨機(jī)變量  的后驗(yàn)概率密度函數(shù) ：

其中，歸一化常數(shù) 為：

2.4.4 遞推流程

由預(yù)測(cè)步和更新步的推導(dǎo)結(jié)果，可得到由 0 時(shí)刻狀態(tài)量隨機(jī)變量  的后驗(yàn)概率密度函數(shù)  到 k 時(shí)刻狀態(tài)量隨機(jī)變量  的后驗(yàn)概率密度函數(shù)  的遞推流程：

其中，歸一化常數(shù)  為：

最終，可得到 k 時(shí)刻狀態(tài)量隨機(jī)變量  的最優(yōu)估計(jì) ：

2.4.5 完整算法框架

初始 0 時(shí)刻狀態(tài)量隨機(jī)變量  的后驗(yàn)概率密度函數(shù)：

k 時(shí)刻狀態(tài)量隨機(jī)變量  的先驗(yàn)概率密度函數(shù)：

k 時(shí)刻狀態(tài)量隨機(jī)變量  的后驗(yàn)概率密度函數(shù)：

歸一化常數(shù) ：

k 時(shí)刻狀態(tài)量隨機(jī)變量  的后驗(yàn)估計(jì)：

2.5 貝葉斯濾波的缺點(diǎn)及解決方法

2.5.1 缺點(diǎn)

從上文的推導(dǎo)及結(jié)論中可以發(fā)現(xiàn)，求解預(yù)測(cè)步中的先驗(yàn)概率密度函數(shù) 、更新步中的歸一化常數(shù) 、最終的最優(yōu)估計(jì)  時(shí)均涉及到無窮積分，而大多數(shù)情況無法得到解析解，使得貝葉斯濾波算法的直接應(yīng)用十分困難。

2.5.2 解決辦法

· 假設(shè)狀態(tài)轉(zhuǎn)移函數(shù)  和觀測(cè)函數(shù)  均為線性函數(shù)，過程噪聲隨機(jī)變量  和 觀測(cè)噪聲隨機(jī)變量  均服從均值為 0 的正態(tài)分布——卡爾曼濾波（Kalman Filter）

· 假設(shè)狀態(tài)轉(zhuǎn)移函數(shù)  和（或）觀測(cè)函數(shù)  為非線性函數(shù)，過程噪聲隨機(jī)變量  和 觀測(cè)噪聲隨機(jī)變量  均服從均值為 0 的正態(tài)分布——擴(kuò)展卡爾曼濾波（Extended Kalman Filter）和無跡卡爾曼濾波（Unscented Kalman Filter）

• 馬同學(xué)數(shù)學(xué)課程：
  https://www./
• 百度百科 - 分布函數(shù)：https://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%87%BD%E6%95%B0/2439796?fr=aladdin
• 百度百科 - 隨機(jī)過程https://baike.baidu.com/item/%E9%9A%8F%E6%9C%BA%E8%BF%87%E7%A8%8B/368895?fr=aladdin
• 如何從深刻地理解隨機(jī)過程的含義？
  https://www.zhihu.com/question/26694486/answer/1272896943
• b站忠實(shí)的王大頭《貝葉斯濾波與卡爾曼濾波》系列教學(xué)視頻
  https://space.bilibili.com/287989852/video
• 你真的搞懂貝葉斯波濾波了嗎？
  https://blog.csdn.net/wq1psa78/article/details/105849353
  
  

鏈接：https://zhuanlan.zhihu.com/p/268624245