貝葉斯定理公式:
p(c)為類先驗(yàn)概率 p(x|c)為樣本x相對(duì)于類別c的條件概率 p(x)用于歸一化的證據(jù)因子,對(duì)給定樣本x,與類別無關(guān) p(c|x)即后驗(yàn)概率,我們想要求得的概率 從貝葉斯定理到樸素貝葉斯分類器: 由上面貝葉斯定理公式來估計(jì)后驗(yàn)概率的主要困難在于:類條件概率 是所有屬性上的聯(lián)合概率,難以從有限的訓(xùn)練樣本中直接估計(jì)而得,為避開這個(gè)障礙,假設(shè)屬性之間獨(dú)立,即為樸素貝葉斯。 基于屬性條件獨(dú)立性假設(shè),由貝葉斯定理可得下式:
其中 d為屬性數(shù)目, xi 為第i個(gè)屬性的取值,對(duì)于所有類別來說 相同,因此上式可改寫為下式,即為樸素貝葉斯分類器表達(dá)式:
樸素貝葉斯分類器的例子就不舉了,推薦看周志華老師的西瓜書貝葉斯的例子,很通俗易懂 從樸素貝葉斯分類器到靜態(tài)貝葉斯網(wǎng) 貝葉斯網(wǎng)是一種有向無環(huán)圖,來刻畫屬性之間的依賴關(guān)系,并使用條件概率表來描述屬性的聯(lián)合概率分布,給定父結(jié)點(diǎn)集,貝葉斯網(wǎng)假設(shè)每個(gè)屬性與他的非后裔屬性獨(dú)立,如下圖所示。
貝葉斯網(wǎng)中包含隱含節(jié)點(diǎn)(好瓜、甜度),觀測(cè)節(jié)點(diǎn)(敲聲、色澤、根蒂),確定好貝葉斯網(wǎng)結(jié)構(gòu)后,需要確定先驗(yàn)概率,條件概率表,代入公式計(jì)算所有節(jié)點(diǎn)的聯(lián)合概率。公式與樸素貝葉斯分類器公式相像。貝葉斯網(wǎng)中父結(jié)點(diǎn)可以是多個(gè)的。 貝葉斯網(wǎng)計(jì)算公式:
π代表x的父結(jié)點(diǎn)集合 西瓜網(wǎng)絡(luò)的計(jì)算公式為:
從靜態(tài)貝葉斯網(wǎng)到動(dòng)態(tài)貝葉斯網(wǎng): 動(dòng)態(tài)貝葉斯實(shí)質(zhì)上是在靜態(tài)網(wǎng)絡(luò)中加入了時(shí)間因素,動(dòng)態(tài)指的是時(shí)間的變化,而不是網(wǎng)絡(luò)結(jié)構(gòu)的動(dòng)態(tài),這里舉一個(gè)空戰(zhàn)中威脅評(píng)估的例子。在防空威脅評(píng)估中,一個(gè)檢測(cè)目標(biāo)的威脅等級(jí)往往取決于該目標(biāo)的速度、高度、距離、類型、航路捷徑等因素。建立靜態(tài)貝葉斯網(wǎng)如下圖。
動(dòng)態(tài)網(wǎng)絡(luò),兩個(gè)時(shí)間片:
動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)求解所需要的條件: 先驗(yàn)網(wǎng)絡(luò):即靜態(tài)貝葉斯網(wǎng)絡(luò),確定網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu); 先驗(yàn)概率:相當(dāng)于求好瓜里面的 p?值,一般由專家知識(shí)給出,取值一般較折衷; 條件概率表:表內(nèi)存儲(chǔ)例如在威脅等級(jí)為高的情況下目標(biāo)速度為高的概率,一般由專家知識(shí)給出。 狀態(tài)轉(zhuǎn)移概率表:計(jì)算出t時(shí)刻的威脅等級(jí)后,乘狀態(tài)轉(zhuǎn)移概率表所得作為下一時(shí)刻的先驗(yàn)概率。 監(jiān)測(cè)目標(biāo)的狀態(tài)值:一般為離散的,可通過觀測(cè),儀器檢測(cè)得到。 在進(jìn)行防空威脅評(píng)估時(shí),往往無法確定某檢測(cè)目標(biāo)屬于高、中、低的準(zhǔn)確值,于是引入模糊數(shù)學(xué)的概念,在西瓜例子中先驗(yàn)概率 p?為一個(gè)具體值,引入模糊概念后,先驗(yàn)概率變?yōu)榱艘粋€(gè)模糊集合,如監(jiān)測(cè)目標(biāo)威脅度對(duì)高中低的隸屬度分別為(0.3,0.3,0.4),在計(jì)算過程中也有所不同,多了一個(gè)累加的過程。 *模糊動(dòng)態(tài)貝葉斯網(wǎng)計(jì)算步驟: 具備先驗(yàn)概率、條件概率表、狀態(tài)轉(zhuǎn)移概率表、監(jiān)測(cè)目標(biāo)觀測(cè)值四個(gè)前提后,按照下式計(jì)算:
上式還需要乘對(duì)應(yīng)等級(jí)的先驗(yàn)概率,最后對(duì),高、中、低三種概率值做歸一化處理。得到是當(dāng)前時(shí)刻的威脅模糊集合,乘狀態(tài)轉(zhuǎn)移矩陣,即可作為下一時(shí)刻的先驗(yàn)概率,以此類推
|