概率圖模型（Probabilistic Graphical Model）系列來(lái)自Stanford公開課Probabilistic Graphical Model中Daphne Koller 老師的講解。（https://class./pgm-2012-002/class/index）

主要內(nèi)容包括（轉(zhuǎn)載請(qǐng)注明原始出處http://blog.csdn.net/yangliuy）

1.    貝葉斯網(wǎng)絡(luò)及馬爾可夫網(wǎng)絡(luò)的概率圖模型表示及變形。

2.    Reasoning 及Inference 方法，包括exact inference (variable elimination, clique trees) 和 approximate inference(belief propagation message passing, Markov chain Monte Carlo methods)。

3.    概率圖模型中參數(shù)及結(jié)構(gòu)的learning方法。

4.    使用概率圖模型進(jìn)行統(tǒng)計(jì)決策建模。

第一講. 貝葉斯網(wǎng)絡(luò)基礎(chǔ)

1、貝葉斯網(wǎng)絡(luò)的定義

        貝葉斯網(wǎng)絡(luò)是一個(gè)有向無(wú)環(huán)圖，其中結(jié)點(diǎn)代表了隨機(jī)變量，邊代表了隨機(jī)變量之間的概率關(guān)系，其聯(lián)合概率分布可以用貝葉斯鏈?zhǔn)椒▌t來(lái)表示

其中ParG(Xi)表示結(jié)點(diǎn)Xi在圖G中的父節(jié)點(diǎn)對(duì)應(yīng)的隨機(jī)變量。

2、貝葉斯網(wǎng)絡(luò)中概率影響的流動(dòng)（Flow of Probabilistic Influence）

概率影響的流動(dòng)性反應(yīng)了貝葉斯網(wǎng)絡(luò)中隨機(jī)變量條件獨(dú)立性關(guān)系，如下圖所示

圖中貝葉斯網(wǎng)絡(luò)模型反映如下四個(gè)隨機(jī)變量之間的關(guān)系

Difficulty 課程難度

Intelligence 學(xué)生聰明程度

Grade 學(xué)生課程成績(jī)

SAT 學(xué)生高考成績(jī)

Letter 學(xué)生是否可以得到教授工作推薦信

在左邊對(duì)應(yīng)的六種情況下，只有最后一種情況X→W←Y下X的概率不會(huì)影響到Y(jié)的概率。這是因?yàn)閃不是被觀察變量，其值是未知的，因此隨機(jī)變量X的值不會(huì)影響隨機(jī)變量Y的取值。有趣的是，當(dāng)中間W變量成為被觀察變量，上述結(jié)論就會(huì)發(fā)生變化。如下圖所示

當(dāng)W?Z時(shí)，即W為觀察變量時(shí)，所有判斷會(huì)變得相反。仍然以 X→W← Y 為例，此時(shí)W的值已知，比如已知某個(gè)學(xué)生Grade為B，那么此時(shí)學(xué)生的聰明程度Intelligence和課程難度Difficulty就不再條件獨(dú)立了。比如，這種情況下如果課程比較容易，那邊學(xué)生很聰明的概率較??；反之，若課程很難，則學(xué)生很聰明的概率較大。其他情況可以采用右邊這個(gè)貝葉斯網(wǎng)絡(luò)例子來(lái)理解。

3 Active Trails

   經(jīng)過(guò)第2部分的分析，我們可以歸納如下結(jié)論

Atrail X1 ─ … ─ Xn is active if:

it has no v-structures

Atrail X1 ─ … ─ Xn is active given Z if:

– for any v-structure Xi-1 → Xi← Xi+1 we have that Xi or one of its descendants ∈Z

– no other Xi is in Z

顯然如果X1 ─ … ─Xn is active，那么X1和Xn就不再條件獨(dú)立。

4 Independence in Graph

有了2-3部分的基礎(chǔ)，容易得出如下結(jié)論

練習(xí)題

答案選1和3。解析：由于G被觀察，那么2中IGL這條路徑就不再active，因?yàn)榻o定G后，I無(wú)法影響L的概率。而4中SJL這個(gè)v結(jié)構(gòu)不是active的，因?yàn)镴是未觀察變量，S不能影響L的概率。 故而2和4都錯(cuò)誤。1和3都是active的。

如果兩個(gè)結(jié)點(diǎn)之間不存在任何Active Trails, 那么我們稱這兩個(gè)結(jié)點(diǎn) d-separation 。有了d-separation 的概念，下面我們給出I-Map的定義

本課程最后給出了Na?ve Bayes算法的介紹，這個(gè)算法可以參見我的博文數(shù)據(jù)挖掘-基于貝葉斯算法及KNN算法的newsgroup18828文本分類器的JAVA實(shí)現(xiàn)（上）

有給算法的詳細(xì)介紹和實(shí)現(xiàn)。

好了，第一講到此結(jié)束，下一講我們介紹Template Model及條件概率分布模型CPD。