一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

信息熵的概念

 篩子 2009-02-13
 
附錄——信息熵
 

  在申農(nóng)信息理論中所論對(duì)象是符號(hào)編碼系統(tǒng)。為了給出該系統(tǒng)信息編碼能力,申農(nóng)巧妙地變更視點(diǎn),引入隨機(jī)事件不確定性觀念以及表征不確定性函數(shù)H順利地處置了這個(gè)問(wèn)題。就通訊工程理論而論,問(wèn)題得到圓滿解決,對(duì)問(wèn)題研究也就該截止到這里了。但是,為什么又把這個(gè)意義已然明確的不確定性函數(shù)叫做信息熵呢?

  如所周知,“熵”是熱力學(xué)函數(shù),在統(tǒng)計(jì)力學(xué)中所導(dǎo)出的熵?zé)o非是對(duì)熱力學(xué)中提出的熵函數(shù)所做出的統(tǒng)計(jì)詮釋。這就是說(shuō),熵函數(shù)原本是對(duì)物質(zhì)系統(tǒng)宏觀狀態(tài)演化的數(shù)學(xué)陳述??墒窃谛畔⒄撝?,所論對(duì)象不是一個(gè)物質(zhì)系統(tǒng),而是一個(gè)符號(hào)編碼系統(tǒng)。到底出于什么原因、理由或根據(jù)把針對(duì)兩個(gè)性質(zhì)迥異系統(tǒng)的毫無(wú)干系的性狀的函數(shù)卻使用“熵”這個(gè)語(yǔ)詞做出涵蓋呢?我們建立這個(gè)附錄就是對(duì)這一問(wèn)題做出明確回復(fù)的嘗試。

  我們認(rèn)為,把這兩個(gè)相距遙遠(yuǎn)領(lǐng)域的函數(shù)連系在一起的依據(jù)就是熱力學(xué)第二定律。愛(ài)因斯坦說(shuō)過(guò)“一種理論前提越為簡(jiǎn)練,涉及的內(nèi)容越為紛雜,適用的領(lǐng)域越為廣泛,那種理論就越為偉大。經(jīng)典熱力學(xué)就是因此給我留下了極其深刻的印象。我相信只有內(nèi)容廣泛而又普遍的熱力學(xué)理論才能通過(guò)其基本概念的運(yùn)用而永遠(yuǎn)站穩(wěn)腳跟。”[1]

  我們?cè)诒緯谌玛U述如何使語(yǔ)言信息編碼和信息之間保持單義性的舉例中,引述過(guò)熱力學(xué)第二定律。當(dāng)然,這樣的語(yǔ)言形態(tài)確實(shí)給人一種不食人間煙火的感覺(jué)。其實(shí),熱力學(xué)第二定律的作用早就為人們所知曉,以至達(dá)到日用而不知的地步了。在英語(yǔ)中的虛擬語(yǔ)氣就是這種觀念在信息符號(hào)編碼關(guān)系上的反映。如“ If I were young. ”實(shí)際上能再“ young ”一次嗎?此外,沸水不再加熱,放置在室內(nèi)最終會(huì)涼下來(lái)。而不對(duì)涼水加熱,涼水絕對(duì)不會(huì)自動(dòng)升溫達(dá)到沸騰,同樣,不對(duì)涼水冷卻,涼水也絕對(duì)不會(huì)自動(dòng)結(jié)冰。上述這些情況都顯示出熱力學(xué)第二定律的作用。倘若有人堅(jiān)持聲稱確有上述現(xiàn)象,不但沒(méi)人相信,甚至?xí)ㄗh此人該接受心理治療以消除其妄想狂。由此可見(jiàn),人們對(duì)熱力學(xué)第二定律的認(rèn)識(shí)該有多么深刻了。以我們引述形態(tài)顯示的熱力學(xué)第二定律只是出于使陳述滿足單義性、普遍性要求才被“加工改造”成這么個(gè)形態(tài),其基本精神依然未變。

  在我們對(duì)熵函數(shù)跨越物理系統(tǒng)和信息編碼系統(tǒng)之間關(guān)系研究中,必然要引用物理學(xué)、信息論和數(shù)學(xué)等研究結(jié)果。這些結(jié)果都是上述學(xué)科中的基礎(chǔ)內(nèi)容,因此,無(wú)須在這里重復(fù)陳述。涉及熱力學(xué)和統(tǒng)計(jì)物理學(xué)內(nèi)容可以參考蘇汝鏗編著的《統(tǒng)計(jì)物理學(xué)教程》,信息熵可參考周炯槃編著的《信息理論基礎(chǔ)》,概率論部分可參考復(fù)旦大學(xué)編寫的《概率論》。綜合陳述可參考馮端等撰寫的《熵》。下面我們先將熱力學(xué)、統(tǒng)計(jì)物理學(xué)和信息熵羅列出來(lái),分別明確其內(nèi)涵,然后再進(jìn)行橫向比照,尋求其相通之處,進(jìn)而明確把信息編碼不確定性叫做信息熵的理由和根據(jù)。



1.熱力學(xué)熵函數(shù)

  盡管熱學(xué)或熱力學(xué)的內(nèi)容早已突破以獲取機(jī)械功為目標(biāo)的熱功轉(zhuǎn)化的研究探討范圍,但是從熱力學(xué)第零、一、二定律以及與其相關(guān)的諸如平衡態(tài)、準(zhǔn)靜態(tài)過(guò)程、狀態(tài)參量、過(guò)程方程等概念體系中依然鮮明地顯示出這個(gè)歷史痕跡。從以獲取機(jī)械功為目標(biāo)的熱功轉(zhuǎn)化這一研究導(dǎo)向?qū)徱暉崃W(xué)概念體系,那么諸如平衡態(tài)、準(zhǔn)靜態(tài)過(guò)程、狀態(tài)參量、過(guò)程方程等就是落實(shí)這一研究導(dǎo)向所必須的步驟,而不是在某些熱力學(xué)教程中顯示出來(lái)的,為使概念體系邏輯關(guān)系嚴(yán)整而進(jìn)行的必要的安排。

  從當(dāng)前的視點(diǎn)看,以上述導(dǎo)向研究其階段性成果就是工程熱力學(xué)。就其發(fā)展進(jìn)程順序看,這同時(shí)也是熱力學(xué)進(jìn)展肇始期間的研究導(dǎo)向。當(dāng)然,熱力學(xué)的研究范圍不可能局限在這里,必定要拓展開(kāi)來(lái)。但是在拓展中所使用或憑借的概念體系只能是來(lái)自工程熱力學(xué)中的概念體系,即使此后出現(xiàn)的超越乃至變更也只能是相對(duì)于工程熱力學(xué)概念體系的超越和變更。從超越和變更的意義上說(shuō),依據(jù)上述研究導(dǎo)向來(lái)明確工程熱力學(xué)的概念體系就十分必要了。只有明確了借以超越的基礎(chǔ)之后,才能明確在哪里超越,超越了什么以及超越的程度。

  以獲取機(jī)械功為目標(biāo)的熱功轉(zhuǎn)化的研究導(dǎo)向不是物理學(xué)自身演化的表現(xiàn),而是人類社會(huì)需求的反映。人類生存需要能量。人類生存最直接的能量需求除去食物之外就是機(jī)械功了。機(jī)械功就是超越各種具體條件的,對(duì)實(shí)際功效的一種普適的量度。這種基于生存需求所導(dǎo)致的對(duì)機(jī)械功的獲取,必然表現(xiàn)在對(duì)物理上本來(lái)平等的各種能量形態(tài)選擇上介入了人類自己的價(jià)值取向。這就是把機(jī)械功看作是最有價(jià)值的能量,并且成為評(píng)價(jià)能量“品質(zhì)”的標(biāo)準(zhǔn)。在熱力學(xué)中諸如熱效率、可用能以及熱貶等概念無(wú)一不是這種人類價(jià)值取向的反映。

  回顧熱力學(xué)進(jìn)展可以看出,就熱功轉(zhuǎn)化而言,這一轉(zhuǎn)化的物理機(jī)制在卡諾那里已然完成了。雖然卡諾使用的是熱質(zhì)論,然而這畢竟是一種機(jī)制上的解釋。這個(gè)問(wèn)題在許多物理教程中趨避猶恐不及,更遑論陳述。只有在王竹溪著的熱力學(xué)教程中給出用熱質(zhì)論證明卡諾定理。就工程應(yīng)用看,提出基于熱質(zhì)論熱量,冷量并無(wú)不可,甚至更便于陳述操作。

  就物理學(xué)而論,由于熱功當(dāng)量實(shí)驗(yàn)否定了熱質(zhì)論。對(duì)于熱功轉(zhuǎn)換機(jī)制及其限度就可以用熱力學(xué)第二定律予以解釋。熱力學(xué)第二定律的提出標(biāo)志著對(duì)熱運(yùn)動(dòng)現(xiàn)象研究已經(jīng)開(kāi)始從“以獲取機(jī)械功為目標(biāo)的熱功轉(zhuǎn)化的研究”拓展到物理研究了。不過(guò)在這個(gè)范圍內(nèi),熵函數(shù)有以下兩個(gè)意義。首先,從工質(zhì)的熵改變,即熵差可以計(jì)算出在熱功轉(zhuǎn)化過(guò)程中工質(zhì)實(shí)際獲得(或放出)的熱量,這個(gè)熱量或熵差是動(dòng)力工程中用于評(píng)價(jià)該動(dòng)力設(shè)施效能的重要指標(biāo)。其次,熵本身也表示熱量的品質(zhì),也就是熱量的貶值程度。當(dāng)然,這種品質(zhì)是以轉(zhuǎn)化機(jī)械功多少來(lái)評(píng)價(jià)的。

  從物理方面看,包括熵函數(shù)在內(nèi)的熱力學(xué)第二定律一方面表明各種運(yùn)動(dòng)形態(tài)之間相互轉(zhuǎn)化盡管可能,但是并不是等量對(duì)稱轉(zhuǎn)化,功可以完全轉(zhuǎn)化為熱,而熱只能部分而不能全部轉(zhuǎn)化為功。不過(guò),我認(rèn)為更重要的方面在于從過(guò)程的不可逆性顯示出時(shí)間的單向性。時(shí)間不再是古典力學(xué)中的個(gè)可正可負(fù)的參量,而是一個(gè)物理事實(shí)。由于宏觀過(guò)程的不可逆性,即無(wú)法徹底消除過(guò)程的影響,因此使得過(guò)程前和過(guò)程后的差異保存下來(lái)而顯示前后差異。從這種意義上看,時(shí)間就是一種無(wú)可忽視的 being 。從熱力學(xué)第二定律可以看出,具體過(guò)程形形色色難以計(jì)數(shù),但是,就如同機(jī)械功量度了各種功效一樣,時(shí)間也有類似的,超越過(guò)程具體形態(tài)的普適的度量意義。“如此星辰非昨夜”,是對(duì)熱力學(xué)第二定律具有情感色彩的藝術(shù)寫照。

  熵函數(shù)是用數(shù)學(xué)形式對(duì)物理問(wèn)題的陳述。如果用 S 表示所論系統(tǒng)的熵函數(shù),T該系統(tǒng)溫度,dQ表示傳入系統(tǒng)的熱量,那么它們之間將有這樣的數(shù)量關(guān)系 dS= 。由于建立這一數(shù)量關(guān)系的基礎(chǔ)或理由是熱力學(xué)第二定律,基于這種邏輯關(guān)系,可以說(shuō)熵函數(shù)反映了熱力學(xué)第二定律。

2.統(tǒng)計(jì)物理學(xué)中的熵函數(shù)

  確切地說(shuō)該是統(tǒng)計(jì)熱力學(xué)的熵函數(shù)。熱力學(xué)是宏觀規(guī)律,其特征是唯象的,也就是不追究其底里。這是一種研究視點(diǎn)。此外,由于所論物理系統(tǒng)都是由分子構(gòu)成,而且不同分子構(gòu)成的物質(zhì)系統(tǒng)的宏觀表現(xiàn)也大相徑庭,從大量分子運(yùn)動(dòng)的視點(diǎn)研究分子運(yùn)動(dòng)與其宏觀表象之間關(guān)系也是一種研究方向。統(tǒng)計(jì)熱力學(xué)就是從這個(gè)觀點(diǎn)來(lái)研究包括從分子運(yùn)動(dòng)導(dǎo)出熵函數(shù)在內(nèi)的各種熱力學(xué)參量。

  從由大量分子運(yùn)動(dòng)研究所組成系統(tǒng)的宏觀現(xiàn)象需要使用統(tǒng)計(jì)方法這種數(shù)學(xué)工具。不過(guò),要使用這種方法必須建構(gòu)顯示分子運(yùn)動(dòng)(微觀現(xiàn)象)的數(shù)學(xué)模型,并且在此基礎(chǔ)之上建構(gòu)恰當(dāng)?shù)臄?shù)學(xué)平臺(tái)(好象說(shuō)舞臺(tái)更準(zhǔn)確),通過(guò)這種數(shù)學(xué)模型的在該平臺(tái)上的“表演”顯示出由大量分子運(yùn)動(dòng)構(gòu)成系統(tǒng)的宏觀行為。依據(jù)數(shù)學(xué)模型所進(jìn)行的推演(不完全是數(shù)學(xué)邏輯演繹)就是實(shí)現(xiàn)顯示這種“表演”的必要步驟。這里我們只關(guān)注“表演”結(jié)果,所以,中間的推演就可以暫且略去。推演結(jié)果就是第一章給出的結(jié)果。

  統(tǒng)計(jì)熱力學(xué)中熵函數(shù)形式為 S=k ln 叫熱力學(xué)幾率,符號(hào) T 表示熱力學(xué),不是函數(shù)的冪。其中 W= 這里 N= ;ω = 這里 是相空間中相格的體積,ω是全體相格的體積。這里的 是粒子處于相格 中的概率。

3.有關(guān)概率問(wèn)題

  在申農(nóng)處置編碼符號(hào)系統(tǒng)信息量時(shí)使用了隨機(jī)事件不確定性概念,這是概率論中的概念。為了理解、揭示申農(nóng)的思想,我們需要對(duì)隨機(jī)事件、隨機(jī)事件的概率以及隨機(jī)事件的不確定性取得明確的認(rèn)識(shí)。

  概率論是數(shù)學(xué)的重要分支,有關(guān)文獻(xiàn)極多。可是從認(rèn)識(shí)論討論概率的文獻(xiàn)卻很難查找,至于系統(tǒng)闡述并且回答 What is Probability ?的文獻(xiàn)我只見(jiàn)到過(guò)意大利羅馬大學(xué) Prof. B. De Finitti 在其撰寫的《 Probability 》英譯本中進(jìn)行過(guò)論述。 Prof. B. De Finitti 是把 uncertainty 當(dāng)作核心概念,而 uncertainty 則是 the extent of our own knowledge and ignorance ,于是問(wèn)題就轉(zhuǎn)化為 knowledge 和 ignorance 方面。這就是說(shuō),一旦我們把 ignorance 變成 knowledge 就無(wú)須概率了。不過(guò),這種認(rèn)識(shí)早就被量子力學(xué)所否定,那里的物理量是無(wú)法滿足 knowledge 要求,只能用 Probability 的平方予以表示。這樣, De Finitti 的論述就只好放棄。

  需要指出,從認(rèn)識(shí)論角度對(duì) What is Probability ?做出回答對(duì)我們是十分必要的。因?yàn)樾畔㈧氐臄?shù)學(xué)形式就是 H(A 1 , A 2 ,… An)= - 這里 A 1 , A 2 ,… An 是 n 個(gè)隨機(jī)事件, 是隨機(jī)事件 A j 的概率。如果不從認(rèn)識(shí)論角度對(duì) What is Probability ?給予正面回答就等于沒(méi)有把信息熵概念闡述清楚。

  就我們面對(duì)的情況而言,無(wú)論是信息熵還是統(tǒng)計(jì)熱力學(xué)的熵都是對(duì)所論系統(tǒng)狀態(tài)的數(shù)學(xué)表征。我們的所論系統(tǒng)又不是一個(gè)虛構(gòu)的系統(tǒng),而是一個(gè)確實(shí)能為我們自身肌體所覺(jué)知的系統(tǒng)。倘若表征這么個(gè)實(shí)實(shí)在在系統(tǒng)的量中還有一個(gè)我們尚且語(yǔ)焉不詳?shù)某煞?,就研究而論就相?dāng)于只是把問(wèn)題和困難轉(zhuǎn)移,而沒(méi)有徹底解決。

  數(shù)學(xué)不是哲學(xué),從認(rèn)識(shí)論角度對(duì)What is Probability ?做出回答只能在科學(xué)哲學(xué)文獻(xiàn)中尋找。

  概率是對(duì)模態(tài)命題中那些有資格成為概然判斷的可能性差別所做出的數(shù)量描述。從哲學(xué)上看,“由于我們稱為知識(shí)的東西是由判斷( judgment )構(gòu)成的,所以知識(shí)的對(duì)象是由命題表達(dá)的事物的狀態(tài)。”[2] 在數(shù)理邏輯中命題種類很多,我們這里所關(guān)注的就是有關(guān)可能性的模態(tài)命題。“必然性和可能性是事物和認(rèn)識(shí)的模態(tài),反映必然性和可能性的命題也具有共同的形式結(jié)構(gòu)。”“模態(tài)邏輯的對(duì)象是命題的模態(tài)形式。”[3] 模態(tài)命題原文是 Modal proposition 。從英語(yǔ)詞典中 Modal 的釋義為 n. verb that is used with other verb (not a modal) to express possibility, permission, obligation, etc. adj. relating to mode or manner, in contrast to substance. 從這一情況可以看出,將 Modal proposition 翻譯成模態(tài)命題該是音譯。在模態(tài)邏輯中引入符號(hào)◇表示可能。如命題 p 可能真將表示成◇ p 。[4]

  這里順帶指出,就我們使用來(lái)說(shuō),所謂判斷就是那些確認(rèn)為“真”( true )的命題。不過(guò)這里的“真”有兩重意義。這個(gè)命題首先是形式邏輯上的真命題,此外,還要在形式邏輯之外,即從實(shí)踐上確認(rèn)該命題為真。只有確認(rèn)這兩個(gè)方面為“真”該命題才具有承擔(dān)思維運(yùn)動(dòng)中判斷的資格。

  從經(jīng)驗(yàn)可知,命題的可能性有差異,也就是可能性大小不同。對(duì)模態(tài)命題形式結(jié)構(gòu)關(guān)系研究是數(shù)理邏輯的工作;對(duì)模態(tài)命題可能性差異的數(shù)量描述是概率論的工作。從表面現(xiàn)象上看,模態(tài)命題都有可能性的差異,不過(guò)并不是所以模態(tài)命題的可能性差異都可以使用概率予以方物。英國(guó)數(shù)學(xué)家、哲學(xué)家羅素對(duì)這一情況做出了清晰的闡述。他指出“數(shù)學(xué)上的概率永遠(yuǎn)由兩個(gè)命題的組合而產(chǎn)生的,我們可能完全知道其中的一個(gè)命題,而對(duì)另外一個(gè)命題毫無(wú)所知。”[5] 至于“……已經(jīng)變得模糊到不再有把握相信得遙遠(yuǎn)得記憶,暗淡到讓我們懷疑是否真實(shí)存在的星體,或者輕微到是我們以為也許只是想象出來(lái)的聲音”則涉及到“這個(gè)命題的不確實(shí)性或可信性的程度。這是與數(shù)學(xué)上的概率完全不同的一個(gè)概念,……。”[6] 羅素的論述明確限定了在模態(tài)命題中以概率這一數(shù)量指標(biāo)對(duì)其可能性差異做出陳述的界限。也可以說(shuō),我們確知命題所指對(duì)象,即完全知道的第一個(gè)命題,但是無(wú)法事先確知出現(xiàn)的到底是哪個(gè)所論情況,即毫無(wú)所知的第二個(gè)命題,只有在這種條件下才能夠用概率予以陳述。用數(shù)學(xué)術(shù)語(yǔ)陳述就是所論對(duì)象必須是可測(cè)集( measurable set )。對(duì)那些符合上述條件且實(shí)踐上為“真”的模態(tài)命題我們將其稱之為概然判斷。概率就是對(duì)概然判斷可能性大小的數(shù)量描述。而對(duì)那些是否當(dāng)真有( being )所論對(duì)象的命題盡管也可以做出模態(tài)命題,但是這類命題就不在概率陳述范圍之內(nèi)。

  在明確了這個(gè)情況之后,我們可以集中探討概然判斷中可能性的差異問(wèn)題了。

  如上所述,可能性有差異這一認(rèn)識(shí)來(lái)自經(jīng)驗(yàn)。簡(jiǎn)要地說(shuō),就是在所論對(duì)象諸多情況中,那些出現(xiàn)次數(shù)多的表示可能性大,反之則表示小。這是建立概率概念的至關(guān)重要的知覺(jué)基礎(chǔ),雖然在陳述上顯得粗糙。下面通過(guò)一事例對(duì)此作出說(shuō)明,比如,一副撲克牌,它乃是印有 13 × 4 個(gè)不同圖案的卡片,現(xiàn)從中任抽取一張,我們肯定知道所抽取的一定是這 52 張牌中的一張(這是必然判斷,也就是羅素所說(shuō)的完全知道的第一個(gè)命題),但是不能確切地指出到底抽取到哪一張(也就是羅素所說(shuō)的對(duì)到底取哪一張毫無(wú)所知),只能說(shuō)可能抽取到哪一張,也就是說(shuō)對(duì)抽取結(jié)果只能作出概然判斷,這就是數(shù)學(xué)概率論所要研究的概然判斷,抽取撲克牌的操作就叫做隨機(jī)試驗(yàn),抽取的結(jié)果叫做隨機(jī)事件。因此,所謂隨機(jī)試驗(yàn),其特征就是我們完全知曉該隨機(jī)試驗(yàn)有什么樣的可能結(jié)果和多少(不一定局限于自然數(shù))可能結(jié)果,但是對(duì)到底出現(xiàn)哪個(gè)結(jié)果只能作出概然判斷。在此范圍之外的模態(tài)命題都不能使用數(shù)學(xué)概率予以陳述。至于處置某些具體問(wèn)題時(shí)如何使用概率,我們認(rèn)為主要根據(jù)羅素觀念的基本精神,相機(jī)行事,靈活處理,決不局限于抽取撲克牌這一種模式。

  由于隨機(jī)試驗(yàn)的特點(diǎn)是不能事先準(zhǔn)確地預(yù)言它的結(jié)果,而且在相同條件下可以重復(fù)進(jìn)行,由此可以提出頻率的概念以顯示隨機(jī)試驗(yàn)的情況。

  在 N 次隨機(jī)試驗(yàn)中,隨機(jī)事件 A 出現(xiàn) n 次,則稱 F N (A)= 為隨機(jī)試驗(yàn) A 在 N 次試驗(yàn)中出現(xiàn)的頻率。在長(zhǎng)期實(shí)踐中發(fā)現(xiàn),雖然個(gè)別隨機(jī)事件在某次試驗(yàn)或觀察中可以出現(xiàn)也可以不出現(xiàn),但是,在大量的試驗(yàn)中該隨機(jī)事件出現(xiàn)的頻率呈現(xiàn)出穩(wěn)定性。[7] 這一情況可以推動(dòng)我們?cè)O(shè)法實(shí)踐“用一個(gè)數(shù)字 P(A) 來(lái)標(biāo)志(隨機(jī))事件A出現(xiàn)的可能性”這一設(shè)想。也正是在這種思想促動(dòng)(引誘?)下,可以說(shuō)在邏輯上很粗暴甚至是蠻不講理地提出了概率。下面先看數(shù)學(xué)上是如何提出古典型概率,然后再分析這種觀念的提出何以說(shuō)成是蠻不講理。

  王梓坤在《概率論基礎(chǔ)及其應(yīng)用》一書中提出:

  設(shè)E為一試驗(yàn),如果不能事先準(zhǔn)確地預(yù)言它的結(jié)果,而且在相同條件下可以重復(fù)進(jìn)行,就稱為隨機(jī)試驗(yàn)。以ω表示它的一個(gè)可能的結(jié)果,稱ω為E的一個(gè)基本事件。全體基本事件的集Ω= ( ω ) 稱為基本事件空間。

  ……

  當(dāng)我們多次做某一隨機(jī)試驗(yàn)E時(shí)常常會(huì)察覺(jué)某些事件出現(xiàn)的可能性要大一些,也就是說(shuō),這些事件出現(xiàn)的次數(shù)要多些,而另一些事件出現(xiàn)的可能性小一些。…既然各事件出現(xiàn)的可能性有大有小,自然使人想到該用一個(gè)數(shù)字 P(A) 來(lái)標(biāo)志事件A出現(xiàn)的可能性。較大可能性用較大的數(shù)字標(biāo)志,較小的就用較小的數(shù)字。這數(shù)字 P(A) 就稱為事件A的概率。”[8]

  在講到古典型概率時(shí),王氏指出;

  “如果隨機(jī)試驗(yàn)E具有以下性質(zhì):
   ①只有有限個(gè)不同的基本事件 
   ② 一且基本事件都是等可能的。

  對(duì)古典型的隨機(jī)試驗(yàn)E,Ω=( ),事件A是由K(K≤n)個(gè)不同的基本事件組成,我們就定義隨機(jī)事件A的概率

  所謂基本事件等可能地出現(xiàn)又是什么意思呢?對(duì)此我們不能下數(shù)學(xué)定義而只能做一些解釋。當(dāng)從問(wèn)題的有關(guān)的各個(gè)方面考慮 時(shí),如果它們完全處于平等的地位,誰(shuí)也不比誰(shuí)特別些,這時(shí)就可把它們看成是等可能的。在目前很難用更簡(jiǎn)單的概念來(lái)定義“等可能”,就象集合論中“集合”的概念沒(méi)有明確的數(shù)學(xué)定義一樣,我們無(wú)需感到驚訝,因?yàn)槿绻拍罴资怯奢^簡(jiǎn)單的概念乙來(lái)定義,那么乙也必須用更簡(jiǎn)單的概念丙來(lái)定義,如此下去,最后勢(shì)必會(huì)遇到一個(gè)最基本的概念,我們?cè)俨豢赡?,也不必用其它概念定義它。這時(shí)只需用一些例子或直觀的語(yǔ)言去解說(shuō)它的含義。“等可能”就是這樣一個(gè)概念。”[9] 當(dāng)前數(shù)學(xué)專業(yè)概率論教程中對(duì)概率概念闡述大體相似。所以,援引王氏論述具有一般性。

  以“等可能”觀念為主導(dǎo)還可以推廣到數(shù)目可以是無(wú)限的連續(xù)區(qū)域。實(shí)驗(yàn)的可能結(jié)果是某區(qū)域Ω中的一個(gè)點(diǎn)。這個(gè)區(qū)域可以是一維的,也可以是二維的,還可以是三維的,甚至可以是 n 維的。在這種情況下,無(wú)論是可能結(jié)果全體或是我們所感興趣的結(jié)果都是無(wú)限大的(連續(xù)統(tǒng))。因而這時(shí)等可能性則用以下方式來(lái)賦予意義;落在某區(qū)域 g 的概率與區(qū)域 g 的測(cè)度(長(zhǎng)度、面積、體積等)成正比并且與其位置和形狀無(wú)關(guān)。

  因此,若以 A g 記“在區(qū)域Ω中隨機(jī)地取一點(diǎn),而該點(diǎn)落在區(qū)域 g 中這一事件”,則其概率定義為

  P(A g )= 這里 g 、Ω分別代表該區(qū)域的測(cè)度。[10]

  在實(shí)函數(shù)論則更為直截了當(dāng)?shù)匾?guī)定了個(gè)滿足一定解析條件的測(cè)度空間就叫做概率測(cè)度空間。[11] 這里就好象沒(méi)道理可講了。

  我在這里說(shuō)概率的提出是“蠻不講理”是有原因的。從隨機(jī)試驗(yàn)頻率的穩(wěn)定性使我們從情緒上覺(jué)得這樣提出概率是可接受的。但是把這種意向作為根據(jù)是不行的。在大量的試驗(yàn)中該隨機(jī)事件出現(xiàn)的頻率穩(wěn)定性只能推動(dòng)我們?cè)O(shè)法實(shí)踐“用一個(gè)數(shù)字 P(A) 來(lái)標(biāo)志(隨機(jī))事件A出現(xiàn)的可能性”這一設(shè)想,但是推動(dòng)只是推動(dòng),不能構(gòu)成提出“用一個(gè)數(shù)字 P(A) 來(lái)標(biāo)志(隨機(jī))事件A出現(xiàn)的可能性”這一結(jié)論的依據(jù)。這里面有兩重困難。首先,用有限的試驗(yàn)結(jié)果作為提出“用一個(gè)數(shù)字 P(A) 來(lái)標(biāo)志(隨機(jī))事件A出現(xiàn)的可能性”這一結(jié)論的依據(jù)是不充分的。試驗(yàn)不是思辯,而是實(shí)際操作,因此,無(wú)論做什么隨機(jī)試驗(yàn)以及做多少次隨機(jī)試驗(yàn),我們都將得到一個(gè)有限數(shù)列,當(dāng)若要想得出“用一個(gè)數(shù)字 P(A) 來(lái)標(biāo)志(隨機(jī))事件A出現(xiàn)的可能性”這一結(jié)論,或者說(shuō)要從邏輯上確認(rèn)這一命題為真,那么我們必須從邏輯上證明當(dāng) N →∞時(shí),該數(shù)列必將收斂到某個(gè)確定的數(shù)值,最好是收斂到其頻率。遺憾的是從隨機(jī)試驗(yàn)中除去得到一系列頻率數(shù)值之外不能給我們提供任何一點(diǎn)有助于證明該數(shù)列收斂的線索。其次,即使對(duì)于古典型概率這種最簡(jiǎn)單的情況也要求我們證明隨機(jī)試驗(yàn)的頻率將收斂于古典型概率,不幸,隨機(jī)試驗(yàn)仍然不能提供任何有助于實(shí)現(xiàn)證明的線索。但是如果說(shuō)頻率數(shù)列不收斂到某個(gè)極限也同樣沒(méi)有根據(jù),事實(shí)上,“說(shuō)我們知道頻率極限存在是不對(duì)的,但是說(shuō)我們知道頻率極限不存在也同樣是不對(duì)的。我們面對(duì)的是一種不確定性,我們不知道頻率的極限是否存在。”[12] 在這方面的探索極大地促進(jìn)了歸納邏輯的進(jìn)展。在陳克艱著的《上帝怎樣擲骰子》一書中,作者用了較大的篇幅討論過(guò)此問(wèn)題。

  此時(shí)就把我們這些概率論使用者推到一個(gè)困難選擇的面前了。從隨機(jī)事件的頻率到概率之間出現(xiàn)了無(wú)可回避的邏輯空缺,接受數(shù)學(xué)概率論就意味著置這一邏輯缺失與不顧,這么做還能算是科學(xué)態(tài)度嗎?不接受,我們還能有其它備選的數(shù)學(xué)工具來(lái)處置概然判斷的可能性程度嗎?沒(méi)有。面對(duì)這種進(jìn)退維谷的處境我覺(jué)得還是采用中山大學(xué)物理系 關(guān)洪 先生的觀念為宜。在這個(gè)問(wèn)題上對(duì)數(shù)學(xué)持那種“平庸而通俗”的態(tài)度。甚至可以說(shuō)是用頻率和概率如此一致的誘惑彌合了兩者之間的邏輯缺失,從而確信數(shù)學(xué)上如此這般規(guī)定的概率就是從數(shù)量上描述了概然判斷可能性程度上的差異。

  從表現(xiàn)上看,概率論的公理體系好像是為了擺脫原來(lái)那種經(jīng)驗(yàn)算法的地位向?qū)嵑瘮?shù)論靠攏的邏輯形態(tài)。不過(guò),我認(rèn)為這一公理化體系的意義不僅僅在使用操作上我們可以放心在概率運(yùn)算中大膽地使用實(shí)函數(shù)論所容許的一切數(shù)學(xué)成果,更為重要的是這一公理體系把羅素對(duì)概率論的使用范圍用公理化體系方式勾畫出來(lái),使其表述更為確切,從而劃定了能夠適用概率論的范圍的界限和條件。

  通過(guò)這些分析討論,我們可以對(duì)“ What is Probability ?”做出正面回答了。概率是對(duì)模態(tài)命題中那些有資格成為概然判斷的可能性差別所做出的數(shù)量描述。因此,概率只是數(shù)量陳述,概率論只是對(duì)隨機(jī)事件的陳述性理論,與所論對(duì)象運(yùn)做機(jī)制和所論對(duì)象的性質(zhì)無(wú)關(guān)。更進(jìn)一步說(shuō),對(duì)做出概然判斷對(duì)象到底是有知還是無(wú)知,這種導(dǎo)致有知還是無(wú)知的原因是什么,都不是概率論關(guān)注的問(wèn)題。雖然在某些情況下這些問(wèn)題很重要,甚至需要解決,可是再重要也不屬于概率論范圍,要解決只能在概率論領(lǐng)域之外謀求出路。至于統(tǒng)計(jì)問(wèn)題則是在方法上與概率論相關(guān)的另外問(wèn)題,是概率論的應(yīng)用。在理念和方法上和概率論不同,不可混在一起研究。把概率論和統(tǒng)計(jì)學(xué)放在一起只是便于陳述和教學(xué)使用,沒(méi)有其它必然聯(lián)系。

4.不確定性函數(shù)、信息量和信息熵

  Shannon 對(duì)信息量度問(wèn)題的處置極富于智慧。他不去正面處置,而是變更視點(diǎn),把信息的接收看作是面對(duì)信息編碼符號(hào)的隨機(jī)事件。這就是說(shuō),凡是要傳遞的信息必用符號(hào)須加以編碼,因此,所謂接收信息必然就是得到代表編碼符號(hào)的信號(hào)。這樣看來(lái),就信息運(yùn)動(dòng)而言就是代表編碼符號(hào)的信號(hào)在運(yùn)動(dòng)。從這種意義上說(shuō),我們可以把信息運(yùn)動(dòng)看作是一定有代表符號(hào)的信號(hào)出現(xiàn),可是事先不知道得到的到底是哪個(gè)符號(hào)的隨機(jī)事件。事實(shí)上,單就信號(hào)出現(xiàn)這一情況而言,我們采用這種看法并無(wú)不可。何況,“看作是”也無(wú)非是“看作是”而已,實(shí)際情況該怎樣就怎樣,毫不影響實(shí)際信息運(yùn)動(dòng)。

  從這個(gè)理路出發(fā),我們對(duì)以這一符號(hào)編碼系統(tǒng)加以承載的信息運(yùn)動(dòng)就完全可以看作是能夠用概率予以陳述的的隨機(jī)事件。隨機(jī)事件的特征就是不確定性( uncertainty )。隨機(jī)事件之間的差別就表現(xiàn)在這種不確定性方面的差異。在復(fù)旦大學(xué)編寫的《概率論》中陳述了不確定性差異,這里無(wú)庸贅述。就信息運(yùn)動(dòng)而言,在沒(méi)有信息運(yùn)動(dòng)之前,從信宿看,信源應(yīng)該具有最大的不確定性。在信宿從信源中獲得信息,也就是獲得了符號(hào)之后,信源由于使用了這些符號(hào)從而導(dǎo)致了不確定性的減少,此時(shí)信源在通訊前后不確定性的差值就是信宿獲得的信息數(shù)量。這種對(duì)信息度量的理路不但適用于人際間的信息運(yùn)動(dòng),對(duì)非人際間信息運(yùn)動(dòng)也同樣適用。

  下面述依據(jù)周炯槃編著的《信息理論基礎(chǔ)》、復(fù)旦大學(xué)編寫的《概率論》等文獻(xiàn)闡述隨機(jī)試驗(yàn)不確定性及其解析表示。

  從經(jīng)驗(yàn)上可知隨機(jī)試驗(yàn)的不確定性確有大小差異,能否從數(shù)量上顯示這種差異就是我們必須研究的問(wèn)題。因?yàn)殡S機(jī)事件總有概率與其對(duì)應(yīng)。這樣,對(duì)隨機(jī)事件之不確定性研究就轉(zhuǎn)化為對(duì)該隨機(jī)事件所相應(yīng)概率情況的總體性研究。下面通過(guò)一個(gè)事例顯示這一情況。

  例如,甲乙二人進(jìn)行射擊,以中靶 A 和不中靶 B 作為射擊結(jié)果。中靶概率為 p(A) ,不中靶概率為 p(B) 。其結(jié)果如下

 

  甲 乙

  p(A) p(B) p(A) p(B)

  0.5 0.5 0.3 0.7

 

  對(duì)甲乙射擊情況而言都可以看作是隨機(jī)試驗(yàn)。就這兩個(gè)隨機(jī)試驗(yàn)而言都有不確定性,但是雖然都有不確定性,可是這兩個(gè)不確定性卻有差異。甲的不確定性要比乙的不確定性大。

  從這個(gè)事例中可以看出,不確定性是指隨機(jī)試驗(yàn)而言。不確定性的差異是從構(gòu)成這一隨機(jī)試驗(yàn)的隨機(jī)事件概率取值的差異而顯示出來(lái)的。也就是說(shuō),從構(gòu)成隨機(jī)試驗(yàn)?zāi)切╇S機(jī)事件概率分布的差異顯示出來(lái)的。

  在處置這個(gè)問(wèn)題上申農(nóng)充分展示了作為數(shù)學(xué)家的想象力和機(jī)巧。既然沒(méi)有現(xiàn)成的數(shù)學(xué)形式顯示這種不確定性他就“制作”出一個(gè)能表示這一特點(diǎn)的函數(shù)。通過(guò)數(shù)學(xué)推演得到

  H(A 1 , A 2 ,… An)= - 這里 A 1 , A 2 ,… An 是 n 個(gè)隨機(jī)事件, 是隨機(jī)事件 A j 的概率。

  在第一章的闡述中,闡明了信息熵變化標(biāo)志著信息系統(tǒng)信息運(yùn)動(dòng)狀態(tài)變化,這樣在概念上,信息熵和物理中的熵函數(shù)就完全相通。這里就無(wú)須重復(fù)了。

 

 


參考文獻(xiàn)

[1]里夫金等著 呂明等譯 熵:一種新的世界觀 上海譯文出版社 1987 年 2 月第 1 版 40 頁(yè)
[2](日)末木剛博等著 孫中原等譯 邏輯學(xué)——知識(shí)的基礎(chǔ) 中國(guó)人民大學(xué)出版社 1984.12 第一版 98 頁(yè)
[3]王憲鈞 數(shù)理邏輯引論 北京大學(xué)出版社 1982年6月第一版110頁(yè)
[4]王憲鈞 數(shù)理邏輯引論 北京大學(xué)出版社 1982年6月第一版112頁(yè)
[5](英)羅素 張金言譯 人類的知識(shí) 商務(wù)印書館 1983第1版第401頁(yè)
[6](英)羅素 張金言譯 人類的知識(shí) 商務(wù)印書館 1983第1版第407頁(yè)
[7]復(fù)旦大學(xué)編 概率論 第一冊(cè) 第8頁(yè) 高等教育出版社 1979第1版
[8]王梓坤 概率論基礎(chǔ)及其應(yīng)用 第3頁(yè) 科學(xué)出版社 1976第1版
[9]王梓坤 概率論基礎(chǔ)及其應(yīng)用 第4頁(yè) 科學(xué)出版社 1976第1版
[10]復(fù)旦大學(xué)編 概率論 第一冊(cè) 第37頁(yè) 高等教育出版社 1979第1版
[11]夏道行等編著 實(shí)變函數(shù)論與泛函分析上冊(cè) 第169頁(yè) 高等教育出版社 1978.11第一版
[12]陳克艱 上帝怎樣擲骰子 四川人民出版社 1987年3月第1版87頁(yè)

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多

    国产欧美一区二区另类精品| 中字幕一区二区三区久久蜜桃| 日本人妻免费一区二区三区| 欧美精品女同一区二区| 亚洲黄片在线免费小视频| 欧美国产亚洲一区二区三区| 在线观看免费视频你懂的| 亚洲国产成人精品一区刚刚| 天堂网中文字幕在线观看| 欧洲一区二区三区蜜桃| 日本欧美一区二区三区高清| 亚洲男人天堂网在线视频| 日本高清二区视频久二区| 日本免费一级黄色录像| 色综合久久六月婷婷中文字幕| 国产级别精品一区二区视频| 免费黄片视频美女一区| 91超频在线视频中文字幕 | 国产精品夜色一区二区三区不卡| 在线精品首页中文字幕亚洲| 日韩女优精品一区二区三区| 午夜精品久久久免费视频| 亚洲一区二区精品国产av| 国产欧美另类激情久久久| 精品精品国产欧美在线| 免费性欧美重口味黄色| 国产在线观看不卡一区二区| 国产欧美一区二区色综合| 国产成人亚洲欧美二区综| 久久精品国产亚洲熟女| 久久精品蜜桃一区二区av| 亚洲日本加勒比在线播放| 日韩精品第一区二区三区| 日本高清视频在线观看不卡| 激情综合五月开心久久| 99精品国产自在现线观看| 女同伦理国产精品久久久| 亚洲一区二区精品福利| 黑人粗大一区二区三区| 少妇肥臀一区二区三区| 五月的丁香婷婷综合网|