(1)定義   

    熵(Entropy)是一個(gè)物理中極為重要的概念，然而卻又是一個(gè)仍未得到完全理解的概念。

    當(dāng)信息論的創(chuàng)始人申農(nóng)(Claude E. Shannon)與馮.諾依曼(von Neumann)討論如何命名他新發(fā)現(xiàn)的度量信息傳輸中不確定性的量時(shí)，馮.諾依曼曾經(jīng)評(píng)論：“You should call it entropy, for two reasons. In the first place your uncertainty function has been used in statistical mechanics under that name, so it already has a name. In the second place, and more important, no one really knows what entropy really is, so in a debate you will always have the advantage.”

    熵最早進(jìn)入物理學(xué)是從熱力學(xué)。德國(guó)物理學(xué)家克勞修斯在研究卡諾循環(huán)時(shí)引入了 Entropy 的概念?？ㄖZ循環(huán)蘊(yùn)含了熱力學(xué)的兩條基本定律。熱力學(xué)第一定律明確了熱是一種可與機(jī)械能相互轉(zhuǎn)換的能量，數(shù)學(xué)表示成能量守恒定律。然而，熱能又與機(jī)械能有所不同，這導(dǎo)致了卡諾熱機(jī)的效率恒小于1，因?yàn)榭倳?huì)有一部分熱能不能轉(zhuǎn)化為機(jī)械能而最終向低溫?zé)嵩瘁尫?，這是熱力學(xué)第二定律。

    克勞修斯思索如何用數(shù)學(xué)形式表達(dá)熱力學(xué)第二定律，他發(fā)現(xiàn)可以定義一個(gè)新的物理量：S=Q/T，即熱溫之商。如此定義的物理量S在一個(gè)可逆的卡諾循環(huán)里變換為零 dS=0，因而S是一個(gè)狀態(tài)函數(shù)（不依賴于過(guò)程）；若熱機(jī)不可逆，則dS>0. 這樣，克勞修斯表述熱力學(xué)第二定律為：在一個(gè)孤立系統(tǒng)之中，dS≥0.

    克勞修斯將這個(gè)新物理量取名為 Entropy,這來(lái)自于希臘語(yǔ)，前綴可見(jiàn) Entropy 與能量 Energy 有關(guān)，而后綴是變換之意，因此 Entropy 這個(gè)物理量聯(lián)系的是能量變換的過(guò)程。寫成S可能是為了紀(jì)念卡諾(N. L. Sadi Carnot).中文翻譯“熵”體現(xiàn)的也是熱溫商之意?？墒?，這個(gè)最初由熱力學(xué)引入的概念在后來(lái)的研究中變成極為重要，其意義也遠(yuǎn)遠(yuǎn)地超越了Entropy或者中文翻譯“熵”所暗示的內(nèi)容，在包括信息學(xué)，宇宙學(xué)等范圍都大放異彩。

    熱力學(xué)研究的是宏觀物理量之間的轉(zhuǎn)換，而統(tǒng)計(jì)力學(xué)的目的是從微觀自由度（分子，原子）入手推導(dǎo)出熱力學(xué)關(guān)系。熵的統(tǒng)計(jì)力學(xué)公式由奧地利物理學(xué)家玻爾茲曼(Boltamann)在1877年的一篇論文中給出：

如今，該公式鐫刻在玻爾茲曼的墓碑之上，以紀(jì)念這位統(tǒng)計(jì)力學(xué)的奠基人之一。

    該式中，熵S是熱力學(xué)狀態(tài)變量，而W是在給定宏觀狀態(tài)約束下一個(gè)系統(tǒng)所可以具有的微觀狀態(tài)數(shù)。由于微觀狀態(tài)數(shù)極為巨大，因此取對(duì)數(shù)并乘上一個(gè)非常小的常數(shù)k,即玻爾茲曼常數(shù)。取對(duì)數(shù)并且使得這樣定義的熵成為一個(gè)具有可加性的熱力學(xué)廣延量。顯然公式的左右分別對(duì)應(yīng)了宏觀和微觀，因此玻爾茲曼定義正是用微觀推導(dǎo)宏觀的統(tǒng)計(jì)力學(xué)思路。事實(shí)上，在玻爾茲曼的原始論文中，熵的公式不是這個(gè)形式，此形式來(lái)自于普朗克(Max Planck)在1906年的工作，并且是普朗克建議稱k為玻爾茲曼常數(shù)。普朗克是熱力學(xué)的大師，他在研究黑體輻射譜問(wèn)題時(shí)，提出了能量量子的觀念，這開(kāi)啟了二十世紀(jì)的量子論。

    有了玻爾茲曼公式，熱力學(xué)第二定律就是說(shuō)一個(gè)孤立系統(tǒng)獲得了一個(gè)演化方向，即具有更多微觀狀態(tài)數(shù)（更大自由度）的方向，這就是常說(shuō)的熵增原理。熵增原理也可以表述成所謂的最大熵原理：孤立系統(tǒng)在達(dá)到平衡時(shí)熵傾向于最大化。然而熵增原理是基于經(jīng)驗(yàn)得到的，熵增在物理中引入了不可逆過(guò)程，從而定義了時(shí)間箭頭，這與一些基本物理原理矛盾，如何去調(diào)和這些矛盾？如何從數(shù)學(xué)上嚴(yán)格證明熵增原理？這些都是極為有趣的問(wèn)題。

    在熵的波爾茲曼公式中，W取自德語(yǔ) "Thermodynamische Wahrscheinlichkeit",意思是熱力學(xué)概率。給定宏觀限制下，一個(gè)系統(tǒng)的微觀自由度越多，W越大。若所有自由度（微觀狀態(tài)）等概率，則P～1/W.玻爾茲曼公式寫成 S=-klogP.進(jìn)一步推廣，若各自由度不等概率，即P是微觀狀態(tài)依賴的，則將S寫成S=<-klogP>,平均對(duì)于所有微觀狀態(tài)進(jìn)行，此時(shí)有熵的吉布斯定義：

    在量子統(tǒng)計(jì)力學(xué)中，熵的公式由馮.諾依曼推廣給出：

這里描述狀態(tài)的密度矩陣ρ取代了經(jīng)典概率P.

  在信息論中，申農(nóng)熵的定義：

    從這些定義可見(jiàn)，熵在物理中有明確的定義。只要給定一種概率分布，就可以從數(shù)學(xué)上定義對(duì)應(yīng)的熵。然而，熵與其他物理量的一個(gè)明顯不同是它不對(duì)應(yīng)于一個(gè)可觀測(cè)物理量。在量子統(tǒng)計(jì)中，可測(cè)量和狀態(tài)分別由算符和密度矩陣描述，然而熵不對(duì)應(yīng)于任何一個(gè)算符，從定義中已經(jīng)看出，事實(shí)上，熵是一個(gè)狀態(tài)的性質(zhì)，定義一個(gè)狀態(tài)，就可以定義相應(yīng)的熵。

(2)時(shí)間箭頭

    在經(jīng)典統(tǒng)計(jì)力學(xué)里，一個(gè)統(tǒng)計(jì)力學(xué)體系的微觀狀態(tài)由相空間里的一個(gè)點(diǎn)描述：ω=(q^3N,p^3N). 這樣，微觀狀態(tài)不再是可數(shù)的離散變量，微觀狀態(tài)數(shù)則要由相空間體積(測(cè)度)給出。隨著時(shí)間，狀態(tài)演化由相空間里點(diǎn)的運(yùn)動(dòng)描述。

    考慮給定能量的體積元：dω=δ[E-H(ω)]d^6Nω/N!，這定義了一個(gè)相空間上的測(cè)度。經(jīng)典力學(xué)的劉維爾(Liouville)定理說(shuō)：dω=dω(t).即，給定能量，相空間體積在時(shí)間演化過(guò)程中不變。由于熵對(duì)應(yīng)于相空間體積，因此，熵在時(shí)間演化中是常數(shù)。這是一個(gè)與熱力學(xué)第二定律的矛盾。

    還有彭加萊(Poincare)回歸定理：一個(gè)有限測(cè)度空間上的保測(cè)度變換具有無(wú)限回歸的性質(zhì)。熱力學(xué)體系的相空間是一個(gè)有限的測(cè)度空間，因此應(yīng)滿足彭加萊回歸定理。因此，在充分長(zhǎng)時(shí)間后，熱力學(xué)體系將回歸相空間的初始點(diǎn)，因此與演化開(kāi)始時(shí)具有近似相等的熵，這又與熱力學(xué)第二定律矛盾。

    在量子統(tǒng)計(jì)中，密度矩陣ρ代替了經(jīng)典概率P. 由量子力學(xué)的Schrodinger方程可知，隨時(shí)間演化，密度矩陣滿足：

這里已經(jīng)取普朗克常數(shù)\bar{h}=1. 演化算符的幺正性使得密度矩陣的本征值不隨時(shí)間改變。而從熵的馮.諾依曼公式知道，熵只依賴于密度矩陣的本征值，因此熵在時(shí)間演化中不變。因此，量子力學(xué)的基本方程與熱力學(xué)第二定律矛盾。

    統(tǒng)計(jì)力學(xué)的另一位奠基人麥克斯韋(Maxwell)，在思考熵增原理時(shí)，提出了Maxwell's demon,即麥克斯韋妖。麥克斯韋最早從分子運(yùn)動(dòng)導(dǎo)出了理想氣體速度的麥克斯韋分布，這指明了速度分布的方差定義了溫度，<v²>～kT/m,此即能量均分原理。

    麥克斯韋認(rèn)識(shí)到溫度這個(gè)宏觀量是一個(gè)平均概念，高溫的氣體中分子平均運(yùn)動(dòng)快，可是也存在運(yùn)動(dòng)慢的分子。麥克斯韋設(shè)想，如果在高溫和低溫兩個(gè)氣體容器之間加一個(gè)隔板，隔板處有一個(gè)守衛(wèi)的小妖，任務(wù)是當(dāng)氣體分子撞擊隔板時(shí)，根據(jù)其運(yùn)動(dòng)速度決定其時(shí)間下一刻的去向：只允許高速分子通過(guò)隔板進(jìn)入高溫容器，結(jié)果是高溫側(cè)溫度越來(lái)越高，而低溫側(cè)越來(lái)越低，整個(gè)系統(tǒng)的熵減少了，這違背了熱力學(xué)第二定律。

    麥克斯韋妖的概念引發(fā)了非平衡統(tǒng)計(jì)力學(xué)中耗散理論的研究，通過(guò)這個(gè)發(fā)展，人們認(rèn)識(shí)到物理世界除了物質(zhì)和能量以外，還有信息的存在。信息的獲取不是無(wú)償?shù)?，麥克斯韋妖對(duì)分子速度的每一次測(cè)量，都導(dǎo)致了環(huán)境信息熵的增加，若考慮體系和環(huán)境，整體的熵仍然是增加的。

(3)粗?；?/span>

    解決所有這些矛盾的關(guān)鍵是粗粒化的概念，這是由玻爾茲曼的學(xué)生埃倫菲斯特(Ehrenfest)最早指出的。

    為了討論熵增帶來(lái)的不可逆性，我們需要一個(gè)對(duì)于相空間的粗?；骄^(guò)程，也就是在一個(gè)更大的尺度上定義密度或者概率分布。粗粒化緊密聯(lián)系著宏觀量測(cè)量的精度問(wèn)題，我們必須認(rèn)識(shí)到，一個(gè)宏觀物理量的測(cè)量對(duì)應(yīng)一個(gè)尺度，在此尺度之下，無(wú)法解析物理體系，因而我們要假設(shè)對(duì)于該尺度之下的無(wú)知，或者最大熵的等概率分布。

    可以把相空間Ω劃分成許多的格子(cell) Ω_i。在每一個(gè)cell內(nèi)，因?yàn)闊o(wú)法解析出更多信息,概率分布是均勻的。粗?；芏确植?

    在粗?；瘜哟紊?，描述運(yùn)動(dòng)學(xué)的方程不再是經(jīng)典力學(xué)中的哈密爾頓(Hamilton)方程，或者是量子力學(xué)中的薛定諤(Schrodinger)方程。

    我們最為熟悉的是玻爾茲曼方程，基于分子混沌和僅關(guān)注于單粒子關(guān)聯(lián)函數(shù)，玻爾茲曼方程可以推導(dǎo)出不可逆性。在粗?；瘜哟紊嫌懻撨\(yùn)動(dòng)學(xué)的還有Master方程等。在這些討論中，某種平均和粗?；际堑贸鲮卦觯凑{(diào)和時(shí)間可逆與熱力學(xué)第二定律矛盾的關(guān)鍵步驟。

    我們看到，熵增原理實(shí)際上第一次在物理學(xué)中引入了時(shí)間箭頭，經(jīng)典力學(xué)以及量子力學(xué)里物理過(guò)程的時(shí)間可逆性被破壞。波爾茲曼在熵增問(wèn)題上有深邃的思考，他意識(shí)到熵的增加只是在概率的意義之下，并通過(guò)他的運(yùn)動(dòng)學(xué)方程推導(dǎo)出了H定理?？墒窃谒畹臅r(shí)代，連分子論都尚未被廣泛接受，于是玻爾茲曼的思想超前了，因此不能被物理學(xué)界廣泛接受。另一方面，玻爾茲曼在表達(dá)自己的想法時(shí)也有模糊不清及前后矛盾之問(wèn)題。據(jù)說(shuō)，玻爾茲曼講課時(shí)學(xué)生表示內(nèi)容太難難以聽(tīng)懂，玻爾茲曼于是在下一次上課時(shí)，于繼續(xù)講述繁難的問(wèn)題后，在黑板上寫下1+1=2,轉(zhuǎn)身對(duì)學(xué)生說(shuō)：“我講的是多么簡(jiǎn)單啊”。

    長(zhǎng)期的不被理解最終釀成了悲劇，玻爾茲曼在一次次辯論之后精疲力盡，也許他感到了一種深深的絕望，最后他在意大利里雅斯特(Trieste)附近的杜伊諾(Duino)以自殺的極端方式告別了這個(gè)世界。今天，玻爾茲曼上吊自殺的地方被保留下來(lái)，成為一個(gè)供游人參觀的景點(diǎn)。

    遺憾的是，玻爾茲曼的學(xué)生，埃倫菲斯特也是以自殺的方式告別這個(gè)世界。埃倫菲斯特生于奧地利，在維也納大學(xué)就讀期間受教于玻爾茲曼，學(xué)習(xí)分子運(yùn)動(dòng)論的觀念，這啟發(fā)了他對(duì)理論物理的濃厚興趣。在布拉格期間，埃倫菲斯特結(jié)識(shí)了愛(ài)因斯坦，并從此成為忠誠(chéng)的朋友。后來(lái)，埃倫菲斯特接任洛倫茲任荷蘭萊頓大學(xué)教授，他在萊頓成立了一個(gè)國(guó)際理論物理學(xué)校，與世界上頂尖的理論物理學(xué)家保持著緊密的聯(lián)系，同時(shí)，對(duì)熱愛(ài)理論物理的年輕人埃倫菲斯特總是不遺余力的給予幫助和鼓勵(lì)。