| 學(xué)習過(guò)程中，遇到有關(guān)信息熵理論，現整理如下： “熵”是德國物理學(xué)家克勞修斯在１８５０年創(chuàng )造的一個(gè)術(shù)語(yǔ)，他用它來(lái)表示任何一種能量在空間中分布的均勻程度。能量分布得越均勻，熵就越大。如果對于我們所考慮的
那個(gè)系統來(lái)說(shuō)，能量完全均勻地分布，那么，這個(gè)系統的熵就達到最大值。
在克勞修斯看來(lái)，在一個(gè)系統中，如果聽(tīng)任它自然發(fā)展，那么，能量差總是傾向于消除的。讓一個(gè)熱物體同一個(gè)冷物體相接觸，熱就會(huì )以下面所說(shuō)的方式流動(dòng)：熱物體將冷卻，冷物體將變熱，直到兩個(gè)物體達到相同的溫度為止。如果把兩個(gè)水庫連接起來(lái)，并且其中一個(gè)水庫的水平面高于另一個(gè)水庫，那么，萬(wàn)有引力就會(huì )使一個(gè)水庫的水面降低，而使另一個(gè)水面升高，直到兩個(gè)水庫的水面均等，而勢能也取平為止。
因此，克勞修斯說(shuō)，自然界中的一個(gè)普遍規律是：能量密度的差異傾向于變成均等。換句話(huà)說(shuō)，“熵將隨著(zhù)時(shí)間而增大”。
對于能量從密度較高的地方向密度較低的地方流動(dòng)的研究，過(guò)去主要是對于熱這種能量形態(tài)進(jìn)行的。因此，關(guān)于能量流動(dòng)和功－能轉換的科學(xué)就被稱(chēng)為“熱力學(xué)”，這是從希
臘文“熱運動(dòng)”一詞變來(lái)的。
人們早已斷定，能量既不能創(chuàng )造，也不能消滅。這是一條最基本的定律；所以人們把它稱(chēng)為“熱力學(xué)第一定律”。
克勞修斯所提出的熵隨時(shí)間而增大的說(shuō)法，看來(lái)差不多也是非?；镜囊粭l普遍規律，所以它被稱(chēng)為“熱力學(xué)第二定律”。
舉例來(lái)講果我們能看到橡皮筋的分子結構，我們會(huì )發(fā)現它的結構在拉緊和放松的狀態(tài)時(shí)是不一樣的。放松的時(shí)候它的分子結構像一團亂麻交織在一起。而在把橡皮筋拉長(cháng)的時(shí)候，那些如同鏈狀的分子就會(huì )沿著(zhù)拉伸的方向比較整齊地排列起來(lái)。于是我們可以看到兩種狀態(tài)：一種是自然，或者自發(fā)的狀態(tài)。在這種狀態(tài)下結構呈“混亂”或 “無(wú)序”狀。而另一種是在外界的拉力下規則地排列起來(lái)的狀態(tài)。這種“無(wú)序” 的狀態(tài)還可以從分子的擴散中觀(guān)察到。用一個(gè)密封的箱子，中間放一個(gè)隔板。在隔板的左邊空間注入煙。我們把隔板去掉，左邊的煙就會(huì )自然 (自發(fā))地向右邊擴散，最后均勻地占滿(mǎn)整個(gè)箱體。這種狀態(tài)稱(chēng)為“無(wú)序”。
在物理學(xué)里我們可以用“熵”的概念來(lái)描述某一種狀態(tài)自發(fā)變化的方向。比如把有規則排列的狀態(tài)稱(chēng)為“低熵”而混亂的狀態(tài)對應于“高熵”。而熵則是無(wú)序性的定量量度。熱力學(xué)第二定律的結論是：“一個(gè)孤立系統的熵永不減少。”換句話(huà)說(shuō)，物質(zhì)世界的狀態(tài)總是自發(fā)地轉變成無(wú)序；“從低熵”變到“高熵”。比如，當外力去除之后，整齊排列的分子就會(huì )自然地向紊亂的狀態(tài)轉變；而箱子左邊的煙一定會(huì )自發(fā)地向右邊擴散。這就是著(zhù)名的“熵增定律”。 信息熵的定義與熵的定義相似，我們說(shuō)的信息熵一般是指信息論的香農理論。 在日常生活中，信息是指“消息”，“情況”等?？措娨?、看報紙、看書(shū)、打電話(huà)、聽(tīng)廣播、上網(wǎng)瀏覽，乃至聊天、開(kāi)會(huì )，人們都獲得了“消息”。消息通過(guò)“消息傳遞系統”傳遞，各種系統可以抽象為通訊系統模型。這一模型并不只限于通信系統，對于生物神經(jīng)系統，遺傳系統，市場(chǎng)的經(jīng)濟信號感知反饋系統，管理系統，都可以運用這個(gè)模型。 在消息傳遞系統中，其傳輸的是消息；但消息傳遞過(guò)程中，最普通，卻容易被忽視的一點(diǎn)是：收信人在收到消息以前是不知道消息的具體內容的。消息的傳遞過(guò)程，對收信人來(lái)說(shuō)，是一個(gè)從不知到知的過(guò)程，或者說(shuō)是一個(gè)從不確定到確定的過(guò)程。 從通信過(guò)程來(lái)看，收信者的所謂“不知”就是不知道發(fā)送端將發(fā)送描述何種運動(dòng)狀態(tài)的消息。例如，看天氣預報前，不清楚天氣的將出現何種狀態(tài)；看天氣預報后，這種不確定性就大大縮小了。所以通信過(guò)程是一種從不確定到確定的過(guò)程。不確定性消除了，收信者就獲得了信息。所以香農認為， 信息是不定性的減少或消除。即 I = S(Q/X)-S(Q/X‘) I代表信息，Q 代表對某件事的疑問(wèn)，S 代表不定性，X為收到消息前關(guān)于Q的知識，X‘ 為收到消息后關(guān)于Q 的知識。 如何理解信息熵和熵的關(guān)系？單從概率的表達式看，兩者的定義是相似的 信息熵并不是負熵，它描述的是信源 不確定性而不是 不確定性的減少。信息熵大表示信源的不確定程度較大，同樣是一種無(wú)序性。香農的信息概念是人們對事物了解的不確定性的減少或消除，這一定義關(guān)注的是通信中的信息問(wèn)題，所以香農信息是一種與信道相關(guān)的“信息”。信源、信道是信宿成了認識過(guò)程的不可分割的部分，主客體是不可分的；香農的概率，是主體對客體（信宿對信源）的一種先驗主觀(guān)認識，這本身就加入了主體的因素。因此，作為“通信中的數學(xué)理論”，信源與信宿在信道聯(lián)系下的“互信息”，才是香農的“信息”。 信道的任務(wù)是以信號方傳輸和存貯信息，通過(guò)信息處理后，一般只會(huì )增加信息的損失，不可能增加原來(lái)獲得的信息。這意味著(zhù)，在任何信息傳輸系統中，最后獲得的信息至多是信源所提供的信息；信息一旦丟失，如不觸及信源，就不能再恢復。這就是 信息不增原理，又稱(chēng) 數據處理定理，熵只是平均不確定性的描述，而不確定性的消除才是接受端獲得的信息量，信息量不應該與不確定性混為一談。 信息論并不是香農一個(gè)人建立的，實(shí)際上它是由好幾位科學(xué)家差不多在同一時(shí)候提出來(lái)的。香農從通信編碼方面，維納從濾波理論方面，統計學(xué)家費希爾（Fisher ）從古典統計理論方面，研究了信息的理論問(wèn)題。但維納與香農在信息概念的理解上有些不同 信息論并不是香農一個(gè)人建立的，實(shí)際上它是由好幾位科學(xué)家差不多在同一時(shí)候提出來(lái)的。香農從通信編碼方面，維納從濾波理論方面，統計學(xué)家費希爾（Fisher ）從古典統計理論方面，研究了信息的理論問(wèn)題。但維納與香農在信息概念的理解上有些不同 信息熵并不是負熵，它描述的是信源不確定性而不是不確定性的減少。信息熵大表示信源的不確定程度較大，同樣是一種無(wú)序性。香農的信息概念是人們對事物了解的不確定性的叫少或消除，實(shí)際上是“互信息”；因為這一定義關(guān)注的是通信中的信息問(wèn)題，所以香農信息是一種與信道相關(guān)的“信息”。 | 
