信息論

所屬分類(lèi)： 信息論 基本物理概念 學(xué)科名 心理學(xué) 心理學(xué)術(shù)語(yǔ) 數學(xué)術(shù)語(yǔ) 術(shù)語(yǔ) 物理學(xué) 電子 電子工程 電子術(shù)語(yǔ) 神經(jīng)科學(xué) 語(yǔ)言學(xué) 通信技術(shù)

信息論的創(chuàng )始人是美貝爾電話(huà)研究所的數學(xué)家申農（C.E.Shannon1916——

信息論-信息概念

 

信息科學(xué)是以信息為主要研究對象，以信息的運動(dòng)規律和應用方法為主要研究?jì)热?，以計算機等技術(shù)為主要研究工具，以擴展人類(lèi)的信息功能為主要目標的一門(mén)新興的綜合性學(xué)科。信息科學(xué)由信息論、控制論、計算機科學(xué)、仿生學(xué)、系統工程與人工智能等學(xué)科互相滲透、互相結合而形成的。60年代中，由于出現復雜的工程大系統需要用計算機來(lái)控制生產(chǎn)過(guò)程，系統辨識成為重要研究課題。從信息科學(xué)的觀(guān)點(diǎn)來(lái)看，系統辨識就是通過(guò)輸入輸出信息來(lái)研究控制系統的行為和內部結構，并用簡(jiǎn)明的數學(xué)模型來(lái)加以表示?？刂凭褪歉鶕到y結構和要求對信息加工、變換和利用。

“信息”使用的廣泛性使得我們難以給“信息”下一個(gè)確切的定義，但是，一般說(shuō)來(lái)，信息可以界定為由信息源（如自然界、人類(lèi)社會(huì )等）發(fā)出的被使用者接受和理解的各種信號。作為一個(gè)社會(huì )概念，信息可以理解為人類(lèi)共享的一切知識，或社會(huì )發(fā)展趨勢以及從客觀(guān)現象中提煉出來(lái)的各種消息之和。信息并非事物本身，而是表征事物之間聯(lián)系的消息、情報、指令、數據或信號。一切事物，包括自然界和人類(lèi)社會(huì )，都在發(fā)出信息。我們每個(gè)人每時(shí)每刻都在接收信息。在人類(lèi)社會(huì )中，信息往往以文字、圖象、圖形、語(yǔ)言、聲音等形式出現。就本體論意義而言，信息是標志事物存在及其關(guān)系的屬性。但這樣的描述難以將信息定量化，就認識論意義

信息論-信息的定義

 

就本體論意義而言，信息是事物現象及其屬性標識的集合;信息就是信息，信息是物質(zhì)、能量、信息及其屬性的標示----Wiener信息定義的逆.信息特性是標志事物存在及其關(guān)系的屬性。但這樣的描述難以將信息定量化，因此申農是從就認識論意義而言定義信息的，即信息是認識主體接收到的、可以消除對事物認識不確定性的新內容和新知識。信息是確定性的增加----逆仙農（Shannon）信息定義。根據這一點(diǎn)給出了信息量的數學(xué)形式。

信息熵的補

信息論-信息量

 

信息量是信息論中量度信息多少的一個(gè)物理量。它從量上反映具有確定概率的事件發(fā)生時(shí)所傳遞的信息。

用H（x）表示為信息熵，是信源整體的平均不定度。而用I（p）表示為信息，是從信宿角度代表收到信息后消除不定性的程度，也就是獲得新知識的量，所以它只不在信源發(fā)出的信息熵被信宿收到后才有意義。在排除干擾的理想情況下，信源發(fā)出的信號與信宿接收的信號一一對應，H（x）與I（p）二者相等。

信息的量度與它所代表的事件的隨機性或各外事件發(fā)生的概率有關(guān)，當事件發(fā)生的概率大，事先容易判斷，有關(guān)此事件的消息排隊事件發(fā)生的不確定程度小，則包含的信息量就??；反之則大。從這一點(diǎn)出發(fā)，信息論利用統計熱力學(xué)中熵的概念，建立了對信息的量度方法。在統計熱力學(xué)中，熵是系統的無(wú)序狀態(tài)的量度，即系統的不確定性的量度。

申農的信息量公式：H(x) =ΣP(x_i)h(x_i)= —ΣP(x_i)·log₂P(x_i)

其中：h(x_i) = —log₂P(x_i)，表示某狀態(tài)x_i的不定性數量或所含的信息量。若P(x_i)=1，則h(x_i) =0；若P(x_i)=0，則h(x_i) =∞；當ｎ=2，且P1=P2=1/2時(shí)，H(x)=1比特。因此可見(jiàn)一個(gè)等幾率的二中擇一的事件具有1比特的不定性或信息量。

共同信息(Mutual Information)是另一有用的信息度量，它是指兩個(gè)事件集合之間的相關(guān)性。兩個(gè)事件X和Y的共同信息定義為：

I(X,Y) = H(X) + H(Y) - H(X,Y)

其中 H(X,Y) 是共有熵(Joint Entropy)，其定義為：H(X,Y) = -∑p(x,y)logp(x,y)

信息量所表示的是體系的有序度、組織結構程度、復雜性、特異性或進(jìn)化發(fā)展程度。這是熵（無(wú)序度、不定度、混亂度）的矛盾對立面，即負熵。

關(guān)于信息論的熵與熱力學(xué)熵的關(guān)系，布里淵（L.Brillouin）、林啟茨（H.Linschitz）和奧根斯坦（L.Augensine）等曾進(jìn)行過(guò)初步討論。在數學(xué)式中的表示方面，比較熵的公式S=KlnP，于是我們有：

Ｉ＝－log₂e·S／Ｋ

信息論-信息特征

 

信息一般具有如下一些特征：

1、可識別；

2、可轉換；

3、可傳遞；

4、可加工處理；

5、可多次利用（無(wú)損耗性）；

6、在流通中擴充；

7、主客體二重性。信息是物質(zhì)相互作用的一種屬性，涉及主客體雙方；信息表征信源客體存在方式和運動(dòng)狀態(tài)的特性，所以它具有客體性，絕對性；但接收者所獲得的信息量和價(jià)值的大小，與信宿主體的背景有關(guān)表現了信息的主體性和相對性。

8、信息的能動(dòng)性。

9、可共享性。這是信息與物質(zhì)和能量的主要區別。

信息的產(chǎn)生、存在和流通，依賴(lài)于物質(zhì)和能量，沒(méi)有物質(zhì)和能量就沒(méi)有能動(dòng)作用。信息可以控制和支配物質(zhì)與能量的流動(dòng)。

信息論-信息論

 

信息論是研究信息的產(chǎn)生、獲取、變換、傳輸、存貯、處理識別及利用的學(xué)科。信息論還研究信道的容量、消息的編碼與調制的問(wèn)題以及噪聲與濾波的理論等方面的內容。信息論還研究語(yǔ)義信息、有效信息和模糊信息等方面的問(wèn)題。信息論有狹義和廣義之分。狹義信息論即申農早期的研究成果，它以編碼理論為中心，主要研究信息系統模型、信息的度量、信息容量、編碼理論及噪聲理論等。廣義信息論又稱(chēng)信息科學(xué)，主要研究以計算機處理為中心的信息處理的基本理論，包括評議、文字的處理、圖像識別、學(xué)習理論及其各種應用。廣義信息論則把信息定義為物質(zhì)在相互作用中表征外部情況的一種普遍屬性，它是一種物質(zhì)系統的特性以一定形式在另一種物質(zhì)系統中的再現。廣義信息論包括了狹義信息論的內容，但其研究范圍卻比通訊領(lǐng)域廣泛得多，是狹義信息論在各個(gè)領(lǐng)域的應用和推廣，因此，它的規律也更一般化，適用于各個(gè)領(lǐng)域，所以它是一門(mén)橫斷學(xué)科。廣義信息論，人們也稱(chēng)它為信息科學(xué)。

信息和控制是信息科學(xué)的基礎和核心。70年代以來(lái)，電視、數據通信、遙感和生物醫學(xué)工程的發(fā)展，向信息科學(xué)提出大量的研究課題，如信息的壓縮、增強、恢復等圖像處理和傳輸技術(shù)，信息特征的抽取、分類(lèi)和識別的模式、識別理論和方法，出現了實(shí)用的圖像處理和模式識別系統。

申農最初的信息論只對信息作了定量的描述，而沒(méi)有考慮信息的其他方面，如信息的語(yǔ)義和信息的效用等問(wèn)題。而這時(shí)的信息論已從原來(lái)的通信領(lǐng)域廣泛地滲入到自動(dòng)控制、信息處理、系統工程、人工智能等領(lǐng)域，這就要求對信息的本質(zhì)、信息的語(yǔ)義和效用等問(wèn)題進(jìn)行更深入的研究，建立更一般的理論，從而產(chǎn)生了信息科學(xué)。

迄今為止，人類(lèi)社會(huì )已經(jīng)發(fā)生過(guò)四次信息技術(shù)革命。

第一次革命是人類(lèi)創(chuàng )造了語(yǔ)言和文字，接著(zhù)現出了文獻。語(yǔ)言、文獻是當時(shí)信息存在的形式，也是信息交流的工具。

第二次革命是造紙和印刷技術(shù)的出現。這次革命結束了人們單純依靠手抄、撰刻文獻的時(shí)代，使得知識可以大量生產(chǎn)、存貯和流通，進(jìn)一步擴大了信息交流的范圍。

第三次革命是電報、電話(huà)、電視及其它通訊技術(shù)的發(fā)明和應用。這次革命是信息傳遞手段的歷史性變革，它結束了人們單純依靠烽火和驛站傳遞信息的歷史，大大加快了信息傳遞速度。

第四次革命是電子計算機和現代通訊技術(shù)在信息工作中的應用。電子計算機和現代通訊技術(shù)的有效結合，使信息的處理速度、傳遞速度得到了驚人的提高；人類(lèi)處理信息利用信息的能力達到了空前的高度。今天，人類(lèi)社會(huì )已經(jīng)進(jìn)入了所謂的信息社會(huì )。