1.3 信息及其度量
1.3.4 連續消息的信息度量
由抽樣定理可知,如果一個(gè)連續信號的頻帶限制在0到

我們來(lái)考察每個(gè)抽樣點(diǎn)所包含的信息量,為與離散消息中每個(gè)符號所攜帶的信息量相對應??砂堰B續消息看成是離散消息的極限情況。連續消息信號在每個(gè)抽樣點(diǎn)上的取值是一個(gè)連續的隨機變量,其一維概率密度函數為



根據信息熵的概念,可得各抽樣點(diǎn)統計獨立時(shí)每個(gè)抽樣點(diǎn)所包含的平均信息量
(1.3-3)令
,則可得連續消息每個(gè)抽樣點(diǎn)的平均信息量
上式中的第2項為無(wú)窮大。但在計算熵變化或比較不同連續消息的熵時(shí),由于這一項始終出現而可相互抵消。因此,我們定義連續信息的平均信息量
(1.3-4)
為了區分,有時(shí)把式(1.3-2) 的計算結果稱(chēng)為絕對熵,而把式(1.3-3)的計算結果稱(chēng)為相對熵。
聯(lián)系客服