1、2010 Copyright,課件SCUT DT&P Labs,1,數(shù)字通信原理 第四章 信息論基礎(chǔ),2010 Copyright,課件SCUT DT&P Labs,2,第四章 信息論基礎(chǔ),1、消息與信息 (1) 消息是由符號、文字、數(shù)字、語音或圖像組成的序列； (2) 消息是信息的載體，信息是消息的內(nèi)涵；消息中可能包 含信息，也可能不包含信息； (3) 收到一則消息后，所得的信息量，在數(shù)量上等于獲得 消息前后“不確定性”的消除量； (4) 通信的目的在與傳送信息。,2010 Copyright,課件SCUT DT&P Labs,3,第四章 信息論基礎(chǔ),2、信息度量的概念 (1) 某消息的信息

2、量獲得該消息后不確定性的消除量； 不確定性可能性概率問題： 信息量可用概率的某種函數(shù)來度量 (2) 不同的消息有信息量的多少的區(qū)別，因此 信息的度量方式應(yīng)滿足信息量的可加性 信息量應(yīng)該是滿足可加性的概率的函數(shù)。,2010 Copyright,課件SCUT DT&P Labs,4,第四章 信息論基礎(chǔ),3、離散信源信息的度量 離散信源的信息量 離散信源統(tǒng)計特性的描述方法概率場 設(shè)離散信源包含N種可能的不同符號，相應(yīng)的概率場可表述為 概率場滿足條件：,2010 Copyright,課件SCUT DT&P Labs,5,第四章 信息論基礎(chǔ),離散信源的信息量(續(xù)) 信息量作為概率的函數(shù)，具有形式 若 與

3、 統(tǒng)計獨立，滿足可加性要求 如定義 顯然有 同時滿足概率函數(shù)和可加性兩個要求。,2010 Copyright,課件SCUT DT&P Labs,6,第四章 信息論基礎(chǔ),離散信源信的息量(續(xù)) 定義 離散消息xi的信息量: 信息量的單位與對數(shù)的底有關(guān)： log以2為底時，單位為比特：bit log以e為底時，單位為奈特：nit log以10為底時，單位為哈特，hart 一般在缺省時取單位為比特。,2010 Copyright,課件SCUT DT&P Labs,7,第四章 信息論基礎(chǔ),離散信源信的息量(續(xù)) 示例：已知某信源的概率場為 輸出的各符號統(tǒng)計獨立，計算序列S“113200”的信息量,20

4、10 Copyright,課件SCUT DT&P Labs,8,第四章 信息論基礎(chǔ),4、離散信源的平均信息量：信源的熵 離散信源的熵 定義4.2.2 離散信源 的熵 熵是信源在統(tǒng)計意義上每個符號的平均信息量。,2010 Copyright,課件SCUT DT&P Labs,9,第四章 信息論基礎(chǔ),離散信源的熵(續(xù)) 示例：求離散信源 的熵。 按照定義：,2010 Copyright,課件SCUT DT&P Labs,10,第四章 信息論基礎(chǔ),離散信源的熵(續(xù)) 示例（續(xù)）：若上述離散信源發(fā)送獨立的符號序列： 201 020 130 213 001 203 210 100 321 010 023

5、 102 002 10 312 032 100 120 210 (1)求總的信息量；(2)利用熵估計總的信息量。 (1) (2),2010 Copyright,課件SCUT DT&P Labs,11,第四章 信息論基礎(chǔ),離散信源的最大熵定理 當(dāng)離散信源X取等概分布時，其熵H(X)取最大值。 當(dāng)信源取等概分布時，具有最大的不確定性。 示例：兩個信源符號的 情形。 P(x1)=p,P(x2)=1-p 當(dāng)p=1/2時，H(X)=Hmax,2010 Copyright,課件SCUT DT&P Labs,12,第四章 信息論基礎(chǔ),離散信源的聯(lián)合熵與條件熵 兩隨機(jī)變量 的概率場 滿足條件：,2010 Co

6、pyright,課件SCUT DT&P Labs,13,第四章 信息論基礎(chǔ),離散信源的聯(lián)合熵與條件熵(續(xù)) 兩隨機(jī)變量的聯(lián)合熵 定義4.2.3 兩隨機(jī)變量 的聯(lián)合熵 如兩隨機(jī)變量統(tǒng)計獨立，有,2010 Copyright,課件SCUT DT&P Labs,14,第四章 信息論基礎(chǔ),兩隨機(jī)變量的聯(lián)合熵(續(xù)) 對于統(tǒng)計獨立的兩隨機(jī)變量，不能從其中一個獲得有關(guān)另外一個的任何信息。,2010 Copyright,課件SCUT DT&P Labs,15,第四章 信息論基礎(chǔ),第四章 信息論基礎(chǔ),離散信源的聯(lián)合熵與條件熵(續(xù)) 兩隨機(jī)變量的條件熵 定義4.2.4 兩隨機(jī)變量 的條件熵 一般地有 具有某種相關(guān)

7、性的兩隨機(jī)變量，一個隨機(jī)變量的出現(xiàn)總是 有助于降低另一隨機(jī)變量的不確定性。,2010 Copyright,課件SCUT DT&P Labs,16,第四章 信息論基礎(chǔ),離散信源及容量 信道模型 信道的輸入： 信道的輸出： 信道模型(特性)可用其轉(zhuǎn)移概率來描述,2010 Copyright,課件SCUT DT&P Labs,17,第四章 信息論基礎(chǔ),離散信源及容量 信道模型 信道模型(特性)可用其轉(zhuǎn)移概率來描述，一般地有 輸出不僅與當(dāng)前的輸入有關(guān)，而且與之前的若干個輸入值 有關(guān)，呈現(xiàn)某種“記憶”效應(yīng)。,2010 Copyright,課件SCUT DT&P Labs,18,第四章 信息論基礎(chǔ),離散信

8、源及容量 離散無記憶信道的轉(zhuǎn)移矩陣 輸出僅與當(dāng)前的輸入有關(guān) 或,2010 Copyright,課件SCUT DT&P Labs,19,第四章 信息論基礎(chǔ),離散無記憶信道的轉(zhuǎn)移矩陣(續(xù)) 示例：二元的離散無記憶信道 發(fā)“0”和發(fā)“1”時 能正確接收的概率為0.99， 錯誤的概率為0.01。 即有 轉(zhuǎn)移矩陣,2010 Copyright,課件SCUT DT&P Labs,20,第四章 信息論基礎(chǔ),離散信源及容量 互信息量 轉(zhuǎn)移概率 是一種條件概率，在通信系統(tǒng)中可表示 收到 后，發(fā)送端發(fā)送的是符號 的概率。 接收端收到 后，關(guān)于 的不確定性可表示為 定義4.3.1 互信息量為： 互信息量：收到 后，

9、關(guān)于 的不確定性的消除量。,2010 Copyright,課件SCUT DT&P Labs,21,第四章 信息論基礎(chǔ),互信息量(續(xù)) 互信息量具有對稱性 互信息量的性質(zhì) (1) 若 （2）若 (3) 若 (4) 若 ,2010 Copyright,課件SCUT DT&P Labs,22,第四章 信息論基礎(chǔ),離散信源及容量(續(xù)) 平均互信息量 定義4.3.2 平均互信息量為： 平均互信息量具有非負(fù)性 表明從統(tǒng)計上來說，兩相關(guān)聯(lián)的隨機(jī)變量集，其中一個的出 現(xiàn)總是有利于提供有關(guān)另外一個的信息。,2010 Copyright,課件SCUT DT&P Labs,23,第四章 信息論基礎(chǔ),離散信源及容量(

10、續(xù)) 熵函數(shù)與平均互信息量間的關(guān)系,2010 Copyright,課件SCUT DT&P Labs,24,第四章 信息論基礎(chǔ),熵函數(shù)與平均互信息量間的關(guān)系(續(xù)) 兩張密切相關(guān)圖像示例 兩張無關(guān)的圖像示例,2010 Copyright,課件SCUT DT&P Labs,25,第四章 信息論基礎(chǔ),熵函數(shù)與平均互信息量間的關(guān)系(續(xù)) 當(dāng)信源X與Y統(tǒng)計獨立時 (1)兩個符號同時出現(xiàn)時提供的平均信息量等于每個符號的平均信息量之和； (2)一個符號不能提供有關(guān)另一符號的任何信息。,2010 Copyright,課件SCUT DT&P Labs,26,第四章 信息論基礎(chǔ),熵函數(shù)與平均互信息量間的關(guān)系(續(xù))

11、當(dāng)兩個信源相關(guān)時 (1)聯(lián)合熵小于兩個信源的熵的和: (2)平均互信息量等于兩信源熵重合的部分； (3)信源的條件熵等于其熵減去平均互信息量：,2010 Copyright,課件SCUT DT&P Labs,27,第四章 信息論基礎(chǔ),離散信道的容量 已知信道的轉(zhuǎn)移矩陣 信源符號集： 符號傳輸速率： 系統(tǒng)的平均信息速率為：,2010 Copyright,課件SCUT DT&P Labs,28,第四章 信息論基礎(chǔ),離散信道的容量 定義4.3.3 離散信道的最大傳輸速率為其信道容量 匹配信源 信道特性(轉(zhuǎn)移矩陣)確定之后，其容量由信源的統(tǒng)計特性決 定。 匹配信源：能使單位時間內(nèi)信道可傳輸?shù)钠骄畔⒘?/p>

12、達(dá)到信 道容量的信源稱之。 已知匹配信源的分布特性： 信道容量：,2010 Copyright,課件SCUT DT&P Labs,29,第四章 信息論基礎(chǔ),匹配信源(續(xù)) 已知信道轉(zhuǎn)移概率，匹配信源統(tǒng)計特性的求解： (1)解方程組 求解得 (2)求最大平均互信息量： (3)求相應(yīng)后驗概率： (4)解方程組，確定匹配信源的分布特性,2010 Copyright,課件SCUT DT&P Labs,30,第四章 信息論基礎(chǔ),匹配信源(續(xù)) 示例：已知信道轉(zhuǎn)移概率 (1)解方程組的參數(shù)： (2)求最大平均互信息量： (3)求相應(yīng)后驗概率：,2010 Copyright,課件SCUT DT&P Labs

13、,31,第四章 信息論基礎(chǔ),匹配信源(續(xù)) 示例(續(xù))： (4)獲得匹配信源統(tǒng)計特性： (5)信道容量為：,2010 Copyright,課件SCUT DT&P Labs,32,第四章 信息論基礎(chǔ),離散無記憶對稱信道的容量(續(xù)) 離散無記憶對稱信道： 轉(zhuǎn)移矩陣 各行各列均具有相同的元素集的信道稱之。 離散無記憶對稱信道滿足條件： 任意的列元素和 任意的行元素和,2010 Copyright,課件SCUT DT&P Labs,33,第四章 信息論基礎(chǔ),離散無記憶對稱信道的容量 離散無記憶對稱信道： 離散無記憶對稱信道的條件熵滿足： 與信源的統(tǒng)計特性無關(guān)。 若輸入信道的信源符號等概 則信道的輸出符

14、號也等概,2010 Copyright,課件SCUT DT&P Labs,34,第四章 信息論基礎(chǔ),離散無記憶對稱信道的容量(續(xù)) 信道容量： 對于離散無記憶對稱信道，若要使信息傳輸速率達(dá)到信道容量，要求信源的符號等概分布。,2010 Copyright,課件SCUT DT&P Labs,35,第四章 信息論基礎(chǔ),連續(xù)信源、信道及容量 連續(xù)信源的相對熵 若已知隨機(jī)信號 幅度取值的概率密度函數(shù)： 取值在任意小區(qū)間 內(nèi)的概率 連續(xù)信源轉(zhuǎn)變?yōu)榫哂衝個隨機(jī)變量的信源，且有 利用離散隨機(jī)變量熵的定義，得,2010 Copyright,課件SCUT DT&P Labs,36,第四章 信息論基礎(chǔ),連續(xù)信源的

15、相對熵(續(xù)) 連續(xù)信源的熵應(yīng)為 可見連續(xù)信源的熵?zé)o限大。該熵稱為連續(xù)信源的絕對熵，無 法確切地定義。 通常上式的第一項是有限值，且其具有特定的物理意義。,2010 Copyright,課件SCUT DT&P Labs,37,第四章 信息論基礎(chǔ),連續(xù)信源的相對熵(續(xù)) 定義4.4.1 連續(xù)信源的相對熵為 示例4.4.1 某信號的相對熵為 信號經(jīng)2倍幅度放大后的相對熵為 信號的簡單放大并沒有增加任何新的信息，但其相對熵發(fā)生 了增大的變化，這說明相對熵已經(jīng)不再具有信源平均信息量 的內(nèi)涵。,2010 Copyright,課件SCUT DT&P Labs,38,第四章 信息論基礎(chǔ),連續(xù)信源的相對條件熵

16、對于連續(xù)隨機(jī)變量，同樣可以導(dǎo)出其條件熵 可見連續(xù)信源的條件熵取值無限大。通常上式的第一項是一 個有限取值的量。 連續(xù)信源的熵和條件熵均取值無限大，說明要在一個容量有 限的通信系統(tǒng)中傳遞連續(xù)信源的全部信息是不可能的。,2010 Copyright,課件SCUT DT&P Labs,39,第四章 信息論基礎(chǔ),連續(xù)信源的相對條件熵 定義4.4.3 連續(xù)信源的相對條件熵 容易導(dǎo)出： 說明相對熵和相對條件熵的差值與普通的熵和條件熵的差值 一樣，仍然等于平均互信息量。 同理可以導(dǎo)出：,2010 Copyright,課件SCUT DT&P Labs,40,第四章 信息論基礎(chǔ),連續(xù)信源相對熵的最大化 (1)峰

17、值功率受限情況下的相對熵最大化條件 可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從均勻分布時，該連續(xù)信源有最大的相對熵。 在區(qū)間 分布連續(xù)信源 的概率密度函數(shù)為 其相對熵為 峰值受限信號,2010 Copyright,課件SCUT DT&P Labs,41,第四章 信息論基礎(chǔ),連續(xù)信源相對熵的最大化(續(xù)) (2)均值受限情況下的相對熵最大化條件 可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從指數(shù)分布時，該連續(xù)信源有最大的相對熵。 均值受限信號 指數(shù)分布 相對熵,2010 Copyright,課件SCUT DT&P Labs,42,第四章 信息論基礎(chǔ),連續(xù)信源相對熵的最大化(續(xù)) (2)平均功率受限情況下的相對

18、熵最大化條件 可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從高斯分布時，該連續(xù)信源有最大的相對熵。 平均功率受限信號 高斯分布 相對熵,2010 Copyright,課件SCUT DT&P Labs,43,第四章 信息論基礎(chǔ),高斯加性噪聲信道的容量 加性高斯噪聲信道 信道輸入： 信道輸出： 加性高斯噪聲： 已知通過信道后，從 可獲得的關(guān)于 的平均互信息量 若已知信號 的帶寬為： 則無冗余的抽樣頻率應(yīng)為： (單位時間的樣點數(shù)) 單位時間內(nèi)傳輸?shù)男畔⒘?，即信息速率?2010 Copyright,課件SCUT DT&P Labs,44,第四章 信息論基礎(chǔ),高斯加性噪聲信道的容量(續(xù)) 加性高斯噪聲信道容量 信號與噪聲間的關(guān)系可用方程組表示為