1、4.1 互信息和平均互信息,4.1.1單符號離散信道的數(shù)學(xué)模型,離散信源X的數(shù)學(xué)模型為,1,4.1 互信息和平均互信息,4.1.1單符號離散信道的數(shù)學(xué)模型,信宿Y的數(shù)學(xué)模型為,2,4.1 互信息和平均互信息,4.1.1單符號離散信道的數(shù)學(xué)模型,信道模型的表示方法,公式法,圖示法,矩陣法,3,4.1 互信息和平均互信息,4.1.2 互信息量及其性質(zhì),根據(jù)前面的信道的數(shù)學(xué)模型： 如果信道是理想的，發(fā)出ai收到ai則所獲得的信息量 ai的不確定度I(ai)； 如果信道不理想，發(fā)出ai收到bj,由bj推測ai的概率，,一、定義1：我們將從bj中獲取有關(guān)ai的信息量稱為互信息量,4,4.1.2 互信息量

2、及其性質(zhì),一、互信息量的定義,繼續(xù)討論第二章的例題，即某地二月份天氣構(gòu)成的信源為,“今天不是晴天”作為收到的信息b1，計算b1 與各天氣之間的互信息量。,5,4.1.2 互信息量及其性質(zhì),一、互信息量的定義2 將互信息表達式展開得：,同樣道理，我們可以定義ai對bj 的互信息量為,6,通信前,先驗不定度（聯(lián)合自信息量）,4.1.2 互信息量及其性質(zhì),一、互信息量的定義3,7,后驗不定度,一、互信息量的定義3,4.1.2 互信息量及其性質(zhì),通信后,8,這樣，通信后流經(jīng)信道的信息量，等于通信前后不定度的差,4.1.2 互信息量及其性質(zhì),一、互信息量的定義3,9,4.1.2 互信息量及其性質(zhì),二、互

3、信息量的性質(zhì),對稱性,當X和Y相互獨立時，互信息為0,1,2,10,4.1.2 互信息量及其性質(zhì),二、互信息量的性質(zhì),互信息量可為正值或負值,3,互信息量為正， bj使ai的不確定度減小， 上例中，“今天不是晴天”,為0，二者相互獨立，“今天我很高興”,為負， bj沒有使ai的不確定度減小， “今天有風”。,11,4.1.3 平均互信息量及其性質(zhì),一、信道疑義度,研究信源中各個消息之間的關(guān)系,12,4.1.2 互信息量及其性質(zhì),一、信道疑義度,損失熵,信道疑義度：,含義：收到Y(jié)后關(guān)于X尚存的平均不確定性。,性質(zhì)：,equivocation,13,4.1.2 互信息量及其性質(zhì),二、平均互信息量的

4、定義,平均互信息,平均交互信息量；交互熵,14,4.1.2 互信息量及其性質(zhì),二、平均互信息量的定義 計算時可用公式：,15,4.1.2 互信息量及其性質(zhì),二、平均互信息量的定義,平均交互信息量與幾個測度函數(shù)辨析 和 和,相同點：統(tǒng)計平均,不同點：提供與獲得,16,4.1.2 互信息量及其性質(zhì),三、條件互信息和平均條件互信息,給定X、Y、Z三個離散概論空間，其連接關(guān)系為：,系統(tǒng)1,系統(tǒng)2,系統(tǒng)1,X,X,Y,Y,Z,Z,(a),(b),17,4.1.2 互信息量及其性質(zhì),練習(xí)：,有兩個硬幣，一個正常硬幣（一面是國徽，一面是面值），另一個是不正常的硬幣（兩面都是面值）?，F(xiàn)隨機抽取一次硬幣，拋擲兩

5、次。問出現(xiàn)面值的次數(shù)對于硬幣的 識別能提供多少信息量？,18,4.1.2 互信息量及其性質(zhì),四、平均互信息量的性質(zhì),非負性,說明：信道每傳遞一條消息，總能提供一定的信息量。 注： 可正可負,1,0,正常通信,=0,通信中斷,0,通信受干擾,19,極值性,1,2,四、平均互信息量的性質(zhì),4.1.2 互信息量及其性質(zhì),20,2,極值性,2,四、平均互信息量的性質(zhì),4.1.2 互信息量及其性質(zhì),21,4.1.2 互信息量及其性質(zhì),四、平均互信息量的性質(zhì),對稱性,3,說明：從X中提取關(guān)于Y的信息量與由Y中提取到X的信息量是相同的，是信息流通的總體測度。,22,4.1.2 互信息量及其性質(zhì),四、平均互信

6、息量的性質(zhì),23,4.1.2 互信息量及其性質(zhì),四、平均互信息量的性質(zhì),凸函數(shù)性,4,1,2,24,4.1.2 互信息量及其性質(zhì),凸函數(shù)性,4,定理1 對于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函數(shù),這就是說，對于一定的信道轉(zhuǎn)移概率分布p(y|x)，總可以找到某一個先驗概率分布的信源X，使平均交互信息量I(X;Y)達到相應(yīng)的最大值Imax，這時稱這個信源為該信道的匹配信源。可以說，不同的信道轉(zhuǎn)移概率對應(yīng)不同的Imax。,25,4.1.2 互信息量及其性質(zhì),凸函數(shù)性,4,定理2 對于固定的信源，平均互信息I(X;Y)信道傳遞概率分布p(y|x)的下凸函數(shù),這就是說，對于一

7、個已知先驗概率為p的離散信源，總可以找到某一個轉(zhuǎn)移概率分布的信道q，使平均互信息量達到相應(yīng)的最小值Imin。,26,4.1.2 互信息量及其性質(zhì),凸函數(shù)性例題,4,例：對于二元對稱信道,如果信源分布X=p,1-p，則,27,4.1.2 互信息量及其性質(zhì),凸函數(shù)性,4,而：,所以：,當信道固定時，q為一個固定常數(shù)，平均互信息是信源分布的上凸函數(shù)，最大只為1-H(q)。圖示曲線表明，對于固定信道，輸入符號X的概率分布不同時，在接收端平均每個符號所獲得的信息量就不同。當輸入符號為等概率分布時，平均互信息量為最大值，接收每個符號所獲得的信息量最大。信道容量的理論基礎(chǔ),28,4.1.2 互信息量及其性質(zhì)

8、,凸函數(shù)性,4,當信源固定后，p為一個固定常數(shù)，改變信道特性q可獲得不同的平均互信息I(X;Y)。當q=1/2時，I(X;Y)=0,即在信道輸出端獲得的信息最小，這意味著信源的信息全部損失在信道中，這是一種最差的信道，其噪聲最大。信息率失真理論的基礎(chǔ)。,29,多次處理信息量將減少。,數(shù)據(jù)處理定理,5,4.1.2 互信息量及其性質(zhì),四、平均互信息量的性質(zhì),30,總結(jié)：各種熵之間的關(guān)系,H(X) ,H(Y) 信源熵，無條件熵 H(X/Y) 疑義度，損失熵 H(Y/X) 噪聲熵 H(XY)聯(lián)合熵 I(X;Y)平均互信息量，交互熵,31,總結(jié),32,4.2 信道容量,信道的主要任務(wù)：以信號的形式傳輸和

9、存儲信息。 問題：在什么條件下，通過信道的信息量最大，即信道容量的問題。,33,4.2 信道容量,4.2.1 信道容量的模型和分類,1、信道的數(shù)學(xué)模型：,X P(Y/X) Y,輸入與輸出之間一般不是確定的函數(shù)關(guān)系， 而是統(tǒng)計依賴的。,34,4.2.1 信道容量的模型和分類,2.信道的分類,根據(jù)統(tǒng)計特性可以將信道分為恒參信道和隨參信道。 (1) 恒參信道： 信道的統(tǒng)計特性不隨時間而變化。 如衛(wèi)星信道一般被視為恒參信道。 (2) 隨參信道： 信道的統(tǒng)計特性隨時間而變化。 大多數(shù)的信道都是隨參信道，統(tǒng)計特性隨著環(huán)境、 溫度、 濕度等參數(shù)而變化。 如短波信道、 微波信道等。,35,4.2.1 信道容量

10、的模型和分類,2.信道的分類,根據(jù)信道用戶量多少可以將其分為單用戶信道和多用戶信道。 (1) 單用戶信道： 也稱兩端信道，該信道只有一個輸入端和一個輸出端，而且只能進行單方向的通信。 (2) 多用戶信道： 也稱多端信道，輸入端或者輸出端至少有一端具有兩個或者兩個以上用戶，并且可以實現(xiàn)雙向通信。 目前大多數(shù)信道都是多端信道。,36,4.2.1 信道容量的模型和分類,2.信道的分類,根據(jù)輸入、 輸出的取值特性可以將信道劃分為離散信道、 連續(xù)信道、 半離散半連續(xù)信道和波形信道。 (1) 離散信道： 也稱為數(shù)字信道，該類信道中輸入空間、 輸出空間均為離散事件集合，集合中事件的數(shù)量是有限的，或者有限可數(shù)

11、的，隨機變量取值都是離散的。,(2) 連續(xù)信道： 也稱為模擬信道，輸入空間、 輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無限的、 不可數(shù)的，即隨機變量的取值數(shù)量是無限的，或者不可數(shù)的。,37,4.2.1 信道容量的模型和分類,2.信道的分類,(3) 半離散半連續(xù)信道： 輸入空間、 輸出空間一個為離散事件集合，而另一個則為連續(xù)事件集合，即輸入、 輸出隨機變量一個是離散的，另一個是連續(xù)的。,(4) 波形信道： 也稱為時間連續(xù)信道，信道輸入、 輸出都是時間的函數(shù)，而且隨機變量的取值都取自連續(xù)集合，且在時間上的取值是連續(xù)的。,38,4.2.2 信道容量的定義,1.復(fù)習(xí)平均信息量,信源熵為H(X)，由

12、于干擾的存在，一般只接收到I(X;Y)。 定義:平均每個符號能傳送的消息總量為信道的信息傳輸速率（信息率），R R=I(X;Y) 若平均傳送一個符號為t秒，則信道每秒鐘平均傳送的信息量,39,2.信道容量的定義,I(X;Y)是p(ai)的上凸函數(shù)，總能找到一個p(ai)使得信息率最大。 信道容量：信道中最大的傳輸速率，C， 單位：比特/信道符號 單位時間的信道容量，比特/秒,4.2.2 信道容量的定義,40,信道容量,41,4.2.2 信道容量的定義,例1：求二元對稱信道的信道容量,當信道固定時，q為一個固定常數(shù)，平均互信息是信源分布的上凸函數(shù)，最大只為1-H(q)。當輸入符號為等概率分布時，

13、平均互信息量為最大值，接收每個符號所獲得的信息量最大。信道容量的理論基礎(chǔ),42,4.2.2 信道容量的定義,例2：計算下列信道容量及最佳輸入分布,b1,b2,a1,a2,a3,a4,a5,1,1,1,1,1,a1,a2,a3,b1,b2,b3,b4,b5,b6,無噪有損信道,無損有噪信道,（A）,（B）,43,4.2.2 信道容量的定義,信道容量的性質(zhì)： 1、C=0,如何證明？ 2、C=logn n為輸入的符號數(shù) 3、C=logm m為輸出的符號數(shù),44,4.2.3幾種特殊離散信道的容量,一、離散無噪信道 1、一一對應(yīng)的無噪信道,45,X、Y一一對應(yīng),此時H(X/Y)=0，H(Y/X)=0，

14、CmaxI(X;Y)log n (p(ai)=1/n即等概),p(ai),一一對應(yīng)的無噪信道,46,2、具有擴展功能的無噪信道,47,此時，H(X/Y)=0，H(Y/X) 0， 且 H(X) H(Y)。 所以，C = max H(X) = log n (p(ai)=1/n即等概),p(ai),一個輸入對應(yīng)多個輸出,2、具有擴展功能的無噪信道,48,3、具有歸并性的無噪信道,H(X/Y) 0，H(Y/X) = 0,多個輸入變成一個輸出,49,結(jié)論,無噪信道的信道容量只取決于信道的輸入符號數(shù)n或輸出符號數(shù)m，與信源無關(guān)。,50,4.2.3 幾種特殊離散信道的信道容量,二、對稱信道容量計算 1、對稱

15、信道的定義：,如果信道轉(zhuǎn)移矩陣滿足下列性質(zhì)： (1) 每行都是第一行的某種置換;(2) 每列都是第一列的某種置換。 則稱該信道為對稱信道。 顯然，對稱信道是輸入對稱的，也是關(guān)于輸出對稱的。,51,練習(xí)：判斷下列矩陣表示的信道是否是對稱信道,52,二、對稱信道容量的計算,強對稱信道（均勻）：,n X n,p：總體錯誤概率,53,二、對稱信道容量的計算,2、對稱信道的性質(zhì)：,對稱信道滿足下列性質(zhì)： （1）即噪聲熵=矩陣第一行元素組成的熵函數(shù) （2）當P(X)（輸入）等概分布，輸出也是等概分布注：這兩個性質(zhì)對后面求信道容量非常重要！,54,二、對稱信道容量的計算,3、對稱信道的信道容量：,由于對稱信

16、道滿足：,綜合起來可以得出對稱信道的信道容量為,對稱信道關(guān)于輸出也是對稱的，當信道輸入是等概率分布時，信道輸出也是等概率分布，H(Y)取得最大值,55,典型例子均勻信道信道容量計算,解 顯然該信道是對稱的，信道容量為,上述信道稱為強對稱信道或者均勻信道，是對稱信道的一個特例。 一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于1，而該信道轉(zhuǎn)移矩陣的各列元素之和都等于1。 其中，p為總的錯誤傳輸概率。 特別地，當r=2時，信道容量為 C=1H(p),56,幾種對稱信道之間的關(guān)系,57,二、對稱信道容量的計算,4、準對稱信道的信道容量：,二元對稱純刪除信道,該信道轉(zhuǎn)移矩陣為 ，該信道即二元純對稱刪除信道，如圖

17、所示， 其信道容量為,比特/符號,58,二、對稱信道容量的計算,如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個互不相交的對稱信道的子集，則稱該信道為準對稱信道。 顯然，準對稱信道是輸入對稱的。,4、準對稱信道的信道容量：,準對稱信道可以分解為若干個對稱信道之和，所以對于準對稱信道，信道輸入的最佳分布是等概率分布，而信道容量為,其中，q1，q2，qm為準對稱信道轉(zhuǎn)移矩陣中的一行元素，s為劃分的子集數(shù)量，Nk為第k個子矩陣的行元素之和，Mk為第k個子矩陣的列元素之和。,59,例題,信道轉(zhuǎn)移矩陣為,求信道容量C。 解 通過觀測可知，該信道是準對稱信道，可以分解為三個互不相交的子集，分別為,60,例題,對應(yīng)的參數(shù)

18、分別為,所以信道容量為,比特/符號,61,練習(xí)題：有噪聲的打字機信道,考慮有26個鍵的打字機 1）如果每敲擊一個鍵，它就準確輸出成相應(yīng)的字符，那么該容量C為多少？ 2）如果假設(shè)敲擊一個鍵都會導(dǎo)致輸出該鍵對應(yīng)的字母或者下一個字母等概論出現(xiàn)，即敲A可能輸出A或者B，敲Z可能輸出Z或者A，那么此時的容量如何？,62,復(fù)習(xí)數(shù)學(xué)知識,63,4.2.3離散信道容量的一般計算法,信道容量的求解為一個多元函數(shù)求約束極值的問題。,信道轉(zhuǎn)移矩陣為,例：求信道輸入最佳分布和信道容量C。 解 觀察信道轉(zhuǎn)移矩陣可知，該信道不是對稱的，信道的輸入、 輸出符號數(shù)量都為2，假設(shè)信道輸入符號的概率分別為p，1p，可以得到平均互

19、信息量。 根據(jù)假設(shè)的信道輸入的概率分布，求出信道輸出概率分布p(bj)： p(b1)=0.9p+0.2(1p)=0.2 + 0.7p p(b2)=0.1p+0.8(1p)=0.80.7p,64,4.2.3離散信道容量的一般計算法,輸入、 輸出之間的平均互信息量為：,將相關(guān)參數(shù)代入上述計算公式，得到：,65,4.2.3離散信道容量的一般計算法,對I(X;Y)求導(dǎo)，得到最佳分布,得到，p=0.532，所以信道容量為 C=maxI(X;Y)=0.415 比特/符號 從該例可以看出，即使是簡單的非對稱二元信道，其最佳分布的求解也十分復(fù)雜，所以一般離散信道的信道容量的求解通過計算機進行。 下面討論一般離

20、散信道的解法。,66,4.2.3離散信道容量的一般計算法,平均互信息量I(X;Y)是輸入概率分布p(ai)的凸函數(shù)，所以極大值是一定存在的。 假設(shè)信道輸入的符號數(shù)量為n，那么I(X;Y)應(yīng)當是r個隨機變量(p1，p2，pn) 的函數(shù)，而且滿足約束條件，該多元函數(shù)的條件極值可以利用拉格朗日乘法求出。 (1) 首先引入函數(shù),其中，為拉格朗日乘子。,67,4.2.3離散信道容量的一般計算法,(2) 對信道輸入概率p(ai)求導(dǎo)數(shù)，并令其為0。,解方程組可以求出最佳概率分布,和。,(3) 將最佳分布代入I(X;Y)，即可求出信道容量C。,而p(bj)可以表示為,68,4.2.3離散信道容量的一般計算法

21、,故關(guān)鍵是求第一項,我們將這項展開看看哪部分和求偏導(dǎo)有關(guān),69,4.2.3離散信道容量的一般計算法,70,4.2.3離散信道容量的一般計算法,第二塊分步求 （1）將 看作常數(shù)，對前面的求偏導(dǎo) （2）將 看作常數(shù)，對 求偏導(dǎo),71,4.2.3離散信道容量的一般計算法,帶入合并得：,給定 后驗概率為1,故,72,4.2.3離散信道容量的一般計算法,結(jié)論,73,4.2.3離散信道容量的一般計算法,假設(shè)信道輸入的最佳分布為(p1，p2，pn)，將方程組的兩邊同時乘以各自的概率p(ai)，并且兩邊同時對i求和，從而得到信道容量為C=+loge 仍然為待定的系數(shù)，但我們找到一些規(guī)律,將 來分析,其中,74,4.2.3離散信道容量的