1、1,第3章 信源及信源熵,重慶交通大學信息科學與工程學院 通信工程系 黃大榮,第3章 信源及信息熵,3.1 信源的分類及其數(shù)學模型 3.2 離散單符號信源 3.3 離散多符號信源 3.4 * 連續(xù)信源,第3章 信源及信息熵,信源(Information Source)是信息的來源，是產(chǎn)生消息（符號）、時間離散的消息序列（符號序列）以及時間連續(xù)的消息的來源。 信源輸出的消息都是隨機的，因此可用概率來描述其統(tǒng)計特性。在信息論中，用隨機變量X、隨機矢量X、隨機過程 X(e,t)分別表示產(chǎn)生消息、消息序列以及時間連續(xù)消息的信源。 信源的主要問題： 如何描述信源（信源的數(shù)學建模問題） 怎樣計算信源所含的

2、信息量 怎樣有效的表示信源輸出的消息，也就是信源編碼問題,3.1 信源的分類及其數(shù)學模型,信源的分類由多種方法，我們常根據(jù)信源輸出的消息在時間和取值上是離散或連續(xù)進行分類：,表3.1 信源的分類,3.1 信源的分類及其數(shù)學模型,我們還可以根據(jù)各維隨機變量的概率分布是否隨時間的推移而變化將信源分為平穩(wěn)信源和非平穩(wěn)信源，根據(jù)隨機變量間是否統(tǒng)計獨立將信源分為有記憶信源和無記憶信源。 一個實際信源的統(tǒng)計特性往往是相當復雜的，要想找到精確的數(shù)學模型很困難。實際應用時常常用一些可以處理的數(shù)學模型來近似。隨機序列，特別是離散平穩(wěn)隨機序列是我們研究的主要內容。,隨機序列,3.2 離散單符號信源,輸出單個離散取

3、值的符號的信源稱為離散單符號信源。它是最簡單也是最基本的信源，是組成實際信源的基本單元。它用一個離散隨機變量表示。信源所有可能輸出的消息和消息對應的概率共同組成的二元序對X,P(X) 稱為信源的概率空間： 信源輸出的所有消息的自信息的統(tǒng)計平均值定義為信源的平均自信息量（信息熵），它表示離散單符號信源的平均不確定性：,3.3 離散多符號信源,定義3.1：對于隨機變量序列X1,X2,Xn,，在任意兩個不同時刻i和j(i和j為大于1的任意整數(shù))信源發(fā)出消息的概率分布完全相同，即對于任意的N，N=0,1,2,，XiXi+1Xi+N和XjXj+1Xj+N具有相同的概率分布。也就是 即各維聯(lián)合概率分布均與

4、時間起點無關的信源稱為離散平穩(wěn)信源。,3.3 離散多符號信源,對于離散多符號信源, 我們引入熵率的概念，它表示信源輸出的符號序列中，平均每個符號所攜帶的信息量。 定義3.2 隨機變量序列中，對前N個隨機變量的聯(lián)合熵求平均： 稱為平均符號熵。如果當 時上式極限存在，則 稱為熵率，或稱為極限熵，記為,3.3.1 離散平穩(wěn)無記憶信源,離散平穩(wěn)無記憶信源輸出的符號序列是平穩(wěn)隨機序列，并且符號之間是無關的，即是統(tǒng)計獨立的。假定信源每次輸出的是N長符號序列，則它的數(shù)學模型是N維離散隨機變量序列：X=X1X2XN ， 并且每個隨機變量之間統(tǒng)計獨立。同時，由于是平穩(wěn)信源，每個隨機變量的統(tǒng)計特性都相同，我們還可

5、以把一個輸出N長符號序列的信源記為： 根據(jù)統(tǒng)計獨立的多維隨機變量的聯(lián)合熵與信息熵之間的關系，可以推出： 離散平穩(wěn)無記憶信源的熵率：,3.3.2 離散平穩(wěn)有記憶信源,實際信源往往是有記憶信源。 對于相互間有依賴關系的N維隨機變量的聯(lián)合熵存在以下關系（熵函數(shù)的鏈規(guī)則） ： 定理3.1 對于離散平穩(wěn)信源，有以下幾個結論： （1）條件熵 隨N的增加是遞減的； （2）N給定時平均符號熵大于等于條件熵，即 （3）平均符號熵 隨N的增加是遞減的； （4）如果 ，則 存在，并且,條件熵 隨N的增加是遞減的,L給定時平均符號熵大于等于條件熵,結合結論1：,平均符號熵 隨N的增加是遞減的；,運用結論2得：,如果

6、，則,3.3.3 馬爾可夫信源,有一類信源，信源在某時刻發(fā)出的符號僅與在此之前發(fā)出的有限個符號有關，而與更早些時候發(fā)出的符號無關，這稱為馬爾可夫性，這類信源稱為馬爾可夫信源。馬爾可夫信源可以在N不很大時得到 。如果信源在某時刻發(fā)出的符號僅與在此之前發(fā)出的 m個符號有關，則稱為m階馬爾可夫信源，它的熵率： 通常記作：,（馬爾可夫性）,（平穩(wěn)性）,3.3.3 馬爾可夫信源,馬爾可夫信源是一類相對簡單的有記憶信源，信源在某一時刻發(fā)出某一符號的概率除與該符號有關外，只與此前發(fā)出的有限個符號有關。因此我們把前面若干個符號看作一個狀態(tài)，可以認為信源在某一時刻發(fā)出某一符號的概率除了與該符號有關外，只與該時刻

7、信源所處的狀態(tài)有關，而與過去的狀態(tài)無關。信源發(fā)出一個符號后，信源所處的狀態(tài)即發(fā)生改變，這些狀態(tài)的變化組成了馬氏鏈。,圖3.1 馬爾可夫信源,3.3.3 馬爾可夫信源,對于一般的m階馬爾可夫信源，它的概率空間可以表示成： 令 ，從而得到馬爾 可夫信源的狀態(tài)空間： 狀態(tài)空間由所有狀態(tài)及狀態(tài)間的狀態(tài)轉移概率組成。通過引入狀態(tài)轉移概率，可以將對馬爾可夫信源的研究轉化為對馬爾可夫鏈的研究。,3.3.3 馬爾可夫信源,遍歷m階馬爾可夫信源的熵率計算 當時間足夠長后，遍歷的馬爾可夫信源可以視作平穩(wěn)信源來處理，又因為m階馬爾可夫信源發(fā)出的符號只與最近的m個符號有關，所以極限熵 等于條件熵 。 對于齊次遍歷的馬

8、爾可夫鏈，其狀態(tài) 由 唯一確定，因此有 所以,3.3.3 馬爾可夫信源,所謂遍歷的直觀意義就是：無論質點從哪個狀態(tài)si出發(fā)，當轉移步數(shù)足夠大時，轉移到狀態(tài)sj的某個概率pij（k）都近似的等于某個常數(shù)Wj。 求遍歷的馬爾可夫信源的極限熵需要求狀態(tài)轉移概率和狀態(tài)的平穩(wěn)概率分布. 設狀態(tài)的平穩(wěn)分布為:W=(W1 W2 W3 W4 ) 根據(jù)馬爾可夫鏈遍歷的充分條件有WP=W 其中P為狀態(tài)轉移概率矩陣,W1+W2+=1,例 1 :設一個二元一階馬爾可夫信源,信源符號集為0,1,信源輸出符號的條件概率為: p(0|0)=0.25;p(0|1)=0.5;p(1|0)=0.75;p(1|1)=0.5 求狀態(tài)

9、轉移概率矩陣并畫出狀態(tài)轉移圖.,例 2:設有一個二元二階馬爾可夫信源,其信源符號集合為X=0,1,輸出符號的條件概率為: p(0|00)=p(1|11)=0.8; p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5; p(1|00)=p(0|11)=0.2 1. 求狀態(tài)轉移概率矩陣并畫出狀態(tài)轉移圖; 2. 求該信源的極限熵. 5/14*0.8*log2(0.8)*2+ 5/14*0.2*log2(0.2)*2+ 2/14*0.5*log2(0.5)*4=0.801bit/sign,例 3：一個三元一階馬爾可夫信源的基本符號為0、1、2，這3個符號等概率出現(xiàn)，并且具有相同的轉

10、移概率。 (1)寫出狀態(tài)轉移矩陣； (2)畫出狀態(tài)圖； (3)求各符號穩(wěn)態(tài)分布； (4)求各狀態(tài)穩(wěn)態(tài)分布； (5)求信源極限熵。,例 4：有一馬爾可夫信源，已知狀態(tài)轉移概率：p(s1|s1)=2/3 p(s2|s1)=1/3 p(s1|s2)=1 p(s2|s2)=0。 (1)寫出狀態(tài)轉移矩陣； (2)畫出狀態(tài)圖； (4)求各狀態(tài)穩(wěn)態(tài)分布； (5)求信源極限熵。 -(0.75*2/3*log2(2/3)+0.75*1/3*log2(1/3)+0.25*1*log(1) =0.69bit/sign,3.3.4 信源的相關性和剩余度,根據(jù)定理3.1可得 由此看出，由于信源輸出符號間的依賴關系也就是

11、信源的相關性使信源的實際熵減小。信源輸出符號間統(tǒng)計約束關系越長，信源的實際熵越小。當信源輸出符號間彼此不存在依賴關系且為等概率分布時，信源的實際熵等于最大熵 。 定義3.3 一個信源的熵率（極限熵）與具有相同符號集的最大熵的比值稱為熵的相對率： 信源剩余度為：,3.3.4 信源的相關性和剩余度,信源的剩余度來自兩個方面，一是信源符號間的相關性，相關程度越大，符號間的依賴關系越長，信源的實際熵越小，另一方面是信源符號分布的不均勻性使信源的實際熵越小。 為了更經(jīng)濟有效的傳送信息，需要盡量壓縮信源的剩余度，壓縮剩余度的方法就是盡量減小符號間的相關性，并且盡可能的使信源符號等概率分布。 從提高信息傳輸

12、效率的觀點出發(fā)，人們總是希望盡量去掉剩余度。但是從提高抗干擾能力角度來看，卻希望增加或保留信源的剩余度，因為剩余度大的消息抗干擾能力強。 信源編碼是減少或消除信源的剩余度以提高信息的傳輸效率，而信道編碼則通過增加冗余度來提高信息傳輸?shù)目垢蓴_能力。,3.4* 連續(xù)信源,3.4.1 連續(xù)信源的微分熵 連續(xù)隨機變量的取值是連續(xù)的，一般用概率密度函數(shù)來描述其統(tǒng)計特征。 單變量連續(xù)信源的數(shù)學模型為 ，并滿足 是實數(shù)域，表示 的取值范圍。 對于取值范圍有限的連續(xù)信源還可以表示成： ，并滿足 ，(a,b)是X的取值范圍。 通過對連續(xù)變量的取值進行量化分層，可以將連續(xù)隨機變量用離散隨機變量來逼近。量化間隔越小

13、，離散隨機變量與連續(xù)隨機變量越接近。當量化間隔趨于0時，離散隨機變量就變成了連續(xù)隨機變量。通過這種方式，我們來推導連續(xù)隨機變量的熵。,3.4.1 連續(xù)信源的微分熵,定義連續(xù)信源的微分熵為： 微分熵又稱為差熵。雖然已不能代表連續(xù)信源的平均不確定性，也不能代表連續(xù)信源輸出的信息量，但是它具有和離散熵相同的形式，也滿足離散熵的主要特性，比如可加性，但是不具有非負性。 同樣，我們可以定義兩個連續(xù)隨機變量的聯(lián)合熵： 以及條件熵,3.4.2 連續(xù)信源的最大熵,離散信源當信源符號為等概分布時有最大熵。連續(xù)信源微分熵也有極大值，但是與約束條件有關，當約束條件不同時，信源的最大熵不同。我們一般關心的是兩種約束下的最大熵。一種是信源輸出幅度受限，即限峰功率；一種是信源輸出平均功率受限。（最大熵定理） 定理3.1 在輸出幅度受限的情況，服從均勻分布的隨機變量X具有最大輸出熵。（限峰功率最大熵定理） 定理3.2 對于平均功率受限的連續(xù)隨機變量，當服從高斯分布時具有最大熵。（限平均功率最大熵定理） （對于均值為m ，方差為 的連續(xù)隨機變量，平均功率p=直流功率+交流功率= ） 備注：連續(xù)信源在不同限制條件下最大熵不同；在無限制條件情況下，最大熵不存在。,3.4.3 連續(xù)信源的熵功率,均值為零，平均功