1、2020/7/27,1,現(xiàn)代通信原理,二、信號、噪聲與信息論(3),2020/7/27,2,27 信息的度量,信息（INFORMATION）：抽象的、本質的。是消息的有效內容。 消息（MESSAGE）：隨機的、無法預知的。是信息的載體，信號的內容。 信號（SINGNAL）：消息的載體形式。 用相同的消息量來表達的信息量是不一樣的。 對于一個通信系統(tǒng)，若用相同長度的二進制信號，能傳輸?shù)男畔⒘吭酱螅f明其通信能力越強。,2020/7/27,3,271 消息的統(tǒng)計特性,離散信源：產生離散消息，有限種符號，可以看成是一種有限個狀態(tài)的隨機序列，用離散型隨機過程的統(tǒng)計特性予以描述。 連續(xù)信源：產生連續(xù)消息

2、。,2020/7/27,4,假設離散信源為包含N種符號x1,x2,xN的集合，每個符號出現(xiàn)的概率分別為P(x1),P(x2),p(XN),那么可以用概率場來描述信源。,x1, x2, , Xn P(x1), P(X2), , P(Xn),(,),P(Xi)=1,2020/7/27,5,表2-1 英文字母的出現(xiàn)概率,2020/7/27,6,表2-2 漢字電報中數(shù)字代碼的出現(xiàn)概率,一般情況下，離散信號中各符號的出現(xiàn)是相互關聯(lián)的。即當前出現(xiàn)的符號，其概率與先前出現(xiàn)過的符號有關，必須用條件概率來描述離散消息。,2020/7/27,7,通常，只考慮前一個符號對后一個符號的影響，用轉移概率矩陣來描述。,對

3、于連續(xù)信源，其消息的取值是無限的，必須用概率密度函數(shù)反映其統(tǒng)計特性。消息各點之間的統(tǒng)計關聯(lián)性可以用二維或多維概率密度來描述。,2020/7/27,8,2.7.2 離散信源的信息量,對二進制來說： 1位符號可以表示2個事件。 2位符號可以表示4個事件。 3位符號可以表示8個事件。 對于二維離散序列，N位符號所構成的隨機離散序列可能出現(xiàn)的消息量為2N。,2020/7/27,9,基于這一考慮，哈特首先提出采用消息出現(xiàn)概率的對數(shù)（以2為底）來作為離散消息的度量單位，稱為信息量，用I（xi）表示：,I(xi)=log1/P(xi)=-logP(xi),式中，P(xi)為該消息發(fā)生的概率。當對數(shù)以2為底時

4、，信息量單位為比特(bit)；對數(shù)以e為底時，信息量單位為奈特(nit)。 目前常用比特。,2020/7/27,10,例2-1 例2-2 以上是單一符號出現(xiàn)的信息量。對于由一串符號構成的消息，如果各符號的出現(xiàn)相互獨立，整個消息的信息量I,I=- nilogP(xi),例2-3,2020/7/27,11,當存在兩個信源X和Y時，它們所出現(xiàn)的符號分別為xi和yj，則定義這兩個信源的聯(lián)合信息量為I（xiyj）,I（xiyj）=-logP(xiyj),式中P(xiyj)為信源X出現(xiàn)xi而信源Y出現(xiàn)yj的聯(lián)合概率。當X和Y統(tǒng)計獨立時，聯(lián)合信息量等于X和Y各自信息量之和,如下式：,I（xiyj）=-log

5、P(xiyj) =-logP(xi)P(yj) =-logP(xi)+-logP(yj),2020/7/27,12,在數(shù)字通信系統(tǒng)中，信源發(fā)送的離散符號集合可以看成是X，信宿接收的離散符號集合可以看成是Y，通常X的概率場是已知的，稱為先驗概率，記為P（xi）。 當接收端每收到Y中的一個符號yj以后，接收者要重新估計發(fā)送端各符號xi的出現(xiàn)概率分布，這個概率分布稱為條件概率或后驗概率，用P（xi/yj）表示。,2020/7/27,13,互信息量：后驗概率與先驗概率之比的對數(shù)。,I(xi,yj)=logP(xi/yj)/P(xi) 式中P(xi/yj)為條件概率,I(xi,yj)反映了兩個隨機事件之

6、間的統(tǒng)計關聯(lián)程度，其物理意義為接收端獲取信源信息的能力。,2020/7/27,14,1、若xi與yj之間統(tǒng)計獨立，即出現(xiàn)yj與出現(xiàn)xi無關。P(xi/yj)= P(xi)， I(xi,yj)=0，互信息量為0。 2、若出現(xiàn)xi就一定要出現(xiàn)yj。P(xi/yj)=1， I(xi,yj)= I(xi) ，互信息量等于信源信息量。 例24,2020/7/27,15,273 離散信源的平均信息量（熵）,當消息很長時，用符號出現(xiàn)的概率來計算消息的信息量是比較麻煩的，此時引入平均信息量（熵）的概念。 平均信息量（熵）：每個符號所含信息量的統(tǒng)計平均值，用H（X）表示,H（X）=- p(xi)logp(xi)

7、（2-7）,例2-5,2020/7/27,16,一消息由0、1、2、3四種符號組成，各符號出現(xiàn)概率分別為3/8，1/4，1/4和1/8。消息總長57 個符號，其中0出現(xiàn)23次，1出現(xiàn)14次，2出現(xiàn)13次，3出現(xiàn)7次。用上述二種方法求該消息的信息量。,2020/7/27,17,解法一：,解法二：,2020/7/27,18,如果消息中各符號出現(xiàn)統(tǒng)計相關，則式（2-7）不再適用，必須用條件概率來計算平均信息量，此時引入條件熵的概念：,H(xj/xi)= p(xi) -p(xj/xi)logp(xj/xi),=- p(xi)p(xj/xi)logp(xj/xi),=- p(xi,xj)logp(xj/

8、xi),2020/7/27,19,例2-6 某離散信源由A、B、C三種符號組成。相鄰兩符號出現(xiàn)統(tǒng)計相關，其轉移概率矩陣,=,且已知P（A）= P（B）= P（C）=,求該信源的條件平均信息量。,2020/7/27,20,H（xj/xi）=- =-P(A)P(A/A)logp(A/A)+P(B/A)logP(B/A)+P(C/A)logp(C/A) -P(B)P(A/B)logp(A/B)+P(B/B)logP(B/B)+P(C/B)logp(C/B) -P(C)P(A/C)logp(A/C)+P(B/C)logP(B/C)+P(C/C)logp(C/C) =0.872(bit/符號),若上例中

9、A、B、C符號統(tǒng)計獨立，則可求得平均信息量,H（X）=- ),符號間統(tǒng)計獨立時信源的熵高于統(tǒng)計相關的熵，符號間相互關聯(lián)將使平均信息量減小。,2020/7/27,21,通信中要尋求解決的問題,通信系統(tǒng)的目的是信息傳輸，接收端（信宿）要能最大的獲取發(fā)送端（信源）的信息。要解決以下問題： 1、發(fā)送信號的概率如何分布才能的到最大熵？ 2、最大熵是多少？,2020/7/27,22,當離散信源中每個符號等概出現(xiàn)，而且各符號的出現(xiàn)為統(tǒng)計獨立時，該信源的平均信息量最大。此時最大熵,Hmax= -,2020/7/27,23,若二元離散信源的統(tǒng)計特性為,P+Q=1,H(X)=-(Plogp+QlogQ)=-Plo

10、gP+(1-P)log(1-P),對此式求導求極值，由dH(X)/DP=0,可知當概率P=Q=1/2時，有信源的最大熵H(X)max=1(bit),2020/7/27,24,圖 2-1 熵與概率的關系,2020/7/27,25,對于三元離散信源，當概率P1=P2=P3=1/3時信源最大熵H(X)max=1.585(bit),此結論可以推廣到N元離散信源。 減小或消除符號間的關聯(lián)，并使各符號的出現(xiàn)趨于等概，將使離散信源達到最大熵，從而以最少的符號傳輸最大的信息量。這就是離散信源編碼的目的。,2020/7/27,26,對于兩個離散信源X和Y的情況，X中xi和Y中yi同時出現(xiàn)的平均信息量稱為聯(lián)合熵或

11、共熵，定義為,H(XY)=- P(xiyj)logP(xiyj),2020/7/27,27,兩個離散信源X和Y，X中出現(xiàn)xI的條件下Y中出現(xiàn)yi的平均信息量稱為條件熵，定義為,H(X/Y)=- P(xiyj)logP(xi/yj),同理有,H(Y/X)=- P(xiyj)logP(yi/xj),2020/7/27,28,互信息量的統(tǒng)計平均值稱為平均互信息量，定義為,I(X，Y)=- P(xiyj)I(xj，yi) =- P(xiyj) log,2020/7/27,29,1、共熵與熵和條件熵的關系為 H（XY）=H（X）+H（Y/X） H（XY）=H（Y）+H（X/Y） 2、平均互信息量與熵和條

12、件熵的關系為 I（X，Y）=H（X）-H（X/Y） I（X，Y）=H（Y）-H（Y/X） 3、平均互信息量與熵和共熵的關系為 I（X，Y）=H（X）+H（Y）-H（YX）,2020/7/27,30,274 連續(xù)信源的信息度量,根據(jù)抽樣定理，如果一個連續(xù)的低通信號其上限頻率為W，那么可以用頻率為2W的抽樣序列進行無失真的表示。 設一連續(xù)的平穩(wěn)隨機函數(shù)，其一元概率密度為p(xi)，我們將隨機變量的取值范圍內分成2N小段，當N足夠大時，xi小段內的概率可近似表示為,P(xixxi+x)p(xi)xi,2020/7/27,31,當各抽樣點統(tǒng)計獨立時每個點包含的平均信息量（熵）為：,H(X)- p(xi

13、)xilogp(xi)xi,令xi0,N,則可得連續(xù)每個抽樣點的平均信息量,H(X)= - p(xi) xilogp(xi),2020/7/27,32,=- p(x)dxlogp(x)dx =- p(x)logp(x)dx-logdx p(x)dx =- p(x)logp(x)dx+log(1/dx),稱為絕對熵。 定義,H（X）=- p(x)logp(x)dx為相對熵。,例2-7,2020/7/27,33,如前所述，離散消息源當所有符號等概輸出時，其熵最大。 連續(xù)信息源的最大熵條件如何求得？最大熵是多少？,2020/7/27,34,取決于消息源輸出上所受的限制。常見的限制有兩種。 峰值受限：

14、對于有線性要求的系統(tǒng)，為了避免線性失真，對信號的峰值幅度有限制。 均方值受限（功率受限）：無線性要求的系統(tǒng)。,2020/7/27,35,1、對于均方值受限系統(tǒng)（功率受限系統(tǒng) 最佳概率密度函數(shù)為正態(tài)分布,p(x)= exp-x2/(2 2),其中數(shù)學期望為0，方差為 2,最佳分布時的最大熵為,H(X)=log (bit),2020/7/27,36,2、對于峰制受限情況（功率受限系統(tǒng)） 最佳概率密度函數(shù)為均勻分布,p(x)=,其中x的取值范圍為（-A，A）,最佳分布時的最大熵為,H(X)=log(2A)(bit),2020/7/27,37,連續(xù)信源編碼的目的，就是要根據(jù)信源輸出的受限情況，將其信源

15、的概率密度函數(shù)變換為符合最大熵條件的概率密度函數(shù)，以得到最大熵。,2020/7/27,38,與離散信源相對應，當發(fā)送端連續(xù)信源為X，接收到的連續(xù)信源為Y時，它們的相對條件熵,H(X/Y)=- p(y)p(x/y)log(x/y)dxdy,其中P(y)為接收信號y的概率密度函數(shù)，p(x/y)為條件概率密度。,同理有：,H(X/Y)=- p(x)p(y/x)log(y/x)dxdy,2020/7/27,39,連續(xù)信源的平均互信息量,I(X,Y)= - p(xy)log dxdy,平均互信息量與條件熵和熵之間的關系為：,I（X，Y）=H（X）-H（X/Y）=H（Y）-H（Y/X）,2020/7/27

16、,40,2.8 信道容量和香農公式,信道容量： 單位時間內信道上所能傳輸?shù)淖畲笮畔⒘糠Q為信道容量。,2020/7/27,41,281 有擾離散信道的信息傳輸,離散信道: 信道輸入和輸出都是離散符號。 1、當信道中無干擾時，離散信道輸入符號X和輸出符號Y之間有一一對應的關系。 2、當信道中存在干擾時，輸入符號與輸出符號之間不存在一一對應關系，只存在一定的統(tǒng)計相關性。,2020/7/27,42,這種統(tǒng)計相關性取決于轉移概率p(yj/xi)。離散無記憶信道的轉移概率可用下列矩陣表示：,P(yj/xi)=,2020/7/27,43,同理有,P(xi/yj)=,2020/7/27,44,無記憶信道,每個

17、輸出符號只取決于當前的輸入符號，而與其它輸入符號無關。,信道轉移概率矩陣中各行和各列具有相同集合的元素。,對稱信道,- p(yj/xi)logp(yj/xi)=常數(shù),即上述求和與i無關,2020/7/27,45,對稱信道的輸入、輸出符號集合之間的條件熵,H(Y/X)=- p(xiyj)logp(yj/xi) =- p(xi)p(yj/xi)logp(yj/xi) =- p(yj/xi) logp(yj/xi) p(xi) =- p(yj/xi) logp(yj/xi),上式表明，對稱信道的條件熵H（Y/X）與輸入符號p(xi)的概率無關，僅與信道轉移概率p(yj/xi)有關。,2020/7/2

18、7,46,同理有,H(X/Y)= - p(xi/yj) logp(xi/yj),以有擾信道無記憶的二進制對稱信道為例，如圖2-2所示，它的傳輸特性可用轉移概率矩陣來表示。,p(yj/xi)=,2020/7/27,47,平均互信息量,I（X，Y）=H（X）-H（X/Y）=H（Y）-H（Y/X）,表示了從Y中獲取的關于X的信息，因而也就是有擾信道所傳輸?shù)男畔⒘俊?即有擾信道上所傳輸?shù)男畔⒘坎坏c條件熵H（X/Y）或H（Y/X）有關，而且與熵H（X）或H（Y）有關。 盡管對稱信道的條件熵只取決于信道轉移概率，但H（X）或H（Y）卻與p(x)或p(y)有關。,2020/7/27,48,假設通信系統(tǒng)發(fā)送

19、端每秒發(fā)出r個符號，則有擾信道的信息傳輸速率R,R=I(X,Y)r=H(X)-H(X/Y)r =H(Y)-H(Y/X)r,有擾信道的信道容量：,有擾離散信道的最高信息傳輸速率。用C表示。,2020/7/27,49,C=Rmax=maxH(X)-H(X/Y)r =maxH(Y)-H(Y/X)r,顯然，在條件熵一定的情況下（即信道情況一定時），若能使H（X）或H（Y）達到最大，即可求得有擾離散對稱信道的信道容量。,2020/7/27,50,在對稱信道時，若信道輸入符號是等概分布的，輸出符號也是等概分布的。,證明：設輸入符號等概分布，即p(xi)=1/L,對稱信道轉移矩陣中第j列元素為p(yj/xi

20、) p(yj/x2) p(yj/XL)，則信道輸出符號yj的概率,p(yj)= p(xi)p(yj/xi)= p(yj/xi),2020/7/27,51,因此輸出符號也是等概分布的，此時H（Y）達到最大熵，Hmax(Y)=logM。,得有擾離散信道的信道容量 ：,C=logM+ p(yj/xi)logp(yj/xi)r,例2-8,2020/7/27,52,2.8.2有擾連續(xù)信息的信息傳輸,在有擾連續(xù)信道中，接受到的信號y是發(fā)送信號x和信道噪聲n的線性疊加，即 y=x+n 假設信號和噪聲在各抽樣點上均為獨立的正態(tài)分布。此時只需考慮一維概率密度，而且條件概率密度函數(shù)p(y/x)等于噪聲n的概率密度

21、函數(shù)f(n),即 p(y/x)=f(y-x)=f(n),2020/7/27,53,由連續(xù)信源的相對條件熵定義式（2-34）可得,H(Y/X)=- p(x)dx p(y/x)logp(y/x)dy =- p(x)dx f(n)logf(n)dn =- f(n)logf(n)dn=H(N),上式表明，條件熵H（Y/X）就是噪聲源的熵H（N）?；バ畔⒘?I（X，Y）=H（Y）-H（Y/X）=H（Y）-H（N）,2020/7/27,54,對于頻帶限于W的連續(xù)信號，可以用抽樣定理變換為離散信號，理想情況下最低抽樣頻率為2W，因此有擾連續(xù)信道的信道容量 C=maxH(X)-H(X/Y)*2W=maxH(Y

22、)-H(Y/X)*2W 假設干擾為與信號獨立的白色高斯噪聲，信號功率為S，噪聲功率為N。,2020/7/27,55,在平均功率受限（均方值受限）的條件下可知，H（X）或H（Y）達到最大熵的最佳概率密度函數(shù)為高斯（正態(tài)）分布，并且最大熵為 H(X)=log H(Y)=log H(X)=log,2020/7/27,56,可得連續(xù)信道的信道容量公式（香農公式）如下： C=Wlog(1+S/N)(b/s),香農公式可得到如下結論： 1、提高信噪比能增加信道容量。 2、無干擾信道容量為無窮大。 3、增加信道頻帶W并不能無限制增大信道容量。 （證明在下頁） 4、信道容量一定時，帶寬W與信噪比S/N之間可以彼此互換。,2020/7/27,57,噪聲功率N=Wn0(其中n0為噪聲的單邊帶功率譜密度) 所以C= Wlog(1+S/n0W) =(S/n0) (n0W/S)log(1+S/n0W) =(S/n0)loge =1.44(S/n0),2020/7/27,58,香農公式給出了信道容量的理論極限， 并未給出怎樣來實現(xiàn)這一極限。 通信原理這門課程主要要討論的問題 就是采用怎樣的編碼調制來達到香農極限。 圖2-3和圖2-4就是香農限曲線。,2020/7/27,59,圖