1、信源及其信息熵,第二章,2.1.3 條件熵及聯(lián)合熵,條件熵是在聯(lián)合符號(hào)集合XY上的條件自信息量的數(shù)學(xué)期望。 在已知隨機(jī)變量Y的條件下，隨機(jī)變量X的條件熵定義為：,要用聯(lián)合概率加權(quán),條件熵是一個(gè)確定值，表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。這是傳輸失真所造成的。有時(shí)稱(chēng)H(X/Y)為信道疑義度，也稱(chēng)損失熵。稱(chēng)條件熵H(Y/X)為噪聲熵。,條件熵,聯(lián)合離散符號(hào)集合XY上的每個(gè)元素對(duì) 的聯(lián)合自信息量的數(shù)學(xué)期望。,聯(lián)合熵,熵、條件熵、聯(lián)合熵關(guān)系,一個(gè)二進(jìn)信源X發(fā)出符號(hào)集0,1,經(jīng)過(guò)離散無(wú)記憶信道傳輸,信道輸出用Y表示.由于信道中存在噪聲,接收端除收到0和1的符號(hào)外,還有不確定符號(hào)“2” 已知X的

2、先驗(yàn)概率: p(x0)=2/3, p(x1)= 1/3, 符號(hào)轉(zhuǎn)移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，,X,Y,0,1,0,1,2,3/4,1/2,1/2,1/4,信源熵H(X),例題,得聯(lián)合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(

3、y1 |x1) = 1/31/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/31/2=1/6,由,例題,條件熵H(Y|X),聯(lián)合熵H(XY) H(XY)H(X)H(Y|X)=1.8bit/符號(hào),得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3,由,例題,信源輸出熵H(Y),由,得,同理 p(x0 |y1)=0 ； p(x1 |y

4、1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2,條件熵H(X|Y),例題,或 H(X|Y)= H(XY)-H(Y)=1.8-1047=0.33bit/符號(hào),2.1.4 熵的基本性質(zhì),熵的基本性質(zhì),概率矢量,非負(fù)性,非負(fù)性 H(X)0,由于0pk1, 所以logpk0，-logpk0， 則總有H(X)0。,對(duì)稱(chēng)性,根據(jù)加法交換律可以證明，當(dāng)變量交換順序時(shí)熵函數(shù)的值不變, 即信源的熵只與概率空間的總體結(jié)構(gòu)有關(guān)，而與各概率分量對(duì)應(yīng)的狀態(tài)順序無(wú)關(guān)。,對(duì)稱(chēng)性,確定性,當(dāng)信源X的信源空間X，P中，任一概率分量等于1，根據(jù)完備空間特性，其它概率分量必為0，這時(shí)信源為一個(gè)確知信源，其熵為0

5、。,確定性,這說(shuō)明信源空間中增加某些概率很小的符號(hào)，雖然當(dāng)發(fā)出這些符號(hào)時(shí)，提供很大的信息量，但由于其概率接近于0，在信源熵中占極小的比重， ，使信源熵保持不變。,擴(kuò)展性,擴(kuò)展性,可加性,證明:,可加性,極值性最大離散熵定理,信源X中包含K個(gè)不同離散消息時(shí)，信源熵 ，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率全相等時(shí)，上式取等號(hào)。,表明等概信源的不確定性最大，具有最大熵，為,極值性,定理：1. H(X/Y) H(X) （條件熵不大于無(wú)條件熵） 2. H(XY) H(X)+H(Y),證明：,基本定理,基本定理推廣,H(X/Y) H(X),H(XY) H(X)+H(Y),2.1.5 離散序列信源的熵,設(shè)信源輸出

6、的隨機(jī)序列為 X =(X1X2XlXL) 序列中的變量Xlx1,x2, xn,離散無(wú)記憶信源,離散無(wú)記憶:,離散無(wú)記憶信源的序列熵,信源的序列熵,進(jìn)一步化簡(jiǎn),平均符號(hào)熵,離散無(wú)記憶信源的序列熵,信源的序列熵,進(jìn)一步化簡(jiǎn),平均符號(hào)熵,離散無(wú)記憶信源的序列熵,例:有一個(gè)無(wú)記憶信源隨機(jī)變量X(0,1),等概率分布,若以單個(gè)符號(hào)出現(xiàn)為一事件,則此時(shí)的信源熵:,即用 1比特就可表示該事件。 如果以?xún)蓚€(gè)符號(hào)出現(xiàn)(L=2的序列)為一事件，則隨機(jī)序列X(00,01,10,11)，信源的序列熵,即用2比特才能表示該事件。 信源的符號(hào)熵,離散無(wú)記憶信源實(shí)例,例:有一離散平穩(wěn)無(wú)記憶信源,求：二次擴(kuò)展信源的熵,離散無(wú)

7、記憶信源實(shí)例,信源熵為,信源的序列熵,離散無(wú)記憶信源實(shí)例,平均符號(hào)熵為,例:已知離散有記憶信源中各符號(hào)的概率為:,設(shè)發(fā)出的符號(hào)只與前一個(gè)符號(hào)有關(guān),這兩個(gè)符號(hào)的概率關(guān)聯(lián)性用條件概率p(aj|ai)表示,如表,p(aj|ai),求離散信源的序列熵和平均每個(gè)符號(hào)的熵?,離散有記憶信源實(shí)例,由 p(ai,aj) = p(ai) p(aj| ai) 計(jì)算得聯(lián)合概率p(ai aj)如表,當(dāng)考慮符號(hào)之間有依賴(lài)性時(shí), 計(jì)算得條件熵,離散有記憶信源實(shí)例,發(fā)二重符號(hào)序列的熵,H(X1,X2)表示平均每二個(gè)信源符號(hào)所攜帶的信息量, 那么平均每一個(gè)信源符號(hào)攜帶的信息量近似為:,符號(hào)之間存在關(guān)聯(lián)性,比較,有記憶信源實(shí)例

8、,而信源X的信息熵為,H(X2| X1)H(X)，信源的條件熵比無(wú)依賴(lài)時(shí)的熵H(X)減少了0.671比特,這正是因?yàn)榉?hào)之間有依賴(lài)性所造成的結(jié)果。,對(duì)于有記憶信源,就不像無(wú)記憶信源那樣簡(jiǎn)單,它必須引入條件熵的概念，而且只能在某些特殊情況下才能得到一些有價(jià)值的結(jié)論。 對(duì)于由兩個(gè)符號(hào)組成的聯(lián)合信源,有下列結(jié)論:,當(dāng)前后符號(hào)無(wú)依存關(guān)系時(shí),有下列推論：,離散有記憶信源的序列熵,若信源輸出一個(gè)L長(zhǎng)序列,則信源的序列熵為,平均符號(hào)熵為：,極限熵:,離散有記憶信源的序列熵,（1）條件熵H (XL|XL-1) 隨L的增加非遞增,離散有記憶信源特點(diǎn),（3）平均符號(hào)熵HL(X)隨L的增加非遞增,H0(X)H1(X)H2(X)H(X),（2）L給定時(shí), H L(X)H (XL|XL-1),（4）,2.1