1信源與信息熵第二章22.1信源的描述和分類2.2離散信源熵和互信息2.3離散序列信源的熵2.4連續(xù)信源的熵和互信息2.5冗余度內(nèi)容32.3離散序列信源的熵4信源輸出的隨機序列為序列熵:信源中平均每個消息的不確定度5符號熵：平均每個符號的熵若當信源退化為無記憶時:若進一步又滿足平穩(wěn)性時6a0a1a2a09/112/110a11/83/41/8a202/97/9例已知離散有記憶信源中各符號的概率空間為:設發(fā)出的符號只與前一個符號有關,這兩個符號的概率關聯(lián)性用條件概率p(aj|ai)表示,如表p(aj|ai)分析離散信源的熵和符號熵?由p(ai,aj)=p(ai)p(aj|

ai)計算得聯(lián)合概率p(ai

aj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36聯(lián)合熵H(X1,X2)表示平均每二個信源符號所攜帶的信息量。符號熵：平均每一個信源符號攜帶的信息量：

8單符號信源X的信息熵為H(X2|X1)＜H(X)信源的條件熵比無依賴時的熵H(X)減少了0.671比特,這正是因為符號之間有依賴性所造成的結(jié)果。符號之間存在關聯(lián)性9離散平穩(wěn)信源對于離散平穩(wěn)信源,有下列結(jié)論：⑴條件熵H(XL|XL-1)隨L的增加是非遞增的條件較多的熵必小于或等于條件較少的熵，而條件熵必小于或等于無條件熵。10⑶HL(X)是L的單調(diào)非增函數(shù)

HL(X)≤HL-1(X)⑷H∞稱為平穩(wěn)信源的極限熵或極限信息量⑵L給定時,平均符號熵≥條件熵

H

L(X)≥H(XL|XL-1)證明：定義+結(jié)論1+結(jié)論211（5）H0(X)≥H1(X)≥H2(X)≥…≥H∞(X)對于有記憶信源，發(fā)出的符號序列中符號之間有依賴性，而且這種依賴性是無窮的，所以有記憶信源的信息熵只能用平均符號熵的極限值來表示。122.4連續(xù)信源的熵

和互信息

13單符號離散信源的數(shù)學模型—概率空間14連續(xù)信源的表達方式：（用概率分布密度函數(shù)pX(x)來表示）連續(xù)信源X的數(shù)學模型：連續(xù)信源數(shù)學模型15圖概率密度函數(shù)x落入第i個區(qū)間的概率：

離散隨機變量X△連續(xù)信源熵16第一項具有離散信源熵的形式，是定值，第二項為無窮大。即不考慮第二項無窮大項，定義連續(xù)信源熵(也叫相對熵)為:17相對熵與離散熵相對熵與離散熵在形式上相似，概念上有區(qū)別：1、相對熵是離散熵的有限項，去掉了無窮大項，所以不能作為連續(xù)隨機變量不確定性的度量公式2、連續(xù)隨機變量取值于連續(xù)區(qū)間，有無窮多個取值點，每一點的概率均為0，自信息量無意義，不能把相對熵視作自信息量的統(tǒng)計平均。在離散情況下的自信息量、條件自信息量等在連續(xù)情況下都失去了物理意義。18例：求具有如下概率密度函數(shù)的隨機變量的相對熵。1、指數(shù)分布2、均勻分布3、高斯分布19連續(xù)信源聯(lián)合相對熵連續(xù)信源條件相對熵

Hc(XY)＝Hc(X)＋Hc(Y/X)＝Hc(Y)＋Hc(X/Y)互信息定義為：I(X;Y)＝I(Y;X)＝Hc(X)－Hc(X/Y)

＝Hc(X)＋Hc(Y)－Hc(XY)

＝Hc(Y)－Hc(Y/X)20冗余度冗余度(多余度、剩余度)表示信源在實際發(fā)出消息時所包含的多余信息。如果一個消息所包含的符號比表達這個消息所需要的符號多，這樣的消息就含有多余度。冗余度來源：信源符號間的相關性。相關程度越大,信源的實際熵越小信源符號分布的不均勻性。等概率分布時信源熵最大。21冗余度對于有記憶信源,極限熵為H∞(X)。即傳送這一信源的信息,理論上只需要傳送H∞(X)即可。而要計算H∞(X)必須掌握信源全部概率統(tǒng)計特性,這是不現(xiàn)實。實際上,傳遞Hm(X)信息量，與理論極限值相比,多傳送信息量Hm(X)－H∞(X)。為了定量地描述信源的有效性,定義:信息效率冗余度22冗余度由于信源存在冗余度,即存在一些不必要傳送的信息,因此信源也就存在進一步壓縮其信息率的可能性。信源冗余度越大,其進一步壓縮的潛力越大。這是信源編碼與數(shù)據(jù)壓縮的前提與理論基礎。例：英文字母：等概率H0=log27=4.76比特/符號不等概率H1=4.0