第2章離散信源及其信息測(cè)度2.1單符號(hào)離散信源的數(shù)學(xué)模型2.2自信息和信息函數(shù)2.3信息熵2.4信息熵的基本性質(zhì)2.5聯(lián)合熵和條件熵的分解與計(jì)算2.6信息熵的解析性質(zhì)2.7離散信源的最大熵值2.8多符號(hào)離散平穩(wěn)信源2.9多符號(hào)離散平穩(wěn)無(wú)記憶信源及其信息熵2.10多符號(hào)離散平穩(wěn)有記憶信源及其信息熵2.11信源的相關(guān)性與冗余度

2.1單符號(hào)離散信源的數(shù)學(xué)模型

單符號(hào)離散信源是最簡(jiǎn)單的一種離散信源。這種信源發(fā)出的消息是離散的、有限或無(wú)限可列的符號(hào)或數(shù)字。同時(shí)，這種信源發(fā)出的消息是由一個(gè)符號(hào)(或數(shù)字)組成的，即一個(gè)符號(hào)就代表一個(gè)完整的消息。比如，我們把擲骰子朝上一面的點(diǎn)數(shù)作為信源輸出消息，就可把這種信源看做一個(gè)單符號(hào)的離散信源。我們?cè)诘?章中已經(jīng)指出，在通信系統(tǒng)中，收信者在未收到消息以前，對(duì)信源發(fā)出什么消息是不確定的。信源要含有一定的信息，必須具有隨機(jī)性，以一定的概率發(fā)出各種不同的符號(hào)。所以，我們可以把信源看做具有一定概率分布的符號(hào)集合?；趯?duì)信源的這種認(rèn)識(shí)，我們可以用離散隨機(jī)變量的可能取值表示信源可能發(fā)出的不同符號(hào)，用離散隨機(jī)變量的概率分布表示信源發(fā)出不同符號(hào)的可能性的大小?？傊覀兛捎靡粋€(gè)離散型隨機(jī)變量來(lái)代表一個(gè)單符號(hào)離散信源。這就是建立單符號(hào)離散信源數(shù)學(xué)模型的基本思想。例如，擲一個(gè)六面均勻的骰子，每次出現(xiàn)朝上一面的點(diǎn)數(shù)是隨機(jī)的，我們可把出現(xiàn)朝上一面的點(diǎn)數(shù)看做信源的輸出消息。因此，這種信源可能輸出的各種不同消息，都是離散的數(shù)字。而且，不同消息的數(shù)量是有限的，即組成數(shù)字集合為{1，2，3，4，5，6}，這種信源是一個(gè)單符號(hào)離散信源。根據(jù)上述建立數(shù)學(xué)模型的基本思想，可用一個(gè)離散型隨機(jī)變量X來(lái)表示這個(gè)信源。X的可能取值，就是信源可能輸出的各種不同符號(hào)。那么，X的狀態(tài)空間就是信源可能輸出的數(shù)字集合X：{1，2，3，4，5，6}，X的概率分布就是信源輸出各種不同數(shù)字的先驗(yàn)概率P(X)。顯然，X的概率空間可測(cè)定為該單符號(hào)離散信源的數(shù)學(xué)模型可表示為上式也稱(chēng)為信源空間，是描述信源的數(shù)學(xué)模型，它是由狀態(tài)空間和概率空間所組成的。注意到信源輸出的消息，只可能是數(shù)字集合X：{1，2，3，4，5，6}中的任何一個(gè)，不可能是這個(gè)集合以外的符號(hào)，所以信源的概率空間必定是一個(gè)完備集，即滿足P{X=1}+P{X=2}+…+P{X=6}=1對(duì)于一般的信源來(lái)說(shuō)，信源可能發(fā)出不同符號(hào)，組成符號(hào)集X：{a1，a2，…，ar}，即信源可能發(fā)出r種不同的符號(hào)ai(i=1,2,…,r)。信源發(fā)符號(hào)ai(i=1,2,…,r)的先驗(yàn)概率測(cè)定為P(ai)(i=1，2，…，r)。那么，該信源可用信源空間這樣的數(shù)學(xué)模型表示，即

(2-1)其中P(ai)(i=1，2，…，r)滿足(2-2)可以看出，不同的信源，對(duì)應(yīng)不同的數(shù)學(xué)模型，即不同的信源空間。如果一個(gè)信源已經(jīng)給定，則相應(yīng)的信源空間就唯一確定了；反之，如果一個(gè)信源空間已經(jīng)給定，則相應(yīng)的信源也就唯一確定了。

2.2自信息和信息函數(shù)

在討論了信源的數(shù)學(xué)模型之后，很自然接著會(huì)提出這樣一個(gè)問(wèn)題，即信源發(fā)出某一符號(hào)ai(i=1，2，…，r)后，它提供多少信息量？這就是要解決信息的度量問(wèn)題。

在第1章中已經(jīng)指出，在通信的一般情況下，收信者所獲取的信息量，在數(shù)量上等于通信前后不確定性的消除的量。具體而言，如信源發(fā)某一符號(hào)ai(i=1，2，…，r)，由于信道中噪聲的隨機(jī)干擾，收信者收到的一般是ai的某種變型bj。收信者收到bj后，從bj中獲取關(guān)于ai的信息量用I(ai；bj)表示，則有上述對(duì)應(yīng)的數(shù)學(xué)表達(dá)式為

I(ai；bj)=I(ai)－I(ai|bj)

(2-3)

為了便于引出一個(gè)重要的結(jié)果，我們不妨假定信道中沒(méi)有噪聲的隨機(jī)干擾，這時(shí)，顯然有bj=ai本身，收信者確切無(wú)誤地收到信源發(fā)出的消息。那么，收到bj后，對(duì)ai仍然存在的不確定性等于0，即I(ai|bj)=0。這樣，根據(jù)式(2-3)，收到bj后，從bj中獲取關(guān)于ai的信息量為I(ai；bj)=I(ai)－I(ai|bj)=I(ai),這個(gè)I(ai)也就是ai本身所含有的信息量，即信源能提供的全部信息量，我們稱(chēng)I(ai)為ai的自信息量。我們知道，不確定性是與可能性相聯(lián)系的，而可能性又是由概率的大小來(lái)表示的，故自信息量I(ai)一定是信源發(fā)符號(hào)ai的先驗(yàn)概率P(ai)(i=1，2，…，r)的函數(shù)，即

I(ai)=f[P(ai)](i=1，2，…，r)

(2-4)

下面，我們根據(jù)式(2-4)必須遵循的公理?xiàng)l件，直接導(dǎo)出

f[P(ai)]的數(shù)學(xué)表達(dá)式。關(guān)于f[P(ai)]，有以下四個(gè)公理?xiàng)l件：

(1)若P(a1)>P(a2)，則I(a1)<I(a2)，即f[P(ai)]是P(ai)的單調(diào)遞減函數(shù)；

(2)若P(ai)=0，則f[P(ai)]→∞；

(3)若P(ai)=1，則f[P(ai)]=0；

(4)若兩個(gè)事件ai和bj統(tǒng)計(jì)獨(dú)立，則ai和bj的聯(lián)合信息量應(yīng)等于它們各自的信息量之和，即I(aibj)=I(ai)+I(bj)。如有兩個(gè)統(tǒng)計(jì)獨(dú)立的信源X和Y，它們的信源空間分別是(2-5)它們均為完備集，即滿足(2-6)

收信者同時(shí)收到來(lái)自X和Y兩個(gè)信源的符號(hào)ai和bj，則所獲得的聯(lián)合信息量等于符號(hào)ai和bj各自的信息量之和，即I(aibj)=I(ai)+I(bj)(i=1，2，…，r；j=1，2，…，s)。

在數(shù)學(xué)上可證明，同時(shí)滿足以上四個(gè)公理?xiàng)l件的函數(shù)形式為(2-7)在式(2-7)和后面的章節(jié)中，采用以2為底的對(duì)數(shù)，所得信息量的單位為比特。

2.3信息熵

2.3.1信息熵的數(shù)學(xué)表達(dá)式

為了求得整個(gè)信源所提供的平均信息量，首先，我們應(yīng)當(dāng)了解數(shù)學(xué)中有關(guān)三種不同類(lèi)型的平均方法以及它們各自的計(jì)算公式。這三種平均方法分別是算術(shù)平均、統(tǒng)計(jì)平均和幾何平均，它們的數(shù)學(xué)定義分別如下:(2-8)式中，Pi=Ni/N(i=1，2，…，r)為對(duì)應(yīng)的隨機(jī)變量xi出現(xiàn)的概率(或稱(chēng)為頻數(shù))。即(2-9)根據(jù)式(2-8)中有關(guān)統(tǒng)計(jì)平均的定義，可求得信源X自信息量的統(tǒng)計(jì)平均值，我們把這個(gè)統(tǒng)計(jì)平均值記為H(X)，即(2-10)2.3.2信息熵的物理含義

有關(guān)信息熵的物理含義有以下三個(gè)方面：

(1)信息熵H(X)表示信源X每發(fā)一個(gè)符號(hào)所提供的平均信息量。

(2)信息熵H(X)表示信源X每發(fā)一個(gè)符號(hào)前，收信者對(duì)X存在的平均不確定性。例如有三個(gè)信源X1，X2，X3，它們的信源空間分別是：

(3)用信息熵H(X)來(lái)表示隨機(jī)變量X的隨機(jī)性。

2.4信息熵的基本性質(zhì)

2.4.1信息熵及其熵函數(shù)表示

根據(jù)信息熵的定義其中信源空間是完備的，滿足概率歸一化條件。因此，H(X)可以看做概率矢量P或它的分量(P(a1)，P(a2)，…，P(ar))的多元函數(shù)，這個(gè)函數(shù)可寫(xiě)成關(guān)于概率矢量P的一般形式:(2-11)2.4.2對(duì)稱(chēng)性

根據(jù)式(2-11)，并根據(jù)加法交換律可知，當(dāng)變量P1，P2，…，Pr的順序任意互換時(shí)，熵函數(shù)的值保持不變，即(2-12)這就是熵函數(shù)的對(duì)稱(chēng)性。這種對(duì)稱(chēng)性的物理意義是，信源的熵只與概率空間的總體結(jié)構(gòu)，即與信源的總體統(tǒng)計(jì)特性有關(guān)，而與信源空間中各概率分量所對(duì)應(yīng)的符號(hào)無(wú)關(guān)。如果某些信源的統(tǒng)計(jì)特性相同，那么，這些信源的熵值就相同。例如，以下三個(gè)不同信源的信源空間為則這三個(gè)信源信息熵的大小是相同的，即熵函數(shù)的這種對(duì)稱(chēng)性，充分表明了信息熵表征信源的總體統(tǒng)計(jì)特性，它是信源總體的信息測(cè)度。但它也有局限性，即它只能用于度量客觀熵，不能用于描述事件本身的主觀意義。2.4.3非負(fù)性

根據(jù)信息熵的定義，因0≤P(ai)≤1(i=1，2，…，r)，故H(X)≥0。2.4.4確定性

所謂確定性，是指概率空間中只要有一個(gè)概率為1，再根據(jù)概率空間的完備性，則其余概率均只能取0，這就是確定性的一種具體表現(xiàn)。故得熵函數(shù)的一般形式為

根據(jù)公式(2-13)得H(1，0，…，0)=H(0，1，…，0)=…=H(0，0，…，1)=0。2.4.5連續(xù)性

連續(xù)性指的是熵函數(shù)H(P1，P2，…，Pr)隨概率P1，P2，…，Pr的變化而連續(xù)變化，這與多元函數(shù)的連續(xù)性是一致的。熵函數(shù)H(P1，P2，…，Pr)的連續(xù)性指的是在概率歸一化約束條件下關(guān)于自變量P1，P2，…，Pr的多元函數(shù)的連續(xù)性問(wèn)題。設(shè)X的信源空間為其中Pi(i=1，2，…，r)滿足。當(dāng)某一概率分量Pi(i=1，2，…，r)發(fā)生微小波動(dòng)±ε(ε>0)，而又要求總的符號(hào)數(shù)r保持不變時(shí)，其它概率分量Pj(j≠i)必然隨之發(fā)生相應(yīng)的微小變化，形成了另一個(gè)信源X~其中，。于是的熵為當(dāng)微小波動(dòng)ε→0時(shí)，εj(j≠i)→0，從而有(2-14)這說(shuō)明熵函數(shù)是自變量Pi(i=1，2，…，r)的連續(xù)函數(shù)，它表明當(dāng)信源空間的概率分量發(fā)生微小變化時(shí)，不會(huì)引起熵的巨大變化，這就是信息熵連續(xù)性的物理含義。2.4.6擴(kuò)展性

當(dāng)信源X中的某一概率分量Pi(i=1，2，…，r)發(fā)生微小變化ε(ε>0)，而又要求其它的分量Pj(j≠i)保持不變時(shí)，在概率歸一化條件下，勢(shì)必增加信源符號(hào)數(shù)，形成另一個(gè)信源X，即~其中，εl>0(l=1，2，…，k)，，0<(Pi－ε)<1，滿足。于是的熵為當(dāng)微小波動(dòng)ε→0時(shí)，εl→0(l=1，2，…，k)，根據(jù)式(2-13)，得(2-15)上述結(jié)果表明，信源空間中增加某些概率很小的符號(hào)，雖然當(dāng)信源發(fā)出這些符號(hào)時(shí)，能提供很大的信息量，但終因其概率接近于零，在信息熵求統(tǒng)計(jì)平均中所占有的權(quán)重也很小，從而對(duì)信息熵的貢獻(xiàn)也很小，使總的信源熵值也基本保持不變。2.4.7歸一化聯(lián)合概率和條件概率及其推廣形式

1.歸一化聯(lián)合概率和條件概率

設(shè)有兩個(gè)相互關(guān)聯(lián)的信源X和Y，其信源空間為式中，?！靶旁碭和Y相互關(guān)聯(lián)”的含意是，在信源X發(fā)某一符號(hào)ai(i=1，2，…，r)的前提下，信源Y按一定的概率發(fā)某一符號(hào)bj(j=1，2，…，s)，對(duì)各種不同的i和j，都有相應(yīng)的概率與之對(duì)應(yīng)。在用條件概率P(bj|ai)表示X發(fā)ai(i=1，2，…，r)的前提下，Y發(fā)bj(j=1，2，…，s)的概率。所以，X和Y的相互關(guān)聯(lián)，可由r×s個(gè)條件概率P(bj|ai)(i=1，2，…，r；j=1，2，…，s)來(lái)描述，顯然滿足0≤P(bj|ai)≤1。又考慮到當(dāng)信源X發(fā)符號(hào)ai的前提下，信源Y只能發(fā){b1，b2，…，bs}中的任何一個(gè)符號(hào)，不可能是這個(gè)符號(hào)集以外的任何別的符號(hào)。故有(2-16)而且這個(gè)結(jié)論對(duì)信源X發(fā){a1，a2，…，ar}中的任何一個(gè)符號(hào)都成立。

當(dāng)X和Y同時(shí)出現(xiàn)時(shí)，形成了一個(gè)新的信源(XY)。顯然，信源(XY)共有r×s個(gè)不同的符號(hào)(aibj)(i=1，2，…，r；j=1，2，…，s)。信源(XY)發(fā)某一符號(hào)(aibj)的概率為其中r×s個(gè)概率P(aibj)與r×s個(gè)不同的符號(hào)(aibj)相對(duì)應(yīng)，同樣也應(yīng)滿足歸一化條件，即(2-17)

2.歸一化聯(lián)合概率和條件概率的推廣形式

在信息論中，需要將上述歸一化條件推廣到多維聯(lián)合概率和條件概率的情況，并通過(guò)增加或減少求和符號(hào)∑的方法得到所需的結(jié)果。

(1)根據(jù)式(2-16)和式(2-17)，得歸一化多維聯(lián)合和條件概率公式的推廣形式為(2-18)

(2)在歸一化概率條件下，通過(guò)增加求和符號(hào)∑的方法獲得所需結(jié)果。例如:(2-19)(2-20)

(3)在歸一化概率條件下，通過(guò)消除求和符號(hào)∑的方法獲得所需結(jié)果。例如:

(2-21)

(4)雖然上面僅列出了其中的幾個(gè)公式，但這些形式可推廣至一般情況，具有普適性。

(5)由歸一化概率的條件，可驗(yàn)證上述公式的正確性。例如式(2-20)中第二式根據(jù)歸一化概率條件，得將其代入上式，得從而證明了式(2-20)中第二式的結(jié)果成立。再如式(2-21)中的第二式

從而證明了式(2-21)中第二式的結(jié)果成立。2.4.8強(qiáng)可加性

對(duì)于信源(XY)，其信息熵為－logP(aibj)的統(tǒng)計(jì)平均值，即(2-22)另一方面，根據(jù)聯(lián)合概率和條件概率的關(guān)系，得其另一種形式為(2-23)2.4.9可加性

若X和Y統(tǒng)計(jì)獨(dú)立，且滿足P(bj|ai)=P(bj)，P(aibj)=P(ai)P(bj)，則由式(2-22)得(2-24)

2.5聯(lián)合熵和條件熵的分解與計(jì)算

已知聯(lián)合熵的定義為將聯(lián)合熵分別按行或列分解為r個(gè)行自熵之和或s個(gè)列自熵之和，得式中(2-26)統(tǒng)稱(chēng)為自熵。另一方面，根據(jù)強(qiáng)可加性，得兩個(gè)條件熵的定義為(2-27)同理，將式(2-27)中的條件熵H(Y|X)，分別按行或列分解為r個(gè)行互熵之和或s個(gè)列互熵之和，得(2-28)式中(2-29)統(tǒng)稱(chēng)為互熵。同理，將式(2-27)中的條件熵H(X|Y)，分別按行或列分解為r個(gè)行互熵之和或s個(gè)列互熵之和，得

(2-30)式中(2-31)同樣統(tǒng)稱(chēng)為互熵。此處引入自熵和互熵的目的，主要是為了采用一種“各個(gè)擊破”的方法來(lái)簡(jiǎn)化聯(lián)合熵和條件熵的復(fù)雜計(jì)算。由于將聯(lián)合熵或條件熵分解為自熵或互熵之和，我們可將聯(lián)合熵或條件熵的復(fù)雜計(jì)算問(wèn)題轉(zhuǎn)化為自熵或互熵的簡(jiǎn)單計(jì)算，原因是自熵和互熵的計(jì)算與我們?cè)谇懊嬉咽煜さ膯蝹€(gè)信源的信息熵的計(jì)算是完全類(lèi)似的。自熵和互熵的一般形式為(2-32)式中P(·)和Q(·)表示各種形式的概率、條件概率和聯(lián)合概率等。因此，前面介紹的信息熵顯然屬于自熵的一種形式。根據(jù)信息熵的定義，我們知道，信息熵的概率空間的集合必須是完備的，或者說(shuō)滿足歸一化條件。但對(duì)于自熵或互熵來(lái)說(shuō)，概率空間的集合一般是不完備的。即(2-33)需要指出的是，若概率空間的集合{P(·)}和{Q(·)}均為完備的條件下，則自熵和互熵也是完備的。根據(jù)凸函數(shù)不等式，可以證明完備的自熵和完備的互熵之間滿足下列不等式，即(2-34)例2-1

已知聯(lián)合概率矩陣為試求聯(lián)合熵H(XY)。

解由于[H(XY)]中的所有元素相加等于1，故給出的聯(lián)合概率矩陣是完備的。若按行自熵相加的方法計(jì)算聯(lián)合熵，得同理，也可按列自熵相加的方法計(jì)算聯(lián)合熵，結(jié)果相同。

例2-2

已知聯(lián)合概率矩陣為試求條件熵H(Y|X)和H(X|Y)。

解由于[H(XY)]中的所有元素相加等于1，故給出的聯(lián)合概率矩陣是完備的。注意到利用[P(XY)]進(jìn)一步求出P(ai)、P(bj)、P(bj|ai)和P(ai|bj)，因此，如果給出了[P(XY)]就等于給出了全部所需的條件和信息。下面用各種方法進(jìn)行計(jì)算，目的是熟悉這些方法。

(1)利用[P(XY)]求P(ai)，得(2)利用[P(XY)]求P(bj)，得

(3)利用[P(XY)]和P(ai)求[P(Y|X)]，得

(4)利用[P(XY)]和P(bj)求[P(X|Y)]，得

(5)利用[P(XY)]和[P(Y|X)]，根據(jù)行互熵的公式求條件熵H(Y|X)，得同理，也可以根據(jù)列互熵的公式求條件熵H(Y|X)，結(jié)果是一致的。

(6)利用[P(XY)]和[P(X|Y)]，根據(jù)行互熵的公式求條件熵H(X|Y)，得同理，也可以根據(jù)列互熵的公式求條件熵H(X|Y)，結(jié)果是一致的。

(7)驗(yàn)證上述結(jié)果的正確性。因H(X)=2，H(Y|X)=0.25，H(Y)=1.75，H(X|Y)=0.5，H(XY)=2.25，故滿足H(X)+H(Y|X)=H(Y)+H(X|Y)=H(XY)。

(8)可用公式H(Y|X)=H(XY)－H(X)和H(X|Y)=H(XY)－H(Y)進(jìn)行計(jì)算，從而避免了計(jì)算較為復(fù)雜的條件概率矩陣[P(Y|X)]和[P(X|Y)]，因而更為簡(jiǎn)單。

2.6信息熵的解析性質(zhì)

2.6.1∩型凸函數(shù)及其不等式

設(shè)f(x)是實(shí)變量x的實(shí)值連續(xù)函數(shù)，如對(duì)定義域中的任何x1和x2，滿足不等式(2-35)則稱(chēng)f(x)為∩型凸函數(shù)，其幾何意義如圖2-1所示。圖中A點(diǎn)對(duì)應(yīng)(x1+x2)/2，D點(diǎn)對(duì)應(yīng)f((x1+x2)/2)，B點(diǎn)對(duì)應(yīng)[f(x1)+f(x2)]/2，顯然上式成立。圖2-1∩型凸函數(shù)將式(2-35)推而廣之，得更為一般的形式為(2-36)進(jìn)一步可將算術(shù)平均推廣到統(tǒng)計(jì)平均的范疇，設(shè),Pi=Ni/N(i=1，2，…，k)，得(2-37)特別是當(dāng)k=2時(shí)，得(2-38)2.6.2∪型凸函數(shù)及其不等式

設(shè)f(x)是實(shí)變量x的實(shí)值連續(xù)函數(shù)，如對(duì)定義域中的任何x1和x2，滿足不等式(2-39)則稱(chēng)f(x)為∪型凸函數(shù)，其幾何意義如圖2-2所示。圖中A點(diǎn)對(duì)應(yīng)(x1+x2)/2，D點(diǎn)對(duì)應(yīng)f((x1+x2)/2)，B點(diǎn)對(duì)應(yīng)[f(x1)+f(x2)]/2，顯然上式成立。圖2-2∪型凸函數(shù)同理可證明，若f(x)是∪型凸函數(shù)，則對(duì)應(yīng)不等式更一般的形式為(2-40)特別是當(dāng)k=2時(shí)，得(2-41)2.6.3熵函數(shù)的極值性

當(dāng)x>0時(shí)，底數(shù)為2的對(duì)數(shù)logx是x的嚴(yán)格∩型凸函數(shù)。因此，我們?nèi)(x)=logx來(lái)研究熵函數(shù)的極值性。

設(shè)信源X的概率空間為(2-42)根據(jù)式(2-37)，得(2-43)設(shè)另一概率空間為

(2-44)令式(2-43)中的xi=Qi/Pi(i=1，2，…，r)，將其代入式(2-43)中，得(2-45)從而得(2-46)上式體現(xiàn)了熵函數(shù)的極值性。它表明，熵函數(shù)一定不大于完備的互熵。2.6.4熵函數(shù)的上凸性

下面證明熵函數(shù)的上凸性。設(shè)式(2-42)對(duì)應(yīng)的熵函數(shù)為H(P)，式(2-44)對(duì)應(yīng)的熵函數(shù)為H(Q)，并設(shè)常數(shù)0<α<1，0<1－α<1，α+(1－α)=1。由于上凸函數(shù)滿足不等式

f(P1x1+P2x2)≥P1f(x1)+P2f(x2)

(2-47)

選取f(·)=H(·)，P1=α，P2=1－α，x1=P，x2=Q。對(duì)照式(2-47)，如果H(·)滿足

H[αP+(1－α)Q]≥αH(P)+(1－α)H(Q)

(2-48)

則熵函數(shù)H(·)為上凸函數(shù)。事實(shí)上

(2-49)令αPi+(1－α)Qi=Ωi，并且所有的Ωi之和滿足歸一化條件。將其代入上式，得(2-50)

2.7離散信源的最大熵值

1.利用上凸函數(shù)不等式求熵函數(shù)的最大值

已知信息熵的一般表達(dá)式為(2-51)選取f(x)=logx，當(dāng)x>0時(shí)為上凸函數(shù)，故有(2-52)另一方面，當(dāng)P(ai)為等概分布時(shí)，得P(ai)=1/r，將其代入信息熵的表達(dá)式中，得

2.利用多元函數(shù)的條件極值求熵函數(shù)的最大值

根據(jù)多元函數(shù)中的條件極值法，作輔助函數(shù)(2-54)其中，，λ為待定常數(shù)。為簡(jiǎn)化運(yùn)算，假定對(duì)數(shù)取e為底，根據(jù)條件極值法，得(2-55)將上式表示成一個(gè)統(tǒng)一的形式，得

再由約束方程，得將式(2-57)代入式(2-56)中，得從而證明了當(dāng)P(ai)為等概時(shí)，離散信源的信息熵H(X)達(dá)到最大。

2.8多符號(hào)離散平穩(wěn)信源

前面我們討論了單符號(hào)離散信源，但在實(shí)際情況中，信源發(fā)出的符號(hào)往往是時(shí)間或空間上的一系列離散符號(hào)所組成的符號(hào)序列。這種信源我們稱(chēng)為多符號(hào)離散信源。由于這種信源輸出的序列中，每一位出現(xiàn)哪個(gè)符號(hào)是隨機(jī)的，故這種信源可由離散隨機(jī)序列即隨機(jī)矢量來(lái)描述：

X=X1X2X3…

(2-59)

為便于分析，必須對(duì)多符號(hào)離散信源作一些假定，使問(wèn)題得到簡(jiǎn)化。事實(shí)上，對(duì)于許多實(shí)際多符號(hào)離散信源來(lái)說(shuō)，通常假定符合以下三個(gè)條件：

(1)假定多符號(hào)離散信源是平穩(wěn)信源。對(duì)于兩個(gè)不同的離散時(shí)刻t1=i和t2=j，i和j為正整數(shù)，則隨機(jī)變量的概率分布不隨時(shí)間的推移而變化，亦即與時(shí)間起點(diǎn)無(wú)關(guān)，滿足

(2-60)

(2)假定信源每次發(fā)出的符號(hào)數(shù)均相等，長(zhǎng)度均為N。

(3)假定所有的Xi(i=1，2，…，N，…)均取自于同一個(gè)信源X：{a1，a2，…，ar}，即

Xi∈{a1，a2，…，ar}(i=1，2，…，N，…)

(2-61)

得對(duì)應(yīng)的一維概率分布為(2-62)一維概率分布的一般形式為(2-63)二維聯(lián)合概率分布與條件概率分布的一般形式為(2-64)例2-3

已知信源X的概率空間為

設(shè)信源X=X1X2X3…中所有的Xi(i=1，2，…，N，…)均取自于同一個(gè)信源X：{a1，a2，a3}，即Xi∈{a1，a2，a3}(i=1，2，…，N，…)則信源X=X1X2X3…的二維聯(lián)合概率分布為

2.9多符號(hào)離散平穩(wěn)無(wú)記憶信源及其信息熵

設(shè)多符號(hào)離散平穩(wěn)信源

X=X1X2X3…XN

(2-65)

其中各個(gè)時(shí)刻的隨機(jī)變量Xi(i=1，2，…，N)都取值并且取遍于同一個(gè)平穩(wěn)信源空間的符號(hào)集X：{a1，a2，…，ar}，滿足P{Xi=ak}=P{Xj=ak}=P(ak)(k=1，2，…，r)因此，離散信源X=X1X2X3…XN是平穩(wěn)的。再假定X=X1X2X3…XN的各個(gè)符號(hào)統(tǒng)計(jì)獨(dú)立

P(X)=P(X1X2X3…XN)=P(X1)·P(X2)…P(XN)

(2-66)

這種多符號(hào)離散平穩(wěn)無(wú)記憶信源常稱(chēng)為離散無(wú)記憶信源的N次擴(kuò)展信源，記為XN。2.9.1信源XN的信源空間

因?yàn)樾旁碭N的每一個(gè)符號(hào)均由信源X的符號(hào)集X：{a1，a2，…，ar}中的N個(gè)符號(hào)組成，故XN發(fā)出的任一具體符號(hào)αi可表示為(2-67)得XN的信源空間為(2-68)可以證明，該信源是完備的。事實(shí)上，我們有

(2-69)故XN的信源是完備的，信息熵一定存在。2.9.2信源XN的聯(lián)合熵

根據(jù)信息熵的定義，得XN的聯(lián)合熵為(2-70)再考慮到各個(gè)時(shí)刻的隨機(jī)變量Xi(i=1，2，…，N)都取值并且取遍于同一個(gè)信源空間的符號(hào)集X：{a1，a2,…,ar}，我們有

H(X)=H(X1)=H(X2)=…=H(XN)

因此，XN的信息熵為

H(XN)=NH(X)

(2-71)

為了便于比較，我們總是希望用一個(gè)共同的標(biāo)準(zhǔn)來(lái)衡量各種信源的信息特性，這個(gè)共同標(biāo)準(zhǔn)就是每發(fā)一個(gè)符號(hào)信源所提供的平均信息量，用符號(hào)HN表示，即(2-72)不妨將HN稱(chēng)為H(X1X2…XN)的平均符號(hào)熵(即算術(shù)平均值)。對(duì)于N次擴(kuò)展信源來(lái)說(shuō)，平均符號(hào)熵為

(2-73)故信源XN的平均符號(hào)熵HN等于H(X)。例2-4

設(shè)有一離散無(wú)記憶信源試求二次擴(kuò)展信源空間、聯(lián)合熵H(XN)和平均符號(hào)熵HN。解二次擴(kuò)展信源共有rN=32=9個(gè)不同的符號(hào)。又因?yàn)樾旁碭

是無(wú)記憶的，則有P(aiaj)=P(ai)P(aj)經(jīng)計(jì)算，得二次擴(kuò)展信源空間中的9個(gè)符號(hào)如下:

二次擴(kuò)展信源空間為

2.10多符號(hào)離散平穩(wěn)有記憶信源及其信息熵

2.10.1多符號(hào)離散平穩(wěn)有記憶信源及其完備性

對(duì)于多符號(hào)離散平穩(wěn)有記憶信源來(lái)說(shuō)，X=X1X2X3…XN的信源空間為(2-74)可以證明，該信源是完備的。事實(shí)上，根據(jù)上式，我們有(2-75)故信源X=X1X2X3…XN是完備的，H(X)=H(X1X2…XN)一定存在。

2.10.2多符號(hào)離散平穩(wěn)有記憶信源的聯(lián)合熵

在各個(gè)符號(hào)均為相關(guān)的一般情況下，N維平穩(wěn)信源聯(lián)合熵的一般形式為(2-76)由條件概率和聯(lián)合概率之間的關(guān)系，得將其代入式(2-76)中，得(2-77)進(jìn)一步展開(kāi)上式，得式中因此有

H(X1X2…XN)=H(X1)+H(X2|X1)+H(X3|X1X2)+…

+H(XN|X1X2…XN－1)

(2-79)2.10.3多符號(hào)離散平穩(wěn)有記憶信源的條件熵

在式(2-79)中，條件熵的一般形式為

H(XK|X1X2…XK－1)(K=3，4，…，N)

式中的X1X2…XK－1稱(chēng)為條件熵相關(guān)長(zhǎng)度，其物理意義是在隨機(jī)變量X1X2…XK－1均出現(xiàn)的條件下，關(guān)于隨機(jī)變量XK的熵。

定理2-1

相關(guān)長(zhǎng)度大的條件熵不大于相關(guān)長(zhǎng)度小的條件熵。例如H(X5|X1X2X3X4)≤H(X5|X2X4)。

證明方法一:事實(shí)上，根據(jù)凸函數(shù)不等式選取凸函數(shù)f(xi)=－xilogxi(xi>0)，得(2-80)令xi=P(x5|x1x2x3x4)，Pi=P(x1x3|x2x4)，得將其代入式(2-80)中，得方法二:選取凸函數(shù)f(xi)=logxi(xi>0)，得(2-81)將兩個(gè)熵函數(shù)相減，并利用式(2-81)，得從而證明了H(X5|X1X2X3X4)≤H(X5|X2X4)成立。定理2-2

條件熵不大于無(wú)條件熵。例如H(X2|X1)≤H(X2)=H(X1)=H(X)。

證明方法一:根據(jù)式(2-80)，令xi=P(x2|x1)，Pi=P(x1)，得將上式代入式(2-80)中，得從而證明了不等式H(X2|X1)≤H(X2)成立。又因?yàn)閄i(i=1，2，…)均取自于同一個(gè)信源X，故H(X2|X1)≤H(X2)=H(X1)=H(X)成立。

方法二:將兩個(gè)熵函數(shù)相減，并利用式(2-81)，得從而證明了不等式H(X2|X1)≤H(X2)成立。定理2-3

條件熵H(XK|X1X2…XK－1)≤H(XK|X2…XK－1)(K=3，4，…，N)。

證明方法一:令xi=P(xK|x1x2…xK－1)，Pi=P(x1|x2…xK－1),得將上式代入式(2-80)，得從而證明了不等式H(XK|X1X2…XK－1)≤H(XK|X2…XK－1)(K=3，4，…，N)成立。方法二:將兩個(gè)熵函數(shù)相減，并利用式(2-81)，得