信息論理論基礎(chǔ)1第1頁，共118頁，2023年，2月20日，星期日第2章基本信息論2.1信息度量2.2離散信源的熵2.3二元聯(lián)合信源的共熵與條件熵2.4連續(xù)信源的熵2.5熵速率和信道容量2.6離散有噪聲信道的熵速率和信道容量2.7連續(xù)有噪聲信道的熵速率和信道容量2.8使信源與信道匹配的編碼2023/4/262第2頁，共118頁，2023年，2月20日，星期日2.1信息度量2023/4/263第3頁，共118頁，2023年，2月20日，星期日2.1.1信息度量的必要性通信的目的是為了傳遞信息。單位時(shí)間內(nèi)信道所傳遞的信息量稱為傳信率，它是衡量通信系統(tǒng)性能的重要指標(biāo)之一。為了得出通信系統(tǒng)的傳信率，必須對消息或信源所含有的信息有一個(gè)數(shù)量上的度量方法這就是我們研究信息度量的目的。

2023/4/264第4頁，共118頁，2023年，2月20日，星期日2.1.2信源的不確定性1.研究不確定性的目的【例】A.明天太陽將從東方升起。

B.明天小張會(huì)給小王打電話。

C.明天上午小張會(huì)給小王打電話。結(jié)論：(1)信源發(fā)出的消息狀態(tài)應(yīng)該存在某種程度的不確定性；(2)信息的多少與信源的不確定性有關(guān)。2023/4/265第5頁，共118頁，2023年，2月20日，星期日2.不確定性的度量——不確定程度

不確定程度可以直觀理解為猜測某些隨機(jī)事件的難易程度?！纠坎即杏?00個(gè)小球，大小、重量、手感完全相同，但顏色不同。從布袋中任取一球，猜測其顏色。

A.99個(gè)紅球，1個(gè)白球；

B.50個(gè)紅球，50個(gè)白球；

C.25個(gè)紅球，25個(gè)白球，25個(gè)黑球，25個(gè)黃球。2023/4/266第6頁，共118頁，2023年，2月20日，星期日(1)不確定程度與信源概率空間有關(guān)；(2)若狀態(tài)數(shù)相同，等概分布時(shí)不確定程度最大；(3)等概分布時(shí)，狀態(tài)數(shù)越多則不確定程度越大。2023/4/267第7頁，共118頁，2023年，2月20日，星期日3.不確定程度基本關(guān)系式——Hartley公式若信源X等概分布，則其不確定程度H(x)與概率P滿足：P越大，則H(x)越小；當(dāng)P=1時(shí)，則H(x)=0；當(dāng)P=0時(shí)，則H(x)=∞；信源不確定程度應(yīng)具有可加性。若X與X’相互獨(dú)立，則H(x,x’)=H(x)+H(x’)

對數(shù)可以取2、e、10為底，相應(yīng)不確定程度的單位分別為比特(bit)、奈特(nat)

、哈特萊(Hartley)

。2023/4/268第8頁，共118頁，2023年，2月20日，星期日不等概情況：消息xi的不確定程度2023/4/269第9頁，共118頁，2023年，2月20日，星期日2.1.3信息量1.概率基本關(guān)系式(1)(2)(3)2023/4/2610第10頁，共118頁，2023年，2月20日，星期日(4)(5)當(dāng)X和Y相互獨(dú)立時(shí)，(6)2023/4/2611第11頁，共118頁，2023年，2月20日，星期日2.信息量的定義：

收信者收到一個(gè)消息后，所獲得的信息量等于不確定度的減少量。I=不確定度的減少量2023/4/2612第12頁，共118頁，2023年，2月20日，星期日3.自信息量在沒有噪聲的情況下，信源發(fā)出xi

接收者就會(huì)收到xi。這時(shí)接收者收到的信息量就等于xi本身含有的信息量，稱為信源狀態(tài)xi的自信息量，記為I(xi)。收到xi前對xi的不確定程度：H(xi)收到xi后對xi的不確定程度：0自信息量2023/4/2613第13頁，共118頁，2023年，2月20日，星期日【例】一次擲兩個(gè)色子，作為一個(gè)離散信源，求下列消息的自信息量。

a.僅有一個(gè)為3；b.至少有一個(gè)為4；c.兩個(gè)之和為偶數(shù)。

解：p(a)=10/36=5/18

p(b)=11/36

p(c)=18/36=1/2I(a)=log(18/5)=1.848(bit)

I(b)=log(36/11)=1.7105(bit)

I(c)=log2=1(bit)2023/4/2614第14頁，共118頁，2023年，2月20日，星期日4.互信息量：

在有噪聲信道下，假設(shè)信源發(fā)出的狀態(tài)為xi，接收者收到的狀態(tài)為yj。接收者收到y(tǒng)j后，從yj中獲取到關(guān)于xi的信息量，就是信源發(fā)出xi后接收者收到的信息量，稱為互信息量，記為I(xi,yj)。2023/4/2615第15頁，共118頁，2023年，2月20日，星期日收到y(tǒng)j前對xi的不確定程度：收到y(tǒng)j后對xi的不確定程度：收到y(tǒng)j后對xi的不確定程度：2023/4/2616第16頁，共118頁，2023年，2月20日，星期日【例1】某電報(bào)系統(tǒng)發(fā)送傳號M和空號S的概率相等，即P(M)=P(S)=1/2。由于信道中噪聲的影響，使1/6的傳號收成空號，而半數(shù)的空號收成傳號。問收信者收到一個(gè)符號后所獲得的平均信息量是多少？

解：1.計(jì)算先驗(yàn)概率、聯(lián)合概率和后驗(yàn)概率發(fā)送符號：接收符號：

x1：發(fā)M，x2：發(fā)S，y1：收M，y2：收S

p(x1)=1/2，p(x2)=1/2

SSSSMMMMMMMMMSSSS

S

SMMMMMp(x1y1)=5/12，p(x1y2)=1/12，p(x2y1)=1/4p(x2

y2)=1/4p(x1|y1)=5/8，p(x1|y2)=1/4，p(x2|y1)=3/8，p(x2|

y2)=3/42023/4/2617第17頁，共118頁，2023年，2月20日，星期日2.計(jì)算收到一個(gè)消息所獲得的信息量2023/4/2618第18頁，共118頁，2023年，2月20日，星期日3.計(jì)算收到一個(gè)消息所獲得的平均信息量2023/4/2619第19頁，共118頁，2023年，2月20日，星期日2.2離散信源的熵2023/4/2620第20頁，共118頁，2023年，2月20日，星期日1.離散信源離散信源是指只能輸出有限數(shù)量消息(狀態(tài))的信源。2.離散信源的熵信源輸出一個(gè)消息(狀態(tài))所提供的平均信息量或信源的不肯定程度稱為信源熵。單位：bit/符號(消息)、nat/符號(消息)、Hartley/符號(消息)2023/4/2621第21頁，共118頁，2023年，2月20日，星期日【例1】計(jì)算只能輸出“1”和“0”兩個(gè)消息(狀態(tài))的簡單二元信源的熵。解：假設(shè)p(1)=p,p(0)=1-p(0≤p≤1)(1)當(dāng)p=1/2時(shí)，H(x)=1bit/符號(2)當(dāng)p=0或p=1時(shí)，H(x)=0H(x)01/21p12023/4/2622第22頁，共118頁，2023年，2月20日，星期日3.熵函數(shù)的性質(zhì)(1)非負(fù)性H(x)≥0

由于0≤p(xi)≤1

所以logp(xi)≤0

因此有H(x)≥0

(2)對稱性

(3)確定性2023/4/2623第23頁，共118頁，2023年，2月20日，星期日(4)極值性

且N越大，Hmax(x)越大——離散信源的最大熵定理證明：作輔助函數(shù)2023/4/2624第24頁，共118頁，2023年，2月20日，星期日令：可得代入到約束方程可得因此2023/4/2625第25頁，共118頁，2023年，2月20日，星期日2.3二元聯(lián)合信源的共熵與條件熵2023/4/2626第26頁，共118頁，2023年，2月20日，星期日2.3.1二元聯(lián)合信源的共熵1.定義二元聯(lián)合信源的共熵是指二元聯(lián)合信源(X,Y)輸出一個(gè)組合消息狀態(tài)所發(fā)出的平均信息量，也稱為聯(lián)合熵，記作H(x,y)。2.表達(dá)式

(xi,yj)的信息量2023/4/2627第27頁，共118頁，2023年，2月20日，星期日2.3.2條件熵1.定義

X的狀態(tài)已知時(shí)，Y輸出一個(gè)狀態(tài)所發(fā)出的平均信息量稱為在X給定條件下，Y的條件熵，記作H(y|x)。在Y

給定條件下，X的條件熵，記作H(x|y)。2.表達(dá)式

已知xi的條件下，yj的信息量2023/4/2628第28頁，共118頁，2023年，2月20日，星期日3.H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)證明：將代入上式得由于因此2023/4/2629第29頁，共118頁，2023年，2月20日，星期日2.3.3H(x,y)≤H(x)+H(y)的證明當(dāng)X，Y相互獨(dú)立時(shí)取“=”，當(dāng)X，Y相關(guān)時(shí)取“<”證明：

由Lagrange中值定理可知若f(x)在[Z,Z+h]上連續(xù)，在(Z,Z+h)上可微，則在(Z,Z+h)上至少有一點(diǎn)C，使得f(Z+h)-f(Z)=hf’(C)C=Z+θh,0<θ<1f’(C)=f(Z+h)-f(Z)h2023/4/2630第30頁，共118頁，2023年，2月20日，星期日令則假設(shè)將(2)(3)(4)代入(1)中得2023/4/2631第31頁，共118頁，2023年，2月20日，星期日2023/4/2632第32頁，共118頁，2023年，2月20日，星期日2023/4/2633第33頁，共118頁，2023年，2月20日，星期日1)X，Y相互獨(dú)立對于所有i，j，有p(xi,yj)=p(xi)p(yj)因此aij=0

X，Y相互獨(dú)立時(shí),H(x,y)=H(x)+H(y)2)X，Y相關(guān)一定存在i，j，使p(xi,yj)≠p(xi)p(yj)，即aij≠0i)aij>0分子>0，分母>0ii)aij<0分子>0，分母>0

p(xi)p(yj)+θ

aij>p(xi)p(yj)+

aij=p(xi,yj)≥0因此X，Y相關(guān)時(shí),H(x,y)<H(x)+H(y)2023/4/2634第34頁，共118頁，2023年，2月20日，星期日推論1

由于H(x,y)≤H(x)+H(y)H(x,y)=H(x)+H(y|x)

所以H(x)+H(y|x)≤H(x)+H(y)因此同理推論2

H(y|x)≤H(y)H(x|y)≤H(x)H(x,y,…,z)≤H(x)+H(y)+…+H(z)2023/4/2635第35頁，共118頁，2023年，2月20日，星期日【例1】有兩個(gè)同時(shí)輸出消息的信源X和Y，X能輸出A，B，C三個(gè)消息，Y能輸出D，E，F(xiàn)，G四個(gè)消息。P(x)和P(y|x)的具體數(shù)值如表所示。求H(x)，H(y)，H(x,y)和H(y|x)。解：令

x1:A

x2:B

x3:C

y1:D

y2:E

y3:Fy4:GXABCP(x)1/21/31/6P(y|x)DEFG1/41/41/41/43/101/51/53/101/61/21/61/62023/4/2636第36頁，共118頁，2023年，2月20日，星期日

(1)

由可得

=3.417bit/對符號Xx1x2x3p(xi)p(yj|xi)y1y2y3y4p(xi,yj)x1x2x3y1y2y3y41/21/31/61/41/41/41/43/101/53/101/51/61/61/61/21/81/81/81/81/101/151/101/151/361/121/361/362023/4/2637第37頁，共118頁，2023年，2月20日，星期日(2)=1.461bit/符號(3)

由可得

=1.997bit/符號p(xi,yj)x1x2x3y1y2y3y41/81/81/81/81/101/151/101/151/361/121/361/36p(y1)=91/360,p(y2)=99/360,p(y3)=79/360,p(y4)=91/3602023/4/2638第38頁，共118頁，2023年，2月20日，星期日(4)=1.956bit/符號

或

由H(x,y)=H(x)+H(y|x)得

H(y|x)

=H(x,y)-H(x)=3.417-1.461=1.956bit/符號p(xi,yj)x1x2x3y1y2y3y41/81/81/81/81/101/151/101/151/361/121/361/36p(yj|xi)x1x2x3y1y2y3y41/41/41/41/43/101/53/101/51/61/61/61/22023/4/2639第39頁，共118頁，2023年，2月20日，星期日離散平穩(wěn)有記憶信源的熵—極限熵1.離散平穩(wěn)有記憶信源所謂離散平穩(wěn)有記憶信源就是一種相關(guān)信源，信源發(fā)出的前后符號間具有相關(guān)性，并且信源的統(tǒng)計(jì)特性與時(shí)間無關(guān)。有記憶是指信源在某一個(gè)時(shí)刻的輸出狀態(tài)的統(tǒng)計(jì)特性與該信源以前的輸出狀態(tài)有關(guān)。假設(shè)信源發(fā)出的第一個(gè)符號記作X1，第二個(gè)符號記作X2，…，第N個(gè)符號記作XN，…若XN的概率分布與它前面的m個(gè)符號XN-1，XN-2，…，XN-m，有關(guān)，而與更前面的符號XN--m1，XN-m-2，…無關(guān)，則稱該離散信源的記憶長度為m

。平穩(wěn)是指信源的統(tǒng)計(jì)特性與時(shí)間無關(guān)。2023/4/2640第40頁，共118頁，2023年，2月20日，星期日2.極限熵的概念假設(shè)離散平穩(wěn)有記憶信源X發(fā)出了N個(gè)符號：X1，X2，…，XN。則可以將這N個(gè)符號看作是一個(gè)N維聯(lián)合信源。N個(gè)符號提供的總的信息量為：

H(X1，X2，…，XN)平均每個(gè)符號提供的平均信息量為

H(X1，X2，…，XN)/N對于實(shí)際信源來說，是一種無限長的序列，符號間相關(guān)性可以延伸到無窮。因此，離散平穩(wěn)有記憶信源輸出一個(gè)符號提供的平均信息量為：這個(gè)熵稱為離散平穩(wěn)有記憶信源的極限熵。2023/4/2641第41頁，共118頁，2023年，2月20日，星期日3.m階馬爾柯夫信源的極限熵如果一個(gè)離散平穩(wěn)有記憶信源在任意時(shí)刻輸出符號的概率僅依賴于它前面的m個(gè)時(shí)刻的輸出符號，而與更前面的符號無關(guān)，則該信源稱為記憶長度為m的離散平穩(wěn)有記憶信源，也稱為m階馬爾柯夫信源。馬爾柯夫信源是一種特殊的、比較接近實(shí)際的離散平穩(wěn)有記憶信源。2023/4/2642第42頁，共118頁，2023年，2月20日，星期日2023/4/2643第43頁，共118頁，2023年，2月20日，星期日對于m階馬爾柯夫信源Hm+1——m階條件熵2023/4/2644第44頁，共118頁，2023年，2月20日，星期日幾點(diǎn)說明：對于實(shí)際的離散非平穩(wěn)有記憶信源，其極限熵是不存在的；可以假設(shè)其為記憶長度為無窮大的離散平穩(wěn)有記憶信源，極限熵H∞存在，但求解困難；進(jìn)一步假設(shè)其為m階Markov信源，用其極限熵Hm+1近似；再進(jìn)一步假設(shè)其為一階Markov信源，用其極限熵H1+1近似；最簡化的信源是離散無記憶信源，其熵為H(x)；最后可以假定為等概的離散無記憶信源，其熵為logN。

H∞≤Hm+1≤H1+1≤H(x)≤logN2023/4/2645第45頁，共118頁，2023年，2月20日，星期日【例2】已知離散信源的概率分布為

(1)當(dāng)符號間無相關(guān)性時(shí)，求該信源的熵。

解：bit/符號

X012P(X)11/364/91/42023/4/2646第46頁，共118頁，2023年，2月20日，星期日

(2)若信源為有記憶信源，且記憶長度為1，求該信源的熵。

解：由得P(Xi+1|Xi)Xi

012Xi+1012

P(Xi，Xi+1)Xi

012Xi+1012

9/112/1101/83/41/802/97/91/41/1801/181/31/1801/187/362023/4/2647第47頁，共118頁，2023年，2月20日，星期日=0.890bit/符號2023/4/2648第48頁，共118頁，2023年，2月20日，星期日2.3.4消息的剩余度由于信源內(nèi)部的消息狀態(tài)的相關(guān)性和分布性，使其熵減少的現(xiàn)象稱為剩余。剩余產(chǎn)生的原因信源的不等概分布信源前后符號間具有相關(guān)性剩余的程度相對熵剩余度內(nèi)熵=H(x)/Hmax(x)=Hmax(x)-H(x)2023/4/2649第49頁，共118頁，2023年，2月20日，星期日2.4連續(xù)信源的熵2023/4/2650第50頁，共118頁，2023年，2月20日，星期日2.4.1連續(xù)信源熵的定義

所謂連續(xù)信源就是指它們輸出的量是連續(xù)的。這種信源的輸出量，在任一時(shí)刻，在某個(gè)范圍內(nèi)可以取無窮多個(gè)數(shù)值。

1.連續(xù)信源熵的表達(dá)式可以利用離散信源熵的概念來定義連續(xù)信源熵。2023/4/2651第51頁，共118頁，2023年，2月20日，星期日離散信源X’的概率分布為：當(dāng)dx→0時(shí)，H絕→H(x’)2023/4/2652第52頁，共118頁，2023年，2月20日，星期日定義連續(xù)信源的熵為：

2023/4/2653第53頁，共118頁，2023年，2月20日，星期日幾點(diǎn)說明：連續(xù)信源有無窮多個(gè)狀態(tài)，因此其絕對熵必然為無窮大。連續(xù)信源熵為一個(gè)相對熵。連續(xù)信源熵不具有非負(fù)性，可以為負(fù)值。研究信息傳輸問題時(shí)，分析信道的輸入和輸出的交互信息量時(shí)是求兩個(gè)熵的差，當(dāng)采用相同的量化過程時(shí)，兩個(gè)無窮大量將被抵消，不影響分析。2023/4/2654第54頁，共118頁，2023年，2月20日，星期日2.幾種典型連續(xù)信源的熵⑴均勻分布的連續(xù)信源熵設(shè)一維連續(xù)隨機(jī)變量X的取值區(qū)間是[a,b]，其概率密度函數(shù)為2023/4/2655第55頁，共118頁，2023年，2月20日，星期日(2)高斯分布的連續(xù)信源熵其中，m是隨機(jī)變量X的均值σ2是隨機(jī)變量X的方差2023/4/2656第56頁，共118頁，2023年，2月20日，星期日2023/4/2657第57頁，共118頁，2023年，2月20日，星期日2.4.2連續(xù)信源的最大熵變分法求函數(shù)p=p(x)使g最大構(gòu)造令2023/4/2658第58頁，共118頁，2023年，2月20日，星期日⑴輸出幅度受限（瞬時(shí)功率受限）時(shí)的最大熵2023/4/2659第59頁，共118頁，2023年，2月20日，星期日結(jié)論：對于瞬時(shí)功率受限的連續(xù)信源，在假定信源狀態(tài)為獨(dú)立時(shí)，當(dāng)信源為均勻分布時(shí)，具有最大熵。其最大熵為：2023/4/2660第60頁，共118頁，2023年，2月20日，星期日(2)輸出平均功率受限時(shí)的最大熵2023/4/2661第61頁，共118頁，2023年，2月20日，星期日2023/4/2662第62頁，共118頁，2023年，2月20日，星期日結(jié)論：（連續(xù)信源的最大熵定理）對于輸出平均功率受限的連續(xù)信源，在假設(shè)狀態(tài)相互獨(dú)立時(shí)，當(dāng)其概率分布為均值為0的高斯分布時(shí)，具有最大熵。其最大熵值隨功率N的增加而增加。2023/4/2663第63頁，共118頁，2023年，2月20日，星期日2.4.3熵功率對于平均功率受限的連續(xù)信源，當(dāng)信源為高斯分布時(shí)有最大熵。當(dāng)非高斯連續(xù)信源與高斯信源具有相同平均功率時(shí)，那么非高斯信源的熵一定小于高斯信源的熵。當(dāng)非高斯連續(xù)信源與高斯信源具有相同熵時(shí)，那么非高斯信源的平均功率一定大于高斯信源的功率。1.定義若平均功率為N的非高斯信源與平均功率為的高斯信源的熵相同，則稱為該非高斯信源的熵功率。2023/4/2664第64頁，共118頁，2023年，2月20日，星期日高斯信源的熵為H，功率為非高斯信源的熵為H，功率為N因此結(jié)論：熵功率永遠(yuǎn)小于信源的真正功率。2023/4/2665第65頁，共118頁，2023年，2月20日，星期日2.表達(dá)式

(1)若非高斯信源的熵為H（單位為nat），熵功率功率為則因此(2)若H的單位為bit，則(3)若H的單位為Hartley，則2023/4/2666第66頁，共118頁，2023年，2月20日，星期日2.4.4連續(xù)信源的共熵與條件熵離散信源的共熵和條件熵同離散信源相似，連續(xù)信源也可定義其共熵和條件熵

2023/4/2667第67頁，共118頁，2023年，2月20日，星期日關(guān)于離散信源獨(dú)立熵、共熵和條件熵的幾個(gè)關(guān)系式，對于連續(xù)信源仍然成立。H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)H(x,y)≤H(x)+H(y)H(y|x)≤H(y)H(x|y)≤H(x)2023/4/2668第68頁，共118頁，2023年，2月20日，星期日2.5熵速率和信道容量2023/4/2669第69頁，共118頁，2023年，2月20日，星期日2.5.1信源熵速率1.定義：信源在單位時(shí)間內(nèi)輸出的平均信息量稱為信源的熵速率，也稱為信息速率。2.離散信源的熵速率若離散信源的熵為H(x)，符號速率為n，則其熵速率為H’(x)=nH(x)3.連續(xù)信源的熵速率假設(shè)連續(xù)信源的熵為H(x)，帶寬為W。由采樣定理可知，當(dāng)采樣頻率fs≥2W時(shí)，可由各采樣值無失真地恢復(fù)出原始信號，因此H’(x)=2WH(x)2023/4/2670第70頁，共118頁，2023年，2月20日，星期日2.5.2信道容量1.定義：所謂信道容量是指信道對信源一切可能的概率分布而言，能夠傳送的最大熵速率，即最大接收熵速率。無噪聲信道：C=H’max(x)有噪聲信道：C<H’max(x)2.離散無噪聲信道的信道容量

假設(shè)離散信道每秒傳送n個(gè)等寬度，有K種狀態(tài)的符號，則C=H’max(x)=nlogK3.連續(xù)無噪聲信道的信道容量

假設(shè)帶寬為W，信號平均功率為N，則2023/4/2671第71頁，共118頁，2023年，2月20日，星期日2.6離散有噪聲信道的熵速率和信道容量2023/4/2672第72頁，共118頁，2023年，2月20日，星期日2.6.1接收熵速率

1.平均互信息量（接收熵）在有噪聲信道下，若信源發(fā)出的消息為xi，接收者收到的消息為yj，則接收者收到y(tǒng)j后，從yj中獲取到關(guān)于xi的信息量為接收者收到一個(gè)消息所獲得的的平均信息量為稱為Y關(guān)于X的平均互信息量，即接收熵。2023/4/2673第73頁，共118頁，2023年，2月20日，星期日H(x|y)：由于噪聲和干擾的作用，在傳輸過程中損失的信息量，表示收到Y(jié)后，對X仍然存在的疑惑性或不確定性，也稱為疑義度、可疑度或含糊度。2023/4/2674第74頁，共118頁，2023年，2月20日，星期日由于H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)(2)因此H(x)-H(x|y)=H(y)-H(y|x)(3)H(x)=H(x,y)-H(y|x)(4)H(x|y)=H(x,y)-H(y)(5)(3)代入(1)得:I(x,y)=H(y)-H(y|x)

(4)代入(1)得:I(x,y)=H(x,y)-H(y|x)-H(x|y)(5)代入(1)得:I(x,y)=H(x)+H(y)-H(x,y)H(y|x)：表示信道輸入信號（即信源熵）由于干擾作用在輸出端表現(xiàn)的散布程度，通常稱為散布度。2023/4/2675第75頁，共118頁，2023年，2月20日，星期日平均互信息量、信源熵、信宿熵、聯(lián)合熵、疑義度和散布度之間的關(guān)系2023/4/2676第76頁，共118頁，2023年，2月20日，星期日平均互信息量的性質(zhì)非負(fù)性I(x,y)≥0，當(dāng)X，Y相互獨(dú)立時(shí)取“=”對稱性I(x,y)=I(y,x)極值性I(x,y)≤H(x)2.接收熵速率R=n×I(x,y)R=H’(x)-H’(x|y)R=H’(y)-H’(y|x)H’(x|y)=n×H(x|y)——疑義度熵速率H’(y|x)=n×H(y|x)——散布度熵速率2023/4/2677第77頁，共118頁，2023年，2月20日，星期日

【例1】一個(gè)信源以相等的概率及1000碼元/秒的速率把“0”和“1”碼送入有噪聲信道。由于信道中噪聲的影響，發(fā)送為“0”接收為“1”的概率是1/16，而發(fā)送為“1”接收為“0”的概率是1/32，求收信者接收的熵速率。解：x1：發(fā)送“0”x2：發(fā)送“1”

y1：接收“0”y2：接收“1”p(x1)=p(x2)=1/2p(yj|xi)y1y2x115/161/16

x21/3231/322023/4/2678第78頁，共118頁，2023年，2月20日，星期日由得由得p(y1)=31/64,p(y2)=33/64

bit/符號p(xi,yj)y1y2x115/321/32

x21/6431/642023/4/2679第79頁，共118頁，2023年，2月20日，星期日

bit/符號

bit/符號

R=nI(x,y)=1000×0.730=730bit/s2023/4/2680第80頁，共118頁，2023年，2月20日，星期日2.6.3信道容量信道容量是在給定信道條件下（即一定的信道轉(zhuǎn)移概率），對于所有可能的信源先驗(yàn)概率的最大接收熵速率。

信道容量C與信源無關(guān)，只是信道轉(zhuǎn)移概率的函數(shù)，不同的信道就有不同的信道容量。它反映了信道本身的傳信能力。2023/4/2681第81頁，共118頁，2023年，2月20日，星期日【例】已知某離散信道的符號速率為1000符號/秒，信道轉(zhuǎn)移概率矩陣為

求該信道的信道容量以及接收熵速率達(dá)到信道容量時(shí)信源的概率分布。2023/4/2682第82頁，共118頁，2023年，2月20日，星期日解：

=1.459bit/符號2023/4/2683第83頁，共118頁，2023年，2月20日，星期日當(dāng)Y為等概分布時(shí)，H(y)的值最大

bit/符號因此

bit/符號由于因此當(dāng)X的概率分布滿足以下關(guān)系式時(shí)，接收熵速率達(dá)到最大值，即信道容量。2023/4/2684第84頁，共118頁，2023年，2月20日，星期日當(dāng)X為等概分布時(shí)，接收熵速率最大，其最大值即信道容量為

bit/s2023/4/2685第85頁，共118頁，2023年，2月20日，星期日結(jié)論：對稱信道（信道轉(zhuǎn)移矩陣中的每一行都是由同一組元素的不同組合構(gòu)成的）的信道容量為2023/4/2686第86頁，共118頁，2023年，2月20日，星期日2.7連續(xù)有噪聲信道的熵速率和信道容量2023/4/2687第87頁，共118頁，2023年，2月20日，星期日2.7.1接收熵速率1.平均互信息量（接收熵）離散信道連續(xù)信道I(x,y)=H(x)-H(x|y)I(x,y)=H(y)-H(y|x)I(x,y)=H(x,y)-H(y|x)-H(x|y)I(x,y)=H(x)+H(y)-H(x,y)2023/4/2688第88頁，共118頁，2023年，2月20日，星期日加性高斯白噪聲信道X與n獨(dú)立，對于給定的xi

，p(y/x)=p(n/x)=p(n)2023/4/2689第89頁，共118頁，2023年，2月20日，星期日因此H(y/x)=H(n/x)=H(n)I(x,y)=H(y)-H(n)2.接收熵速率R=H’(x)-H’(x|y)R=H’(y)-H’(n)2023/4/2690第90頁，共118頁，2023年，2月20日，星期日2.7.2信道容量假設(shè)信道特性如下：信道干擾形式為加性隨機(jī)噪聲，其功率譜均勻，幅度概率分布為高斯分布，即所謂加性高斯白噪聲（AWGN），平均功率為N。信道為矩形帶寬，其寬度為W。信源平均功率受限，信號功率為P。推導(dǎo)：C=maxR=max[H’(y)-H’(n)]=H’max(y)-H’(n)噪聲為加性高斯白噪聲，因此H’(n)=Wlog(2πeN)2023/4/2691第91頁，共118頁，2023年，2月20日，星期日Y平均功率為(P+N)，因此當(dāng)Y服從均值為0的高斯分布時(shí)

H’max(y)=Wlog[2πe(P+N)]由于Y和n均服從均值為0的高斯分布，因此X=Y-n也服從均值為0的高斯分布。山農(nóng)公式2023/4/2692第92頁，共118頁，2023年，2月20日，星期日結(jié)論：對于AWGN信道，其信道容量C與信號帶寬W和信號噪聲功率比P/N有關(guān)，W或P/N愈大，則C愈大。平均功率受限的信道，當(dāng)其輸入信號為高斯分布時(shí)，該信道的傳信率R可以達(dá)到傳信率理論極限值——信道容量。平均功率受限的信道，高斯白噪聲的危害最大。這是因?yàn)楦咚拱自肼暤撵刈畲蟆１３挚偟男畔⒘坎蛔?，T、W、P/N之間的互換關(guān)系。當(dāng)信噪比P/N一定時(shí)：W↑→T↓，T↑→W↓當(dāng)傳輸時(shí)間T一定時(shí)：W↑→P/N↓，W↓→P/N↑當(dāng)帶寬W一定時(shí)：T↑→P/N↓，T↓→P/N↑2023/4/2693第93頁，共118頁，2023年，2月20日，星期日對于AWGN信道，當(dāng)帶寬增大時(shí)信道容量會(huì)增加，但是信道容量會(huì)隨著帶寬的增加而無限度增加嗎？由噪聲功率N=N0W令2023/4/2694第94頁，共118頁，2023年，2月20日，星期日2023/4/2695第95頁，共118頁，2023年，2月20日，星期日2.8使信源與信道匹配的編碼2023/4/2696第96頁，共118頁，2023年，2月20日，星期日2.8.1編碼定理1.無噪聲離散信道的編碼定理（有效性編碼定理，信源編碼定理）假設(shè)信源熵為H（bit/符號），無噪聲離散信道的容量為C（bit/s），則總可以找到一種編碼方法對信源的輸出進(jìn)行編碼，使得在信道上傳輸?shù)钠骄俾蕿槊棵耄–/H-ε）個(gè)符號。其中ε為任意小的正數(shù)。但要使平均速率大于C/H是不可能的。2023/4/2697第97頁，共118頁，2023年，2月20日，星期日2.有噪聲離散信道的編碼定理（可靠性編碼定理，信道編碼定理）假設(shè)有噪聲離散信道的信道容量為C

，離散信源的熵速率為R。如果R

≤C

，則存在一種編碼方法，使信源的輸出能以任意小的錯(cuò)誤概率在信道上傳輸。如果R

>C

，就不可能有象R

≤C那樣的編碼方法。2023/4/2698第98頁，共118頁，2023年，2月20日，星期日2.8.2信源最佳化

——傳輸效率無噪聲信道提高，就要使H最大化符號獨(dú)立化，解除符號間的相關(guān)性各符號概率均勻化——信源最佳化2023/4/2699第99頁，共118頁，2023年，2月20日，星期日1.弱記憶信源（弱相關(guān)信源）如果信源的符號序列中，只有相鄰的少數(shù)幾個(gè)符號之間有統(tǒng)計(jì)相關(guān)性，而相距較遠(yuǎn)的符號之間的統(tǒng)計(jì)相關(guān)性可以忽略不計(jì)，這種信源稱為弱記憶信源或弱相關(guān)信源。對于這種信源，我們可以把相關(guān)性較強(qiáng)的幾個(gè)相鄰符號看作一個(gè)大符號。于是這些大符號之間的相關(guān)性就小的多了。這種方法通常稱為延長法或合并法。2.8.3符號獨(dú)立化2023/4/26100第100頁，共118頁，2023年，2月20日，星期日2.強(qiáng)記憶信源（強(qiáng)相關(guān)信源）如果信源序列具有很強(qiáng)的相關(guān)性，以致于根據(jù)其中一部分符號就可以推測出其余的符號，這種信源稱為強(qiáng)記憶信源或強(qiáng)相關(guān)信源。對于這種信源，那些可以被推知（或預(yù)測）的符號就無需傳送。一般來說，難以完全精確的預(yù)測，而只能根據(jù)信源的統(tǒng)計(jì)特性作近似地預(yù)測。這時(shí)，我們不必傳輸序列本身，而只需傳送序列的實(shí)際值與預(yù)測值之差。這種方法通常稱為預(yù)測法。預(yù)測法應(yīng)用的典型例子就是增量調(diào)制和差分編碼調(diào)制。2023/4/26101第101頁，共118頁，2023年，2月20日，星期日X=原始信源符號集；A=信道碼元符號集；W=輸出碼字（碼組）集。2.8.4概率均勻化——最佳編碼1.編碼的基本知識(1)編碼器編碼器的作用：用A中的元素構(gòu)成各個(gè)碼字建立X與W的對應(yīng)關(guān)系2023/4/26102第102頁，共118頁，2023年，2月20日，星期日(2)幾個(gè)基本概念D元代碼若碼元符號集A中有D種元素（碼元），則該代碼稱為D元代碼。同價(jià)代碼若各碼元長度相同（占用時(shí)間相同），則該代碼稱為同價(jià)代碼。等長代碼若任一碼字都有同樣多個(gè)碼元構(gòu)成，則該代碼稱為等長代碼。例如，{00，01，10，11}——等長代碼

{0，10，110，111}——非等長代碼2023/4/26103第103頁，共118頁，2023年，2月20日，星期日單義代碼若任意一個(gè)有限長的碼字序列，只能唯一地分割成一個(gè)個(gè)碼字，則稱該代碼為單義代碼。例如，{0，10，110，111}——單義代碼

0010101100…{0，10，110，010}——非單義代碼

0010101100…0010101100…非續(xù)長代碼若任一個(gè)碼字都不是另一個(gè)碼字的續(xù)長，則稱該代碼為非續(xù)長代碼。例如，{0，10，110，111}——非續(xù)長代碼

{0，10，110，010}——續(xù)長代碼||||||||||||||2023/4/26104第104頁，共118頁，2023年，2月20日，星期日非續(xù)長代碼與單義代碼的關(guān)系例如，{0，10，110，111}是非續(xù)長代碼，也是單義代碼。

{0，01}是單義代碼，但不是非續(xù)長代碼。

000100010非續(xù)長代碼一定是單義的，但單義代碼不一定是非續(xù)長的。||||||2023/4/26105第105頁，共118頁，2023年，2月20日，星期日單義代碼存在定理設(shè)碼元符號集為A:{a1,a2,…,aD}，碼字集合為W:{W1,W2,…Wm}，其碼長分別為n1,n2,…,nm；則單義代碼存在的充要條件為碼長組合滿足Kraft不等式，即Kraft不等式同時(shí)也是非續(xù)長代碼存在的充要條件；滿足Kraft不等式的碼長組合一定能構(gòu)成單義碼，單義碼的碼長組合一定滿足Kraft不等式；有些碼字的碼長組合滿足Kraft不等式，但不是單義碼。（編碼方法不對）

2023/4/26106第106頁，共118頁，2023年，2月20日，星期日【例】A={a1,a2},W={W1,W2,W3,W4},若各個(gè)碼字的碼長分別為n1=1,n2=n3=2,n4=3。問是否存在單義代碼？若n1=1,n2=2,n3=n4=3呢？解：(1)

D=2，當(dāng)n1=1,n2=n3=2,n4=3時(shí)因此不存在單義代碼

(2)

當(dāng)n1=1,n2=2,n3=n4=3時(shí)因此存在單義代碼2023/4/26107第107頁，共118頁，2023年，2月20日，星期日(3)二元非續(xù)長代碼的構(gòu)成方法例如，A={0,1},W={W1,W2,W3,W4},各個(gè)碼字的碼長分別為n1=1,n2=2,n3=n4=3?！皹鋱D”

W1=0W2=10W3=110W4=111樹圖也可以用來解碼，如

100110010非續(xù)長碼：從頂點(diǎn)到任一碼字都不能經(jīng)過其他的碼字||||根01W101W201W3W42023/4/26108第108頁，共118頁，2023年，2月20日，星期日2.最佳編碼法（信源編碼，有效性編碼）例：X：ABCD

P(X):1/21/41/81/8

編碼1：A:00，B:01，C:10，D:11碼長L=2碼元/符號原始信源符號熵H(S)=1.75bit/符號信道碼元熵H(A)=H(S)/L=0.875bit/碼元編碼效率η=R/C=H(A)/H(A)max=0.875/1=87.5%2023/4/26109第109頁，共118頁，2023年，2月20日，星期日編碼2：A:0，B:10，C:110，D:111平均碼長=1×0.5+2×0.25+3×0.25=1.75碼元/符號原始信源符號熵H(S)=1.75bit/符號信道碼元熵H(A)=H(S)/

=1bit/碼元編碼效率η=H(A)/H(A)max=1/1=100%信源編碼的基本思想：根據(jù)給定的消息概率，編碼成二元非續(xù)長代碼：消息概率大，編成的代碼短；消息概率小，編成的代碼長，從而減小平均碼長，增大信道碼元熵，提高傳輸效率。2023/4/26110第110頁，共118頁，2023年，2月20日，星期日(1)Shannon-Fano編碼法步驟：①把原始信源的符號按概率從大到小重新排列；②把信源符號按盡可能概率相等分為2組，分別分配給“0”和“1”碼元；③將每個(gè)分組再次分組，直至分完；④從左至右將分得的碼元排列即得碼字Wi?！纠考僭O(shè)有一個(gè)離散的獨(dú)立信源，可以輸出8個(gè)獨(dú)立的消息。其信源空間如下：X:ABCDEFGH