信息論第二講離散信源的熵2023/3/131第一頁，共六十頁，2022年，8月28日⑵離散信源空間：信源的符號（狀態(tài)）隨機地取值于一個離散集合[X]=（x1,x2,…xn）中，一個離散信源可以用一個離散隨機變量的概率空間表示。[P]=(p1,p2,…pn)這種表示稱為離散無記憶信源的信源空間。信源空間必為一個完備空間，即其概率和為1。2023/3/132第二頁，共六十頁，2022年，8月28日⑶信源數(shù)學模型描述的條件：用信源空間（離散隨機變量）來表示信源的條件是信源符號（狀態(tài)）的先驗概率是可知的，這是Shannon信息論的一個基本假說。2023/3/133第三頁，共六十頁，2022年，8月28日信息的理解1只有信息的概念沒有信息的定義；2山農(nóng)信息論認為：“正如熵表示分子無組織程度的度量一樣，離散信源中所包含的信息就是信源符號不確定程性的度量”。組織程度的度量；有序程度的度量；用以減少不確定性的東西；3

還有其它的描述：信息就是使概率分布發(fā)生變化的東西；信息是反映事物的形式、關(guān)系和差異的東西，信息包含在事物的差異之中，而不在事物本身。2023/3/134第四頁，共六十頁，2022年，8月28日⑴不確定性：只有不確定性存在，才有信息存在，獲得消息后消除了不確定性才得到信息。在一個通信系統(tǒng)中，收信者所獲取的信息量，在數(shù)量上等于通信前后對信源的不確定性的減少量。⑵不確定性的度量（不確定度）：不確定度應該等于猜測某一隨機事件是否會發(fā)生的難易程度。2.1.2信源符號不確定性的度量(uncertainty)2023/3/135第五頁，共六十頁，2022年，8月28日⑶Hartly公式：信源不確定度的大小與信源的消息符號數(shù)有關(guān)；符號數(shù)越多，不確定度越大；信源不確定度的大小與信源的消息符號概率有關(guān)；概率越小，不確定度越大；信源不確定度應具有可加性；同時應當滿足：如果p(xi)=0，則I(xi)=∞，如果p(xi)=1，則I(xi)=0。因此為了滿足以上四個條件，應把信源不確定度寫為對數(shù)形式：2023/3/136第六頁，共六十頁，2022年，8月28日⑴自信息量的定義：收信者收到一個消息狀態(tài)得到的信息量，等于收到后對這個消息狀態(tài)不確定度的減少量。I（信息量）=不確定度的減少量。2.1.3信源符號的自信息量2023/3/137第七頁，共六十頁，2022年，8月28日⑵無噪聲信道下的自信息量：在假設(shè)信道沒有干擾（無噪聲）的情況下，信源發(fā)出信源狀態(tài)xi，接收者就會收到xi，這時接收者收到的信息量就等于信源狀態(tài)xi本身含有的信息量（不確定度），稱為信源狀態(tài)xi的自信息量，記為I(xi)。這時，接收到xi所獲得的信息量等于信源輸出發(fā)出的信息量。2023/3/138第八頁，共六十頁，2022年，8月28日⑶有噪聲信道下的互信息量：在有噪聲信道下，信源發(fā)出的狀態(tài)為xi，接收者收到的狀態(tài)為yj，接收者收到y(tǒng)j后，從yj中獲取到關(guān)于xi的信息量，就是信源發(fā)出xi后，接收者收到的信息量，稱為互信息量。記為I(xi,yj)。接收到y(tǒng)j后，信源實際發(fā)出xi時接收者所獲得的信息量。由于噪聲的干擾，接收者收到的信息量小于信源發(fā)出的信息量。2023/3/139第九頁，共六十頁，2022年，8月28日H(xi)為信源狀態(tài)xi本身具有的不確定性；H(xi/yj)為接收到一個yj后，信源狀態(tài)xi仍存在的不確定度；收到y(tǒng)j后，信源狀態(tài)xi的不確定性應有所變化，這個變化量就稱為信源狀態(tài)xi的互信息量。這個互信息量在什么條件下為大于零？等于零？小于零？2023/3/1310第十頁，共六十頁，2022年，8月28日（1）信源熵的定義：信源一個消息狀態(tài)所具有的平均信息量。離散無記憶信源的熵（獨立熵）：2.2單符號離散信源的熵2.2.1信源熵的概念(Entropy)H(X)表示信源發(fā)出任何一個消息狀態(tài)所攜帶的平均信息量，也等于在無噪聲條件下，接收者收到一個消息狀態(tài)所獲得的平均信息量。2023/3/1311第十一頁，共六十頁，2022年，8月28日（2）熵的物理意義：熵的本意為熱力學中表示分子狀態(tài)的紊亂程度；信息論中熵表示信源中消息狀態(tài)的不確定度；（3）信源熵與信息量有不同的意義；H(X)表示信源X每一個狀態(tài)所能提供的平均信息量；H(X)表示信源X在沒有發(fā)出符號以前，接收者對信源的平均不確定度；H(X)表示隨機變量X的隨機性；

2023/3/1312第十二頁，共六十頁，2022年，8月28日熵函數(shù)可以表示為：2.2.2熵函數(shù)的性質(zhì)性質(zhì)1：非負性；H(X)≥0性質(zhì)2：對稱性；性質(zhì)3：確定性；2023/3/1313第十三頁，共六十頁，2022年，8月28日性質(zhì)4：連續(xù)性；性質(zhì)5：擴展性；2.2.3離散信源的最大熵（一）一般離散信源的最大熵在數(shù)學上可以證明熵函數(shù)存在最大值，離散信源的熵函數(shù)有n個變量，有一個約束條件，作一個輔助函數(shù)：2023/3/1314第十四頁，共六十頁，2022年，8月28日Hmax(X)=H(1/n,1/n,……,1/n)=logn這個結(jié)果稱為離散信源得最大熵定理。它表明，在所有符號數(shù)相同，而概率分布不同的離散信源中，當先驗概率相等時得到的熵最大。最大熵的值取決于符號狀態(tài)數(shù)，狀態(tài)數(shù)越多，熵越大。2023/3/1315第十五頁，共六十頁，2022年，8月28日這時可求得離散信源得最大熵為（二）均值受限的離散信源的最大熵在增加一個約束條件的情況下，求離散信源的最大熵，做輔助函數(shù)：2023/3/1316第十六頁，共六十頁，2022年，8月28日加權(quán)熵上面定義的信源熵是沒有考慮信息的主觀因素，也稱為“概率信息”或客觀信息。我們可以利用加權(quán)熵描述不同信息對于不同對象的重要性差異。2023/3/1317第十七頁，共六十頁，2022年，8月28日⑴聯(lián)合信源的概率空間：聯(lián)合信源可以認為有兩個信源X，Y組成：X:x1,x2,……xi……xnP(X):p(x1),p(x2),……p(xi),……p(xn)Y:y1,y2,……yi,……ymP(Y):p(y1),p(y2),……p(yi),……p(ym)2.3共熵與條件熵2.3.1聯(lián)合信源的共熵(JointEntropy)

2023/3/1318第十八頁，共六十頁，2022年，8月28日聯(lián)合信源X：x1,x2,x3,……xnY：y1,y2,y3,……ym多元隨機變量的概率。P(X),P(Y),P(X,Y)P(X/Y)P(Y/X)2023/3/1319第十九頁，共六十頁，2022年，8月28日用這兩個信源組成一個聯(lián)合信源，其聯(lián)合概率空間為：(X,Y):x1y1,……x1ym,x2y1,……x2ym,……xny1,……xnymP(X,Y):P(x1,y1)…p(x1,ym),p(x2,y1)…p(x2,ym),……p(xny1)…p(xn,ym)其中狀態(tài)（xi,yj）為聯(lián)合信源輸出的一個狀態(tài)。2023/3/1320第二十頁，共六十頁，2022年，8月28日⑵聯(lián)合信源共熵的表達式：聯(lián)合信源的共熵：聯(lián)合信源輸出一個組合消息狀態(tài)(xi,yj)所發(fā)出的平均信息量。聯(lián)合信源的獨立熵：將聯(lián)合信源看成兩個獨立的信源（當然實際上可能并不是相互獨立的）時，各自信源的熵即為獨立熵。2023/3/1321第二十一頁，共六十頁，2022年，8月28日⑶概率的基本關(guān)系：當X，Y獨立時，有p(x,y)=p(x)p(y)。2023/3/1322第二十二頁，共六十頁，2022年，8月28日2023/3/1323第二十三頁，共六十頁，2022年，8月28日2.3.1聯(lián)合信源的條件熵(ConditionalEntropy)一個聯(lián)合信源（X，Y）的條件熵定義為：信源Y（或X）輸出任一狀態(tài)后，信源X（或Y）輸出任一狀態(tài)所發(fā)出的平均信息量。2023/3/1324第二十四頁，共六十頁，2022年，8月28日以上討論的信源符號狀態(tài)的自信息量和信源的熵是描述信源的特性，但是對于一個通信系統(tǒng)來說，最主要的問題是接收者收到信息的能力。在信源與接收者之間是由信道連接的，這里要開始討論信道的問題。2.4離散信源的平均交互信息量2023/3/1325第二十五頁，共六十頁，2022年，8月28日設(shè)離散信道的輸入為一個隨機變量X，相應的輸出的隨機變量為Y，如圖所示：規(guī)定一個離散信道應有三個參數(shù)：輸入符號集：X={x1,x2,….xn}輸出符號集：Y={y1,y2,….ym}信道轉(zhuǎn)移概率：P(Y/X)={p(y1/x1),p(y2/x1),…p(ym/x1),……p(y1/xn)…p(ym/xn)}2.4.1離散信道的數(shù)學模型2023/3/1326第二十六頁，共六十頁，2022年，8月28日離散信道主要有三種描述方法。⑴概率空間描述X={x1,x2,……xn}P(Y/X)={p(yj/xi)}(i=1,2,……n;j=1,2,……m)Y={y1,y2,……ym}0≤p(yj/xi)≤1這表明信道有一個輸入就一定有一個輸出。

2023/3/1327第二十七頁，共六十頁，2022年，8月28日⑵轉(zhuǎn)移矩陣描述矩陣[P]稱為轉(zhuǎn)移矩陣或信道矩陣；表示為：[P]=

y1y2…ymx1p(y1/x1)p(y2/x1)…p(ym/x1)x2p(y1/x2)p(y2/x2)…p(ym/x2)……………xnp(y1/xn)p(y2/xn)…p(ym/xn)

[P]矩陣為一個n×m矩陣，其每行元素之和等于1。2023/3/1328第二十八頁，共六十頁，2022年，8月28日⑶圖示法描述離散信道的圖示法描述如圖所示。2023/3/1329第二十九頁，共六十頁，2022年，8月28日2.4.2X與Y的關(guān)系當信道輸出一個符號yj時，一定是有一個輸入符號xi輸入信道。對于給定的信道[P]，如果已知先驗概率p(xi)，則可以求出p(xi,yj)、P(xi/yj)和p(yj)。先驗概率；聯(lián)合概率；信道轉(zhuǎn)移概率；后驗概率；2023/3/1330第三十頁，共六十頁，2022年，8月28日2.4.3交互信息量(MutualInformation)⑴定義：信息傳輸?shù)母締栴}是，對于給定的信道計算收到一個yj后，從yj中獲取關(guān)于xi的信息量。這個信息量稱為互信息量，記為I(xi,yj)。I(xi,yj)={接收yj前接收者對xi存在的不確定度}-{接收yj后接收者對xi仍存在的不確定度}=通信前后接收者對xi不確定度的變化量（減少量）

I(xi,yj)=H(xi)-H(xi/yj)=I(xi)-I(xi/yj)2023/3/1331第三十一頁，共六十頁，2022年，8月28日⑵交互關(guān)系由p(xi,yj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)可以得到如下結(jié)果：

I(xi,yj)=I(xi)-I(xi/yj)=I(yj)-I(yj/xi)I(xi,yj)=I(yj,xi)

稱為交互信息量2023/3/1332第三十二頁，共六十頁，2022年，8月28日⑶兩個公式由以上兩個公式可以看到：只要已知某一個信源符號的先驗概率及相應的轉(zhuǎn)移概率，就可以得到相應的交互信息量。2023/3/1333第三十三頁，共六十頁，2022年，8月28日⑷后驗概率與交互信息量已知交互信息量=log(后驗概率/先驗概率)，這里分析后驗概率對交互信息量的影響。H(xi/yj)=0收到y(tǒng)j后可以準確無誤地判斷xi，相當于無噪聲信道，收到y(tǒng)j獲得的信息量就等于xi的自信息量。

H(xi)>H(xi/yj)

收到y(tǒng)j后判斷信源發(fā)出xi的概率，大于收到y(tǒng)j之前判斷信源發(fā)出xi的概率，通信后接收者對信源符號xi的不確定度減少了，獲得的信息量大于0。

2023/3/1334第三十四頁，共六十頁，2022年，8月28日H(xi)=H(xi/yj)收到y(tǒng)j后判斷信源發(fā)出xi的概率，等于收到y(tǒng)j之前判斷信源發(fā)出xi的概率，通信后接收者對信源符號xi的不確定度沒有變化，獲得的信息量等于0。H(xi)<H(xi/yj)收到y(tǒng)j后判斷信源發(fā)出xi的概率，小于收到y(tǒng)j之前判斷信源發(fā)出xi的概率，通信后接收者對信源符號xi的不確定度不但沒減少，反而增加了，獲得的信息量小于0。

2023/3/1335第三十五頁，共六十頁，2022年，8月28日離散無記憶信道－DMC離散無記憶信道是一種簡單的通信信道模型。離散：某一時刻的輸入輸出為有限的符號集合；無記憶：某一時刻的輸出只與這一時刻的輸入有關(guān)；X:x1,x2,……xnY:y1,y2,……ym2023/3/1336第三十六頁，共六十頁，2022年，8月28日二元對稱信道－BSC01101-p1-pppn=m=22023/3/1337第三十七頁，共六十頁，2022年，8月28日二元刪除信道01101-p1-qpq?n=2;m=32023/3/1338第三十八頁，共六十頁，2022年，8月28日后驗熵—H(X/Y)接收者(觀測者)收到Y(jié)后,對信源X仍然存在的不確定量2023/3/1339第三十九頁，共六十頁，2022年，8月28日定義：交互信息量接收者通過某一個信道[P]從一個信宿符號yj中獲得某一信源符號xi信息量的問題，但它沒有反映一個信道的整體特性，因此，這里定義平均交互信息量。對于給定的信道模型；{X,P(Y/X),Y}，其平均互信息量為：I(X,Y)=H(X)-H(X/Y)2.4.4平均交互信息量2023/3/1340第四十頁，共六十頁，2022年，8月28日關(guān)系：進一步還可以得到：平均交互信息量給出了信道傳輸一個信源符號所傳遞的平均信息量，對于給定的信道和信源平均交互信息量是一個確定的量，平均交互信息量實際上就是接收者收到一個符號通過信道從信源所獲得的平均信息量，因此也稱為平均接收信息量。

2023/3/1341第四十一頁，共六十頁，2022年，8月28日利用熵的概念來描述交互信息量：疑義度I(X,Y)=H(X)-H(X/Y)其中條件熵H(X/Y)稱為疑義度，可疑度，它表示接收者收到Y(jié)后，對信源X仍然存在的平均不確定度。擴散度（噪聲熵）I(X,Y)=H(Y)-H(Y/X)其中條件熵H(X/Y)稱為擴散度，噪聲熵，它表示發(fā)信者發(fā)出X后，對信道輸出Y仍然存在的平均不確定度。聯(lián)合熵（共熵）I(X,Y)=H(X)+H(Y)-H(X,Y)其中熵H(X,Y)稱為聯(lián)合熵，共熵，它表示通信完成之后，觀察者對通信系統(tǒng)仍然存在的平均不確定度。2023/3/1342第四十二頁，共六十頁，2022年，8月28日I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(X,Y)圖給出了平均交互信息量、信源熵，信宿熵，聯(lián)合熵，疑義度和擴散度之間的關(guān)系。

2023/3/1343第四十三頁，共六十頁，2022年，8月28日2.4.5平均交互信息量的特性2.5.1I(X,Y)的非負性2.5.2平均交互信息量的交互性2.5.3平均交互信息量的極值性2.5.4平均交互信息量的凸函數(shù)性2.5.5平均交互信息量的不增性

2023/3/1344第四十四頁，共六十頁，2022年，8月28日2.5.1I(X,Y)的非負性當x為大于0的實數(shù)時，底大于1的對數(shù)logx是x的嚴格上凸函數(shù)?？梢宰C明若f(x)為上凸函數(shù)，則有：f{∑pixi}≥∑pif(xi)，如f(x)=logx，則有：log{∑pixi}≥∑pilogxi根據(jù)這個關(guān)系，考慮平均交互信息量，I(X,Y)=∑∑p(xi,yj)log[p(xi,yj)/p(xi)p(yj)]則：-I(X,Y)=∑∑p(xi,yj)log[p(xi)p(yj)/p(xi,yj)]≤log∑∑p(xi,yj)[p(xi)p(yj)/p(xi,yj)]=log{∑p(xi)∑p(yj)}=0所以有：I(X,Y)≥02023/3/1345第四十五頁，共六十頁，2022年，8月28日2.5.2平均交互信息量的交互性由于p(xi,yj)=p(yj,xi)則：I(X,Y)=I(Y,X)（對于一個信息系統(tǒng)來說）交互性表明在Y中含有關(guān)于X的信息，I(X,Y)；在X中含有關(guān)于Y的信息，I(Y,X)；而且兩者相等。實際上I(X,Y)和I(Y,X)只是觀察者的立足點不同，對信道的輸入X和輸出Y的總體測度的兩種表達形式。2023/3/1346第四十六頁，共六十頁，2022年，8月28日X和Y相互獨立，交互性最小，

I(X,Y)

=0；X和Y完全相關(guān)，交互性最大，

I(X,Y)

=H(X)=H(Y)；H(X/Y)=H(Y/X)=0，相當于信道無信息損失。2023/3/1347第四十七頁，共六十頁，2022年，8月28日這種信道的特點是：n=m，每行只有一個元素為1，每列只有一個元素為1。其轉(zhuǎn)移概率不為1，就為0。

2023/3/1348第四十八頁，共六十頁，2022年，8月28日這時有：所以有：I(X,Y)=I(Y,X)=H(X)=H(Y)2023/3/1349第四十九頁，共六十頁，2022年，8月28日2.5.3平均交互信息量的極值性平均交互信息量I(X,Y)不可能超過信源熵H(X)，因為H(X/Y)≥0

所以有I(X,Y)=H(X)-H(X/Y)≤H(X)

因為H(Y/X)≥0

所以有I(X,Y)=H(Y)-H(Y/X)≤H(Y)疑義度、噪聲熵總是大于等于0，平均交互信息量總是小于信源熵或信宿熵。在信道的輸出端Y得到的關(guān)于輸入端X的信息量不會超過信源X的平均信息量。

2023/3/1350第五十頁，共六十頁，2022年，8月28日擴展性無噪聲信道由于其矩陣的每一列元素只有一個非零元素，所以后驗概率不等于1，就等于0.即：2023/3/1351第五十一頁，共六十頁，2022年，8月28日這時可知疑義度H(X/Y)=0，平均交互信息量達到最大值I(X,Y)=H(X)。從平均意義上講，這種信道可以把信源的信息全部傳遞給信宿。這種每列只有一個非0元素的信道也是一種無噪聲信道，稱為具有擴展性能的無噪聲信道。

這時：H(Y/X)=H(Y)-H(X)因為：H(Y/X)≥0，所以：H(Y)≥H(X)；得到的結(jié)論為：這時的信宿熵將大于信源熵，因此稱為擴展信道。

2023/3/1352第五十二頁，共六十頁，2022年，8月28日并歸性無噪聲信道

這類信道的轉(zhuǎn)移概率等于1或者等于0，每一列的元素可有一個或多個1，可知其噪聲熵H(Y/X)=0，此時的平均交互信息量達到最大值。I(X,Y)=H(Y)-H(Y/X)=H(Y)這時可以證明：疑義度H(X/Y)=H(X)-H(Y),并且H(X)≥H(Y)，

2023/3/1353第五十三頁，共六十頁，2022年，8月28日①通過這兩個例題可以進一步理解條件熵的概念，疑義度和噪聲熵都是由于信道噪聲引起的，當信道轉(zhuǎn)移概率是一一對應的確定關(guān)系時，疑義度和噪聲熵等于0，無噪聲信道。②一個X產(chǎn)生多個Y，稱為擴展信道，在擴展信道中若[P]中每列只有一個非0元素，H(X/Y)=0，即疑義度=0，稱為擴展性無噪聲信道，否則稱為擴展噪聲信道。③多個X產(chǎn)生一個Y，稱為歸并信道，在歸并信道中若[P]中元素為0或1，H(Y/X)=0，即噪聲熵=0，稱為歸并性無噪聲信道，否則稱為歸并噪聲信道。

2023/3/1354第五十四頁，共六十頁，2022年，8月28日平均交互信息量先驗概率p(xi)和信道轉(zhuǎn)移概率p(yj/xi)的函數(shù)，可以記為：I(X,Y)=I[p(xi),p(yj/xi)]如果信道固定，I(X,Y)是先驗概率的函數(shù);如果信源固定，I(X,Y)是信道轉(zhuǎn)移概率的函數(shù)?？梢赃M一步證明：當信道一定時，I(X,Y)是信源先驗概率的上凸函數(shù)；這就是說，對于一定的信道轉(zhuǎn)移概率分布，總可以找到一個先驗概率分布為pm