1、1 4.2 信息的度量信息的度量n香農關于“信息”的概念 （1）事物發(fā)展變化的因果關系是復雜的，存在其必然性也存在偶然性，事物發(fā)展變化的結果往往是不確定的。 （2）信息事物運動狀態(tài)與存在方式的不確定性的描述。 （3）存在不確定性-需要獲得信息。 （4）不確定性的消除=獲得的信息。 （5）信息的多少與獲得某個消息令人產生的“意外有關”。第四章 信息論基礎-4.2 信息的度量(1) (1) 某消息的信息量獲得該消息后不確定性的某消息的信息量獲得該消息后不確定性的消除量。消除量。 不確定性不確定性可能性可能性概率問題概率問題 信息量可用概率的信息量可用概率的某種函數某種函數來度量來度量 (2) (2

2、) 不同的消息有信息量的多少的區(qū)別，因此不同的消息有信息量的多少的區(qū)別，因此 信信息的度量方應滿足信息量的息的度量方應滿足信息量的可加性可加性。 信息量應該是滿足可加性的概率的函數。信息量應該是滿足可加性的概率的函數。第四章 信息論基礎-4.2 信息的度量n離散信源的信息量離散信源的信息量 離散信源統(tǒng)計特性的描述方法概率場概率場設離散信源包含N種可能的不同符號，相應的概率場可表述為n 概率場應滿足條件： 3離散信源信息的度量離散信源信息的度量 NNxpxpxpXpxxxX.:.:2121 11Niixp第四章 信息論基礎-4.2 信息的度量單符號離散無記憶信源（DMS）例1：第四章 信息論基礎

3、-4.2 信息的度量單符號離散無記憶信源（DMS）例2：第四章 信息論基礎-4.2 信息的度量離散無記憶信源及熵第四章 信息論基礎-4.2 信息的度量信息的度量自信息n信息：不確定性，隨機性，驚訝程度n自信息： （1）某事件發(fā)生前的不確定性的大??； （2）某事件發(fā)生后能提供的信息量的大小。第四章 信息論基礎-4.2 信息的度量自信息的4個相關問題（1）自信息與概率的問題第四章 信息論基礎-4.2 信息的度量（2）概率為1的事件的信息量？ （3）概率為0的事件的信息量？第四章 信息論基礎-4.2 信息的度量（4）兩個相互獨立的事件能提供的信息量？第四章 信息論基礎-4.2 信息的度量n 信息量作

4、為概率的函數，具有形式n 應滿足條件： （1） 是概率的單調遞減函數； （2）如果 ，則 ； （3）如果 ，則 ； （4）如果 ，（獨立事件） 則 。 13自信息 iixpfxI第四章 信息論基礎-4.2 信息的度量 ixI 1ixp 0ixI 0ixp ixI)()()(jijixpxpxxp)()()(jijixIxIxxI14 定義定義 離散消息離散消息x xi i的信息量的信息量:信息量的單位與信息量的單位與對數的底對數的底有關有關： log以2為底時，單位為比特比特：bit log以e為底時，單位為奈特奈特：nit log以10為底時，單位為哈特哈特，hart 一般在沒有特別聲明時均

5、假定信息的單位為比特一般在沒有特別聲明時均假定信息的單位為比特。 iiixPxPxPIlog1log第四章 信息論基礎-4.2 信息的度量15第四章 信息論基礎-4.2 信息的度量n 離散信源的信息量(續(xù)) 示例示例：已知某信源的概率場為 輸出的各符號統(tǒng)計獨立，計算序列S“113200”的信息量 bitsppppppppppppSpSI83.111415. 11415. 1232201log01log21log31log11log11log0023111log1log 81414183:3210:XpX第四章 信息論基礎-4.2 信息的度量17n 熵熵 定義定義4.2.2 4.2.2 離散信源

6、離散信源 的熵的熵 熵是信源在統(tǒng)計意義上每個符號的平均信息量每個符號的平均信息量。NixXi,.,2 , 1,: iNiixpxpXHlog1第四章 信息論基礎-4.2 信息的度量熵的性質（1）表示信源輸出前，信源（各個消息）的平均不確定性；信源輸出后，各個消息所能提供的平均信息量。（2）對于一個給定的信源X，其熵H(X)是固定常數。（3）概率為0的事件對熵有影響嗎？沒有影響。（4）單位：比特/符號，奈特/符號，哈特/符號。（5）信源中各個符號概率分布越均勻，信源熵越大。 第四章 信息論基礎-4.2 信息的度量n 離散信源的最大熵定理 定理定理4.2.6 4.2.6 當離散信源當離散信源X X

7、取等概分布時，其熵取等概分布時，其熵 取最大值。取最大值。 即：當信源取等概分布時，具有最大的不確定性當信源取等概分布時，具有最大的不確定性。示例示例：兩個信源符號的情形。 P(x1)=p,P(x2)=1-p 當p=1/2時，H(X)= Hmax NiNNNNNNNHxpxpxpH1211log1log11,.,1,1,.,maxH X第4章 信息論基礎1920n 離散信源的熵 示例示例：求離散信源 的熵。 按照定義： 熵的單位：比特比特/ /符號符號 81414183:3210:XpX 符號比特906. 181log8141log4141log4183log83log41iiixpxpXH第

8、四章 信息論基礎-4.2 信息的度量n 離散信源的熵(續(xù)) 示例示例（續(xù)）：若上述離散信源發(fā)送獨立的符號序列： 201 020 130 213 001 203 210 100 321 010 023 102 002 10 312 032 100 120 210 (1)求總的信息量；(2)利用熵估計總的信息量。解：(1) (2) 比特55.10781log741log1341log1483log23log41iiixpnI 比特62.108096. 1713142341XHnIii2121第四章 信息論基礎-4.2 信息的度量聯(lián)合自信息聯(lián)合事件集合XY中的事件x=ai,y=bj的自信息定義為：第

9、四章 信息論基礎-4.2 信息的度量條件自信息在判斷一個事件的自信息時，還需要考慮該事件發(fā)生時的一些前提條件。條件不同，同一事件發(fā)生時提供的信息量也不同第四章 信息論基礎-4.2 信息的度量例：第四章 信息論基礎-4.2 信息的度量n 離散信源的聯(lián)合離散信源的聯(lián)合熵熵n 兩隨機變量兩隨機變量 的概率場概率場 滿足條件：NjMiyxXYji,.,2 , 1;,.,2 , 1,:111112121122212222221122,.,:,., :.,.,NNNNMMMMMNMNx y p x yx yp x yx yp x yXYx yp x yx yp x yx yp x yp XYx y p x

10、 yx yp x yx yp x y111 MiNjjiyxp第4章 信息論基礎25第四章 信息論基礎-4.2 信息的度量n 離散信源的聯(lián)合熵(續(xù)) 兩隨機變量的聯(lián)合熵聯(lián)合熵 定義定義4.2.3 4.2.3 兩隨機變量兩隨機變量 的聯(lián)合熵的聯(lián)合熵 如兩隨機變量統(tǒng)計獨立，有NjMiyxXYji,.,2 , 1;,.,2 , 1,:符號比特 MijiNjjiyxpyxpXYH11log YHXHypypxpxpypxpypxpyxpyxpXYHjNjjMiiiMijiNjjiMijiNjji loglogloglog111111第4章 信息論基礎26第四章 信息論基礎-4.2 信息的度量n 兩隨機

11、變量的聯(lián)合熵(續(xù)) 對于對于統(tǒng)計獨立的兩隨機變量，不能從其中一個獲得有關另外統(tǒng)計獨立的兩隨機變量，不能從其中一個獲得有關另外一個的任何信息一個的任何信息。第4章 信息論基礎27第四章 信息論基礎-4.2 信息的度量第四章 信息論基礎-4.2 信息的度量n例：已知DMS：4/14/12/1)(321aaaxPX第四章 信息論基礎-4.2 信息的度量n 離散信源的條件熵 兩隨機變量的條件熵條件熵 定義定義4.2.4 4.2.4 兩隨機變量兩隨機變量 的條件熵的條件熵 一般地有(利用稍后的平均互信息量的非負性) 具有具有某種相關性的兩隨機變量某種相關性的兩隨機變量，一個隨機變量的出現總是一個隨機變量

12、的出現總是 有助于有助于降低另一隨機變量的不確定性降低另一隨機變量的不確定性。 NjMiyxXYji,.,2 , 1;,.,2 , 1,: MijiNjjiyxpyxpYXH11log MiijNjjixypyxpXYH11log XHYXH第4章 信息論基礎30第四章 信息論基礎-4.2 信息的度量例：n設箱子中有100個球，其中40個黑球，60個白球。從箱子中取球且不放回，連續(xù)取兩次，求猜中第二個球顏色的條件熵。 解：用X表示 取出第一個球 的顏色，Y表示 取出第二個球 的顏色。 第四章 信息論基礎-4.2 信息的度量H(X)H(2/3,1/3)0.9183?0)Y|H(X?H(X) 00

13、)Y|H(X?1)Y|H(X01)Y|H(X?2)Y|H(X02)Y|H(X3/1Y)|H(X第四章 信息論基礎-4.2 信息的度量第四章 信息論基礎-4.2 信息的度量第四章 信息論基礎-4.2 信息的度量通信的目標第四章 信息論基礎-4.2 信息的度量n 離散信源及容量離散信源及容量 信道模型信道模型 信道的輸入輸入： 信道的輸出輸出： 信道模型(特性)可用其轉移概率轉移概率來描述NjMiyxXYXYpji,.,2 , 1,.,2 , 1,:,MixXi,.,2 , 1,:NjyYj,.,2 , 1,:36第四章 信息論基礎-4.2 信息的度量n 離散信源及容量(續(xù)) 信道模型 信道模型(

14、特性)可用其轉移概率來描述，一般地有 輸出不僅與當前的輸入有關，而且與之前的若干個輸入值 有關，呈現某種“記憶記憶”效應。:,1,2,.,1,2,.,ijXY x y iM jN 1.kkkk njp yxxx37第四章 信息論基礎-4.2 信息的度量n 離散信源及容量(續(xù)) 離散無記憶信道離散無記憶信道的轉移矩陣 輸出僅與當前的輸入輸出僅與當前的輸入有關 離散無記憶信道的后驗概率矩陣后驗概率矩陣 112111222212/././././NNMMNMp yxp yxp yxp yxp yxp yxp YXp yxp yxp yx112111222212/././././MMNNMNp xyp xyp x