1、2 信源熵,本章重點：信源的統(tǒng)計特性和數(shù)學模型、各類信源的信息 測度熵及其性質(zhì)。 2.1 單符號離散信源 2.2 多符號離散信源 2.3 連續(xù)信源 2.4 離散無失真信源編碼定理,2.1 單符號離散信源,2.1.1 單符號離散信源的數(shù)學模型 2.1.2 信息量和信息熵 2.1.3 熵的基本性質(zhì)和定理 2.1.4 平均互信息 2.1.5 各種熵之間的關(guān)系,2.1.1 單符號離散信源的數(shù)學模型,(1) 信源的描述方法 (2) 單符號離散信源數(shù)學模型,(1) 信源的描述方法,在通信系統(tǒng)中收信者在未收到消息以前，對信源發(fā)出什么消息是不確定的。 離散信源：輸出的消息常常是以一個個符號形式出現(xiàn)，這些符號的

2、取值是有限的或可數(shù)的。 單符號離散信源：只涉及一個隨機事件，可用隨機變量描述。 多符號離散信源：每次輸出是一個符號序列，序列中每一位出現(xiàn)哪個符號都是隨機的，而且一般前后符號之間是有依賴關(guān)系的?？捎秒S機矢量描述。 連續(xù)信源：輸出連續(xù)消息?？捎秒S機過程描述。,(2) 單符號離散信源數(shù)學模型,單符號離散信源的數(shù)學模型就是離散型的概率空間： X代表隨機變量，指的是信源整體 xi代表隨機事件的某一結(jié)果或信源的某個元素 p(xi)=P(X=xi)，表示隨機事件X發(fā)生某一結(jié)果xi的概率。 n是有限正整數(shù)或可數(shù)無限大,2.1.2 信息量和信息熵,(1) 自信息量和條件自信息量 (2) 互信息量和條件互信息量

3、(3) 信息熵,(1) 自信息量和條件自信息量, 自信息量 聯(lián)合自信息量 條件自信息量, 自信息量,信息量與不確定性 不確定性與發(fā)生概率 自信息公式確定 自信息含義,信息量與不確定性,信源中某一消息發(fā)生的不確定性越大，一旦它發(fā)生，并為收信者收到后，消除的不確定性就越大，獲得的信息也就越大。 由于種種原因（例如噪聲太大），收信者接收到受干擾的消息后，對某信息發(fā)生的不確定性依然存在或者一點也未消除時，則收信者獲得較少的信息或者說一點也沒有獲得信息。,信息量的直觀定義： 收到某消息獲得的信息量不確定性減少的量 (收到此消息前關(guān)于某事件發(fā)生的不確定性) (收到此消息后關(guān)于某事件發(fā)生的不確定性) 在無噪

4、聲時，通過信道的傳輸，可以完全不失真地收到所發(fā)的消息，收到此消息后關(guān)于某事件發(fā)生的不確定性完全消除，此項為零。因此得 收到某消息獲得的信息量 收到此消息前關(guān)于某事件發(fā)生的不確定性 信源輸出的某消息中所含有的信息量,不確定性與發(fā)生概率,事件發(fā)生的概率越小，我們猜測它有沒有發(fā)生的困難程度就越大，不確定性就越大。概率等于1的必然事件，就不存在不確定性。 某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗概率的函數(shù)。 函數(shù)f p(xi)應(yīng)滿足以下4個條件 根據(jù)上述條件可以從數(shù)學上證明這種函數(shù)形式是對數(shù)形式。,1. f p(xi)應(yīng)是先驗概率p(xi)的單調(diào)遞減函數(shù)； 2.當p(xi)1， f p(xi)=

5、0; 3.當p(xi)0， f p(xi)=; 4.兩個獨立事件的聯(lián)合信息量應(yīng)等于它們分別的信息量之和，即統(tǒng)計獨立信源的信息量等于它們分別的信息量之和。,自信息公式確定,舉例 設(shè)在甲布袋中，放入p個不同阻值的電阻。如果隨意選取出一個，并對取出的電阻值進行事先猜測，其猜測的困難程度相當于概率空間的不確定性。甲布袋的概率空間為 xi：阻值為i的電阻 p(xi)：選取出阻值為i電阻的概率 假設(shè)電阻選取的概率是相等的，則 接收到“選取出阻值為i的電阻”所獲得的信息量為,乙布袋中，放入按功率劃分的q種不同功率的電阻。如果對任意選取出來的功率值進行事先猜測，那么，可看成為另一概率空間 yj：功率為j的電阻

6、 p(yj)：選取出功率為j的電阻的概率 假設(shè)q種不同功率的選擇也是等概率的，則被告知“選取出功率為j的電阻”所獲得的信息量為 這兩個函數(shù) 應(yīng)該是同一類函數(shù),再設(shè)在第三個布袋中，放入p種不同阻值，而每一種阻值又有q種不同功率的電阻，即共有p q個電阻。 設(shè)它們的選取也是等可能性的，其概率空間為 則“選取出阻值為i，功率為j的電阻”這一事件提供的信息量應(yīng)為 從第三個布袋中選出一電阻的效果相當于從甲布袋中選擇一電阻后再從乙布袋中選擇一電阻?！斑x取出阻值為i，功率為j”這件事提供的信息量應(yīng)該是“選取出阻值為i”和“選取出功率為j”這兩件事提供的信息量之和，即,可以用泛函分析方法解得滿足條件的函數(shù)形式

7、為 所以：I(xi)=-logp， I(yj)=-logq， I(zk)=-logpq 顯然滿足： I(zk)= I(xi)+ I(yj) 用概率測度定義信息量： 設(shè)離散信源X，其概率空間為 如果知道事件xi已發(fā)生，則該事件所含有的自信息定義為,自信息含義,當事件xi發(fā)生以前：表示事件xi發(fā)生的不確定性。 當事件xi發(fā)生以后：表示事件xi所含有（或所提供）的信息量。在無噪信道中，事件xi發(fā)生后，能正確無誤地傳輸?shù)绞招耪?，所以I(xi)可代表接收到消息xi后所獲得的信息量。這是因為消除了I(xi)大小的不確定性，才獲得這么大小的信息量。 自信息的測度單位及其換算關(guān)系 信息論中“比特”與計算機術(shù)語

8、中“比特”區(qū)別,自信息的測度單位及其換算關(guān)系,如果取以2為底，則信息量單位稱為比特(binary unit) 如果取以e為底，則信息量單位稱為奈特(nature unit) 如果取以10為底，則信息量單位稱為哈特(Hart unit,以紀念哈特萊首先提出用對數(shù)來度量消息) 1奈特1.44比特 1哈特3.32比特 一般都采用以“2”為底的對數(shù)，為了書寫簡潔，有時把底數(shù)2略去不寫。,信息論中“比特”與 計算機術(shù)語中“比特”區(qū)別,如果p(xi)=1/2，則I(xi)=1比特。所以1比特信息量就是兩個互不相容的等可能事件之一發(fā)生時所提供的信息量。 信息論中“比特”是指抽象的信息量單位； 計算機術(shù)語中“

9、比特”是代表二元數(shù)字； 這兩種定義之間的關(guān)系是：每個二元數(shù)字所能提供的最大平均信息量為1比特。, 聯(lián)合自信息量,信源模型為 其中0p(xiyj)1 (i=1,2,n; j=1,2, ,m) 則聯(lián)合自信息量為 當X和Y相互獨立時，p(xiyj)=p(xi)p(yj) 兩個隨機事件相互獨立時，同時發(fā)生得到的信息量，等于各自自信息量之和。, 條件自信息量,設(shè)yj條件下，發(fā)生xi的條件概率為p(xi /yj)，那么它的條件自信息量I(xi/yj)定義為 表示在特定條件下（yj已定）隨機事件xi 所帶來的信息量 同理，xi已知時發(fā)生yj的條件自信息量為 自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系,(

10、2) 互信息量和條件互信息量, 互信息量 互信息的性質(zhì) 條件互信息量, 互信息量,互信息量定義 舉例 互信息量的三種不同表達式,互信息量定義,X信源發(fā)出的離散消息集合； Y信宿收到的離散消息集合； 信源通過有干擾的信道發(fā)出消息傳遞給信宿； 信宿事先不知道某一時刻發(fā)出的是哪一個消息，所以每個消息是隨機事件的一個結(jié)果； 最簡單的通信系統(tǒng)模型： 信源X、信宿Y的數(shù)學模型為,先驗概率：信源發(fā)出消息xi的概率p(xi )。 后驗概率：信宿收到y(tǒng)j后推測信源發(fā)出xi的概率p(xi / yj )。 互信息量： yj對xi的互信息量定義為的后驗概率與先驗概 率比值的對數(shù)。,舉 例,某地二月份天氣構(gòu)成的信源為

11、收到消息y1：“今天不是晴天” 收到y(tǒng)1后：p(x1/y1)=0， p(x2/y1)=1/2， p(x3/y1)=1/4，p(x4/y1)=1/4,計算y1與各種天氣之間的互信息量 對天氣x1，不必再考慮 對天氣x2， 對天氣x3, 對天氣x4 結(jié)果表明從y1分別得到了各1比特的信息量； 或者說y1 使x2，x3，x4的不確定度各減少量1比特。,互信息量的三種不同表達式,觀察者站在輸出端 自信息量：對yj一無所知的情況下xi存在的不確定度； 條件自信息量：已知yj 的條件下xi 仍然存在的不確定度； 互信息量：兩個不確定度之差是不確定度被消除的部分， 即等于自信息量減去條件自信息量。實際是 從

12、yj得到的關(guān)于xi的信息量。,觀察者站在輸入端 站在輸入端觀察，觀察者在輸入端出現(xiàn)xi前、后對輸出端出現(xiàn)yj的不確定度有變化，即從xi中也可提取關(guān)于yj的信息量。觀察者得知輸入端發(fā)出xi前、后對輸出端出現(xiàn)yj的不確定度的差。,觀察者站在通信系統(tǒng)總體立場上 通信前：輸入隨機變量X和輸出隨機變量Y之間沒有任何關(guān)聯(lián)關(guān)系，即X，Y統(tǒng)計獨立：p(xi yj)=p(xi)p(yj) 先驗不確定度 通信后：輸入隨機變量X和輸出隨機變量Y之間由信道的統(tǒng)計特性相聯(lián)系，其聯(lián)合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后驗不確定度 通信后的互信息量，等于前后不確

13、定度的差 這三種表達式實際上是等效的，在實際應(yīng)用中可根據(jù)具體情況選用一種較為方便的表達式。,互信息的引出，使信息流通問題進入了定量分析的范疇，為信息流通的定量測量打下了堅實的基礎(chǔ)，把信息理論發(fā)展到了一個更深的層次，可以認為是信息論發(fā)展的又一個里程碑。, 互信息的性質(zhì),對稱性 相互獨立時的X和Y 互信息量可為正值或負值,對稱性,I(xi;yj)=I(yj; xi) 推導過程 互信息量的對稱性表明： 兩個隨機事件的可能結(jié)果xi和yj之間的統(tǒng)計約束程度； 從yj得到的關(guān)于xi的信息量I(xi;yj)與從xi得到的關(guān)于yj的信息量I(yj; xi)是一樣的，只是觀察的角度不同而已。,相互獨立時的X和Y

14、,這時 p(xi yj)=p(xi)p(yj) 互信息量為 表明xi和yj之間不存在統(tǒng)計約束關(guān)系，從yj得不到關(guān)于的xi任何信息，反之亦然。,互信息量可為正值或負值,當后驗概率大于先驗概率時，互信息量為正。 當后驗概率小于先驗概率時，互信息量為負。 說明收信者未收到y(tǒng)j以前，對消息xi的是否出現(xiàn)的猜測難疑程度較小，但由于噪聲的存在，接收到消息yj后對xi是否出現(xiàn)的猜測的難疑程度增加了，也就是收信者接收到消息yj后對xi出現(xiàn)的不確定性反而增加，所以獲得的信息量為負值。 當后驗概率與先驗概率相等時，互信息量為零。這就是兩個隨機事件相互獨立的情況。, 條件互信息量,定義： 消息xi與消息對yj zk

15、之間的互信息量為 條件互信息量定義：在給定zk條件下，xi與yj之間的互信息量。 xi與yj zk的互信息量 上式表明：一個聯(lián)合事件yj zk發(fā)生后所提供的有關(guān)xi的信息量I(xi; yj zk)，等于zk發(fā)生后提供的有關(guān)xi的信息量I(xi; zk)與給定zk條件下再出現(xiàn)yj后所提供的有關(guān)xi的信息量I(xi; yj /zk)之和。,(3) 信息熵, 信源熵 條件熵, 信源熵,信源熵平均信息量 信源熵的三種物理含義 信源熵與平均獲得的信息量,信源熵平均信息量,自信息是一個隨機變量：自信息是指某一信源發(fā)出某一消息所含有的信息量。所發(fā)出的消息不同，它們所含有的信息量也就不同。 平均信息量信源熵：

16、自信息的數(shù)學期望。也稱為信源的信息熵/信源熵/香農(nóng)熵/無條件熵/熵函數(shù)/熵。 信息熵的單位：取決于對數(shù)選取的底。一般選用以2為底，其單位為比特/符號。 信息熵的意義：信源的信息熵H是從整個信源的統(tǒng)計特性來考慮的。它是從平均意義上來表征信源的總體特性的。對于某特定的信源，其信息熵只有一個。不同的信源因統(tǒng)計特性不同，其熵也不同。,舉 例,有一布袋內(nèi)放100個球，其中80個球是紅色的，20個球是白色的。隨便摸出一個球，猜測是什么顏色，其概率空間為 x1：表示摸出的是紅球 x2：表示摸出的是白球,信源熵與平均自信息量,信源熵和平均自信息量兩者在數(shù)值上是相等的，但含意并不相同。 信源熵H(X)表征信源的

17、平均不確定度，平均自信息量是消除不確定度所需要的信息的量度； 信源一定，不管它是否輸出離散消息，只要這些離散消息具有一定的概率特性，必有信源的熵值；在離散信源的情況下，信源熵的值是有限的； 信息量只有當信源輸出離散消息并被接收后，才有意義。這就是給予接收者的信息度量。當信源輸出連續(xù)消息時，信息量的值可以是無窮大。,信源熵的三種物理含義,信源熵是從平均意義上來表征信源的總體特性的一個量。因此信源熵有以下三種物理含義。 信源熵H(X)是表示信源輸出后每個消息/符號所提供的平均信息量； 信源熵H(X)是表示信源輸出前，信源的平均不確定性； 用信源熵H(X)來表征變量X的隨機性。 如下例，變量Y取y1

18、和y2是等概率的，所以其隨機性大。而變量X取x1的概率比取x2的概率大很多，這時變量X的隨機性就小。因此H(X)反映了變量的隨機性。,舉 例,有兩個信源，其概率空間分別為 信息熵分別為 H(X)=-0.99log0.99-0.01log0.01=0.08 比特/符號 H(Y)=-0.5log0.5-0.5log0.5=1 比特/符號 可見 H(Y)H(X) 本例結(jié)論 信源Y的二個輸出消息是等可能性的，所以在信源沒有輸出消息以前，事先猜測哪一個消息出現(xiàn)的不確定性要大； 信源Y比信源X的平均不確定性大； 信源X的二個輸出消息不是等概率的，事先猜測x1和x2哪一個出現(xiàn)，雖然具有不確定性，但大致可以猜

19、出x1會出現(xiàn)，因為x1出現(xiàn)的概率大。所以信源X的不確定性要?。?信息熵反映的就是信源輸出前平均不確定程度的大小。,信源熵與平均獲得的信息量,信源熵是信源的平均不確定性的描述。在一般情況下它并不等于平均獲得的信息量。只有在無噪情況下，接收者才能正確無誤地接收到信源所發(fā)出的消息，消除了H(X)大小的平均不確定性，所以獲得的平均信息量就等于H(X)。在一般情況下獲得的信息量是兩熵之差，并不是信源熵本身。, 條件熵,定義：條件熵是在聯(lián)合符號集合XY上的條件自信息的數(shù)學期望。 在已知Y時，X的條件熵為 已知X時，Y的條件熵為 條件熵是一個確定的值,為什么要用聯(lián)合概率？,信道疑義度H(X/Y)：表示信宿在

20、收到Y(jié)后，信源X仍然存在的不確定度。是通過有噪信道傳輸后引起的信息量的損失，是傳輸失真造成的，故也可稱為損失熵。 噪聲熵H(Y/X)：表示在已知X的條件下，對于符號集Y尚存在的不確定性（疑義），這完全是由于信道中噪聲引起的。, 聯(lián)合熵,定義是聯(lián)合離散符號集合XY上的每個元素對的聯(lián)合自信息量的數(shù)學期望，也叫共熵。用H(XY)表示。,2.1.3 熵的基本性質(zhì)和定理,熵函數(shù)H(X)：熵H是p(x1),p(x2),p(xn)的n元函數(shù)（實際上，因p(xi)=1，獨立變量只有n-1個，H是(n-1)元函數(shù)）: (1) 非負性 (2) 對稱性 (3) 最大離散熵定理 (4) 擴展性 (5) 確定性 (6)

21、 可加性 (7) 極值性 (8) 上凸性,(1) 非負性,H(X)0 因為隨機變量X的所有取值的概率分布滿足0p(xi)1； 當取對數(shù)的底大于1時log p(xi)0，而- p(xi) log p(xi)0，所以熵H(X)0； 只有當隨機變量是一確知量時，熵H(X)=0。 這種非負性對于離散信源的熵是合適的，但對連續(xù)信源來說這一性質(zhì)并不存在。,(2) 對稱性, 定義：當變量p(x1),p(x2),p(xn) 的順序任意互換時，熵函數(shù)的值不變，即 含義：該性質(zhì)說明熵只與隨機變量的總體結(jié)構(gòu)有關(guān)，與信源的總體統(tǒng)計特性有關(guān)。如果某些信源的統(tǒng)計特性相同（含有的符號數(shù)和概率分布相同），那么這些信源的熵就相

22、同。 舉例, 舉 例,下面三個信源的概率空間為 x1紅 x2 黃 x3 藍 y1晴 y2 霧 y3 雨 X與Z信源的差別：它們所選擇的具體消息/符號其含義不同； X與Y信源的差別：它們選擇的某同一消息的概率不同； 但它們的信息熵是相同的。這三個信源總的統(tǒng)計特性是相同的。所以熵表征信源總的統(tǒng)計特性，總體的平均不確定性。,(3) 最大離散熵定理(極值性),定理： 離散無記憶信源輸出n個不同的信息符號，當且僅當各個符號出現(xiàn)概率相等時(即p(xi)=1/n)，熵最大。 Hp(x1),p(x2),p(xn) H(1/n,1/n,1/n)=log2n 出現(xiàn)任何符號的可能性相等時，不確定性最大。,舉 例,二

23、進制信源是離散信源的一個特例。 設(shè)該信源符號只有二個：0和1 設(shè)符號輸出的概率分別為p和1-p 信源的概率空間為 二進制信源的信息熵為 這時信息熵H(X)是p的函數(shù)。p取值于0,1區(qū)間，我們可以畫出熵函數(shù)H(p)的曲線。,從圖中可以得出熵函數(shù)的一些性質(zhì)： 如果二進制信源的輸出是確定的(p=1或/p=1)，則該信源不提供任何信息； 當二進制信源符號0和1等概率發(fā)生時，信源的熵達到最大值，等于1比特信息 二元數(shù)字是二進制信源的輸出。在具有等概率的二進制信源輸出的二進制數(shù)字序列中，每一個二元數(shù)字提供1比特的信息量。如果符號不是等概率分布，則每一個二元數(shù)字所提供的平均信息量總是小于1比特。這也進一步說

24、明了“二元數(shù)字”（計算機術(shù)語稱“比特”）與信息量單位“比特”的關(guān)系。,(4) 擴展性,因為 所以上式成立。 本性質(zhì)說明，信源的取值增多時，若這些取值對應(yīng)的概率很?。ń咏诹悖?，則信源的熵不變。 雖然概率很小的事件出現(xiàn)后，給予收信者較多的信息。但從總體來考慮時，因為這種概率很小的事件幾乎不會出現(xiàn)，所以它在熵的計算中占的比重很小。這也是熵的總體平均性的一種體現(xiàn)。,(5) 確定性,H(1,0)=H(1,0,0)=H(1,0,0,0)=H(1,0, ,0)=0 在概率矢量P(X)=p(x1),p(x2),p(xn)中 當p(xi)=1時，-p(xi)log2p(xi)=0； 其余變量p(xj)=0(ji)， 只要信源符號表中有一個符號出現(xiàn)概率為1，信源熵就等于0。在概率空間中，如果有兩個基本事實，其中一個是必然事件，另一個則是不可能事件，因此沒有不確定性，