第2章信息的度量石志國北京科技大學(xué)電子信息系1幾個(gè)重要的概念:(1)自信息(量)；(2)互信息(量)；(3)平均自信息(量)；(4)平均互信息(量)；第2章信息的度量2.1自信息和互信息2.2平均自信息2.3平均互信息2不確定性、驚訝度與信息量在事件發(fā)生前有不確定性在事件發(fā)生時(shí)有驚訝度在事件發(fā)生后有信息量當(dāng)一個(gè)概率很低的隨機(jī)事件發(fā)生時(shí)，會(huì)感到非常驚訝，并得到很大的信息量比如：9.11事件，美國紐約世貿(mào)大廈被炸3自信息量從信息源獲取信息的過程就是其不確定性縮減的過程隨機(jī)事件包含的信息與其不確定性緊密相關(guān)在統(tǒng)計(jì)分析中，使用概率作為衡量不確定性的一種指標(biāo)可以推論出：隨機(jī)事件包含信息的度量應(yīng)是其概率的函數(shù)。42.1.1自信息隨機(jī)事件的自信息量是該事件發(fā)生概率的函數(shù)，且滿足以下公理化條件：可以證明，滿足以上公理化條件的函數(shù)形式是對數(shù)形式。5(1)取對數(shù)的底為2，單位為比特(bit)(2)取自然對數(shù)(底為e)，單位為奈特(nat).1nat=1.443bit.(3)以10為底，單位為哈特萊(Hartley).1Hartley=3.322bit.(4)以r為底，1r進(jìn)制單位=log2rbit.自信息量的單位與所用對數(shù)的底有關(guān)在現(xiàn)代數(shù)字通信系統(tǒng)中，一般采用二進(jìn)制的記數(shù)方式。在信息量的計(jì)算中也多采用2為底的方式，一般默認(rèn)為2為底：自信息量的單位6對數(shù)以及常用公式7自信息的性質(zhì)8例1.自信息題目9聯(lián)合自信息10條件自信息11幾種自信息之之間的關(guān)系自信息量、聯(lián)聯(lián)合自信息量量、條件自信信息量都滿足足非負(fù)性和單單調(diào)遞減性三者都是隨機(jī)機(jī)變量、其值值隨著變量xi，yj的變化而變化化。三者之間有如如下關(guān)系式：：12例2.自信信息例題13二.互信息息量設(shè)有兩個(gè)離散散的符號(hào)消息息集合XY，，X表示信源發(fā)發(fā)出的符號(hào)消消息集合Y表示信宿接接收的符號(hào)消消息集合每個(gè)符號(hào)消息息相當(dāng)于一個(gè)個(gè)隨機(jī)事件信源發(fā)出符號(hào)號(hào)消息通過信信道傳遞給信信宿14集合XY的概概率空間信源X的概率率空間為：這里p(xi)(i=1,2,3等等)是集合X中各個(gè)消息息x1,x2,x3...的概率率分布，又稱稱為先驗(yàn)概率率信源Y的概率率空間為：這里p(Yj)(j=1,2,3等等)是集合Y中各個(gè)消息息Y1,Y2,Y3...的概率率分布15收信者獲得的的信息量當(dāng)信宿接到集集合Y中的一一個(gè)yj后，接收者重重新估計(jì)關(guān)于于信源的各個(gè)個(gè)消息xi發(fā)生的概率就就變成條件概概率p(xi/yj)，這種條件件概率又稱為為后驗(yàn)概率。。收信者收到一一個(gè)消息后，，所獲得的信信息量等于收收到消息前后后不確定程度度的減少量。。不確定程度減減少的原因，，是由于收到到消息前后概概率空間的概概率分布改變變所致。16不確定程度的的減少量當(dāng)接收到y(tǒng)j后，重新估計(jì)計(jì)xi的發(fā)生。收信信者從不確定定到比較確定定或完全確定定，依賴于所所獲得的信息息量，可以直直觀地將它定定義為：I(信息量)=不確定定程度的減少少量那么當(dāng)接收者者收到y(tǒng)j后，所獲得的的信息量為：：收信者所獲得得的信息量隨隨先驗(yàn)概率的的增加而減小小，隨后驗(yàn)概概率的增加而而增加17信息量：消消除不確定定性度量互信息量等等于自信息息量減去條條件自信息息量：18從通信系統(tǒng)統(tǒng)總體觀察察在通信前，，可以認(rèn)為為輸入隨機(jī)機(jī)變量X和和輸出隨機(jī)機(jī)變量Y之之間沒有任任何關(guān)聯(lián)關(guān)關(guān)系，即X，Y統(tǒng)計(jì)計(jì)獨(dú)立，根根據(jù)概率的的性質(zhì)：通信以后，，輸入隨機(jī)機(jī)變量X和和輸出隨機(jī)機(jī)變量Y之之間由信道道的統(tǒng)計(jì)特特性相關(guān)聯(lián)聯(lián)。19從通信系統(tǒng)統(tǒng)總