第2章信源熵2.1單符號離散信源2.1.1單符號離散信源的數(shù)學模型2.1.2自信息和信源熵2.1.3信源熵的基本性質(zhì)和定理2.1.4加權(quán)熵的概念及基本性質(zhì)2.1.5平均互信息量一、平均互信息量定義二、平均互信息量物理意義二、平均互信息量性質(zhì)2.1.6各種熵之間的關(guān)系1離散集的平均互信息量不同概率空間集合之間的平均互信息量對于通信問題的探討十分重要。通信的目的是在接收端準確地或以盡可能小的失真復現(xiàn)發(fā)送的消息。一般通信系統(tǒng)的輸入和輸出存在一定的概率關(guān)系。令X和Y分別表示一個通信系統(tǒng)的輸入事件集和輸出事件集。討論輸入X、輸出Y均為離散的情況。研究離散集X和Y的平均互信息量。這時輸入和輸出均可用離散概率空間描述。P(Y/X)XY2互信息量—信道中信息流通的測度？互信息量I(xi;yj)是定量研究信息流通問題的重要基礎(chǔ)。它只能定量地描述輸入隨機變量發(fā)出某個具體消息xi，輸出變量出現(xiàn)某一具體消息yj時，流經(jīng)信道的信息量。“輸入xi，輸出yj”是一個概率為p(xiyj)的隨機事件，相應的I(xi;yj)也是隨xi和yj變化而變化的隨機量?；バ畔⒘縄(xi;yj)不能從整體上作為信道中信息流通的測度。這種測度應該是從整體的角度出發(fā)，在平均意義上度量每通過一個符號流經(jīng)信道的平均信息量。作為一個測度，它不能是隨機量，而是一個確定的量。3輸入X、輸出Y的離散概率空間描述4輸入X、輸出Y的聯(lián)合空間XY5平均條件互信息量定義：

在聯(lián)合集XY上，由提供的關(guān)于集X的平均條件互信息量等于由所提供的互信息量在整個X中以后驗概率加權(quán)的平均值，其定義式為由于互信息是表示觀測到后獲得的關(guān)于事件的信息量，即故平均條件互信息量又可以表示為6定理定理：

聯(lián)合集XY上的平均條件互信息量有

等號成立當且僅當X集中的各個都與事件相互獨立。平均條件互信息量表示觀測到y(tǒng)j后獲得的關(guān)于集X的平均信息量。I(X;yj)仍然是一個隨機變量，隨yj的變化而變化，因此，不能作為信道中流通信息量的整體測度。7定理I(X;yj)≥0的證明8平均互信息量定義：平均互信息量I(X;Y)是平均條件互信息量I(X;yj)在整個集Y上的概率加權(quán)平均值。其定義式為定義：互信息量I(xi;yj)在聯(lián)合概率空間P(XY)中的統(tǒng)計平均值稱I(X;Y)是Y對X的平均互信息量，簡稱平均互信息，也稱平均交互信息量或交互熵。平均互信息I(X;Y)克服了互信息量I(xi;yj)的隨機性，成為一個確定的量，因此，可以作為信道中流通信息量的整體測度。9平均昏互信云息量名的其升它定息義平均號互信講息量I(拉X;泥Y)也可孕定義膜為10平均兼互信希息的示性質(zhì)平均酸互信擠息量煌有以晴下基奮本性捉質(zhì)：1、互遺易性慌（對肌稱性重）2、非臺負性3、極屈值性4、凸牌函數(shù)細性5、數(shù)統(tǒng)據(jù)處改理定惕理平均滾互信緊息和賣各類帥熵的染關(guān)系11平均煮互信頭息的紹性質(zhì)1、互鍬易性北（對彈稱性竄）I(想X;麗Y)馬=立I(返Y;棚X)該性誦質(zhì)表梯示從妻集Y中獲址得關(guān)略于X的信核息量停等于似從集X中獲幼得關(guān)幻玉于Y的信兩息量從。當集X和集Y統(tǒng)計漫獨立咐時，拴有I(鹿X;斷Y)呆=知I(遷Y;慶X)耕=0它意霸味著方不能軋從一仔個集男獲得溜關(guān)于芹另一療個集平的任罪何信員息2、非叮負性I(要X;諷Y)懂≥0當且揭僅當X與Y相互泄獨立養(yǎng)時，環(huán)等號予成立案。即怎如果X與Y相互伯獨立詳，它留們之煙間相現(xiàn)互不甲能提尤供任崇何信壓息。12性質(zhì)1：非手負性I(德X;各Y)≥0的證產(chǎn)明13性質(zhì)2：對績稱性I(滿X;隙Y)遮=I壤(Y姜;X襯)的證艘明證明趕：按臣定義14平均熄互信際息的紛性質(zhì)狗（續(xù)側(cè)）3、極等值性I(飾X;禾Y)≤H(乖X)；I(屆X;弄Y)≤H(是Y)證明劉：因堂為I(督X;統(tǒng)Y)宋=H太(X少)-惠H(癥X/都Y)，條傍件熵H(則X/尊Y)為非掉負，崇故兩煎個不六等式喊成立賤。4、凸泛函數(shù)嫁性平均杯互信岡息量I(即X;魔Y)是信惕源概狡率分僑布p(鼻xi)的上還凸函糊數(shù)；該性去質(zhì)是御研究掉信道郊容量獄的理蜜論基伯礎(chǔ)平均經(jīng)互信編息量I(帽X;閘Y)是信奸道傳侵遞概堤率p(版yj/xi)的下心凸函藍數(shù)。該性異質(zhì)是部研究筍率失每真函犯數(shù)的鏈理論舌基礎(chǔ)15平均曲互信醒息量I(肺X;輛Y)的凸虛函數(shù)吼性－齊例題0011qq1-q1-q二元對稱信道16求平蝕均互舟信息I(損X;估Y)－例偉題17離散伏無記悔憶信袋源熵筋－例墾題18第2章迅信源鵝熵2.慌1單符啦號離刻散信勢源2.介1.驢1單符各號離怖散信索源的捉數(shù)學枯模型2.聚1.冠2自信詳息和初信源俗熵2.距1.窩3信源布熵的降基本芹性質(zhì)貞和定梳理2.做1.床4加權(quán)透熵的腰概念而及基貫本性仿質(zhì)2.秤1.公5平均衰互信傅息量2.漢1.鉆6各種桐熵之蓮間的往關(guān)系19平均房誠互信嫩息和之各類菊熵的呢關(guān)系平均阻互信晨息和薦各類寫熵的冬關(guān)系I(賊X;重Y)疫=H梨(X笑)-初H(言X/界Y)I(質(zhì)X;重Y)晌=H腎(Y也)-雕H(模Y/梅X)I(摘X;攜Y)燭=H打(X畏)+態(tài)H(槽Y)辜-H穴(X連Y)20幾個銹關(guān)系均式的證拆明21維拉哀圖平均也互信縮慧息量I(犯X;隙Y)和各緒類熵圍的關(guān)蹄系可風用維漁拉圖舞表示爪。當集X和Y統(tǒng)計壘獨立駛時，I(宵X;簽Y)總=0，得吹到H(虜X,毯Y)ma懼x=H誰(X癥)+聾H(婚Y)H(Y)H(X)H(X,Y)I(X;Y)H(X/Y)H(Y/X)22損失她熵H(株X/令Y)條件冬熵H(疼X/你Y)表示饅在已技知輸醉出Y的條仇件下邊輸入X的剩規(guī)余不雅確定粥性，角即信曾道損貨失。根據(jù)癥互信勵息量I(慮X;辜Y)與條渾件熵H(芬X/自Y)的關(guān)絹系可怒看出倉，I(耗X;過Y)等于蔽輸入賴平均塌信息套量H(尾X)減去仆信道受損失競，它蛛反映奇了信意道傳鳥輸信變息的俘能力桃。最內(nèi)大平羨均互精信息炸量就芽是信程道容盛量。23小結(jié)為了肝介紹例兩個男離散匹集之灑間的右平均卻互信局息量萄，首配先定料義了麥在一稻個事顛件發(fā)襖生條足件下望，給旁出的吵另一驕個離寇散事密件集叼的平均臟條件嬌互信仆息量情。在平艱均條躬件互他信息邁量的薦基礎(chǔ)匪