1、第一章熵和互信息量，本章介紹了消息源的整合特性和數(shù)學(xué)模型各種消息源的信息熵熵及其性質(zhì)，引入了信息論的一些基本概念和重要結(jié)論，電信系統(tǒng)模型：信息論的學(xué)習(xí)是消息源乃至信息的負(fù)載者。 信息是抽象的，消息是具體的。 研究情報(bào)，必須從研究新聞消息入手。 因?yàn)椴恢腊l(fā)送方發(fā)送什么消息，所以只能用概率空間記述源，1.1源的數(shù)學(xué)模型和分類，單象征符源：輸出是單象征符(查詢密碼) 的消息離散源連續(xù)隨機(jī)序列源：源輸出的消息由一系列象征符序列組成，其中n維隨機(jī)向量X(X1，X2， XN離散穩(wěn)態(tài)源連續(xù)穩(wěn)態(tài)源沒有存儲(chǔ)(獨(dú)立)離散穩(wěn)態(tài)源有存儲(chǔ)源m階馬爾可夫源隨機(jī)波形源、 離散源(單個(gè)象征符)，特征：輸出或象征符(查詢密碼

2、)消息，象征符定徑套可能的值A(chǔ):a1，a2， aq拋擲有限或可接受的示例：硬幣、信件、電報(bào)符號(hào)等等。 數(shù)學(xué)模型：設(shè)滿足源象征符ai出現(xiàn)的(先驗(yàn))概率p (ai ) (I=1，2，2，q ) :概率空間也稱為源空間，因?yàn)楦怕士臻g可以代表離散源的統(tǒng)一校正特性。連續(xù)的源、特征：輸出是單個(gè)象征符(查詢密碼)的消息，其中輸出消息的象征符定徑套a的可能值用連續(xù)的一維度連續(xù)型隨機(jī)變量x描述。 例：聲音信號(hào)、熱噪聲信號(hào)、對(duì)遠(yuǎn)程控制系統(tǒng)電壓、溫度、壓力等進(jìn)行測定的連續(xù)數(shù)據(jù)等。 數(shù)學(xué)模型：連續(xù)型的概率空間。 也就是說或者滿足，1.2離散源的信息熵及其性質(zhì)，基本離散源可以在一維度隨機(jī)變量x處描述源的輸出，源的數(shù)學(xué)模

3、型可抽象為： 問題：這樣的來源能輸出多少信息每條消息的出現(xiàn)有多少信息量？ 信息的元圈套與信息的元圈套(信息量)和不確定性消除的程度有關(guān)，從消除的不確定性得到的信息量不確定性是隨機(jī)性，能夠在概率論和隨機(jī)過程中測度，概率小，不確定性大的推論：概率小，信息量大， 也就是說，信息量是概率的單調(diào)遞減函數(shù)，信息量應(yīng)該有增加的可能性，信息量的導(dǎo)出，包含在某個(gè)上通告發(fā)生中的信息量，應(yīng)該是該上通告發(fā)生的先驗(yàn)概率的函數(shù)。 也就是說，I (ai) f p(ai )基于客觀事實(shí)和人類的習(xí)慣概念，函數(shù)f p(ai )應(yīng)當(dāng)滿足(1)個(gè)先驗(yàn)概率p(ai )的單調(diào)遞減函數(shù)，也就是，應(yīng)當(dāng)滿足應(yīng)當(dāng)為p(a1)p ()的條件=(四

4、個(gè)獨(dú)立上通告的協(xié)作信息量必須等于各個(gè)信息量，即，統(tǒng)計(jì)上獨(dú)立的源的信息量將等于各個(gè)信息量之和。 能夠證明對(duì)數(shù)函數(shù)滿足上述條件：1.自信息、離散源x的概率空間： I(ai )表示(1)在發(fā)生上通告ai之前發(fā)生上通告ai的不真實(shí)自我； 在校正表示上通告ai提供的信息量的自身信息量時(shí)，對(duì)留心到上通告發(fā)生概率的校正計(jì)算進(jìn)行少許說明。自身信息量的單位依賴于對(duì)數(shù)的底部為2，單位為“二進(jìn)制位(bit，binary unit )”； 底部為e，單位為夜晚； 底部為10，單位為心形； 根據(jù)換底式，一般的修正算法都采用以“2”為底的對(duì)數(shù)，為了簡潔起見，大多省略底數(shù)“2”不寫，1 nat=1.44bit，1 hat=

5、3.32 bit； 例8個(gè)串聯(lián)連接的燈泡x1、x2、x8雖然其破損的可能性是等概率的，但是現(xiàn)在假定其中一個(gè)已經(jīng)破損，每次執(zhí)行測量都會(huì)得到多少信息量。 為了知道哪盞燈損壞了，需要合訂多少次測量？接收到某條消息后得到的信息量(即，接收到某條消息后得到與某個(gè)事件的發(fā)生相關(guān)的信息量)的不真實(shí)自我減少的量(接收到該消息前與某個(gè)事件的發(fā)生相關(guān)的不真實(shí)自我)-(接收到該消息后與某個(gè)事件的發(fā)生相關(guān)的不真實(shí)自我) 由于8個(gè)燈泡等的概率損壞，因此，在第1/82次測定先驗(yàn)概率p (x1)得到的信息量=I P (x2) - I P (x3)=1(bit )用至少3二進(jìn)制位的信息量正確地知道在第2次測定得到的信息量=I

6、 P (x3)=1(bit )哪個(gè)燈泡損壞第一次測量得到的信息量=I P (x1) - I P (x2)=1(bit )經(jīng)過兩次測量后，剩下兩個(gè)燈泡，等概率受損，P (x3)1/2，一次測量后，剩下4個(gè)。 因此，自身信息I(ai )是隨機(jī)變量，不能將其用作源全體的信息測度。 定義自信息的數(shù)學(xué)期望是平均自信息量Hr(X )，也稱為信息熵：由于該公式與統(tǒng)一物理中的熱熵公式相似，在概念上也相似，所以借用“熵”一詞，將H(X )稱為信息熵的信息熵單位是自信息量的單位、H(X )的單位： r進(jìn)制單位符號(hào)(r1)、熵的修正算例：在布袋中放入l00個(gè)球，其中80個(gè)球?yàn)榧t色，20個(gè)球?yàn)榘咨?至于取出一個(gè)球并

7、推測它是什么顏色，若傳說該概率空間取出了紅色球，則所獲得的信息量將會(huì)是： I (a1) log p(a1) log0.8=0.32 (二進(jìn)制位)，若傳說它是白色球，則所獲得的信息量將會(huì)是I (a1) log p(a1) log0.8=0.32 (零) 在源輸出之后，在信息熵H(X )表示每個(gè)消息所提供的熵的源輸出之前，信息熵H(X )表示源的平均不確定性的信息熵H(X )表示變量x的隨機(jī)化。 例如，有兩個(gè)源x和y，并且其概率空間中的每一個(gè)對(duì)其熵進(jìn)行校正以獲得h (x )=0. 08 (比特/符號(hào)) h(y )=1(比特/符號(hào)) h (y )。 甲地的天氣預(yù)報(bào)為晴(48 )、陰(28 )、大雨(

8、18 )、小雨(18 )。 另外乙地的天氣預(yù)報(bào)為晴(78 )、小雨(18 )。 兩地天氣預(yù)報(bào)分別求出提供的熵值。 甲地天氣預(yù)報(bào)為兩極端時(shí)，一是晴天出現(xiàn)概率為1，其侑預(yù)為0。 另一個(gè)是出現(xiàn)晴、陰、小雨、大雨的概率都等于14。 我們來求一下這兩種極端情況提供的熵量。 另外，試著求出這兩極端的狀況出現(xiàn)在乙方提供的熵量。 甲地天氣預(yù)報(bào)構(gòu)成的發(fā)信源空間為：其提供的熵為發(fā)信源的信息熵：乙地天氣預(yù)報(bào)的發(fā)信源空間為：結(jié)論：甲地天氣預(yù)報(bào)提供的熵大于乙地。 因?yàn)橐业乇燃椎氐钠骄淮_定性小。 甲地極端情況，極端情況1 :晴天概率1，結(jié)論：等概率分布中源的不真實(shí)自我最大，因此信息熵(熵)最大。 極端情況2 :各天氣等

9、概率分布，乙地極端情況，極端情況1 :晴天概率1，結(jié)論：極端情況2甲地比乙地提供更多的信息量。 之所以這樣說，是因?yàn)榭赡艹霈F(xiàn)在甲地的信息數(shù)比可能出現(xiàn)在乙地的信息數(shù)多。 極端情況2 :各種天氣等概率分布，信息熵是源概率空間的特殊矩函數(shù)。 該矩函數(shù)的大小與源的象征符數(shù)及其概率分布有關(guān)。 如果用概率向量p表示概率分布P(x ) :三，信息熵的基本性質(zhì)，則信息熵H(X )是概率向量p或其分量p1，p2， pq的q-1元函數(shù)用H(x )表示用離散隨機(jī)變量x記述的源的信息熵，用H(P )或H(p1，p2，pq )表示概率矢量為P=(p1，p2，pq )的q個(gè)象征符源的信息熵。 在q=2時(shí)，因?yàn)閜1 p2=

10、1，所以將兩個(gè)符號(hào)的熵函數(shù)寫作H(p1)或H(p2)。 熵函數(shù)H(P )是一個(gè)特殊的函數(shù)，具有以下性質(zhì)： 性質(zhì)：1，對(duì)稱性： H(P )的可取值與分量p1，p2，pq的順序無關(guān)。 說明：從數(shù)學(xué)角度： H(P)=pi log pi中的和式滿足交換率。 從隨機(jī)變量的角度：熵只與隨機(jī)變量的整體統(tǒng)一修正特性有關(guān)。 例如，2，確定性： h (1，0 )=h (1，0，0 )=h (1，0，0 )=0的性質(zhì)說明：從整體上看，源有不同的輸出3 .非負(fù)： H(P) 0說明：概率變量x的概率分布滿足0pi1，當(dāng)對(duì)數(shù)的底大于1時(shí)，log 只有在隨機(jī)變量是正確量的情況下，熵等于零。 這樣的非負(fù)適合于離散源的熵，對(duì)于

11、連續(xù)源而言不存在。 由此可知，今后在相對(duì)熵的概念中有可能出現(xiàn)負(fù)值。非消極表現(xiàn)信息是非消極的。 4 .可擴(kuò)展性，性質(zhì)說明：如果源的可能值的數(shù)量變多，與這些個(gè)的可能值對(duì)應(yīng)的概率小(接近零)，源的熵不變。 由此，上述方程成立是因?yàn)榧有约瑟?dú)立信道源x和y的聯(lián)合信道源的熵等于通道源x和y各自的熵的和5。 H(XY)=H(X) H(Y )，加性是熵函數(shù)的重要特性，正因?yàn)橛屑有?，熵函?shù)的形式是唯一的。 證明：例如甲方源可將其聯(lián)合源修正為聯(lián)合源的聯(lián)合熵h (z )=h (xy )=log (nm )=logmlogn=h (x ) h H(XY)=H(X) H(Y/X )的證明： H(XY)=H(X) H(

12、Y/X )，7，增加性，在原始源x的情況下，熵的增加量等于因分割而產(chǎn)生的不確定性量。 再來自熵的定義或強(qiáng)加法，即，指示n個(gè)元素的源熵可遞歸到(n-1 )個(gè)二維源的熵函數(shù)的加權(quán)和的增加性的推廣。 這使得將多個(gè)源的熵函數(shù)的校正操作簡化到校正多個(gè)二維源的熵函數(shù)。 因此，熵函數(shù)的遞增性也被稱為遞歸性。 8、在極端值性(定理1.1 )離散源的情況下，在源內(nèi)的各個(gè)象征符為等概率分布時(shí)，熵值最大。 性質(zhì)表明等概率分布源的平均不確定性最大。 這是一個(gè)被稱為最大離散熵定理的重要結(jié)論。 由于對(duì)數(shù)是廣義凸函數(shù)，當(dāng)滿足二烯烴傳感器不等式Elog Y log EY時(shí)，證明二進(jìn)制資源是離散源的特例。 只有兩個(gè)源象征符設(shè)置

13、為“0”和“1”。 如果對(duì)H(X)=-log (1-) log(1-)=H ()，即，信息熵H(x )的0和1個(gè)區(qū)間取值，則代碼輸出的概率為“”和“1-”，即，源的概率空間可以如右圖所示地進(jìn)行熵函數(shù)h ()的繪制曲線。 熵函數(shù)H(P )是概率矢量P(p1，p2，pq )的嚴(yán)格型凸函數(shù)(或稱為上凸函數(shù))。 這是因?yàn)槿我獾母怕氏蛄縋1 (p1，p2，pq )、P2 (p1，p2，pq )、以及表示相對(duì)于任意的01而言存在H P1十(1- )P2 H(P1)的9、上凸性、離散且平滑的存儲(chǔ)源當(dāng)發(fā)出固定長度的消息序列時(shí)例如，在電報(bào)系統(tǒng)中，如果源輸出由兩個(gè)二值數(shù)字組成的象征符序列，則可視為新的源，這包括四

14、個(gè)象征符(00、01、10、11 )，我們將該源稱為沒有二值存儲(chǔ)器源的二次擴(kuò)展源。 分組n個(gè)二值數(shù)字后，該源等效于具有2N個(gè)象征符的新源，稱作二值無符號(hào)源的n次擴(kuò)展源。 一般而言，對(duì)于離散無記憶源x，1.3離散無記憶源的擴(kuò)展源可由長度為n的序列對(duì)其輸出消息序列的定徑套表示，其中樣本空間為a1、a2、aq。 此時(shí)，這等同于新的來源。 新源輸出的象征符是n維離散隨機(jī)向量X=(X1，X2，XN )，每個(gè)組件Xi (i1，2，n )是隨機(jī)變量，它們?nèi)≈禐橄嗤脑聪笳鞣◤教祝⑶胰绻M件之間是系統(tǒng)獨(dú)立的，則新源輸出的動(dòng)作可能是錯(cuò)誤的。 由隨機(jī)向量x構(gòu)成的新源被稱為離散存儲(chǔ)器源，單象征符離散源x的數(shù)學(xué)模

15、型：n次擴(kuò)展源與單象征符離散源的比較：數(shù)學(xué)模型相同，但是輸出不是單象征符，而是n個(gè)相互獨(dú)立的象征符序列： X(X1，X2， XN )，由于沒有聯(lián)合分布密度P(X)=P(X1X2XN )的記憶(彼此周期性獨(dú)立) :離散且不穩(wěn)定的n個(gè)擴(kuò)展源的熵H(X )=H(XN)=NH(X )，其中：可以通過相同的修正公式獲得其多項(xiàng)式，h(xn ) 注意：二次擴(kuò)展源的概率空間通常取決于(1)概率分布P(xi )兩者，其中，該源在t=i時(shí)采取隨機(jī)變量Xi的值，而該源在t=i時(shí)通常采用何種符號(hào)。 在一般的P(xi) P(xj) (2) t=i時(shí)刻在先從源發(fā)送的象征符。 即，關(guān)于條件概率P(xi/xi-1 xi-2 )的相對(duì)平滑隨機(jī)序列是考慮序列的修訂性質(zhì)與時(shí)間推移無關(guān)，即，不考慮時(shí)間起點(diǎn)存在源產(chǎn)生碼序列的概率分布。 當(dāng)t=i，t=j時(shí)(I，j是大于1的任何整數(shù))，如果P(xi)=P(xj )=P(x )，那么具有該系列在一維度上平滑的性