第一章信息科學(xué)及其發(fā)展1.1通信系統(tǒng)的基本概念1.2信息科學(xué)的有關(guān)概念1.3信息理論的研究?jī)?nèi)容1.4香農(nóng)信息論概述通信系統(tǒng)模型信息、消息和信號(hào)信息一個(gè)抽象的概念，可以定量的描述。信息、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素消息是信息的載體，相對(duì)具體的概念，如語言，文字，數(shù)字，圖像信號(hào)表示消息的物理量，電信號(hào)的幅度，頻率，相位等等通信系統(tǒng)傳輸?shù)氖切盘?hào)，信號(hào)是消息的載體，消息中的未知成分是信息。信息的特征未知性或不確定性。又不知到知，等效為不確定性的集合的元素的減少?？梢远攘俊？梢援a(chǎn)生、消失，可以被攜帶、存儲(chǔ)和處理。可以產(chǎn)生動(dòng)作。信息論要解決的基本問題什么是信息？如何度量？在給定的信道中，信息傳輸有沒有極限？信息能否被壓縮和恢復(fù)？極限條件是什么？從實(shí)際環(huán)境（如干擾，噪聲）中抽取信息，極限條件是什么？允許一定失真的條件下，信息能否被更大程度地壓縮？極限條件是什么？設(shè)計(jì)什么樣的系統(tǒng)才能達(dá)到上述極限？現(xiàn)實(shí)中，接近極限的設(shè)備是否存在？信息量、信道容量、熵、香農(nóng)定理、香農(nóng)公式等。信息論的研究?jī)?nèi)容狹義信息論（香農(nóng)信息論）研究信息測(cè)度，信道容量以及信源和信道編碼理論一般信息論研究信息傳輸和處理問題，除香農(nóng)信息論外還包括噪聲理論，信號(hào)濾波和預(yù)測(cè)，統(tǒng)計(jì)檢測(cè)和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會(huì)領(lǐng)域有關(guān)信息的內(nèi)容，如模式識(shí)別，計(jì)算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)研究通信系統(tǒng)的目的找到信息傳輸過程的共同規(guī)律，以提高信息傳輸?shù)目煽啃?、有效性、保密性和認(rèn)證性，以達(dá)到信息傳輸系統(tǒng)最優(yōu)化?？煽啃?使信源發(fā)出的消息經(jīng)過信道傳輸以后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端。有效性:經(jīng)濟(jì)效果好，即用盡可能短的時(shí)間和盡可能少的設(shè)備來傳送一定數(shù)量的信息。保密性:隱蔽和保護(hù)通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。認(rèn)證性:指接收者能正確判斷所接收的消息的正確性和完整性，而不是偽造的和被篡改的。香農(nóng)信息論信息的度量信息量、熵?zé)o失真信源編碼香農(nóng)第一定理信道編碼香農(nóng)第二定理帶限信道傳輸能力信道容量公式（香農(nóng)公式）信息傳輸失真及差錯(cuò)信息率失真理論、香農(nóng)第三定理、信息價(jià)值網(wǎng)絡(luò)信息傳輸網(wǎng)絡(luò)信息理論保密通信香農(nóng)信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯(cuò)碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼第二章信息的度量2.1度量信息的基本思路2.2信源熵和條件熵2.3互信息量和平均互信息量2.4多維隨機(jī)變量的熵單消息（符號(hào)）信源它是最簡(jiǎn)單也是最基本的信源，是組成實(shí)際信源的基本單元。它可以用信源取值隨機(jī)變量的范圍X和對(duì)應(yīng)概率分布P(X)共同組成的二元序?qū)X,P(X)]來表示。當(dāng)信源給定，其相應(yīng)的概率空間就已給定；反之，如果概率空間給定，這就表示相應(yīng)的信源已給定。所以，概率空間能表征這離散信源的統(tǒng)計(jì)特性，因此有時(shí)也把這個(gè)概率空間稱為信源空間。

單符號(hào)離散信源這些信源可能輸出的消息數(shù)是有限的或可數(shù)的，而且每次只輸出其中一個(gè)消息。因此，可以用一個(gè)離散型隨機(jī)變量X來描述這個(gè)信源輸出的消息。這個(gè)隨機(jī)變量X的樣本空間就是符號(hào)集A；而X的概率分布就是各消息出現(xiàn)的先驗(yàn)概率，信源的概率空間必定是一個(gè)完備集。在實(shí)際情況中，存在著很多這樣的信源。例如投硬幣、書信文字、計(jì)算機(jī)的代碼、電報(bào)符號(hào)、阿拉伯?dāng)?shù)字碼等等。這些信源輸出的都是單個(gè)符號(hào)(或代碼)的消息，它們符號(hào)集的取值是有限的或可數(shù)的。我們可用一維離散型隨機(jī)變量X來描述這些信源的輸出。它的數(shù)學(xué)模型就是離散型的概率空間：?jiǎn)畏?hào)離散信源例：對(duì)于二進(jìn)制數(shù)據(jù)、數(shù)字信源：X={0,1}，則有

信息的度量信息的度量（信息量）和不確定性消除的程度有關(guān)，消除了多少不確定性，就獲得了多少信息量；不確定性就是隨機(jī)性，可以用概率論和隨機(jī)過程來測(cè)度不確定性的大小，出現(xiàn)概率小的事件，其不確定性大，反之，不確定性??；由以上兩點(diǎn)可知：概率小——>信息量大，即信息量是概率的單調(diào)遞減函數(shù)；此外，信息量應(yīng)該具有可加性；信息量的特點(diǎn)事件（或消息）輸出的信息量?jī)H依賴于它的概率，而與它的取值無關(guān)。信息量是概率分布的連續(xù)函數(shù)。信息量是概率分布的減函數(shù)。統(tǒng)計(jì)獨(dú)立的兩個(gè)信源產(chǎn)生的兩個(gè)事件，其聯(lián)合信息量應(yīng)為各事件信息量之和。對(duì)數(shù)函數(shù)！自信息量由于信息量與概率成反比，并且具有可加性，可以證明，信息量的計(jì)算式為

其中Pk是事件Xk發(fā)生的概率，這也是先農(nóng)關(guān)于(自)信息量的度量(概率信息)；自信息量I(xk)的含義當(dāng)事件xk發(fā)生以前，表示事件xk發(fā)生的不確定性；當(dāng)事件xk發(fā)生以后，表示事件xk所提供的信息量；自信息量計(jì)算信息量主要要注意有關(guān)事件發(fā)生概率的計(jì)算；例：從26個(gè)英文字母中，隨即選取一個(gè)字母，則該事件的自信息量為

I=-log2(1/26)=4.7比特例：設(shè)m比特的二進(jìn)制數(shù)中的每一個(gè)是等概率出現(xiàn)的(這樣的數(shù)共有2m個(gè))，則任何一個(gè)數(shù)出現(xiàn)的自信息為:

I=-log2(1/2m)=m比特/符號(hào)自信息量自信息量的單位自信息量的單位取決于對(duì)數(shù)的底；底為2，單位為“比特（bit）”；底為e，單位為“奈特（nat）”；底為10，單位為“哈特（hat）”；1nat=1.44bit,1hat=3.32bit；仙農(nóng)關(guān)于信息定義和度量的優(yōu)點(diǎn)優(yōu)點(diǎn)它是一個(gè)科學(xué)的定義，有明確的數(shù)學(xué)模型和定量計(jì)算；它與日常生活中關(guān)于信息的理解不矛盾；它排除了對(duì)信息一詞某些主觀性的含義，是純粹形式化的概念；仙農(nóng)關(guān)于信息定義和度量的局限局限這個(gè)定義的出發(fā)點(diǎn)是假設(shè)事物的狀態(tài)可以用一個(gè)以經(jīng)典集合論為基礎(chǔ)的概率模型來描述，然而實(shí)際存在的某些事物運(yùn)動(dòng)狀態(tài)很難用一個(gè)合適的經(jīng)典概率模型來描述，甚至在某些情況下不存在這樣的模型；這個(gè)定義和度量沒有考慮收信者的主觀性和主觀意義，也拋開了事物本身的具體含義、用途、重要程度和引起的后果等，這與實(shí)際不完全一致。條件自信息、聯(lián)合自信息、互信息量自信息、條件自信息和互信息I(xk)I(yj)I(xk

;yj)互信息量的性質(zhì)對(duì)稱性。值域?yàn)閷?shí)數(shù)（可以小于0）。不大于其中任一事件的自信息量。條件互信息量熵(Entropy)的概念通常研究單獨(dú)一個(gè)事件或單獨(dú)一個(gè)符號(hào)的信息量是不夠的，往往需要研究整個(gè)事件集合或符號(hào)序列(如信源)的平均的信息量(總體特征)，這就需要引入新的概念；熵(Entropy)的概念（續(xù)）假設(shè)離散事件集合的概率特性由以下數(shù)學(xué)模型表示：則如果將自信息量看為一個(gè)隨機(jī)變量，其平均信息量為自信息量的數(shù)學(xué)期望，其定義為：由于這個(gè)表達(dá)式和統(tǒng)計(jì)物理學(xué)中熱熵的表達(dá)式相似，且在概念上也有相似之處，因此借用“熵”這個(gè)詞，把H(X)稱為信息“熵”；熵的計(jì)算例：設(shè)某信源輸出四個(gè)符號(hào)，其符號(hào)集合的概率分布為：則其熵為：熵的含義熵是從整個(gè)集合的統(tǒng)計(jì)特性來考慮的，它是從平均意義上來表征集合的總體特征的。熵表示事件集合中事件發(fā)生后，每個(gè)事件提供的平均信息量；熵表示事件發(fā)生前，集合的平均不確定性；例：有2個(gè)集合，其概率分布分別為：

分別計(jì)算其熵，則：H(X)=0.08bit/符號(hào),H(Y)=1bit/符號(hào)熵的性質(zhì)連續(xù)性:當(dāng)某事件Ek的概率Pk稍微變化時(shí)，H函數(shù)也只作連續(xù)的不突變的變化；對(duì)稱性:熵函數(shù)對(duì)每個(gè)Pk

對(duì)稱的。該性質(zhì)說明熵只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，與事件集合的總體統(tǒng)計(jì)特性有關(guān)；非負(fù)性:H>=0；確定性，即：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0，即當(dāng)某一事件為確定事件時(shí)，整個(gè)事件集合的熵為0；熵的性質(zhì)（續(xù)）極值性，即當(dāng)所有事件等概率出現(xiàn)時(shí)，平均不確定性最大，從而熵最大，即：熵的性質(zhì)（續(xù)）可加性:設(shè)有一事件的完全集合{E1,E2,…,En},其熵為H1(p1,p2,…,pn)?，F(xiàn)設(shè)其中一事件En又劃分為m個(gè)子集，即：

這時(shí)構(gòu)成的三個(gè)概率空間分別具有熵函數(shù)：

這說明對(duì)集合的進(jìn)一步劃分會(huì)使它的不確定性增加，即熵總是往大增加。熵的性質(zhì)（續(xù)）例子:設(shè)事件A1,A2構(gòu)成全集，p(A1)=p1=3/15,p(A2)=p2=12/15.現(xiàn)將事件A2又進(jìn)一步劃分為2個(gè)子集B和C，且p(B)=q1=4/15,p(C)=q2=8/15,則：剩余度ΔH剩余度刻畫了事件集合中符號(hào)的相關(guān)性程度，其定義為：ΔH=H0-H其中：H0為熵的最大值，H為熵的實(shí)際值；剩余度ΔH(續(xù))例：英文字母表由27個(gè)元素構(gòu)成的集合的熵的最大值為：H0=log27=4.75bit/符號(hào)(當(dāng)27個(gè)元素等概率分布時(shí))對(duì)于實(shí)際的有意義英文來說，由于受到英語構(gòu)詞法等規(guī)則的限制，其字母不是等概率出現(xiàn)的，而呈現(xiàn)一定的分布（如下表）。由此可以計(jì)算出實(shí)際英文字母表(26字母+1空格)的熵為:H(x)=4.03bits/字母；因此，英文字母表的剩余度ΔH=4.75-4.03=0.72以上結(jié)論僅僅從英文字母的概率分布得出。一般認(rèn)為，如果考慮到英語的所有特點(diǎn)，則實(shí)際英文字母表的熵為H=1.4bits/字母；也就是說，英語的冗余是很大的。剩余度ΔH(續(xù))正是因?yàn)樵嫉男畔⒍加腥哂?，才有可能?duì)信息進(jìn)行壓縮，以盡量減少冗余，提高每個(gè)符號(hào)攜帶的信息量；但另一方面，冗余信息可以提高信息的抗干擾能力，如果信息的某部分在傳輸中被損壞，則通過冗余有可能將其恢復(fù)。(冗余小,有效)(冗余大,可靠)中國中華人民共和國從提高信息傳輸效率的角度出發(fā)，總是希望減少剩余度（壓縮），這是信源編碼的作用；從提高信息抗干擾能力來看，總是希望增加或保留剩余度，這是信道編碼的作用；二維離散概率量的熵二維的系統(tǒng)能表達(dá)通信系統(tǒng)發(fā)送和接收的關(guān)系，也能表達(dá)存儲(chǔ)系統(tǒng)的存取關(guān)系，二維的結(jié)果還可以向多維系統(tǒng)推廣，因此這個(gè)研究具有重要的意義。聯(lián)合事件集合和概率矩陣邊際概率兩個(gè)事件集合E、F的聯(lián)合事件集合用X、Y表示E、F對(duì)應(yīng)的隨機(jī)變量，則其聯(lián)合概率矩陣為邊際熵和聯(lián)合熵通過熵的定義，可以得到：邊際熵聯(lián)合熵條件概率和條件熵條件概率并且當(dāng)已知特定事件yj

出現(xiàn)時(shí)，下一個(gè)出現(xiàn)的是

xi的不確定性為：對(duì)集合X中所有元素統(tǒng)計(jì)平均，其熵為：條件概率和條件熵上述熵值再對(duì)集合Y中的元素做統(tǒng)計(jì)平均，得條件熵：同理可得：例子例：擲兩個(gè)均勻的六面體，六面體的每一面上分別有1,2,3,…,6個(gè)點(diǎn)，求各個(gè)熵。將兩個(gè)六面體出現(xiàn)點(diǎn)數(shù)的事件用X和Y表示，每個(gè)六面體有6種可能的點(diǎn)數(shù)，兩個(gè)共有36種組合，每種出現(xiàn)的概率為1/36，即：

p(xi,yj)=1/36,p(xi)=1/6,p(yj)=1/6.

p(yj|xi)=p(xi,yj)/p(xi)=1/6,p(xi|yj)=1/6.邊際熵聯(lián)合熵條件熵從通信系統(tǒng)角度看熵的意義H(X)：表示信源