1、復(fù)習,信息是具體信號與消息的內(nèi)涵，是信號載荷的內(nèi)容，是消息描述的對象 信號是信息在物理表達層的外延 消息是信息在數(shù)學表達層的外延,第1章緒論,通信系統(tǒng)的模型,通常，可將信息與通信中的基本問題歸納為三性：有效性、可靠性和安全性。分別通過信源編碼、信道編碼和加密編碼來實現(xiàn)。 Shannon三大極限定理是： 無失真信源編碼定理 、 信道編碼定理 、 限失真信源編碼定理,信源描述與分類 信源的基本特性是具有隨機不確定性 分類離散信源和連續(xù)信源,無記憶：單符號無記憶信源 符號序列的無記憶信源 有記憶：符號序列的有記憶信源 符號序列的馬爾可夫信源,信息量 自信息量 聯(lián)合自信息量 條件自信息量,第2章信源與

2、信息熵,單符號離散信源熵 符號熵 條件熵 聯(lián)合熵,平均互信息量,熵的性質(zhì) 對稱性 非負性 確定性 香農(nóng)輔助定理 最大熵定理,聯(lián)合熵和條件熵的性質(zhì),平均互信息的性質(zhì) 對稱性 與熵和條件熵及聯(lián)合熵關(guān)系 非負性 極值性 凸性函數(shù)性質(zhì) 信息不增性原理,離散序列信源的熵,離散有記憶信源的序列熵和消息熵 結(jié)論1 是L的單調(diào)非增函數(shù) 結(jié)論2 結(jié)論3 是L的單調(diào)非增函數(shù) 結(jié)論4,馬爾可夫信源 當信源的記憶長度為m+1時，該時刻發(fā)出的符號與前m個符號有關(guān)聯(lián)性，而與更前面的符號無關(guān)。,馬氏鏈極限熵,連續(xù)信源的熵與互信息,幅度連續(xù)的單個符號信源熵,最大熵定理 限峰功率最大熵定理：對于定義域一定的隨機變量X，當它是均

3、勻分布時具有最大熵 限平均功率最大熵定理：對于相關(guān)矩陣一定的隨機變量X，當它是正態(tài)分布時具有最大熵,冗余度，表示給定信源在實際發(fā)出消息時所包含的多余信息。 冗余度來自兩個方面，一是信源符號間的相關(guān)性；二是信源符號分布的不均勻性,1、信息傳輸率 信道中平均每個符號所能傳送的信息量定義為信息傳輸率R R=I(X;Y)=H(X)H(X/Y) 比特/符號 信息傳輸速率Rt Rt=I(X;Y)/t 比特/秒（bps）,第3章信道與信道容量,2、信道容量 比特/符號（bits/symbol或bits/channel use） 若平均傳送一個符號要T秒，則 比特/秒（bit/s或bps）,對稱信道容量 強對

4、稱信道 二進制對稱信道容量 C1H（） 準對稱DMC信道容量,連續(xù)信道及其容量,限時限頻限功率加性高斯白噪聲信道,信道的容量,單位時間的信道容量,香農(nóng)公式,信息率失真函數(shù)的物理意義是： 對于給定信源，在平均失真不超過失真限度D的條件下，信息率容許壓縮的最小值R（D）。,第4章信息率失真函數(shù),R(D)是非負的實數(shù)，即R(D) 0。其定義域為0Dmax，其值為0H(X)。當DDmax時，R(D) 0。 R(D)是關(guān)于D的下凸函數(shù)，因而也是關(guān)于D的連續(xù)函數(shù)。 R(D)是關(guān)于D的嚴格遞減函數(shù)。,由以上三點結(jié)論，對一般R(D)曲線的形態(tài)可以畫出來,離散信源,連續(xù)信源,第5章信源編碼,編碼分為信源編碼和信

5、道編碼，其中信源編碼又分為無失真和限失真。 一般稱 無失真信源編碼定理為第一極限定理； 信道編碼定理（包括離散和連續(xù)信道）稱為第 二極限定理； 限失真信源編碼定理稱為第三極限定理。,由于信源符號之間存在分布不均勻和相關(guān)性，使得信源存在冗余度，信源編碼的主要任務(wù)就是減少冗余，提高編碼效率。,信源編碼的基本途徑有兩個： 使序列中的各個符號盡可能地互相獨立，即解除相關(guān)性； 使編碼中各個符號出現(xiàn)的概率盡可能地相等，即概率均勻化。,信源編碼的基礎(chǔ)是信息論中的兩個編碼定理： 無失真編碼定理 限失真編碼定理 無失真編碼只適用于離散信源 對于連續(xù)信源，只能在失真受限制的情況下進行限失真編碼,唯一可譯碼存在的充

6、分和必要條件 各碼字的長度Ki 應(yīng)符合克勞夫特不等式：,無失真的信源編碼定理 定長編碼定理 K是定值 且惟一可譯碼 變長編碼定理 碼長K是變化的 根據(jù)信源各個符號的統(tǒng)計特性，如概率大的符號用短碼，概率小的用較長的碼，使得編碼后平均碼長降低，從而提高編碼效率。（統(tǒng)計匹配）,定長編碼定理說明，,碼字所能攜帶的信息量大于信源序列輸出的信息量，則可以使傳輸幾乎無失真，當然條件是L足夠大。,反之，當 時，不可能構(gòu)成無失真的編碼，也就是不可能做一種編碼器，能使收端譯碼時差錯概率趨于零。 時，則為臨界狀態(tài)，可能無失真，也可能有失真。,在連續(xù)信源的情況下，由于信源的信息量趨于無限，顯然不能用離散符號序列來完成

7、無失真編碼，而只能進行限失真編碼。,定義 為編碼效率，編碼效率總是小于1，且最佳編碼效率為,單個符號變長編碼定理：若離散無記憶信源的符號熵為H(X)，每個信源符號用m進制碼元進行變長編碼，一定存在一種無失真編碼方法，其碼字平均長度滿足下列不等式,離散平穩(wěn)無記憶序列變長編碼定理：對于平均符號熵為HL(X)的離散平穩(wěn)無記憶信源，必存在一種無失真編碼方法，使平均信息率滿足不等式 其中為任意小正數(shù)。 用變長編碼來達到相當高的編碼效率，一般所要求的符號長度L可以比定長編碼小得多。,能獲得最佳碼的編碼方法主要有： 香農(nóng)（Shannon） 費諾（Fano） 哈夫曼（Huffman）等,進行哈夫曼編碼時，為得

8、到碼方差最小的碼，應(yīng)使合并的信源符號位于縮減信源序列盡可能高的位置上，以減少再次合并的次數(shù)，充分利用短碼。,哈夫曼碼是用概率匹配方法進行信源編碼。 哈夫曼碼的編碼方法保證了概率大的符號對應(yīng)于短碼，概率小的符號對應(yīng)于長碼，充分利用了短碼； 縮減信源的最后二個碼字總是最后一位不同，從而保證了哈夫曼碼是即時碼。,限失真信源編碼定理,信息率RR(D)，平均失真可以D,算術(shù)編碼 非分組碼的編碼方法之一算術(shù)碼,采用累積概率P(S)表示碼字C(S)，符號概率p(S)表示狀態(tài)區(qū)間A(S),有擾離散信道的編碼定理 糾錯編譯碼的基本原理與分析方法 線性分組碼,第6章 信道編碼,香農(nóng)信道編碼定理,正定理：只要傳信率

9、R小于信道容量C，總存在一種信道碼（及解碼器），可以以所要求的任意小的差錯概率實現(xiàn)可靠的通信。 逆定理：信道容量C是可靠通信系統(tǒng)傳信率R的上邊界，如果R C，就不可能有任何一種編碼能使差錯概率任意小。,最佳譯碼，也叫最大后驗概率譯碼(MAP) 最大似然譯碼( MLD),6.2.2最優(yōu)譯碼與最大似然譯碼,消息組mi 碼字ci 接收碼r 估值 消息,編碼器 信道 譯碼 消息 還原,BSC信道的最大似然譯碼可以簡化為最小漢明距離譯碼。 由于BSC信道是對稱的，只要發(fā)送的碼字獨立、等概，漢明距離譯碼也就是最佳譯碼。,線性分組碼,G、G、 H、 C、dmin、t、d 、S-E 縮短碼、擴展碼 漢明碼（完

10、備碼）,循環(huán)碼,g(x) 、 h(x) 系統(tǒng)循環(huán)碼 (x) 、 g(x) 、 r(x) 、 c(x)關(guān)系 G、G、 H、 C、dmin、t、d 、S-E,第7章加密編碼,加密編碼的基礎(chǔ)知識 數(shù)據(jù)加密標準DES 公開密鑰加密法,密碼學的基本概念： 明文、密文、加密、解密、破譯、密鑰、密碼體制 保密性、真實性 對稱密鑰體制、非對稱密鑰體制 密碼學中的熵概念,密碼體制必須滿足三個要求：,對所有密鑰，加密解密都必須迅速有效 容易使用 體制的安全性只依賴于密鑰的保密性，而不依賴于E、D的保密性,通信系統(tǒng)模型,I(U;V)=H(U) I(M;C)=0 I(M;KC)=H(M),信源,信宿,信源,編碼,加密,信源,譯碼,解密,信道,編碼,信道,譯碼,信道,干擾,噪聲,M C K,U V,一個保密系統(tǒng)：如果 H（M |C）=H（M）或 I（M；C）=0， 則該保密系統(tǒng)稱為是完善的或無條件的保密系統(tǒng)，絕對安全,對于合法的接收者，在已知密鑰和密文條件下提取明文信息： H(M/CK)0 I(M；CK)H(M)H(M/CK)H(M),I(M;C) H(M)-