第5章 信源編碼,本章教學內(nèi)容、基本要求、重點及難點,1、教學內(nèi)容 信源編碼的概念、分類、在通信通信系統(tǒng)模型中的地位 離散信源的最佳變長信源編碼定理 連續(xù)信源編碼 2、基本要求 了解信源編碼的概念 掌握最佳變長信源編碼定理 信源編碼器的性能指標、計算及其含義。 掌握連續(xù)信源的均勻量化編碼和非均勻量化編碼,無失真信源編碼,無失真信源編碼 信源編碼的定義 指定能夠滿足信道特性（適合于信道傳輸）的符號序列（碼序列），來代表信源輸出的消息。 完成編碼功能的器件成為編碼器。,信源編碼器,碼元（信道基本符號集合）,碼長,碼組,信源編碼器的性能指標,信源編碼速率R的定義：平均傳輸一個信源符號所需要的碼字的最大信息量。 信源編碼效率：,信源編碼器的性能指標,要使信源編碼器的效率高，需減小編碼速率，即減少平均碼長。 信息率越小越好，最小能小到多少才能做到無失真譯碼呢？ 這些問題就是最佳變長信源編碼定理的研究范疇。,信源編碼,5.1 離散信源編碼 5.2 連續(xù)信源編碼 5.3 相關信源編碼 5.4 變換編碼,5.1 信源最佳變長編碼,一、最佳變長編碼定理：若信源有n條消息，第i條消息出現(xiàn)的概率為pi，且p1=p2=pn，且第i條消息對應的碼長為ki，并有k1=k2=kn 即：把經(jīng)常出現(xiàn)的消息編成短碼，不經(jīng)常出現(xiàn)的消息編成長碼。這樣可使平均碼長最短，從而提高通信效率，代價是增加了編譯碼設備的復雜度。 在不等長碼字組成的序列中，要正確識別每個長度不同的碼字的起點就比等長編碼復雜得多。,一些碼的定義,非奇異碼：一組碼字中所有的碼字均不相同。即所有信源符號映射到不同的碼符號序列。 奇異碼：一組碼字中有相同的碼字。 唯一可譯碼：碼的任意一串有限長的碼符號序列只能被唯一地譯成所對應的信源符號。,幾種典型的離散信源變長編碼方法,香農(nóng)編碼 費諾編碼 哈夫曼編碼方法,香農(nóng)編碼方法,（1）將pi從大至小排列 （2）求累加概率Pi： （3）求ki， （4）將累加概率Pi轉換成二進制小數(shù),取小數(shù)點后ki位作為第i條消息對應的二進制編碼,例題,要求：對該信源進行二進制香農(nóng)編碼，求每條消息對應的二進制碼組，并計算平均碼長和編碼效率。,例：單符號離散無記憶信源：,解：,將累加概率Pi轉換成二進制小數(shù)： 由上向下讀出得碼字：,0.5（1/2） 0.25 (1/4) 0.125(1/8) 0.0625(1/16) 0.0362(1/32),香農(nóng)編碼與定長編碼比較：,香農(nóng)編碼與定長信源編碼比較,編碼速率： 編碼效率：,說明：,香農(nóng)編碼比定長編碼的平均碼長小 香農(nóng)編碼速率低于定長編碼的速率 香濃編碼效率高于定長編碼的效率 對于信源編碼器：同樣的信源信息量，希望編碼后的平均碼長越小，速率越低，編碼效率就越高,費諾編碼方法 （二進制k進制編碼）,（1）將pi從大至小排列 （2）將概率分為2組（k組），使每組概 率盡可能相等或接近 （3）給每組分配一位碼元 （4）將各分組按照相同原則繼續(xù)劃分，重復（2） （3），直到概率不可分為止。 （5）從左至右依次讀出碼元形成碼字。,例：對上例的信源進行二進制費諾編碼，并求編碼速率和效率。,費諾編碼的性能指標的計算：,平均碼長： 編碼速率： 編碼效率： 比較：費諾碼有較高的編碼效率，適合每次分組概率都很接近的信源,Huffman哈夫曼編碼方法（二進制 ）,1、將pi從大至小排列 2、將概率最小的兩個消息編成0和1，并求其概率和 3、將新求得的概率和與其他剩余消息，重新降序排列 4、重復2和3，直到和為1 5、從右至左依次讀出碼元形成碼字。,例題,要求：對該信源進行二進制哈夫曼編碼，求每條消息對應的二進制碼組，并計算平均碼長和編碼效率。,例：單符號離散無記憶信源：,1,0.55,1,0.15,0.3,0,解：,消息,0.25,0.25,0.2,0.15,0.10,0.05,0,1,0,0,1,0.45,1,0,1結束,pi,Huffman編碼的性能指標的計算：,平均碼長： 編碼速率： 編碼效率：,思考：,1、三進制Huffman編碼如何編？ 2、K進制呢？,離散無記憶信源變長編碼小結,1、變長編碼的優(yōu)點,提高編碼效率,哈夫曼編碼集合不唯一，但平均碼長和編碼效率不變,變長編碼的缺點： 需要大量緩沖設備來存儲這些變長碼，再以恒定的速率進行傳送。 容易引起誤碼擴散,離散有記憶信源的變長編碼,二元平穩(wěn)相關信源：采用游程編碼。 適用于連0或連1較多的序列。 游程：數(shù)字序列中連續(xù)出現(xiàn)相同符號的一段。 例：000101110010001。求其游程編碼。 設二元游程總是從0開始，則游程編碼序列為31132131 且由游程序列很容易恢復原始二元信源序列。 可見游程變換是一一對應的可逆變換。 游程變換減弱了原