1、信息掄與編俏20134-29第 5 章限失真信源編碼在上一章.討論了鳥敵佶源的無失貝佶潭編碼 這種綢碼是無失真的保炳 縊碼.但是無失真的保并非量必須的.有時*也不可能實現(xiàn)*-：衽憐送語咅侑號時，由于人耳接受的帯寬和分辨率迢有限的.因此可以把 頻譜范踐從20HZ-20KHZ的與音信號去禪低第|和蔦甥的頻屜H成帶寬只有300HZ-400HZ的侶號這樣雖能會有一整失JL但是這些失真煨允許的.案例二在傳送活動SABt.由于人眼的視覺包留待性.孜們只U毎*W傳送25幀 的靜止圖像人們到的就量連賃的總動圖僅所以左實障生乏中.通?？偸撬?求在保證一定質(zhì)的前提下.在信宿近似地再現(xiàn)信 岀的信扈.Hit.實際 的

2、信恵傳輸率可以降低案傍三：音樂信號可以由CD格武壓第為MP3格氏 其客僅為原絕信潭信息的11%,而音質(zhì)卻沒有明JS的下胳而VS1格式居加可以把語音信號壓第到廩來 的其可H度沒有明顯下降.由上述案鋼可知 實際W用上.其實允許一定的失真存在.于是對倍息速 率的旻求就可以岸低.何矗是可以犀低到什么*?這需更對信恵率失真數(shù)進行理論研究5 1失真測度對于一對描定一個非負的函數(shù)稱為單位符號的失真度或失真用它來聶示伯潭發(fā)出一個符號而在再現(xiàn)為所引起的失真的大小.通希較小的值代表較小的失真.而表示沒育央真由于何W個務號曲能 有個符號.庚以有個這個非負的因數(shù)可以丼列成蛇陣形式.IP:失真人們的實際需晏和失真引起的

3、損失.貝險大小的人為規(guī)定的當用的失 真諂飲有1漢明失鼻藏微在芻散對稱依道阪勺）中.定義單個符號的失真度為漢明失真.它衣示當再現(xiàn)的樓牧符號 與發(fā)送的倍潭符號相同時.就不牡失真的Mat.所以失曳度當再現(xiàn)的按收再號與發(fā)送符號不同時.就有失Hfif在.而且認為發(fā)送符號與鼻現(xiàn)符號不同時所引起的失K都相Ph所以央真度力常數(shù)通常取值為】這伸失真林為漢明失真.漢蹈失真矩陣Eat希為方降.且對角戰(zhàn)上的元索為o. up：第 5 章限失圣信源編碼代絵失真丙數(shù)有兩種.一種是:徐為繪對值謀述失真宙數(shù)之所以取絕對值.是為了保證失真鹵數(shù)為傘盤負的失XA違反數(shù)躬處理定理.不可以*用由于絕對值處理麻煩因而應用根少.另一斡是：暮

4、為平方誤差失真Efift.也有一個對應的失真矩陣.矩陣中的事專元示發(fā)送 接牧所引起的失真取平方主要也是為了保證失真帝敷力員效由于V.F機變故單個符號失虞度也杲融機變倉，顯然.很定了單個符號失真度r之后傳輸一個符號引起的屮均失真即信湖的平均失真度為：它是在X的聯(lián)合櫃忍空間求平妙.為了系統(tǒng)能構足使用。求.技術上往往宴求平均失真度 不大于某個顫定值 KJ：這時.RM*允許失真的上界.曼由設計耍求決建的式（5,就禰為保真度 莆則.人為地定義出個對系絞平均失度的技術要求顯債.A第 5第 5 章限失真信源編碼和失真度給定.則根據(jù)式（5-3）.就只與信道特性有關.把所有滿足保真度準的借道臬中起來，構成一個所

5、謂 失真允許的試絵信遺集合.記為即】中一般有許多符合條件的借道.從經(jīng)濟離效的角度考電.在滿足允杵失真度 的惜況下.傳通信瀕所補的傳信率趁小越好而對于信宿堆在褲足保真度準JW的條件下.&確定所需的最小平均信息量，即求平均互信息的最小值.由比可找出存在于 中的 11差 的信道.這樣在滴足保真度準則的所有失真許可的試臉伯道集合中尋找某一個佶道 達到量小即：(5-5這個最不值就是估息率失真se.簡穆為率失真函敕它的犖位是比待/侑源符兮.哈特萊/宿源將號取奈特曲源符號.的前熱乍失真険數(shù)是信的下凸宙數(shù)所以在集合中.冏的鍛小值-定由以上分析可知】伯息率失真諭數(shù)是在館潭柢率分布 和允許失真 給定的條件

6、下求平均互倍的極小值的問題.而前面講的信道壽件下求平均互信息的極大值耶ML信道吝是摑在信道囲定的前提下.堆擇一種（Hm*分布使侑息傳輸率JI大（求極大值）.它反映了信逋傳輸佶念的艙力.層信道可韋傳*的最大借息傳 輸車.即有最大的傳僧率.也飲迪信atiHt信道與佰禪無關.是信道特性的參償 倍道一口確定.伯遇容就不會發(fā)生改變，不問的侑道其何道容量不網(wǎng).5.2信息車失真函數(shù)第 5 章限失真信源編碼對于蛤定的伯譯.左満足保頁厲準 q滬輸出的允許達到的最小值由第 5 章限失真信源編碼從式中看出，對”個&找出一個使聶小的令而其它的轉(zhuǎn)移撫朗為0.這樣可以的*小平約失真度.RP：更使失真矩陣中郃一行至

7、少有一個o元1L這時倫源的平均失真度的下隈為此時傳信康第于伯淺L即：當侑漫是連續(xù)伯禪時機上式說明：在連按侑潭的情況下.倍尊的絕對朋為無窮犬.而實際的信道容量總是有限 的.而要無失真的傳連揍悟發(fā)出的建續(xù)倍息在信Mt客有限的情況下是不可能的.但是. 實際借況總氏可以吝忍某斡程度.有時甚至是根大的失真.所以.満足實際嬰求的傳送對連 續(xù)信嫁還是可能的.HXtY) HtXi的試鯊僧道是一個無噪無按的試撿佶道并且 中只有這樣一個信道.這時有,當M.不曾何種信激分布豪能達到量小允許失真度.滴足這個小允許失真腹*心nan /i X;) ) /(X)第爭限失再信源編碼現(xiàn)莊冉耒刃論千均失喜度的大值 它與定義域的上

8、段育關.根據(jù)信忌率失真曲It的建義式.應 是在一定*件下的平均互倍息n的級小值.由于 是參負數(shù).聽也是也數(shù).因而逅的極小值為山的檢大值就為tawm.當傅的平均失或度的下隈為o時.傳信睪籌于信潭墻,這時就可以忙信 出的平均信息無失蔑的傳給倍宿.也就達列了平均互佶息的上隈值.相反.如果傳 佈率越小.專忍的失真就會越大.當時.對應的平均失真會達到量大值.也飲泉的定又域的上*如圖5.1所示.暫時的的取值.由于仍矛F(xiàn)u匹百陞當于伯慚收不到估審任何伯息.這就養(yǎng)于伯道被切斷或估海不友送 任何侑總也畝是發(fā)送端和接枚堵之何統(tǒng)計/立由以上的分析fft；g發(fā)生在發(fā)送靖 和按收竭 貌計獨立時.SP；5-7)此時弄效于

9、H倍中斷.因而有互信息.W對于不同的可以使得.選取英中的量小值定義為 W.(5-81第 5 章限失真信源編碼RU/e(/= S5 1 OlftWXaft的JlhS第 5 章限失真信源編碼第 5 章限失真信源編碼凸A9i.釦對于任意Rn)K(D)fdaJ入 11u)f)：1 4( (Iu)Ki DI證明，設給定施失真曲 故的定文域內(nèi)遶取兩個允許失真度和 達到梢應的館息率央真函數(shù)螢文和 v.E f A I/ft 住馬工工P 6 4中I D并設兩個試驗倍iM和叩分別灣足保真M為，6vj i( ( ,ti. !(! a/l/r.( v.h. IDI )-v, I .ij (I oup兒I t) )對應

10、的平均失真度為,工KrVM W兇兒八、 ）（Ia送工 zODM (Ia) )Di第 5 章限失真費源編碼2具誨凸狀性.這抵息昧著它在定義域內(nèi)是連續(xù)的.并且在定義城內(nèi)是遙峨的.因為允許的失真越大所需的伯息率8W8小根據(jù) 的定義.它是在平均失真腹小與戒算干允許失*r的所有信道集合 中.取 的最小值.當允許失真度增大 時.那么0的豪合也就隨之增大.在增大臬合中找出的小值.那么結(jié)果不交或者比障來的小.因此齟是遞減的.即在魁田內(nèi) 9A下面證明它是嚴絡進桟的卸上式中尊號不成立證明：八如果上式中祥號成立則在中為常數(shù)下面證明中假設&I和不為常 （a 6A1 -a/nu.Di 4 oiA 幾：I0工工戶

11、IVj 11, k/( (*, V,)主整以離散仁龍為例.宋介如佰息率失真曲數(shù)的#示計U撤送代計算兩斡計冀方法. 離瓠命承計n計尊條件第 5 章限失真信源編碼中審號不成立是定義域內(nèi)的嚴格邊減函數(shù)由于鎮(zhèn)息率失真磅數(shù)是嚴搐的單調(diào)遷妖鬲敷.因此衽中為小的試驗伯道MihW卜.!5-2.3信息卓先M*ft計算依潭的俗息率失真函戟 (已知侑灣的豪辜分布為，/V V砂jpv ljj|ogl4/J JMy的條件為,2) )失真函It算平均互佶選務合適的試驗館it(5-12)piV/ l.ct) AO、mi匕小耐 I嚴|廬J(5J3Iv 11.iog/4y, ix.)J/1耳)A“Kxp(5 16)-恥勺Mdy

12、HL -fXpbdfA、丿卜工廬*入,dx、，疋xp&A ,i| i4*!A*i A )-工工P( =工工/幾廬兀尢創(chuàng)l0gl,卜/,vzl/| K O人：、，入 p(vtitog. Si M的慟理“ 離某些特定的倩況外.at曲以消除.分析的制理意義.和的扇曲散因此很得到的顯示哀因此利用全微分公式計算(5-26)導數(shù)如下:OR( (V?(5) /515-251$ I第 5 章限失真信源編碼甥式(5-27)的結(jié)果代入式 - /Hog-dI -D| ph乍p(I )log(l p| * |/kigZJ ( (D l Q) )由于 的定義域為A：輸出序列為:A*(X) |_p irnn nt

13、n Z這樣 啊條件很值化為無條件極儻.的備導為可得；轄式對求和.or：凱川)log空彳學 I S/nm x/( (xMv=SPr第 5 章限失再信源編碼矢BBltm碼是上述 僅標量量化編碼的自燃發(fā)展它是20世紀70年代束以來 履著飲字技術和甬音低速翠編碼的滯求而九速發(fā)展趁來的.并在化領域取得夫鐵性 進渓的一序新技術.其中量有實際價值的是類似于標化.用實鯊方法基本解決多 醴矢化的設計問題.禺時還不斷提出很務快速授*實現(xiàn)算法.標化趁逐個樣點*化.而矢化是將個值號樣點分為一給的多堆化即 將 維空何中的一個信號矢進行多堆化.若用 衰示 維矢量化編碼.則有，.其中，也就是說.矢化編碼是將一個it的空的的

14、橫報連鍍變化為另一個健空阿的個有限子空閶的WWM令為：這里有限大小的碼*即為2的方群而碼字 又稱為恢復矢真 尊于ft 矢編碼的碼位數(shù).相應等于平為每個取樣值所含的碼敢.與標*債化不同.矢H化很容易做到毎個取樣值所含的碼數(shù)小于1.由絕對值失真可得:(5-39第 5 章限失真信源編碼此弍喪羽：勻；化偵已選定后.區(qū)間的的分界回在兩個*化債的中點.只次，因定求式(5-37)対 的偏導數(shù).井便之為0 此時將與具休的失真的數(shù)令此式表明：在這個條件區(qū)間內(nèi)對的竄心./ v4r/HTlrfr5-4.2矢ttW第 5 章限失真信源編碼式（5-40）對PM f抵樣值空間的某個連續(xù)矢皺可以通過矢it編瑪為將其變成茶個

15、信道符號標記即共有 個佶道符號標記.ftitfll想佶道傳楡到接收埸.再現(xiàn)過譯碼aur其變換成相應碼兔 中的蔓車碼字 并用它來代衣改善煤輸入的第 5 章限失真信源編碼處隸. 飽標化僅是上述 儺矢量化的個特例.矢量化可以由矢化罵來完成.一足眉隹的欠臥輪化爲包幣兩大部分.一個 眾通過試驗迭代的樣聚法形述的碼本.二超在碼本作用下的矢化審的化過程.矢Itlt化爲的梅圖如圖S 4所示.89 5.4矢化3的設計flMB(5-40)堆樣值矢it因此.總的矢量化增碼過程可以寫以茨示為,由以上分拆可知.矢量化的過程可以分解為矢”化的編碼可以分解矢化能白實際應用.關在于住法.目林的算法有，基于全捜養(yǎng)的快速件法和

16、準量佳碼本結(jié)構的快速算法陸曽算法硏丸的進屢以及超大無模餵成電踣技術的飛速發(fā) 展.矢fldft化轉(zhuǎn)別是話音參量的矢化編碼器已定向?qū)嵱没?第 5 章限失真信源編碼5-4.3預測如碼目肌 解除借源相關性的方式主耍包含兩類：類見從時域（宇垃一須劉堀碼. 一類超從廣義頻城一 換編碼.M測編碼杲專門用于壓縮相關信漫的，它也是一種 變化碼.主墓是在時域?qū)崿F(xiàn).預測編碼不足宜接對倍海輸出的倍號進行編碼.而是梅倍淺綸出的倍號通過預測 編碼后.再對伯源輸出與被預測的差值進行編碼.梵原理如圖!15所示】- J:- 第 5 章限失真信源編碼則第個樣值的值為，根據(jù)信潭城碼定理若直接對信源*出 進行嬢碼.則其平均碼長 應越

17、于信潭篇W：若對預n受換后的謀菱進行軸硏.其平均碼長曲于溟差館號IP：從借息論的觀點耒看橫測嬪硏磁端信潭円車的0宴*件為英中*表示mn的均只長.號綁的平均碼長.由是極辜分布的泛Aft.故熹車分布總均勻.越大I播車分布總不均勻.爸就 趙小.即信濛通過預測以后數(shù)細da倍數(shù)就越大.預測編碼特別 ftttft 預渕擔碼已在佶迪信系統(tǒng)的信8處理中被廣泛的應用. 其中星常用的有下列幾種：1) DPCMSDPCM中即灣分脈沖調(diào)制.其工作原理如圖5 7所示：tinMMiSMjlog/Xlt IWftnnKIMS5 7 DPCijiM信潭較出序列即為DPCM輸入序列當與預測值相減得溟筮值 再莉#化成數(shù)字序列經(jīng)僧

18、道傳輸后變成 序列在接收刪將接收到的 與衣找收端形成的預利值勺相加即可得恢復后的信源序列同時將 反饋到 接收靖的錢性預測其中.以求得下一輯間的図測值由于及測謀差 的煥大大低于輸入序列 的焰.所以經(jīng)過碩測以后.可以大大壓縮宿源的碼辜.JRW5M的DPCM是堆1調(diào)制.又稱 増量調(diào)制菱值的量化級定為2,也就 量說當差值為正時.用“1代表.菱值為負時用“曠代表.毎個差值只需1比特.一般悄況下.要減少化失真.必須増加取樣品率 (侑濛的上限頻率人 即不能再采用常用的在譯碼時為相反的變換.即規(guī)定一個増值當收到時.在前一個值 中加上一個 值作譯碼輸出收到“( (T時則在前一個值中廉去一個 值作為譯 碼輸出.僅

19、從fWB的角度來看.r( (M與DPCM的原理是一樣的.都捷由錢性M測濾波器構成. 它沒有I) )PM的反翊測環(huán)路.因能實現(xiàn)上比較簡單.如果能輅P( (M中的化改成 -種夫曼編碼則町昱好的完成信海數(shù)據(jù)壓第的功能.但是PC機與DPCM之間也是有區(qū)別的，區(qū)別為：(h3 的MUMHK不同.PM從信聲出的 中ML.面DPCI則是從化輸出的中選取 1化器的位不同.MM在反環(huán)外，H于開環(huán)型.在環(huán)內(nèi)腸于閉環(huán)空.第 5 章限失真信源編碼3） WC型（噪聲反刪I碼塑）旺魁干RKM的改進乩 它的原理如圖知所示:ass MFC man將 與 相減的化泯差 通過一加權酒渡器后.再與相減.目的就是通過増加一個反饋閉合環(huán)踣可以將化誤痙歸于閉合環(huán)賂內(nèi).來減少化誤婪.由此 音出.NFC型實際上是K M和DPCM的混合型第 5 章限失真信源編碼5.4.4赍換債咼變換編碼是域變換編碼的簡稱.它是住T義額域內(nèi)實現(xiàn)的.妾換編碼超絡條始的 數(shù)龍變換到另一個更為買凄的農(nóng)示空間.得到比ffl測編碼更高效的數(shù)席壓竦.在敷據(jù)壓細中，如果利用映射變換來實現(xiàn)對數(shù)據(jù)的達.就稱為變換編碼.它 的3