信息論與編碼-信息率失真函數(shù)信息率失真函數(shù)平均失真率和信息率失真函數(shù)失真函數(shù)、平均失真、信息率失真函數(shù)及性質(zhì)離散信源和連續(xù)信源率失真函數(shù)的計(jì)算信息論與編碼-信息率失真函數(shù)對(duì)于連續(xù)信源，因?yàn)槠浣^對(duì)熵為無(wú)限大，若要求無(wú)失真地對(duì)其進(jìn)行傳輸，則要求信道的信息傳輸率也為無(wú)限大，這是不現(xiàn)實(shí)的。因此也就不可能實(shí)現(xiàn)完全無(wú)失真?zhèn)鬏?。即使?duì)于離散信源，由于處理的信息量越來(lái)越大，使得信息的存儲(chǔ)和傳輸成本很高，而且在很多場(chǎng)合，過(guò)高的信息率也沒(méi)有必要，信息論與編碼-信息率失真函數(shù)例如：由于人耳能夠接收的帶寬和分辨率是有限的，因此對(duì)數(shù)字音頻傳輸?shù)臅r(shí)候，就允許有一定的失真，并且對(duì)欣賞沒(méi)有影響。又如對(duì)于數(shù)字電視，由于人的視覺(jué)系統(tǒng)的分辨率有限，并且對(duì)低頻比較敏感，對(duì)高頻不太敏感，因此也可以損失部分高頻分量，當(dāng)然要在一定的限度內(nèi)。等等這些，都決定了限失真信源編碼的重要性。信息論與編碼-信息率失真函數(shù)在限失真信源編碼里，一個(gè)重要的問(wèn)題就是在一定程度的允許失真限度內(nèi)，能把信源信息壓縮到什么程度，即最少用多少比特?cái)?shù)才能描述信源。這個(gè)問(wèn)題已經(jīng)被香農(nóng)解決。香農(nóng)在1948年的經(jīng)典論文中已經(jīng)提到了這個(gè)問(wèn)題，在1959年，香農(nóng)又在他的一篇論文“保真度準(zhǔn)則下的離散信源編碼定理”里討論了這個(gè)問(wèn)題。研究這個(gè)問(wèn)題并做出較大貢獻(xiàn)的還有前蘇聯(lián)的柯?tīng)柲宸颍↘olmogorov）以及伯格（T.Berger）等。信息論與編碼-信息率失真函數(shù)信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。本章主要介紹信息率失真理論的基本內(nèi)容，包括信源的失真度和信息率失真函數(shù)的定義與性質(zhì)，離散信源和連續(xù)信源的信息率失真函數(shù)計(jì)算信息論與編碼-信息率失真函數(shù)平均失真和信息率失真函數(shù)失真函數(shù)設(shè)某信源輸出的隨機(jī)變量為X，其值集合為，經(jīng)過(guò)編碼后輸出為，設(shè)對(duì)應(yīng)，如果則認(rèn)為沒(méi)有失真。當(dāng)時(shí)，就產(chǎn)生了失真，失真的大小，用失真函數(shù)來(lái)衡量。信息論與編碼-信息率失真函數(shù)失真函數(shù)的定義為信息論與編碼-信息率失真函數(shù)失真函數(shù)的定義為由于輸入符號(hào)有n個(gè)，輸出符號(hào)有m個(gè)，所以共有個(gè)，寫成矩陣形式，就是

信息論與編碼-信息率失真函數(shù)失真函數(shù)的定義為由于輸入符號(hào)有n個(gè)，輸出符號(hào)有m個(gè)，所以共有個(gè)，寫成矩陣形式，就是

d被稱為失真矩陣。信息論與編碼-信息率失真函數(shù)例4－1

設(shè)信源符號(hào),編碼器輸出符號(hào)

，規(guī)定失真函數(shù)為d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5求失真矩陣d。信息論與編碼-信息率失真函數(shù)例4－1

設(shè)信源符號(hào),編碼器輸出符號(hào)

，規(guī)定失真函數(shù)為d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5求失真矩陣d。解：失真矩陣為

信息論與編碼-信息率失真函數(shù)失真函數(shù)的函數(shù)形式可以根據(jù)需要適當(dāng)選取，如平方代價(jià)函數(shù)、絕對(duì)代價(jià)函數(shù)、均勻代價(jià)函數(shù)等：也可以按其它的標(biāo)準(zhǔn)，如引起的損失、風(fēng)險(xiǎn)、主觀感覺(jué)上的差別等來(lái)定義失真函數(shù)。信息論與編碼-信息率失真函數(shù)失真函數(shù)的函數(shù)形式可以根據(jù)需要適當(dāng)選取，如平方代價(jià)函數(shù)、絕對(duì)代價(jià)函數(shù)、均勻代價(jià)函數(shù)等：平方失真：信息論與編碼-信息率失真函數(shù)失真函數(shù)的函數(shù)形式可以根據(jù)需要適當(dāng)選取，如平方代價(jià)函數(shù)、絕對(duì)代價(jià)函數(shù)、均勻代價(jià)函數(shù)等：平方失真：絕對(duì)失真：信息論與編碼-信息率失真函數(shù)失真函數(shù)的函數(shù)形式可以根據(jù)需要適當(dāng)選取，如平方代價(jià)函數(shù)、絕對(duì)代價(jià)函數(shù)、均勻代價(jià)函數(shù)等：平方失真：絕對(duì)失真：相對(duì)失真：信息論與編碼-信息率失真函數(shù)失真函數(shù)的函數(shù)形式可以根據(jù)需要適當(dāng)選取，如平方代價(jià)函數(shù)、絕對(duì)代價(jià)函數(shù)、均勻代價(jià)函數(shù)等：平方失真：絕對(duì)失真：相對(duì)失真：誤碼失真：信息論與編碼-信息率失真函數(shù)失真函數(shù)的函數(shù)形式可以根據(jù)需要適當(dāng)選取，如平方代價(jià)函數(shù)、絕對(duì)代價(jià)函數(shù)、均勻代價(jià)函數(shù)等：平方失真：絕對(duì)失真：相對(duì)失真：誤碼失真：也可以按其它的標(biāo)準(zhǔn)，如引起的損失、風(fēng)險(xiǎn)、主觀感覺(jué)上的差別等來(lái)定義失真函數(shù)。信息論與編碼-信息率失真函數(shù)平均失真由于信源X和信宿Y都是隨機(jī)變量，所以符號(hào)失真度函數(shù)也是一個(gè)隨機(jī)變量，傳輸時(shí)引起的平均失真應(yīng)該是符號(hào)失真度函數(shù)在信源概率空間和信宿概率空間求平均，即信息論與編碼-信息率失真函數(shù)平均失真由于信源X和信宿Y都是隨機(jī)變量，所以符號(hào)失真度函數(shù)也是一個(gè)隨機(jī)變量，傳輸時(shí)引起的平均失真應(yīng)該是符號(hào)失真度函數(shù)在信源概率空間和信宿概率空間求平均，即信息論與編碼-信息率失真函數(shù)平均失真是符號(hào)失真函數(shù)在信源空間和信宿空間平均的結(jié)果，是描述某一信源在某一信道傳輸時(shí)失真的大小，是從整體上描述系統(tǒng)的失真情況。信源符號(hào)序列的失真從上面的單符號(hào)失真函數(shù)，可以得到信源符號(hào)序列的失真函數(shù)和平均失真度。由于序列相當(dāng)于一個(gè)由單符號(hào)隨機(jī)變量組成的隨機(jī)矢量，仿照單符號(hào)時(shí)的情況，可得：信息論與編碼-信息率失真函數(shù)設(shè)信源輸出的符號(hào)序列為，其中的每一個(gè)隨機(jī)變量取自同一符號(hào)集，信息論與編碼-信息率失真函數(shù)設(shè)信源輸出的符號(hào)序列為，其中的每一個(gè)隨機(jī)變量取自同一符號(hào)集，所以X共有種不同的符號(hào)序列，記為，信息論與編碼-信息率失真函數(shù)設(shè)信源輸出的符號(hào)序列為，其中的每一個(gè)隨機(jī)變量取自同一符號(hào)集，所以X共有種不同的符號(hào)序列，記為，接收到的符號(hào)為

信息論與編碼-信息率失真函數(shù)設(shè)信源輸出的符號(hào)序列為，其中的每一個(gè)隨機(jī)變量取自同一符號(hào)集，所以X共有種不同的符號(hào)序列，記為，接收到的符號(hào)為式中每一個(gè)符號(hào)取自符號(hào)集，信息論與編碼-信息率失真函數(shù)設(shè)信源輸出的符號(hào)序列為，其中的每一個(gè)隨機(jī)變量取自同一符號(hào)集，所以X共有種不同的符號(hào)序列，記為，接收到的符號(hào)為式中每一個(gè)符號(hào)取自符號(hào)集，所以Y共有種不同的符號(hào)序列，記為，

信息論與編碼-信息率失真函數(shù)設(shè)信源輸出的符號(hào)序列為，其中的每一個(gè)隨機(jī)變量取自同一符號(hào)集，所以X共有種不同的符號(hào)序列，記為，接收到的符號(hào)為式中每一個(gè)符號(hào)取自符號(hào)集，所以Y共有種不同的符號(hào)序列，記為，則

信息論與編碼-信息率失真函數(shù)失真函數(shù)矩陣應(yīng)該是一個(gè)的矩陣。信息論與編碼-信息率失真函數(shù)失真函數(shù)矩陣應(yīng)該是一個(gè)的矩陣。故對(duì)L長(zhǎng)的信源序列，其平均失真度為信息論與編碼-信息率失真函數(shù)失真函數(shù)矩陣應(yīng)該是一個(gè)的矩陣。故對(duì)L長(zhǎng)的信源序列，其平均失真度為對(duì)于連續(xù)隨機(jī)變量同樣可以定義平均失真為信息論與編碼-信息率失真函數(shù)平均每個(gè)符號(hào)的平均失真度為信息論與編碼-信息率失真函數(shù)平均每個(gè)符號(hào)的平均失真度為當(dāng)信源無(wú)記憶時(shí)，，而信息論與編碼-信息率失真函數(shù)平均每個(gè)符號(hào)的平均失真度為當(dāng)信源無(wú)記憶時(shí)，，而若平均失真度不大于我們所允許的失真D，即我們稱此為保真度準(zhǔn)則。信息論與編碼-信息率失真函數(shù)信息率失真函數(shù)

信息論與編碼-信息率失真函數(shù)信息率失真函數(shù)在信源給定，并且也定義了具體的失真函數(shù)之后，我們總是希望在滿足一定的失真限度要求的情況下，使信源最后輸出的信息率R盡可能地小。信息論與編碼-信息率失真函數(shù)信息率失真函數(shù)在信源給定，并且也定義了具體的失真函數(shù)之后，我們總是希望在滿足一定的失真限度要求的情況下，使信源最后輸出的信息率R盡可能地小。也就是說(shuō)，要在滿足保真度準(zhǔn)則下（），尋找信源輸出信息率R的下限值。信息論與編碼-信息率失真函數(shù)可以將信源編碼器看成是存在干擾的假想信道，這樣就可以用分析信道傳輸?shù)姆椒▉?lái)研究限失真信源編碼問(wèn)題。信息論與編碼-信息率失真函數(shù)信源編碼器假想信道可以將信源編碼器看成是存在干擾的假想信道，這樣就可以用分析信道傳輸?shù)姆椒▉?lái)研究限失真信源編碼問(wèn)題信息論與編碼-信息率失真函數(shù)如果將信源編碼也看成是一個(gè)信道，構(gòu)成了一類假想信道，稱為D允許信道（或D失真許可試驗(yàn)信道），信息論與編碼-信息率失真函數(shù)如果將信源編碼也看成是一個(gè)信道，構(gòu)成了一類假想信道，稱為D允許信道（或D失真許可試驗(yàn)信道），記為信息論與編碼-信息率失真函數(shù)如果將信源編碼也看成是一個(gè)信道，構(gòu)成了一類假想信道，稱為D允許信道（或D失真許可試驗(yàn)信道），記為對(duì)于離散無(wú)記憶信道，有信息論與編碼-信息率失真函數(shù)我們的目的，就是要在上述允許信道中，尋找到一個(gè)信道P(Y/X)，使得從輸入端傳送過(guò)來(lái)的信息量最少，即I(X;Y)最小。

信息論與編碼-信息率失真函數(shù)我們的目的，就是要在上述允許信道中，尋找到一個(gè)信道P(Y/X)，使得從輸入端傳送過(guò)來(lái)的信息量最少，即I(X;Y)最小。這個(gè)最小的互信息就稱為信息率失真函數(shù)R(D)，簡(jiǎn)稱為率失真函數(shù)，

信息論與編碼-信息率失真函數(shù)我們的目的，就是要在上述允許信道中，尋找到一個(gè)信道P(Y/X)，使得從輸入端傳送過(guò)來(lái)的信息量最少，即I(X;Y)最小。這個(gè)最小的互信息就稱為信息率失真函數(shù)R(D)，簡(jiǎn)稱為率失真函數(shù)，即其單位是比特/信源符號(hào)。信息論與編碼-信息率失真函數(shù)應(yīng)當(dāng)注意，在研究R(D)時(shí)，我們引用的條件概率并沒(méi)有實(shí)際信道的含義，只是為了求平均互信息的最小值而引用的、假想的可變?cè)囼?yàn)信道。實(shí)際上這些信道反映的僅是不同的有失真信源編碼，或稱信源壓縮。所以改變?cè)囼?yàn)信道求最小值，實(shí)質(zhì)上是選擇一種編碼方式使信息傳輸率為最小，也就是在保真度準(zhǔn)則下，使信源的壓縮率最高。信息論與編碼-信息率失真函數(shù)由互信息的表達(dá)式

I(X;Y)=H(Y)-H(Y/.X)=H(X)-H(X/Y)在信息傳輸中，可理解為信源發(fā)出的信息量H(X)與在噪聲干擾條件下消失的信息量之差在信源編碼中,對(duì)信源的原始信息在允許的失真限度內(nèi)進(jìn)行了壓縮。由于這種壓縮損失了一定的信息，造成一定的失真。把這種失真等效成由噪聲而造成的信息損失，看成一個(gè)等效噪聲信道（又稱試驗(yàn)信道）因此信息率失真函數(shù)的物理意義是：對(duì)于給定信源，在平均失真不超過(guò)失真限度D的條件下，信息率容許壓縮的最小值。此時(shí)的信道轉(zhuǎn)移概率p實(shí)際上指的是一種限失真信源編碼法。信息論與編碼-信息率失真函數(shù)例4－2

設(shè)信源的符號(hào)表為

A＝{a1，a2，…，an},概率分布為p(a)＝1/2n，i＝1，2，…，2n，失真函數(shù)規(guī)定為

即符號(hào)不發(fā)生差錯(cuò)時(shí)失真為0，一旦出錯(cuò)，失真為1，試研究在一定編碼條件下信息壓縮的程度。信息論與編碼-信息率失真函數(shù)由信源概率分布可求出信源熵為如果對(duì)信源進(jìn)行不失真編碼，平均每個(gè)符號(hào)至少需要log2n個(gè)二進(jìn)制碼元現(xiàn)在假定允許有一定失真，假設(shè)失真限度為D＝1/2。也就是說(shuō)，當(dāng)收到100個(gè)符號(hào)時(shí)，允許其中有50個(gè)以下的差錯(cuò)。這時(shí)信源的信息率能減少到多少呢？每個(gè)符號(hào)平均碼長(zhǎng)能壓縮到什么程度呢？信息論與編碼-信息率失真函數(shù)采用下面的編碼方案：信息論與編碼-信息率失真函數(shù)采用下面的編碼方案：按照上述關(guān)于失真函數(shù)的規(guī)定，求得平均失真D為信息論與編碼-信息率失真函數(shù)由該信道模型不難看出，它是一個(gè)確定信道，即，所以信息論與編碼-信息率失真函數(shù)由該信道模型不難看出，它是一個(gè)確定信道，即，所以信道輸出概率分布為信息論與編碼-信息率失真函數(shù)由該信道模型不難看出，它是一個(gè)確定信道，即，所以信道輸出概率分布為由互信息公式可得信息論與編碼-信息率失真函數(shù)則輸出熵H(Y)為信息論與編碼-信息率失真函數(shù)由以上結(jié)果可知，經(jīng)壓縮編碼以后，信源需要傳輸?shù)男畔⒙视稍瓉?lái)的log2n，壓縮到log2n－[(n＋1)/2n]log(n＋1)。也就是說(shuō)，信息率壓縮了[(n＋1)/2n]log(n＋1)。這是采用了上述壓縮編碼方法的結(jié)果，所付出的代價(jià)是容忍了1/2的平均失真。如果選取壓縮更為有利的編碼方案，壓縮的效果可能更好。但一旦達(dá)到最小互信息這個(gè)極限值，就是R(D)的數(shù)值（此處D＝1/2）?；虺^(guò)這個(gè)極限值，那么，失真就要超過(guò)失真限度。如果需要壓縮的信息率更大，則可容忍的平均失真就要更大。信息論與編碼-信息率失真函數(shù)信息率失真函數(shù)的性質(zhì)R(D)的定義域，即D的取值范圍。（1）因?yàn)镈是非負(fù)函數(shù)d(x,y)的數(shù)學(xué)期望，因此D也是非負(fù)函數(shù)，其下界為0。此時(shí)，意味著不允許失真，所以信道的信息率等于信源的熵，即信息論與編碼-信息率失真函數(shù)（2）平均失真D也有一上界值

信息論與編碼-信息率失真函數(shù)（2）平均失真D也有一上界值根據(jù)R(D)的定義，R(D)是在一定的約束條件下，平均互信息量I(X;Y)的最小值，其下界為0。信息論與編碼-信息率失真函數(shù)（2）平均失真D也有一上界值根據(jù)R(D)的定義，R(D)是在一定的約束條件下，平均互信息量I(X;Y)的最小值，其下界為0。R(D)和D的關(guān)系曲線一般如下圖所示。信息論與編碼-信息率失真函數(shù)（2）平均失真D也有一上界值根據(jù)R(D)的定義，R(D)是在一定的約束條件下，平均互信息量I(X;Y)的最小值，其下界為0。R(D)和D的關(guān)系曲線一般如下圖所示。當(dāng)D大到一定程度，R(D)就達(dá)到其下界0，我們定義這時(shí)的D為。信息論與編碼-信息率失真函數(shù)R(D)DR(D)>0R(D)=0信息論與編碼-信息率失真函數(shù)

的計(jì)算：設(shè)當(dāng)平均失真時(shí)，R(D)以達(dá)到其下界0。

R(D)DR(D)>0R(D)=0信息論與編碼-信息率失真函數(shù)

的計(jì)算：設(shè)當(dāng)平均失真時(shí)，R(D)以達(dá)到其下界0。當(dāng)允許更大失真時(shí)，即時(shí)，R(D)仍只能繼續(xù)是0。R(D)DR(D)>0R(D)=0信息論與編碼-信息率失真函數(shù)

的計(jì)算：設(shè)當(dāng)平均失真時(shí)，R(D)以達(dá)到其下界0。當(dāng)允許更大失真時(shí)，即時(shí)，R(D)仍只能繼續(xù)是0。因?yàn)楫?dāng)X和Y統(tǒng)計(jì)獨(dú)立時(shí)，平均互信息I(X;Y)=0，可見(jiàn)當(dāng)時(shí)，信源X和接收符號(hào)Y已經(jīng)統(tǒng)計(jì)獨(dú)立了，因此，與x無(wú)關(guān)。

R(D)DR(D)>0R(D)=0信息論與編碼-信息率失真函數(shù)因此，就是在R(D)=0的條件下，看在什么分布下，能夠得到平均失真D的最小值，即信息論與編碼-信息率失真函數(shù)因此，就是在R(D)=0的條件下，看在什么分布下，能夠得到平均失真D的最小值，即也可以改寫成信息論與編碼-信息率失真函數(shù)也就是說(shuō)，要求的數(shù)學(xué)期望的最小值。信息論與編碼-信息率失真函數(shù)也就是說(shuō)，要求的數(shù)學(xué)期望的最小值。這個(gè)最小值是一定存在的。比如這樣分布：當(dāng)某一個(gè)使得為最小時(shí)，就取，而其余的，此時(shí)求得的的數(shù)學(xué)期望一定是最小的。信息論與編碼-信息率失真函數(shù)也就是說(shuō)，要求的數(shù)學(xué)期望的最小值。這個(gè)最小值是一定存在的。比如這樣分布：當(dāng)某一個(gè)使得為最小時(shí)，就取，而其余的，此時(shí)求得的的數(shù)學(xué)期望一定是最小的。此時(shí)，有信息論與編碼-信息率失真函數(shù)例題：設(shè)輸入輸出符號(hào)表為X=Y={0,1}，輸入概率分布為，失真矩陣為求信息論與編碼-信息率失真函數(shù)

解：當(dāng)Dmin=0時(shí)，R(Dmin)=H(X)=H(1/3,2/3)=0.91bit/符號(hào)，信息論與編碼-信息率失真函數(shù)

解：當(dāng)Dmin=0時(shí)，R(Dmin)=H(X)=H(1/3,2/3)=0.91bit/符號(hào)，這時(shí)信源編碼器無(wú)失真，編碼器的轉(zhuǎn)移概率為信息論與編碼-信息率失真函數(shù)當(dāng)R(Dmax)=0時(shí)，信息論與編碼-信息率失真函數(shù)當(dāng)R(Dmax)=0時(shí)，而輸出符號(hào)概率為信息論與編碼-信息率失真函數(shù)當(dāng)R(Dmax)=0時(shí)，而輸出符號(hào)概率為編碼器的轉(zhuǎn)移概率為信息論與編碼-信息率失真函數(shù)例題4-4：輸入輸出符號(hào)表同上題，失真矩陣為信息論與編碼-信息率失真函數(shù)例題4-4：輸入輸出符號(hào)表同上題，失真矩陣為解：當(dāng)時(shí)，該編碼器的轉(zhuǎn)移矩陣為信息論與編碼-信息率失真函數(shù)例題4-4：輸入輸出符號(hào)表同上題，失真矩陣為解：當(dāng)時(shí)，該編碼器的轉(zhuǎn)移矩陣為但信息論與編碼-信息率失真函數(shù)例題4-4：輸入輸出符號(hào)表同上題，失真矩陣為解：當(dāng)時(shí)，該編碼器的轉(zhuǎn)移矩陣為但從失真矩陣看，不管怎樣轉(zhuǎn)移，都將產(chǎn)生失真，所以Dmin不能達(dá)到零。實(shí)際應(yīng)用中一般不會(huì)這樣。信息論與編碼-信息率失真函數(shù)求信息論與編碼-信息率失真函數(shù)關(guān)于R(D)的其他性質(zhì)R(D)是非負(fù)的實(shí)數(shù)，即，定義域?yàn)?，?dāng)時(shí)，R(D)=0。信息論與編碼-信息率失真函數(shù)關(guān)于R(D)的其他性質(zhì)R(D)是非負(fù)的實(shí)數(shù)，即，定義域?yàn)?，?dāng)時(shí)，R(D)=0。R(D)是關(guān)于D的下凸函數(shù)，因而也是關(guān)于D的連續(xù)函數(shù)。信息論與編碼-信息率失真函數(shù)關(guān)于R(D)的其他性質(zhì)R(D)是非負(fù)的實(shí)數(shù)，即，定義域?yàn)?，?dāng)時(shí)，R(D)=0。R(D)是關(guān)于D的下凸函數(shù)，因而也是關(guān)于D的連續(xù)函數(shù)。R(D)是關(guān)于D的嚴(yán)格遞減函數(shù)。信息論與編碼-信息率失真函數(shù)R(D)函數(shù)的單調(diào)遞減性

信息論與編碼-信息率失真函數(shù)R(D)函數(shù)的單調(diào)遞減性因?yàn)樵试S的失真越大，所要求的信息率就可以越小。信息論與編碼-信息率失真函數(shù)R(D)函數(shù)的單調(diào)遞減性因?yàn)樵试S的失真越大，所要求的信息率就可以越小。根據(jù)R(D)的定義，它是在平均失真度小于或等于允許失真度D的所有試驗(yàn)信道集合中，取I(X;Y)的最小值。信息論與編碼-信息率失真函數(shù)R(D)函數(shù)的單調(diào)遞減性因?yàn)樵试S的失真越大，所要求的信息率就可以越小。根據(jù)R(D)的定義，它是在平均失真度小于或等于允許失真度D的所有試驗(yàn)信道集合中，取I(X;Y)的最小值。當(dāng)允許失真D擴(kuò)大，則的集合也擴(kuò)大，當(dāng)然仍然包含原來(lái)滿足條件的所有信道。信息論與編碼-信息率失真函數(shù)R(D)函數(shù)的單調(diào)遞減性因?yàn)樵试S的失真越大，所要求的信息率就可以越小。根據(jù)R(D)的定義，它是在平均失真度小于或等于允許失真度D的所有試驗(yàn)信道集合中，取I(X;Y)的最小值。當(dāng)允許失真D擴(kuò)大，則的集合也擴(kuò)大，當(dāng)然仍然包含原來(lái)滿足條件的所有信道。這是在擴(kuò)大了的集合中找I(X;Y)的最小值，顯然或者是最小值不變，或者是變小了，所以R(D)是非增的。信息論與編碼-信息率失真函數(shù)R(D)

H(X)

R(D)0DDMAXD

R(D)

0D

離散系統(tǒng)連續(xù)系統(tǒng)

信息率失真曲線信息論與編碼-信息率失真函數(shù)因此，當(dāng)規(guī)定了允許失真，又找到了適當(dāng)?shù)氖д婧瘮?shù)，就可以找到該失真條件下的最小信息率R(D)，信息論與編碼-信息率失真函數(shù)因此，當(dāng)規(guī)定了允許失真，又找到了適當(dāng)?shù)氖д婧瘮?shù)，就可以找到該失真條件下的最小信息率R(D)，用不同的方法進(jìn)行數(shù)據(jù)壓縮時(shí)（在允許的失真限度D內(nèi)），其壓縮的程度如何，可以用R(D)來(lái)衡量。信息論與編碼-信息率失真函數(shù)因此，當(dāng)規(guī)定了允許失真，又找到了適當(dāng)?shù)氖д婧瘮?shù)，就可以找到該失真條件下的最小信息率R(D)，用不同的方法進(jìn)行數(shù)據(jù)壓縮時(shí)（在允許的失真限度D內(nèi)），其壓縮的程度如何，可以用R(D)來(lái)衡量。由它可知是否還有壓縮潛力，有多大的壓縮潛力。信息論與編碼-信息率失真函數(shù)因此，當(dāng)規(guī)定了允許失真，又找到了適當(dāng)?shù)氖д婧瘮?shù)，就可以找到該失真條件下的最小信息率R(D)，用不同的方法進(jìn)行數(shù)據(jù)壓縮時(shí)（在允許的失真限度D內(nèi)），其壓縮的程度如何，可以用R(D)來(lái)衡量。由它可知是否還有壓縮潛力，有多大的壓縮潛力。因此，有關(guān)R(D)的研究也是信息論領(lǐng)域的一個(gè)研究熱點(diǎn)。信息論與編碼-信息率失真函數(shù)§4.2R(D)的計(jì)算已知信源的概率分布和失真函數(shù)，就可以求得信源的R(D)函數(shù)。求R(D)函數(shù)，實(shí)際上是一個(gè)求有約束問(wèn)題的最小值問(wèn)題。即適當(dāng)選取試驗(yàn)信道的使平均互信息最小化，并使?jié)M足以下約束條件：信息論與編碼-信息率失真函數(shù)應(yīng)用拉格朗日乘子法，原則上總是可以求出上述問(wèn)題的解。但一般來(lái)說(shuō)，求解會(huì)是非常復(fù)雜的。這里不準(zhǔn)備做復(fù)雜的推導(dǎo)過(guò)程，只給出幾個(gè)結(jié)果。信息論與編碼-信息率失真函數(shù)（1）當(dāng)時(shí)，信息論與編碼-信息率失真函數(shù)（2）當(dāng)，時(shí)，，

信息論與編碼-信息率失真函數(shù)（2）當(dāng)，時(shí)，，（3）當(dāng)，時(shí)，

，信息論與編碼-信息率失真函數(shù)R(D)

(2)H(1)

(3)