第4章：信息率失真函數(shù)總結(jié)

失真函數(shù)用來表征信源發(fā)出一個符號ai，而在接收端再現(xiàn)成符號bj所引起的誤差或失真。d越小表示失真越小，等于0表示沒有失真?？梢詫⑺械氖д婧瘮?shù)排列成矩陣的形式：我們稱它為失真矩陣。1常用失真函數(shù)漢明失真稱為2稱平方誤差失真函數(shù).如:【例】

絕對值誤差失真測度信源輸出符號X={0,1,2}，信道輸出符號Y={0,1,2}

，給出失真測度dij=︱xi-yj︱

i,j=0,1,2則失真測度矩陣為

由于ai和bj都是隨機(jī)變量，所以失真函數(shù)d(ai，bj)也是隨機(jī)變量，限失真時的失真值，只能用它的數(shù)學(xué)期望或統(tǒng)計平均值，因此將失真函數(shù)的數(shù)學(xué)期望稱為平均失真度，記為

平均失真度

若平均失真度不大于我們所允許的失真D(預(yù)先給定的某一限定值)，我們稱此為保真度準(zhǔn)則。凡滿足保真度準(zhǔn)則的這些試驗信道稱為D失真許可的試驗信道。把所有D失真許可的試驗信道組成一個集合，用符號BD表示。N次擴(kuò)展信道的平均失真度：由信源和信道的無記憶性2、信息率失真函數(shù)R(D)

由于互信息取決于信源分布和信道轉(zhuǎn)移概率分布，當(dāng)p(ai)一定時，互信息I是關(guān)于p(bj/ai)的下凸函數(shù)，存在極小值。因而在上述允許信道PD中，可以尋找一種信道p(bj/ai)使給定的信源p(ai)經(jīng)過此信道傳輸后，互信息I(X；Y)達(dá)到最小。該最小的互信息就稱為信息率失真函數(shù)R(D)，即

R(D)的物理意義：對于給定的信源，在滿足保真度準(zhǔn)則下，必須傳送的最小信息量,它既反映了用戶容忍程度,也反映了信息率允許壓縮的最小值,R(D)越大,越難壓縮,反之可壓縮率就大.對于固定的信源分布，平均互信息量I(X;Y)是信道轉(zhuǎn)移概率p(bj/ai)的下凸函數(shù)。也就是說:存在一個信道使某一特定信源經(jīng)過此信道傳輸時，信道的平均互信息達(dá)到極小值.

N次無記憶擴(kuò)展信源和信道：DH(X)R(D)離散連續(xù)§4.1.3率失真函數(shù)性質(zhì)定義域：1D=0R(D)=H(X)連續(xù)：不允許失真,此時H(X/Y)=0;也可理解為不允許壓縮信源.連續(xù)信源的信息量為無窮大,信道容量有限,要無失真?zhèn)魉褪遣豢赡艿?此時可理解為信道完全中斷（信源與信宿無關(guān)），那么有：Dmax如何求?當(dāng)D>=Dmax

時，對應(yīng)的失真最大，已沒有意義，時這種情況下D對應(yīng)著R

(D)也為0，所以定義域的上界值Dmax定義為： =min{D:I(X;Y)=0}

可以得到計算Dmax的公式:

j=1,2,…,m

下凸性2DH(X)R(D)離散連續(xù)連續(xù)和單調(diào)遞減性3DH(X)R(D)離散連續(xù)定義連續(xù)信源的信息率失真函數(shù)下確界定義PD為滿足保真度準(zhǔn)則:設(shè)平均互信息:的試驗信道集合.則連續(xù)信源的信息失真函數(shù)定義為:CR(D)的上凸函數(shù)

的下凸函數(shù)的極大值

的條件極小值

的函數(shù)的函數(shù)僅與信道特性有關(guān)僅與信源特性有關(guān)解決可靠性問題解決有效性問題信息傳輸?shù)幕A(chǔ)信源壓縮的基礎(chǔ)信道容量與率失真函數(shù)比較

對偶問題：信道容量和信息率失真函數(shù)的問題，都是求平均互信息極值問題。分三個方面說明：求極值問題平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)的上凸函數(shù)，信道容量就是在固定信道情況下，求平均互信息極大值的問題，即I(X;Y)又是信道轉(zhuǎn)移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)的下凸函數(shù)，信息率失真函數(shù)就是在試驗信道（滿足保真度準(zhǔn)則的信道）中尋找平均互信息極小值的問題，即特性信道容量C一旦求出后，就只與信道轉(zhuǎn)移概率p(yj/xi)有關(guān)，反映信道特性，與信源特性無關(guān)；信息率失真函數(shù)R(D)一旦求出后，就只與信源概率分布p(xi)有關(guān)，反映信源特性，與信道特性無關(guān)。解決的問題信道容量是為了解決通信的可靠性問題，是信息傳輸?shù)睦碚摶A(chǔ)，通過信道編碼增加信息的冗余度來實(shí)現(xiàn)；信息率失真函數(shù)是為了解決通信的有效性問題，是信源壓縮的理論基礎(chǔ)，通過信源編碼減少信息的冗余度來實(shí)現(xiàn)。香農(nóng)第三定理

設(shè)R(D)是離散無記憶信源的信息率失真函數(shù)并且失真函數(shù)為有限值．對于任意的允許失真度D≥0和任意小的正數(shù)ε>0，當(dāng)信息率R滿足:R>R(D)時,只要信源序列長度L足夠長時，一定存在一種編碼C，使編碼后的平均失真度反之,若R<R(D),則無論用什么編隊碼方式,必有即譯碼失真度必大于允許失真度.限失真信源編碼定理也是一個極限存在定理，不能像無失真信源編碼定理那樣從證明過程中引出概率匹配的編碼方法。一般只能從優(yōu)化的思路去求最佳編碼，至今尚無合適的可實(shí)現(xiàn)的編碼方法來接近R(D)這個極限。常用的限失真信源編碼有量化編碼、預(yù)測編碼、變換編碼。香農(nóng)三大定理的共同點(diǎn):H(X)、C、R(D)分別為臨界值，衡量通信能否滿住要求的重要界限。則研究信道編碼和率失真函數(shù)的意義研究信道容量的意義：在實(shí)際應(yīng)用中，研究信道容量是為了解決在已知信道中傳送最大信息率問題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯誤的概