第六章有噪信道編碼

第六章有噪信道編碼

內(nèi)容提要：本章介紹了信道編碼和譯碼的基本概念，介紹了兩種常用的譯碼準(zhǔn)則：最大后驗概率譯碼準(zhǔn)則和極大似然譯碼準(zhǔn)則,還介紹了在這兩種譯碼準(zhǔn)則下錯誤概率的計算方法。本章還介紹了信道編碼定理及信道編碼逆定理，以及信息論中的一個重要不等式——Fano不等式。

本章重點：1.信道編碼的基本概念；2.幾種典型的譯碼規(guī)則。6.1信道編碼的基本概念

將信道用圖6-1所示的模型表示。信道編碼器信道信道譯碼器uxy圖6-1信道模型

信源輸出序列u，經(jīng)信道編碼器編成碼字x=f(u)并輸入信道，由于干擾，信道輸出y，信道譯碼器對y估值得

=F(y)。

我們要盡可能的提高信息傳輸率，并控制傳輸誤差。信源編碼以提高傳輸效率作為主要考慮因素，信道編碼以提高傳輸可靠性作為主要考慮因素。這一章討論信道編碼的一些基本概念及信道編碼定理。【例6.3】逆重復(fù)碼離散無記憶二進(jìn)制對稱信道，固有誤碼率為p(p<0.5)，信源輸出序列為三位二進(jìn)制數(shù)字。編碼規(guī)則：為提高傳輸效率，僅向信道發(fā)送一位，預(yù)先將信源輸出序列進(jìn)行擇多編碼:圖6-3逆重復(fù)編碼傳輸示意圖譯碼規(guī)則：將接收的一位符號重復(fù)三次譯出，即若接收到1就譯碼為111，即若接收到0就譯碼為000。信源輸出的三位符號中有兩位或3位是1，信源序列編碼為1，若三位符號中有兩位或3位是0，就將此信源序列編碼為0。計算差錯概率pe：分二步進(jìn)行：（1）先設(shè)p=0，計算這種編碼方法帶來的固有錯誤p1信道輸入符號集X={000,001,010,011,100,101,110,111}判決輸出符號集Y={000,111}譯碼規(guī)則因為后驗概率則出錯概率

假設(shè)8組輸入序列是等概發(fā)送的，由于信道的對稱性，兩個估值序列也是等概分布的，則每個序列的平均錯誤概率為，誤比特率。（2）再設(shè)p≠0，計算由于信道噪聲引起的錯誤概率p2因為每個序列有三位二進(jìn)制數(shù)字，但只發(fā)送一位，這一位的出錯概率為p，故序列差錯概率為p，誤比特率。（3）總差錯概率（誤比特率）：

【例6.4】奇偶校驗碼在信息序列后面加上一位校驗位，使之模2和等于1，這樣的編碼稱為奇校驗碼；若使模2和等于0，這樣的編碼就稱為偶校驗碼，即每個碼矢中1的個數(shù)固定為奇數(shù)或偶數(shù)。6.2譯碼規(guī)則及錯誤概率信道總不可避免會攙雜噪聲，所以信息在信道傳輸過程中，差錯是不可避免的。選擇合適的譯碼規(guī)則可以彌補信道的不足。1．最大后驗概率譯碼準(zhǔn)則發(fā)送碼矢xk，其發(fā)送概率為q(xk)，通過信道轉(zhuǎn)移概率為p(y︱xk)的信道傳輸，接收到矢量y，信道譯碼器輸出通信過程可用圖6-5所示框圖表示。下面介紹兩種典型的譯碼規(guī)則：{}信源信道編碼器信道信道譯碼器信宿干擾{xk}{y}圖6-5通信過程框圖當(dāng)估值≠xk

時，就產(chǎn)生了誤碼，用（x︱y）表示后驗概率，則收到y(tǒng)估錯的概率為

（6-2）

通信總希望錯誤概率最小，由式(6-2)可看出錯誤概率pe

(xk)最小等同于后驗概率（xk︱y）最大，這就是最大后驗概率譯碼準(zhǔn)則。

根據(jù)概率關(guān)系式

（6-3）

根據(jù)式（6-3）后驗概率（x︱y）最的就意味著p（x

y）全概率最大，因此最大后驗概率譯碼準(zhǔn)則也稱為最大聯(lián)合概率譯碼準(zhǔn)則?！纠?.5】信源分布，信道轉(zhuǎn)移概率矩陣，信道輸出符號Y={y1,y2,

y3}，按最大后驗概率準(zhǔn)則譯碼。(1)根據(jù)p(xy)=p(y︱x)q(x)算出全概率，用矩陣表示

(2)根據(jù)，算出[（y）]=[0.380.340.28]

(3)再由算出后驗概率，用矩陣表示(4)按最大后驗概率準(zhǔn)則譯碼，在后驗概率矩陣中，每列選一最大值（矩陣中帶下劃線的值），譯為(5)若按最大聯(lián)合概率譯碼準(zhǔn)則譯碼，在全概率矩陣[p(xy)]中每列選一最大值（矩陣中帶下劃線的值），也可譯出實際應(yīng)用中，一般用最大信道轉(zhuǎn)移概率來確定估值，即在收到矢量y后，在所有的xm(m=1,2,…,M)中,選一個轉(zhuǎn)移概率p(y︱xm)最大的xm值，作為對y的估值=xk，這一譯碼規(guī)則稱為極大似然譯碼規(guī)則。

2．極大似然譯碼準(zhǔn)則

3．平均錯誤概率【例6.6】計算[例6.5]的平均錯誤概率，若信源等概分布，對其譯碼，并求平均錯誤概率。

（6-4）()?==Mjjejepp1)(yyw???-=yxyyxxy)()(kpp（1）求平均錯誤概率pe根據(jù)式（6-4）得=0.01+0.12+0.07+0.12+0.1+0.02=0.44

(2)當(dāng)信源等概分布，按最大似然函數(shù)譯碼準(zhǔn)則譯碼，[例6.5]已給出信道轉(zhuǎn)移概率矩陣在矩陣的每列中選一最大值(矩陣中帶下劃線的值)，譯碼為平均錯誤概率6.3信道編碼定理定理6.1

對于任何離散無記憶信道DMC，存在信息傳輸率為R，長為n的碼，當(dāng)n→∞時，平均差錯概率pe<exp{-nE

(R)}→0，式中E(R)為可靠性函數(shù)，E(R)在0<R<C的范圍內(nèi)為正。定理6.1說明：信道容量C是保證無差錯傳輸時，信息傳輸率R的極限值，對于固定信道，C是一定的，它是衡量信道質(zhì)量的一個重要物理量。

上述定理也稱有噪信道編碼定理，即香農(nóng)第二定理。

6.4費諾引理及信道編碼逆定理6.4.1費諾不等式

Fano不等式的物理意義：進(jìn)行一次判決后，關(guān)于X的疑義度可分成兩項：設(shè)信道輸入符號X和輸出符號Y取自同一符號集A={a1,a2,…,ak

}，則傳輸過程中的錯誤概率pe和信道疑義度H(X︱Y)之間滿足下列關(guān)系式：H(X︱Y)

H2(pe)+pe

log(k-1)(6-18)上式就是著名的Fano不等式。(1)是否判對，疑義度為H2(pe)(2)如果判決出錯（概率為pe）,錯在k-1個符號中的哪一個，疑義度不會超log(k-1)。

將費諾不等式推廣到L維矢量情況：設(shè)x=x1,…,xl,…,xL

,y=y1,…,yl,…,yL,皆為L維矢量，xl,

yl∈A={a1,a2,…,ak

}，記pe為錯誤概率，則

H(X︱Y)

L[H2(pe)+pe

log(k-1)]

（6-24）6.4.2信道編碼逆定理

引理6.1設(shè)u=u1,…,ul

,…,uL為L維隨機矢量，ul

取自同一符號集{U}，則（6-25）式中H(U)表示L維熵，H(U)表示一維熵。H(U)=H(U1L-1,UL)=H(U1L-1)+H(UL︱U1L-1)

(6-26)式中U1L–1=U1U2…UL-1

(6-27)另一方面根據(jù)熵的鏈規(guī)則有H(U)=H(U1)+H(U2︱U1)+H(U3︱U1U2)+…+H(UL︱U1U2…UL-1)

H(U1︱U1U2…UL-1)+H(U2︱U1U2…UL-1)+…+H(UL︱U1U2…UL-1)=LH(UL︱U1L–1)因ul

取自同一符號集將式（6－27）代入式（6－26），得

(6-28)

考慮圖6－6所示的通信過程，矢量u、x、y、中的所有元素都取自同一符號集A={a1,a2,…,ak

}。圖6-6通信過程信源信道編碼器信道信道譯碼器信宿uxy干擾由圖6－6可見,對于離散無記憶信道，根據(jù)定理5.1有Cn

nC,則

Cn

nC

（6－29）

另一方面︱)(6-30)

將Fano不等式的矢量式（6－24）及式（6－29）代入式（6－30）得H(U)-nC

L[H2(pe)+pe

log(k-1)](6-31)考慮到式（6－25），在L→∞條件下，H(U)=LH(U)，代入到式（6－31）并整理得

H2(pe)+pe

log(k-1)

H(U)/L即：H2(pe)+pe

log(k-1)（6-32）式中為信息傳輸率。定理6.2信道編碼逆定理

信道容量C是可靠通