1、 4.2信道容量的計(jì)算這里，我們介紹一般離散信道的信道容量計(jì)算方法，根據(jù)信道容量的定義， 就是在固定信道的條件下，對(duì)所有可能的輸入概率分布 P(x)求平均互信息的極大值。 前面已知I(X;Y)是輸入概率分布的上凸函數(shù)，所以極大值一定存在。而I(X;Y)是r個(gè)變量r p(Xi), p(X2)，p(Xr)的多元函數(shù)。并且滿足 工p(Xi) =1。所以可用拉格朗日乘子法來(lái)1計(jì)算這個(gè)條件極值。引入一個(gè)函數(shù)：e = I(X;Y)九工p(x)解方程組.|(X；Y)；.p(Xi) TOC o 1-5 h z I 二i _ 0;p750_0工 p(x) =1(4.2.1)可以先解出達(dá)到極值的概率分布和拉格朗日

2、乘子大的值，然后在解出信道容量C。因I(X；Y)= p(x)Q(yi x)10gFjmp(y)r而 plyJF p(x)Q(y|x)，所以i 1下冊(cè) 10g p(yi) =(不配1n p(yi)l o9=21 oge。解(4.2.1)式有Q Q(y 為)10gQ(y)：)-Z 工 pajQWixJQloge 九二0jmp(x) 曰 j苴p(y)(對(duì)i -1,2； ,r都成立)又因?yàn)閞廠 Z p(xk)Q(ykxk)= p(yj)k mYs工 Q(yjxi)=1,i=1,21，rQ j m所以(4.2.1)式方程組可以轉(zhuǎn)化為= 1,2； ,r)_SQ(yj|xi)乙 Q(yj xi)1og= +

3、1oge(ij+p(yj)r、p(xi) =1i 1假設(shè)使得平土互信息I(X;Y)達(dá)到極值的輸入概率分布 p1,p2，pr這樣有QyM. loge p(yj)r s、 P(xJQ(yj Xi)logi4 j 1從而上式左邊即為信道容量，得C = log eQ(，飛)p(yj)現(xiàn)在令sI(Xi;Y)= Q(yx)10g j4式中，I (Xi; Y)是輸出端接收到丫后獲得關(guān)于X =Xi的信息量，即是信源符號(hào) X =Xi對(duì)輸 出端Y平均提供的互信息。一般來(lái)講，I(X；Y)值與Xj有關(guān)。根據(jù)(4.2.2)式和(4.2.3)式，I(Xi；Y) =C (i =1,2,，r)所以對(duì)于一般離散信道有如下定理。

4、定理4.2.1 一般離散信道的平均互信息I (X；Y)達(dá)到極大值(即等于信道容量)的充要條件是輸入概率分布 p(X1)，p(Xn)滿足I(x);Y)=C 對(duì)所有的 Xi, p(Xi) 0I(x;Y) 例如，信道矩陣門 111、一 Q = 3 3 6 61 1 1 1和=滿足對(duì)稱性，所以對(duì)應(yīng)信道是對(duì)稱離散信道。 定義4.2.3對(duì)稱離散信道的信道容量為C=logsH（R,P2：，R） （bit/符號(hào)）上式只與對(duì)稱信道矩陣中行矢量 R,P2；，R和輸出符號(hào)集的個(gè)數(shù) s有關(guān)。證明 I(X;Y) = H(Y) -H(YX )，一 _ 一 ，1H（YX ）= P（x）L P（yx）og-;x yp yxP

5、(x)H YX -xx由于信道的對(duì)稱性，所以 H (Y X = x )與x無(wú)關(guān)，為一常熟，即C=max1H(丫)h(p；區(qū)，pJ= logs-H(RR, ,Ps)接著舉一個(gè)例子加以說(shuō)明。例4.2.1某對(duì)稱離散信倒的信道矩陣為1 1 1 3 3 6 6P =111116 6 3 3)用公式計(jì)算信道容量C = log 4rH （-，,）二2 1log1 1log1log1110g133 33 66 66= 0.0817 （bit/符號(hào)）定義4.2.3若信道矩陣Q的列可以劃分成若干互不相交的子集矩陣Bi c Bj = 6,(i = j)且B U B2 UU Bn = Y。由Bk為列組成的矩陣Qk是對(duì)

6、稱矩陣,則稱信道矩陣Q所對(duì)應(yīng)的信道為準(zhǔn)對(duì)稱信道。例如，信道矩陣0.7 0.1 0.2都是準(zhǔn)對(duì)稱信道，在信道矩陣1 信道 2Y Y2Q V2 X2解根據(jù)定理4.1.1有2I(X1X2；Y1Y2)交 I(Xi；Y)i 4即聯(lián)合平均互信息不大于各自信道的平均互信息之和,因此得到獨(dú)立并聯(lián)信道的信道容量為2C12 =max I (X1X2；Y1Y2)Ci，P(X1X2)iCi =m axI(Xi,Y),是個(gè)獨(dú)立信道的信道容量。 p(xi)只有當(dāng)輸入符號(hào)X互相獨(dú)立，且輸入符號(hào)x的概率分布達(dá)到各子信道容量的概率分布時(shí)，獨(dú)立并聯(lián)信道的信道容量才等于各信道容量之和，即這個(gè)方法推廣到N個(gè)獨(dú)立并聯(lián)信道容量的計(jì)算，即有C12 .N = max .I,2 ,NP(XiXXn)I(XiX2 Xn；YY2 Yn)Cii=1對(duì)于信道i和n ,我們將它串聯(lián)起來(lái)組成新的信道(如圖4.2.6 )一X MiY :信道n圖 4.2.6則此信道容量為C串(；二)二max I (x； Z)p(x)例4.2.6設(shè)有兩個(gè)離散二元對(duì)稱信道(BSC信道)，其串聯(lián)信道如圖4.2.7,并設(shè)第 個(gè)信道輸入符號(hào)集的概率空間為XF(x)廣X二元對(duì)稱信道 IY二元對(duì)稱信道 nZF圖 4.2.7而兩個(gè)信道的信道矩陣分別為Q1 =Q2 n所以串聯(lián)信道總的