1、第十四講時間離散連續(xù)信道的容量Review信道容量I ( X ;Y )Y = bjX= a kC = maxI ( X ,Y )信道容量Qk p( j k )Review達(dá)到信道容量充要條件輸入概率矢量 Q = Q0, Q1, QK 達(dá)到轉(zhuǎn)移概率為p( j k)的DMC的容量C的充要條件為I (x = k;Y ) = CI (x = k;Y ) Ck, Qkk, Qk 0= 0p( j k)其中，I (x = k;Y ) = p( j k ) logiQ p( j i)jiReview信道容量計算幾種特殊類型的信道無噪無損信道有噪無損信道無噪有損信道準(zhǔn)對稱DMC信道可逆矩陣信道N次擴(kuò)展信道組合

2、信道最佳分布為等概解方程、試解NC積信道、和信道、級聯(lián)信道Review積信道信道1和信道2同時傳送信息p( jj kk) = p( j k) p( j k)( j, j)(k, k )Y = bX=a 1j1kp( j k)Y2= bjX= a2kp( j k)C = C1 + C2信道1 Review和信道若任一時間隨機(jī)選用（兩者不能同時選用）p( j k), p( j k) : kX , kX, j Y , jY 1212Y = bX=a 1j1kY = Y YX = X X1212X 2 = akp( j k)= 2C1+ 2C22Cp1 ( y | x)KJ0p (v | u)0( K

3、+N)(J+M)2NMp( jk)Y = b2j信道1 Review和信道N個獨(dú)立信道的和信道若各分信道的輸入、輸出空間、轉(zhuǎn)移概率和容量分別為Xn，Yn和Pn和Cn，則和信道的信道容量為NC = log2Cn n=1最佳利用：每個信道被利用的概率為-C= 2Cnpn并使每個分信道的輸入分布為最佳級聯(lián)信道若將信道1的輸出作為信道2的輸入，信道1的輸入 集就是組合信道的輸入集，信道2的輸出集就是組合信道的輸出集。稱這樣組成的信道為級聯(lián)信道， 又稱串行信道。X= a2kp( j k)p( j k)p( j k ) = p( j k ) p( j k =j)轉(zhuǎn)移概率jY= b2jX1 = ak 信道1

4、 Y = b 1j第十四講時間離散連續(xù)信道的容量 時間離散的連續(xù)信道p(y | x)xn X(x1,x2 ,xN )yn Y( y1 , y2 , yN )無記憶信道Np( y x) = p( ynxn )n=1恒參（平穩(wěn)）信道xn ) = p( ymn.mxn , xm XYp( ynxm )yn , ym信道容量C = maxI ( X ,Y )Q(x)信道 可加噪聲信道若連續(xù)信道的條件概率密度滿足p( y x) = p( y - x) = p(z)X與Z相互獨(dú)立就稱它為可加噪聲信道，其中z = y - x 稱作加性噪聲。y = x + z Y輸入 x XQ(x)+輸出w( y)干 擾z

5、Z p(z)可加噪聲信道容量Hc (Y X ) = - - Q(x) p( y x) log p( y x)dxdy= - Q(x)- p(z) log p(z)dxdz= - Q(x)Hc (Z )dx = Hc (Z )噪聲熵I ( X ;Y ) = Hc (Y ) - Hc (Y X ) = Hc (Y ) - Hc (Z )在加性噪聲信道情況下，當(dāng)信道 Hc (Y X )給定，p(z) 給定。那么求信道容即干擾噪聲的概率密度量就在于對所有的輸入分布求Hc (Y ) 的最大值?？杉釉肼曅诺廊萘俊纠恳阎獥l件：給定一個可加噪聲信道（1）干擾z與信道輸入x相互獨(dú)立（2） z N (0,s)2

6、，即zz21p( y x) = p( y - x) = p(z) =exp-s2px222z s)2）（3x N (0,z，即x1p(x) =exp-2s22psx x求信道輸入和輸出之間的平均互信息？可加噪聲信道容量Hc (Y X ) = - - Q(x) p( y x) log p( y x)dxdy= - Q(x)- p(z) log p(z)dxdz= - Q(x)Hc (Z )dx = Hc (Z )噪聲熵I ( X ;Y ) = Hc (Y ) - Hc (Y X ) = Hc (Y ) - Hc (Z )在加性噪聲信道情況下，當(dāng)信道 Hc (Y X )給定，p(z) 給定。那么求

7、信道容即干擾噪聲的概率密度量就在于對所有的輸入分布求Hc (Y )的最大值。可加噪聲信道容量【例】已知條件：給定一個可加噪聲信道（1）干擾z與信道輸入x相互獨(dú)立（2） z N (0,s)2，即zp( y x) = p( y - x) = p(z) =z21exp-s2px222z s)2）（3x N (0,z，即x1p(x) =exp-2s22psx x求信道輸入和輸出之間的平均互信息？可加噪聲信道容量【解】由已知，信道輸出y是兩個正態(tài)分布的疊加，因而y N (0,s+ s)2x2，于是信道輸入輸出之間的互信息量為zI ( X ;Y ) = Hc (Y ) - Hc (Z )121=log 2

8、pe(s+ s) -log 2pes2x22zz2s21x =log(1+)s22z【注】：當(dāng)信道干擾給定下，若輸入功率不受限制，I(X;Y)可為任意大。平均功率受限的可加噪聲信道容量定理1 平均功率受限的時間離散、恒參、可加高斯噪聲信道的容量為Ss2C = 1 log( 1 +)2其中，S是輸入平均功率的上限，s 2是均值為0的高斯噪聲的方差。最佳輸入分布就是均值為0、方差為S的高斯型分布。平均功率受限的可加噪聲信道容量對可加噪聲信道有I ( X ;Y ) = Hc (Y ) - Hc (Z )證明E y2 = Ex + z2 = Ex2 + Ez 2 S + s（X與Z獨(dú)立）Y N (0,

9、 S + s要使I(X;Y)最大，即要Hc (Y ) 最大，從而2 )(Y ) = 1 log 2pe(S + s 2 )H(Z ) = 1 log2pes2此時有Hcc22從而可得C = max I ( X ;Y ) = maxH(Y )- H(Z ) = 1 log(1+SV 2)cc2Q( x)Q( x)要使Y正態(tài)分布，X N (0, S )平均功率受限的可加噪聲信道容量定理2（平均功率受限的可加非高斯噪聲信道）平均功率受限、時間離散、恒參、可加噪聲信道的容量1 log( S + s) C 1 log( S + s1 log( S + s2) 2)V222V2V22其中，s 是Z的熵功率

10、。【注】 在給定噪聲功率情況下，高斯干擾是最壞的干擾，在它的作用下的信道容量最小。如果信道干擾統(tǒng)計特性未知，把干擾看作高斯分布比較安全。平均功率受限的可加噪聲信道容量證明：在可加噪聲下，信道輸出功率為E y2 = E(x + z)2 = Ex2 + Ez 2 S + s 2H(Y ) 1 log 2pe(S + s 2 )輸出熵為c2可知由 I ( X ;Y ) = Hc (Y ) - Hc (Z )C 1 log 2pe(S + s 2 ) - H (Z )c2= 1 log 2pe(S + s 2 ) - 1 log 2pes222即上限成立。= 1 log S + sV 22平均功率受限

11、的可加噪聲信道容量熵功率不等式對于集合X,Y,Z,若 y = x + z,且X,Z是相互獨(dú)立、均值為0，則22V+s s s+s2xyx若選擇輸入功率為S的高斯信號x，由上不等式左邊部分，有H(Y ) 1 log 2pe(S +s 2 )c2從而C = max I ( X ;Y ) I ( X ;Y )2X N (0,S =s x )Q( x) 1 log 2pe(S + s 2 ) - 1 log 2pes22= 1 log(1+22S)即下限成立。2V平行可加高斯噪聲信道容量p(y | x)xn X(x1,x2 ,xN )yn Y( y1, y2 , yN )N個獨(dú)立并行信道的組合NC =

12、 Cnn=1最佳分布為各個輸入符號相互獨(dú)立，并保證每個符號的輸入分別最佳。平行可加高斯噪聲信道容量s若各時刻上的噪聲都是均值為0，方差為噪聲，此時信道容量為2 的高斯C = N log(1+SV 2)2當(dāng)且僅當(dāng)輸入信號X各分量統(tǒng)計獨(dú)立，并都是均值為0，方差為S的高斯變量時等號成立。若各時刻上的噪聲仍是均值為0，但方差為不同的高斯噪聲時，情況怎樣呢？N1SC = 2 log(1+ n )s2n=1n平行可加高斯噪聲信道容量若信道輸入為 x = (x1, x2 , xN )，輸出為 y = ( y1, y2 , yN )n = 1,2, N，則信道容量為s)2,信道干擾 zN (0,nN1 log

13、(1+ Sn ) 2C =s2n=1約束條件為nN Sn= Sn=1當(dāng)輸入各分量服從N (0, Sn )時達(dá)到信道容量。Nn=11 log(1+ SnS)在約束條件應(yīng)該如何取值，才能使ns22Nn Snn=1= S 下取最大值？問題：平行可加高斯噪聲信道容量并行可加高斯噪聲（AWGN）信道的組合信道的容量N B 1 log12S) =C =+log(1ns2s222n=1n:sn Bnn其中，s2 是噪聲在各單位時間上的方差，B為常數(shù)。nSn的選擇應(yīng)該這樣進(jìn)行：當(dāng) V2n2n B 時，選S= 0當(dāng)n；平行可加高斯噪聲信道容量BSSS4S21Ns2s52ss223sN42s212n這個結(jié)果形象的

14、解釋就是將信道看作是底部由干擾方差所決定的起伏不平的容器，將信號能量E看作是水，將這些水倒入容器中就形成一個高為B的水平面。 B 時，就沒有水注入該單元當(dāng)s2s2越小，進(jìn)入該nn單元的水就越多，即分到的能量就越大。用拉格朗日乘因子法來求解極值問題。首先作輔助函數(shù)NN1 S)+l- S 2Fs (S1 , S2 , SN ) =Snlog(1+ns2 n=1n=1nFs (S1 , S2 , SN ) = 0 ，可得令 Sn12 s1+ S+l = 02從而nn+ S= - 1 l = KV2nn2Sn = SNNn=1將上式代入約束條件N可得s+ S = NK2nn=12snS +即K = n

15、=1N（各分量平均功率的算術(shù)平均值）平行可加高斯噪聲信道容量綜上，各信道的輸出功率應(yīng)相等，且等于各分量平均功率的算術(shù)平均值時，即NnsS +2s+ S=2 n=1nnN才能保證聯(lián)合信道容量最大。NlsS +2- sn = 1,2, NS=2 l 1因而nnN 0 這一條件，注意求解過程中，并沒有考慮 Sn因此上述結(jié)果需要驗證。若計算出Sn的有負(fù)值，必須置Sn = 0 來代替算得的負(fù)值。這就為邊界極值問題，表明當(dāng)某一信道的噪聲功s2率大于常數(shù)K時，該信道無法利用。為了保持總功n率不超過S，另一些信道的輸入功率還必須相應(yīng)調(diào)整。設(shè)有q個 Sl 0 ，即S1, S2 , , Sq 小于0，則功率重新分

16、配為n = 1,2, qSn = 0S +Nls2n = q +1, N=q+1- sS= l 2nnN - q若此時仍有Sl 0，再次進(jìn)行調(diào)整，直至剩余的所有Sl 0 0，即S1, S2 , , Sm假如經(jīng)過多次調(diào)整，有m個Sl 小于0，則功率重新分配為n = 1,2, mSn = 0S +Nls2-sS=n = m +1, N=+2 l m 1nnN - m從而求得NsS +2j12N logC =j =m+12 (N - m)si=m+1iNsS +2jj =m+1B =令則上式可寫成(N - m)N12 B logC =于是，定理得證。s2n:s 2 Bnn平行可加高斯噪聲信道容量N

17、B 1 log12S) =C =+log(1ns2s22n:s2 BnV B2n時，不分配能量，既不傳任何信息；當(dāng)時，使信號功率和信道噪聲功率之和為常數(shù)，這樣才能保證總的容量最大。平行可加高斯噪聲信道容量【例】設(shè)有10個獨(dú)立并行的高斯信道，其干擾強(qiáng)度s2 分n別為0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容許輸入總功率S分別為5和1時的組合信道的容量？K = 5 + 0.1+ 0.2 + +1.0 = 1.05(1)S=510 B = K = 1.05Sn K S= B -s2,求得分別為0.95,0.85,0.75,0.65,0.05nnN12 B C =logs2s B2n:nn1.05100.1 0.21.0= 1= 6.1bitslog2【例】設(shè)有10個獨(dú)立并行的高斯信道，其干擾強(qiáng)度分別為0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容許輸入總功率S分別為5和1時的組合信道的容量？= 1+ 0.1+ 0.2 + +1.0 = 0.65S= S= S= S= 0(2)S=1K78910110= 1+ 0.1+ 0.2 + + 0.6 = 0.517S= 0K626= 1+ 0.1+ 0.2 + + 0