信息論的旅含有多少信息第四章離散信道及其信道容5、有噪信道編信息論的旅含有多少信息第四章離散信道及其信道容5、有噪信道編4、限失真信源碼本章研究什么主要內(nèi)一：信道的數(shù)學(xué)模型及分二：離散無記憶信信道的主要研究?jī)?nèi)容信道建模（信道的統(tǒng)計(jì)特性描述信道傳輸信息的能力（信道容量在有噪信道中能否實(shí)現(xiàn)可靠傳輸三：離散無記憶信道的擴(kuò)展信四：信五：信道容1.1信道的數(shù)學(xué)模1.2信道的分按輸入/輸出信號(hào)的幅度和時(shí)間特干XYP(y|X,PY|X,Y1信幅時(shí)信道離離離散信道（數(shù)字信道連離連連波形信道（模擬信道離連（理論和實(shí)用價(jià)值均很小1.2信道的分1.2信道的分按輸入/輸出之間的記憶性來劃分1.2信道的分1.2信道的分按輸入/輸出之間的記憶性來劃分根據(jù)信道的統(tǒng)計(jì)特性是否隨時(shí)間改變可分為平穩(wěn)信道（恒參信道、時(shí)不變信道，如衛(wèi)星通信非平穩(wěn)信道（隨參信道、時(shí)變信道，如移動(dòng)通信根據(jù)輸入/輸出的個(gè)數(shù)可分為單用戶信道：一個(gè)輸入一個(gè)輸出單向通信根據(jù)信道的輸入/輸出是否是確定關(guān)系可分為有噪聲信無噪聲信二：離散無記憶信主要內(nèi)一：信道的數(shù)學(xué)模型及分1.離散無記憶信道的數(shù)學(xué)二：離散無記憶信2.單符號(hào)離散信道的數(shù)學(xué)3.一些常用的概率關(guān)三：離散無記憶信道的擴(kuò)展信4.信道疑義四：信5.平均互信五：信道容 離散無記憶信道的數(shù)學(xué)模 離散無記憶信道的數(shù)學(xué)模1)一般多符號(hào)2)離散無記憶信道干NXp(y|x)p(yn|xnY3)平穩(wěn)信道（恒參信道p(y|x其中p(yb|xa)p(yb|xaXX1X2LXN，輸入符號(hào)Aa,a,L,a 1 YY1Y2Bb1,b2,L,，輸出符號(hào)p(y|x)p(yyLy|xxLx1 N1 2信 離散無記憶信道的數(shù)學(xué)模 離散無記憶信道的數(shù)學(xué)模以離散信道為例，看信道分類1）無噪信道：無干擾，X和Y有明確的3）有干擾有記憶信道yf(xnnynf(xnp(y|x) 離散無記憶信道的數(shù)學(xué)模 離散無記憶信道的數(shù)學(xué)模以離散信道為例，看信道分類1）無噪信道：無干擾，X和Y有明確的3）有干擾有記憶信道yf(xnnynf(xnp(y|x) yf(xnn2）有干擾無記憶信道p(y|x)p(y1y2...yN|x1x2...xNNp(yi|xii2.2單符號(hào)離散信道－數(shù)學(xué)模2.2單符號(hào)離散信道－數(shù)學(xué)模信道傳遞概率干p(bj|ai)P(Ybj|XaiXYi1,2,...,滿足條件P(Y|X其中X為一維隨機(jī)變量，輸入符號(hào)集Aa1a2,Lar（1）0≤p(bj|ai)≤（2）p(bj|ai)jBb,b,L,bsY為一維隨機(jī)變量，輸出符號(hào)1 2.2單符號(hào)離散信道－數(shù)學(xué)模2.2單符號(hào)離散信道－數(shù)學(xué)模信道傳遞概率信道傳遞概率可以用信道矩陣來表示p(b1|p(b2|Lp(bs|MprLp1sp(b1|p(b2|a1)p(b2|a2)Lp(bs|Lp1sp(b|ap(b|ap(b|appPp(b1|a2p(bs|a2)p2sM22sP2Ms1 M p(b|ap(b|ap(b|ap(b|ap(b2|arp 1srrsp(b|app 1srrs2r3信2.2單符號(hào)離散信道－常見信2.2單符號(hào)離散信道－常見信例1：二元對(duì)稱信道（BSC：binarysymmetricchannel）輸入符號(hào)集A={0,1},輸出符號(hào)集B={0,1}，r＝s＝2．傳遞概率例2：二元?jiǎng)h除信輸入符號(hào)集A={0,1}，符號(hào)輸出集信道p11q信道轉(zhuǎn)移概率ppp(0|0)pp(0|1)pp(1|0)pp(1|1)0000?2.2單符號(hào)離散信道－常見信2.2單符號(hào)離散信道－常見信例1：二元對(duì)稱信道（BSC：binarysymmetricchannel）輸入符號(hào)集A={0,1},輸出符號(hào)集B={0,1}，r＝s＝2．傳遞概率例2：二元?jiǎng)h除信輸入符號(hào)集A={0,1}，符號(hào)輸出集信道p11q信道轉(zhuǎn)移概率ppp(0|0)pp(0|1)pp(1|0)pp(1|1)0000?110PpqPppp1111信道轉(zhuǎn)移概率2.2單符號(hào)離散信道－常見信二元?jiǎng)h除信輸入：以正負(fù)方波信號(hào)分別代表“0”和例3：二元輸入符號(hào)集A={0,1}，符號(hào)輸出集用積信道I1p01p0?qpPq1ppp判斷發(fā)送的信號(hào)是“0”還是－若I是正值且大于某一限值，判－若I是負(fù)值且小于某一限值，判－若I絕對(duì)值小，不能判斷，刪除qq111p信道轉(zhuǎn)移概率 前提：信道干擾不是很嚴(yán) 2.3一些常用的概率關(guān)一些常用的概率關(guān)|b)p(aibj)p(ai)p(bj|ai)p(ai)p(bj|aip(a)p(Xai1,L,1)ii rrp(bp(aibj p(ai)p(bj|aijp(aibj)p(Xai,Ybj2)5)輸出符號(hào)概p(a)p(b|a)p(b)p(a|b p(b)p(Ybj1,L,jj3)前向概率（即信道傳遞概率rrp(aibj)p(ai)p(bj|aip(b|a)p(Yb|Xa用矩陣形式表示 ji4)后向概率（又稱后驗(yàn)概率p(ai|bj)p(Xai|Ybjp(b)p(ap(ap(b)p(a)4PYPXPY|作業(yè)2.4信道疑義度Xx1x24.1：設(shè)有一離散無記憶信源，概率空信道疑義度表示接收端收到信道輸出的符號(hào)之后對(duì)道輸入的符號(hào)仍然存在的平均不確定性P(X)0.6 它們通過一干擾信道，信道輸出端的接收符號(hào)Yy1y2，信道傳遞概率如作業(yè)2.4信道疑義度Xx1x24.1：設(shè)有一離散無記憶信源，概率空信道疑義度表示接收端收到信道輸出的符號(hào)之后對(duì)道輸入的符號(hào)仍然存在的平均不確定性P(X)0.6 它們通過一干擾信道，信道輸出端的接收符號(hào)Yy1y2，信道傳遞概率如圖所示。求Y的概率分理想信道，H(X|Y)=0一般情況下，H(X|Y)H(X)H(X|YH(X)時(shí)，表示接收到輸出變量Y后少y1y2噪聲H(Y|X例1/1/1/0示。輸入集X的概率分布下0?XY噪聲112/1/43/P二元?jiǎng)h除信X2.5平均互信例1/21/ 平均互信息I(X;Y)H(X)H(X|Y信源熵是信源輸出的信息量，而真正被接收者收的信息量則是互信息P 1/32/YH(Y|X)p(x)H(Y|x)11 H(,20.93bit1H(4)ii2 3XP1/1/P3/ 1/81/0P 1/41/H(X|Y)H(XY)H(Y111 13H(,,,)H(,,)0.34bit884 885在加性噪聲信道中，條件熵H(Y|X完全等于噪聲信道2.5平均互信2.5平均互信I(X;Y) p(xy)m平均互信息的三種表達(dá)式I(X;Y)I(Y;X)H(X)H(XH(Y)H(Y|平均互信息的性質(zhì)非負(fù)性、互易性、極值性、凸函數(shù) iji1j1p(yj p(y|xn j2.5平均互信2.5平均互信I(X;Y) p(xy)m平均互信息的三種表達(dá)式I(X;Y)I(Y;X)H(X)H(XH(Y)H(Y|平均互信息的性質(zhì)非負(fù)性、互易性、極值性、凸函數(shù) iji1j1p(yj p(y|xn jp(x)p(|x)jnp(x)p(y|xi1 jI(X;Y)f[p(x),p(y|2.5平均互信息－定理2.5平均互信息－定理定理 對(duì)于固定信道，平均互信息I(X;Y)是信源概分布的上凸函數(shù)證明思路py|x保持不固定信道p2信道本身的特性決定pxθp1xθp2x2.5平均互信息－定理2.5平均互信息－定理p(yj|xirI[p1(x)]p1(xiyj)LI[p(x)]I[p(x)]I[p(xp1(yj12ii1jp(yj|xip(yj|xirrp(yj|xip1(xiyj)i1jp2(xiyj)rI[p2(x)]p2(xiyj)i1jLp(yp(yp2(yji112p(yj|xirp(yj|xip(xiyj)i1jrI[p(x)]p(xiyj)Lp(yp(yjji1jpxypxpy|xpx|xp(y p(xy)logp(yjrrpx p(xy)pyi 1 2 i1i2ip(yp(ypxpy|xpxpy|xi1ji1j121 2 62.5平均互信息－定理2.5平均互信息－定理rp(y1i定理 對(duì)于給定信源，平均互信息I(X;Y)是信道轉(zhuǎn)概率的下凸函數(shù)。jp(xy)不等式：如p(yi1j1f是上凸函數(shù)，則E[f(X)]f[E(Xp(yrlogp(x2.5平均互信息－定理2.5平均互信息－定理rp(y1i定理 對(duì)于給定信源，平均互信息I(X;Y)是信道轉(zhuǎn)概率的下凸函數(shù)。jp(xy)不等式：如p(yi1j1f是上凸函數(shù)，則E[f(X)]f[E(Xp(yrlogp(xyj證明思路固定信源px保持不1ip(yi1j1p(ysrlogp(xyjp1y|1iIp1y| p2y| p(yji1slogp(yj)py|xθp1y|xθp2y|xj采用同樣的方法可以證明rp(yj2 p(xy)需證明：θIpy|xθIy|xIpy|xjp(y i1j1222.5平均互信息－BSC信道的2.5平均互信息－BSC信道的)例以二元對(duì)稱信道為例，驗(yàn)證互信息的凸函數(shù)性。源的概率空間2)固定信道，當(dāng)1時(shí)，H(pp1H()12I(X;Y2 X互信息取得最大值P(X 信道矩陣1H(P p012.5平均互信息－例2.5平均互信息－BSC信道的3)固定信源，當(dāng)p1時(shí)，IX;Y)0，互信可以得出多少擲骰子的信息量2I(X;Y小值HH種理解：拋硬幣的次數(shù)/幣正面出現(xiàn)的次數(shù)p0172.5平均互信息－例2.5平均互信息－例2）IX;Y12120骰子點(diǎn)數(shù)是1,2,3,4：x112112X103 31骰子點(diǎn)數(shù)是5,6：2.5平均互信息－例2.5平均互信息－例2）IX;Y12120骰子點(diǎn)數(shù)是1,2,3,4：x112112X103 31骰子點(diǎn)數(shù)是5,6：4拋硬幣正面出現(xiàn)的次數(shù)，用隨機(jī)變量Y表示H(Y)=H(Y|X)=I(X;Y)=H(Y)–H(Y|X)=出現(xiàn)0次正面出現(xiàn)1次正面12120P1Y4出現(xiàn)2次正面：主要內(nèi)3.1N次擴(kuò)展信道－數(shù)學(xué)模N次擴(kuò)展信道的數(shù)學(xué)模型一：信道的數(shù)學(xué)模型及分XXXLNY二：離散無記憶信YYN1 1 三：離散無記憶信道的擴(kuò)展信Aa1,a2,L,X1,X2,L,Y1,Y2都取值于同一個(gè)符號(hào)四：信都取值于同一Bb1b2,L五：信道容(a,,L,a k1,L,r k1 h1,L,3.1N次擴(kuò)展信道－數(shù)學(xué)模3.1N次擴(kuò)展信道－數(shù)學(xué)模N次擴(kuò)展信道的信道矩陣對(duì)于離散無記憶信道Np(|) p(1|p(2|1)p(1|r)p(|)p(bbKb|aaKa)p(b|aL hkkp(1|2p(s|2)Π Mp(|p(|p(|)1r2rrL其中L2sNrNM MkhrNsNLrN8p(h|k3.1N次擴(kuò)展信道－例3.1N次擴(kuò)展信道－例例、求二元對(duì)稱信道的二次擴(kuò)展信道量均取值于{0,1}，輸入共有rN224種取值，輸出共有sN224種取值。2采用同樣的方法求出其他概率，得到信道矩khp(h|k11p22ppΠp(|)p(00|00)p(0|0)p(0|0)p2p1p(2|1)p(01|00)p(0|0)p(1|0)ppp3.1N次擴(kuò)展信道－例3.1N次擴(kuò)展信道－例例、求二元對(duì)稱信道的二次擴(kuò)展信道量均取值于{0,1}，輸入共有rN224種取值，輸出共有sN224種取值。2采用同樣的方法求出其他概率，得到信道矩khp(h|k11p22ppΠp(|)p(00|00)p(0|0)p(0|0)p2p1p(2|1)p(01|00)p(0|0)p(1|0)ppp(3|1)p(10|00)p(1|0)p(0|0)p22ppppp(|)p(11|00)p(1|0)p(1|0)243.2N次擴(kuò)展信道－平均互信定理N次擴(kuò)展信道的IX;Y=IXN;YN=HXN-HXN|YN定理 若信道的輸入和輸出分別是N長(zhǎng)序X和Y，且信道是無記憶的，I(X;Y)I(Xk;Ykkp|Np pkXklogph|k=HYN-HYN|XN ppkXhk=1,2,L,rNh=1,2,L,sN定理4.3.1－－證定理4.3.1－－證)logp(βh|αkI(X;Y)p(αNI(X;Y)I(Xk;Ykkp(βXhkr p(bj...bj|ai...aip(b)Kp(b p(a...ab...b) iN p(bj...bj p(bjKbjii1j ji1i1jj )Kp(bjNr|a)logLLp(a...ab...b)p(ab) iN;Y)ip(bKbkkip(bi1j1jk p(bj)Kp(bj p(b|ap(b|alogLLp(a...ab...brr p(aibj) j p(aibj)ip(bjKbj jp(bp(bi1ii1jjjp(bj)Kp(bj p(b|a)Kp(b|a logL Kb)Lj1 L p(a...abj...bj)p(bKbp(b)Kp(bji11iN1 jNjj9NI(X;Y)I(Xk;Yk k 定理4.3.1－－說定理4.3.1－－說N當(dāng)信源也無記憶時(shí)，等號(hào)成立，即I(X;Y)IXk;Yk p(bj...bj)Lp(ai...ai定理4.3.1－－說定理4.3.1－－說N當(dāng)信源也無記憶時(shí)，等號(hào)成立，即I(X;Y)IXk;Yk p(bj...bj)Lp(ai...aibj...bjLp(ai...ai)p(bj...bj|ai...aikNI(X;Y) I(;Y)H(Y)H(Y)Nk iik H(Y)信源有記憶時(shí)，Y的熵H(YN)－－信源無記憶時(shí)，Y的熵i1irrp(ai)p(bj|ai)Lp(ai)p(bj|ai)p(bj)Lp(bji信源有記憶時(shí)的輸出熵：離散無記憶信道的N次擴(kuò)展信道的平N個(gè)隨機(jī)變量XX…，X單獨(dú)通過離 無記憶信道的平均互信息之和N定理定理4.3.2－－說定理 若信道的輸入和輸出分別是N長(zhǎng)序X和Y，且信源是無記憶的，I(X;Y)I(Xk;Ykk由推NI(Xk;Yk)I(X;Y)H(X|Y)H(X|Y) kNHX|Y有記憶信道的疑義HXN|YN)－－無記憶信道的疑義度 定理4.3.1和4.3.2討定理4.3.1和4.3.2討當(dāng)信源、信道都是無記憶時(shí)，等號(hào)成立，相當(dāng)于N個(gè)獨(dú)對(duì)于（）號(hào)集，并且具有相同的概率分布。I(X1;Y1)I(X2;Y2)LI(XN;YN)I(X;YNN信道并聯(lián)的情況I(X;Y)I(X;YkkXX1X2LXI(X;Y)I(Xk;Yk)NI(X;Yk X …X P(Y|XP(Y|XP(Y|X主要內(nèi)信道的組一：信道的數(shù)學(xué)模型及分并行地傳送，稱這種信道為并聯(lián)信道（積信道）。二：離散無記憶信道，稱其為級(jí)連信道。三：離散無記憶信道的擴(kuò)展信有時(shí)將兩個(gè)以上信道聯(lián)合起來，稱為和信道主要內(nèi)信道的組一：信道的數(shù)學(xué)模型及分并行地傳送，稱這種信道為并聯(lián)信道（積信道）。二：離散無記憶信道，稱其為級(jí)連信道。三：離散無記憶信道的擴(kuò)展信有時(shí)將兩個(gè)以上信道聯(lián)合起來，稱為和信道四：信五：信道容級(jí)聯(lián)信道的平均互信息－定理級(jí)聯(lián)信I(XY;Z)p(xiyjzkYXZp(z|xy ip(zkpbj|aipck|aibjBb,bL,bsAa1,a2,L,arCc1,c2,L,cl定理I(XY;Z)I(Y;ZI(XY;Z)I(X;Zp(z|xy)p(z|1p(z|xy)p(z|x)時(shí),(1),(2)定理4.4.1－證定理4.4.1－說I(Y;Z)I(XY;Z)p(yz)logp(z|y)p(xyz)logp(z|該定理的物理含義p(z|xy)=p(z|y)：隨機(jī)變量Z只決定于隨機(jī)變量Y，與。p(xyz)logp(z|y)p(xyz)logp(z|I(XY;Z)，僅當(dāng)隨機(jī)變量序列（XYZ）是馬氏鏈串聯(lián)信道中，?般來說，（XYZ）可構(gòu)成?p(xyz)logp(z|p(z|p(z|pz|xypz|當(dāng) 的時(shí)候,p(z|logp(xy)p(z|y)logp(xy)p(z|y)loglog1 I(XY;Z)I(Y;Z級(jí)聯(lián)信道的平均互信息－定理定理4.4.2－說定理4.4.2若隨機(jī)變量X，Y，Z構(gòu)成一個(gè)馬爾XYZ是馬爾可夫鏈，則ZYX也是馬爾可夫px|yzpx|夫鏈，則I(X;Z)I(X;YI(X;Z)I(Y;ZI(X級(jí)聯(lián)信道的平均互信息－定理定理4.4.2－說定理4.4.2若隨機(jī)變量X，Y，Z構(gòu)成一個(gè)馬爾XYZ是馬爾可夫鏈，則ZYX也是馬爾可夫px|yzpx|夫鏈，則I(X;Z)I(X;YI(X;Z)I(Y;ZI(X;Z)I(X;Y同理可證證明等號(hào)成立的條件px|yzpx|ypx|z馬爾pz|xypz|yIXYZIYZIXY;ZIX;ZI(X;Z)I(Y;Zpz|xypz|等號(hào)成立的條數(shù)據(jù)處理定級(jí)聯(lián)信道－例例：級(jí)聯(lián)信道如下圖所示IX;Y和IXZYXZ010010pp111-1-輸入概率空X01P(X 1/21/級(jí)聯(lián)信道－例級(jí)聯(lián)信道－例IX;Y1Hp1pP 21例：一級(jí)聯(lián)信道如下圖所示，求總的信道矩陣pXYZ1p22p1pPP1P221b1p2p1IX;Z1H2p1IX;W1H3p122p稱信稱信若XYZ主要內(nèi)級(jí)聯(lián)信道－例PZ|XPY|XPZ一：信道的數(shù)學(xué)模型及分1/302/1/01/1/1/2/主要內(nèi)級(jí)聯(lián)信道－例PZ|XPY|XPZ一：信道的數(shù)學(xué)模型及分1/302/1/01/1/1/2/二：離散無記憶信 1/21/三：離散無記憶信道的擴(kuò)展信1/1/1/1/1/61/四：信等價(jià)信道為x五：信道容25.1信道容量的定信道容信道容量的定離散離散一般離散無記憶N次擴(kuò)展信獨(dú)立信源和信道匹信息傳輸率R：信道中平均每個(gè)符號(hào)所傳送平均IX;Y)是接收到符號(hào)Y后平均獲得的關(guān)于的信息量。所RI(X;Y(比特/的信息量為信息傳輸速率Rt：R1IX;Y)（比特秒tt5.1信道容量的定5.1信道容量的定在信道確定的情況下，RIX;Y)是信源概率分布PX信道容量信道容量與信源的概率分布無關(guān)是完全描述信道特性的參量是某一個(gè)確定的信道能夠傳輸?shù)淖畲笮畔⒘緾maxI(X;Y（比特/信道單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘縋(X1maxI(X;YC（比特/秒相應(yīng)的輸入概率分布被稱為最佳輸入分布ttP(X5.1信道容量的定義－例5.1信道容量的定義－例例：求二元對(duì)稱信道的信道容量PI(X;YI(X;Yp 1H(HH X1解：設(shè)信源概P(X p01I(X;Y)H(pp)H(105.25.1信道容量的定義－例5.1信道容量的定義－例例：求二元對(duì)稱信道的信道容量PI(X;YI(X;Yp 1H(HH X1解：設(shè)信源概P(X p01I(X;Y)H(pp)H(105.2離散無噪信5.2離散無噪信無噪有損信道：多個(gè)輸入對(duì)應(yīng)一個(gè)輸1)有噪無損信道：一個(gè)輸入對(duì)應(yīng)多個(gè)互不相交的輸b損失噪聲b1I(X;Y)H(X)H(X|Y)H(XCmaxI(X;Y)maxH(X)logI(X;Y)H(Y)H(Y|X)H(YCmaxI(X;Y)maxH(Y)logp2p4b2pp(xp(xp(xp(xa6H(Y|X)H(X|Y)a7b噪聲損失35.2離散無噪信5.3離散對(duì)稱信3)無噪無損信道：輸入和輸出一一對(duì)離散輸入對(duì)稱信道（行對(duì)稱信道111b信道矩陣：每一行都是第一行元素的不同組121I(X;Y)H(X)H(YCmaxI(X;Y)maxH(X)log131316116H(Y|X)P1116p(xp(xH(Y|X)0,H(X|Y)0，rH(Y|X)H(X|Y)5.3離散對(duì)稱信5.3離散對(duì)稱信對(duì)稱信離散輸出對(duì)稱信道（列對(duì)稱信道每行都是第每列都是第信道矩陣：每一列都是第一列元素的不同組113121660.41131311131616131P312P0.66 63PP111 行對(duì)稱信5.3離散對(duì)稱信準(zhǔn)對(duì)稱信5.3離散對(duì)稱信強(qiáng)對(duì)稱信道（均勻信道不是5.3離散對(duì)稱信5.3離散對(duì)稱信對(duì)稱信離散輸出對(duì)稱信道（列對(duì)稱信道每行都是第每列都是第信道矩陣：每一列都是第一列元素的不同組113121660.41131311131616131P312P0.66 63PP111 行對(duì)稱信5.3離散對(duì)稱信準(zhǔn)對(duì)稱信5.3離散對(duì)稱信強(qiáng)對(duì)稱信道（均勻信道不是r=對(duì)于每個(gè)輸入符號(hào)，正確傳輸概率都相錯(cuò)誤傳輸概p均勻地分配r-1個(gè)符分為一些對(duì)稱的子陣--劃分子集只pr1Mprpr1rMprppLrPppPr rM PPp21Lp5.3離散對(duì)稱信道－引離散對(duì)稱信道－定理時(shí)，輸出概率分布必為等概分布。定理，當(dāng)信道輸入概率分布為等概的況下達(dá)到信道容量p(a)i1,L,證明ir11p,,p,,L,p(b) p(a)p(b|a) |a)其s是信道矩陣中的任意一行中的元素1j jrriiH(Y|X)p(xiyj)logp(yj|xi證明Hj為信道矩陣第j列元素之和。而對(duì)稱信道每一列是i,p(x p(y|x)logp(y|xi jjp(b)p(b)Lp(bij12s p(x)H(p,p,L,p)H(p,p,L,p''''i1s1si列對(duì)稱信道，此引理亦成ClogsH(p,,p,,L,p,1 5.3離散對(duì)稱信道－定理5.3離散對(duì)稱信道－推推論均勻信道的信道容I(X;Y)H(Y)H(Y|X)H(Y)H(p,p,,L,p,1 ClogsH(p,p,L,p' CmaxI(X;Y1 p(xlogrH(p,p,L,pmaxH(Y)H(p,p,L,p, 1 r rpp(x5.3離散對(duì)稱信道－定理5.3離散對(duì)稱信道－推推論均勻信道的信道容I(X;Y)H(Y)H(Y|X)H(Y)H(p,p,,L,p,1 ClogsH(p,p,L,p' CmaxI(X;Y1 p(xlogrH(p,p,L,pmaxH(Y)H(p,p,L,p, 1 r rpp(xmaxH(Y)H(p,p,L,p, 1 logrplogppp(xrlogsH(p,p,L,p, 1 logrplogpplogpplog(rlogrH(p)plog(r 5.3離散對(duì)稱信定，當(dāng)信道輸入概率分布為等概的情下達(dá)到信道容量p分析：H(Y|X)H(p1,p2,...,psrpyjpyj|xipxipyj|x11rrii思路：準(zhǔn)對(duì)稱信道=輸入等概分布時(shí)，每個(gè)子塊的輸出等概率分Cmax{H(Y)}H(p1,p2,...,psp(5.3離散對(duì)稱信5.3離散對(duì)稱信1logrmaxHYmaxpy py LpymaxHYpi1Lpypypypr 1plog11log1L1logpislogpis p p 1r1r1rpii nlogrNklogk1logr1plogrL1plog 1log1logpL1p1plog1r第k個(gè)子矩陣所有元素之和logMp pp r1rNlogNlogr1 nClogrH(p,,p,,L,p,) Nklogk5.3離散對(duì)稱信定理4.5.1實(shí)現(xiàn)離散準(zhǔn)對(duì)稱無記憶信道信道容量5.3離散對(duì)稱信道－例5.4一般離散信1312161例：求對(duì)稱信道的信道容CmaxIX;Y61P(X3Pr約束條件：p(ai)12求信道容量轉(zhuǎn)化為，的條IX;Y)對(duì)信源概率分布PX解ClogsH(p,p,L,p,,15.3離散對(duì)稱信道－例5.4一般離散信1312161例：求對(duì)稱信道的信道容CmaxIX;Y61P(X3Pr約束條件：p(ai)12求信道容量轉(zhuǎn)化為，的條IX;Y)對(duì)信源概率分布PX解ClogsH(p,p,L,p,,1 log3H(1,1,1230.126比特/符最佳輸入概率分布為等概分5.4一般離散信道－信道容量求rp(bj|aiI(X;Y)p(ai)p(bj|ai)p(bi1jrssp(ai)p(bj|ai)logp(bj|ai)p(bj)logp(bj引入i jp(b)p(b|arp(bj)p(ai)p(bj|aii（為待定系數(shù)）p(a jiI(X;YFp(arI(X;Y) p(a(i1,..,p(a p(aip(b|a)logp(b|a)p(b|a)logp(b)p(b|a)logiiiI(X;Yp(b|ap(aip(b|a)logp(b5.4一般離散信道－信道容量求一般離散信道－信道容量求在某些條件下利用這個(gè)方法可以計(jì)算令p(b|ap(bj|ai)loge p(bjFp(a)p(b|ap(b|a)loge則p(bjp(bj|ai)logp(bj|ai)p(bj|ai)logp(bj)jjjlogp(b)p(bj|aip(bjrsr令p(a)p(b|a)p(a)(logejji ii r個(gè)方程，s個(gè)未知 Clogep(bj|ai)logp(bj|ai)p(bj|ai) i1,2,L, p(b|ap(b|a) log i1,2,L,p(brFI(X;Y)p(aii5.4一般離散信道－拉格朗日數(shù)乘分析：求條件極值－》拉格朗日數(shù)乘5.4一般離散信道－信道容量求5.4一般離散信道－信道容量求當(dāng)r=s，且信道矩陣是可逆矩陣時(shí)，該方程組有唯一解提示1）采用上述方法求出信道容量以后，還必須解出p(a)，因?yàn)樵诓捎美窭嗜諗?shù)乘法時(shí)并沒有加上p(ai)0jlogp(bj)p(bj)j2C1約束條件，因此算出 )可能是負(fù)值p(b)i5.4一般離散信道－信道容量求5.4一般離散信道－信道容量求當(dāng)r=s，且信道矩陣是可逆矩陣時(shí)，該方程組有唯一解提示1）采用上述方法求出信道容量以后，還必須解出p(a)，因?yàn)樵诓捎美窭嗜諗?shù)乘法時(shí)并沒有加上p(ai)0jlogp(bj)p(bj)j2C1約束條件，因此算出 )可能是負(fù)值p(b)i和最佳輸入分布最佳輸入分布的求p(bj)p(ai)p(bj|aii(i1,2,L,p(ai5.4一般離散信道－例5.4一般離散信道－信道容量求1410010總結(jié)：信道容量的求解過①由pyj|xi)jpyj|xi