1、8 網(wǎng)絡(luò)信息理論簡(jiǎn)介 8.2 網(wǎng)絡(luò)信道的分類 8.3 網(wǎng)絡(luò)信道的信道容量域離散多址接入信道高斯多址接入信道 8.4 網(wǎng)絡(luò)中相關(guān)信源的信源編碼相關(guān)信源編碼具有邊信息的信源編碼8 網(wǎng)絡(luò)信息理論簡(jiǎn)介網(wǎng)絡(luò)信息理論簡(jiǎn)介 單用戶通信系統(tǒng)：只有一個(gè)輸入信源和一個(gè)輸出信源，單向通信。 多用戶通信系統(tǒng)：信道的輸入端和輸出端涉及到兩個(gè)或兩個(gè)以上的信源和信宿，雙向通信。 網(wǎng)絡(luò)信息論：還有許多未解決的問題，至今沒有一套完整的網(wǎng)絡(luò)信息理論。即使將來能夠發(fā)現(xiàn)，也可能因?yàn)樘珡?fù)雜而不能實(shí)現(xiàn)。研究的目的在于可告訴通信設(shè)計(jì)者距離網(wǎng)絡(luò)最優(yōu)化多近，也可啟發(fā)設(shè)計(jì)者獲得提高通信性能的途徑。網(wǎng)絡(luò)信息論研究的主要內(nèi)容： 網(wǎng)絡(luò)信道的信道容量。

2、這種信道的容量不能簡(jiǎn)單地用一實(shí)數(shù)表示，可傳輸?shù)男畔⒙室膊荒苡谜龑?shí)軸上一個(gè)區(qū)間來代表，而需用多維空間中的一個(gè)區(qū)域來表示。 網(wǎng)絡(luò)信道編碼定理。即證明在上述網(wǎng)絡(luò)信道容量范圍內(nèi)，一定有一種編碼方式，能夠可靠地傳輸信息。 相關(guān)信源的信源編碼問題。研究相互關(guān)聯(lián)的多個(gè)信源進(jìn)行無失真和有失真編碼時(shí)的可達(dá)速率區(qū)域。8 網(wǎng)絡(luò)信息理論簡(jiǎn)介網(wǎng)絡(luò)信息理論簡(jiǎn)介（1）多址接入信道）多址接入信道(MAC)： 多個(gè)信道輸入信號(hào)，可供多個(gè)信源同時(shí)接入，但只有一個(gè)信道輸出信號(hào)。 如衛(wèi)星上行、移動(dòng)上行、光纖上行；CDMA、TDMA 8.2 網(wǎng)絡(luò)信道的分類信源1信源2信源M編碼器1編碼器2編碼器M信道譯碼器U1U2UMX2XMYU1U

3、2UMX1(2)廣播信道廣播信道：?jiǎn)我惠斎攵丝诤投鄠€(gè)輸出端口 與一般的廣播概念不同的是，各信宿要接收的信息并不一定相同。 如衛(wèi)星下行、CATV、移動(dòng)下行8.2 網(wǎng)絡(luò)信道的分類信源1信源2信源M譯碼器1譯碼器2譯碼器M信道編碼器YMXU1U2UMY1（3）中繼信道）中繼信道：可以看成廣播信道和多址接入信道的組合，是一對(duì)用戶之間經(jīng)過多種途徑中轉(zhuǎn)所進(jìn)行的單向通信。一個(gè)輸入信號(hào)和一個(gè)輸出信號(hào)。 如中繼微波接力系統(tǒng)、一對(duì)地面站可經(jīng)一個(gè)或多個(gè)衛(wèi)星中轉(zhuǎn)或者經(jīng)地面通信轉(zhuǎn)接而實(shí)現(xiàn)單向通信。 8.2 網(wǎng)絡(luò)信道的分類信源中繼點(diǎn)信道譯碼器XY1X1Y信道信道（4）雙向信道）雙向信道：在同一端既有發(fā)送，又有接收 許多實(shí)

4、用信道本質(zhì)上都是雙向信道。 8.2 網(wǎng)絡(luò)信道的分類信源1接收端2編碼器1譯碼器2譯碼器1編碼器2接收端1信源2雙向信道X1X2Y1Y2 （5）多端網(wǎng)絡(luò)）多端網(wǎng)絡(luò)：由多個(gè)信源和多個(gè)信宿經(jīng)過多個(gè)信道組成 ，一般要用圖論方法研究。8.2 網(wǎng)絡(luò)信道的分類信源1編碼器1譯碼器1信宿1通信網(wǎng)X1Y1信源2信源m編碼器2編碼器m譯碼器2譯碼器n信宿2信宿nU2UmX2XmY2Ym 為了信息的可靠傳輸，各發(fā)送者不但要克服信道噪聲，而且還要克服各發(fā)送端彼此之間的串?dāng)_。 8.3 網(wǎng)絡(luò)信道的信道容量域 信源U1信源U2編碼器f1編碼器f2信道p(y/x1,x2)X2YU1U2X1譯碼器g8.3.1離散多址接入信道

5、使 Pe 0的速率對(duì) (R1,R2) 稱為可達(dá)速率對(duì)，所有可達(dá)速率對(duì)的集合稱為多址信道的信道容量域。 定理： 二址接入信道 X1X2,P(y|x1x2),Y的容量區(qū)域，由滿足下述凸殼的閉包給定 其中 , C(P1,P2) 是在乘積空間X1X2上，對(duì)所有可能的輸入概率分布求得的可達(dá)速率對(duì)(R1,R2)的集合。 12121122211212( ,)(,):0(;/)0(;/)0(,; )C P PR RRI X YXRI XYXRRI XXY121122( ,)()()P x xP x P x8.3.1 離散多址接入信道 R2 I(X1,X2;Y)I(X2;Y/X1) A C I(X2;Y) D

6、0 B R1 I(X1;Y) I(X1;Y/X2) I(X1,X2;Y)8.3.1 離散多址接入信道12121122211212( ,)(,):0(;/)0(;/)0(,; )C P PR RRI X YXRI XYXRRI XXY B點(diǎn)：發(fā)送者2不傳送任何信息時(shí)，發(fā)送者1可傳送的最大信息率。 此時(shí)發(fā)送者 1 可傳送的信息率 大于單用戶的情況 8.3.1 離散多址接入信道12(;/)I X YX1(; )I X Y D 點(diǎn)：發(fā)送者1以最大的信息傳輸率發(fā)送時(shí)，發(fā)送者2能夠發(fā)送的最大信息傳輸率。 該值是在信道中將X2傳送到Y(jié)，而把X1看作為噪聲而求得的。此時(shí)，相當(dāng)于X2以信息率 I(X2;Y) 在

7、單用戶信道中傳輸?shù)慕Y(jié)果。 因?yàn)?I(X2;Y)=I(X1,X2;Y)-I(X1;Y/X2)，所以，當(dāng)接收端知道X2的碼字也在發(fā)送時(shí)，就要在信道傳輸?shù)慕Y(jié)果中將X2的碼字“減”出來。 區(qū)域中的點(diǎn) A，C和B，D點(diǎn)有相似的含義。 當(dāng)給定某個(gè)輸入分布 ，可得某區(qū)域C(P1 , P2)；不同的輸入分布可得不同的區(qū)域。因此二址接入信道的容量區(qū)是所有可能C(P1 , P2) 的凸閉包，是一個(gè)多角形的凸包。 121122( ,)()()P x xP x P x112211221122112()()221()()1212()()max(;/)max(;/)max(,; )P xPxP xPxP xPxCI X

8、YXCI XYXCI XXY8.3.1 離散多址接入信道 R2C12C2 0 C1 C12 R1 上述結(jié)論很容易推廣到 T 個(gè)獨(dú)立發(fā)送端的一般情況。已知條件概率 P(y/x1x2xT)，此時(shí)各發(fā)送端可達(dá)速率范圍為1111( ),( )max(;/)(1,2, )TtttttTP xPxRCI X Y XXXXtT8.3.1 離散多址接入信道 例例8.1 二址獨(dú)立的二元對(duì)稱信道的容量區(qū)域，發(fā)送者X1和發(fā)送者X2，接收端Y。 1p1 0 0X1 p1 p1 1 1 1p1 1p2 Y 0 0X2p2 p2 1 1 1p28.3.1 離散多址接入信道 計(jì)算得C1=1H(p1), 此時(shí)p1(0)=p1

9、(1)=1/2, p2(0)+p2(1)=1； C2=1H(p2)，此時(shí)p2(0)=p2(1)=1/2, p1(0)+p1(1)=1 。 因?yàn)檫@兩信道是互相獨(dú)立的，沒有彼此干擾，所以C12=2-H(p1)-H(p2)，此時(shí)p1(0)=p1(1)=1/2, p2(0)=p2(1)=1/2。R2 C2=1-H(r2) 容量區(qū)域 0 C1=1-H(r1) R1獨(dú)立二進(jìn)制對(duì)稱信道的容量例8.1解： 例8.2 二址接入二元和信道 Y=X1 + X2 R2C12C2 0 C1 C12 R1 112211221122112()()221()()1212()()max(;/)max(;/)max(,; )P

10、xPxP xPxP xPxCI X YXCI XYXCI XXY 各信源來的信號(hào)在接收端相加，并受加性高斯噪聲 ( 均值為零，方差為 ) 的干擾。 信道輸出 二址(m=2)時(shí)，X1、X2與Z相互獨(dú)立 8.3.2 高斯多址接入信道高斯多址接入信道 1miiYXZ2n1222SSnE YPP 信號(hào)平均功率受限： 可達(dá)速率區(qū)是滿足下式的凸閉包：1122211212(;/)(;/)(,; )RI X YXRI X YXRRI XX Y122212,SSE XPE XP8.3.2 高斯多址接入信道高斯多址接入信道 8.3.2 高斯多址接入信道高斯多址接入信道 1221212212121212121( ;

11、 /)( /)( /,)(/)(/,)(/)( /,)()( )1()log22CCCCCCCCCnI X Y XH Y XH Y X XH XXZ XH XXZ X XH XZ XH Z X XH XZH ZH XZe 在平均功率受限的情況下，正態(tài)分布時(shí)熵最大 即只有當(dāng)輸入 ，并且互相獨(dú)立時(shí)上式才能達(dá)到極大值。112212211(;/)log2()log2221log(1)2SnnSnI X YXe PeP 8.3.2 高斯多址接入信道高斯多址接入信道 1212(0,),(0,)SSXNPXNP任意分布，1122121212111222221212121221max (; /)log(1)2

12、1max (; /)log(1)21max (,; )log(1)2XXXXXXSP PnSP PnSSP PnPRCI X Y XPRCI X Y XPPRRCI X X Y8.3.2 高斯多址接入信道高斯多址接入信道 R2 C12 C2 A C C12-C1 D 0 B R1 C12-C2 C1 C12高斯二址接入信道的可達(dá)容量域8.3.2 高斯多址接入信道高斯多址接入信道 12121222122SnSnSSnPRCPRCPPRRC 凸五邊形： B點(diǎn)是發(fā)送者 1 能傳送的最大信息傳輸率C1； D點(diǎn)是發(fā)送者1傳送最大信息率C1情況下，發(fā)送者2所能傳送的信息率C12C1。這時(shí)發(fā)送者1被看成噪聲

13、，計(jì)算輸出Y與X2之間的互信息得2122SSnPRCP8.3.2 高斯多址接入信道高斯多址接入信道 在高斯信道下，可把譯碼考慮成兩步：接收端將發(fā)送端1看成噪聲的一部分，先將發(fā)送端2的碼字譯碼出來。若 譯碼錯(cuò)誤概率可達(dá)任意小。將已成功譯出的發(fā)送端2“減”去，若 則發(fā)送端 1 的碼字能成功譯出。 所以，容量區(qū)域中各個(gè)角點(diǎn)的速率對(duì)是可達(dá)的。2122SSnPRCP112SnPRC8.3.2 高斯多址接入信道高斯多址接入信道 R2 C12 C2 A C C12-C1 D 0 B R1 C12-C2 C1 C12 在許多實(shí)際情況中，常采用時(shí)分多路通信方式。但該方式不是最佳的方案。若兩發(fā)送端各占一半的傳送時(shí)

14、間，可達(dá)容量區(qū)域是 AB 連線所圍的區(qū)域。 8.3.2 高斯多址接入信道高斯多址接入信道 若設(shè)在總傳送時(shí)間 T 內(nèi)，QT用來傳送X1，(1- Q)T 用來傳送X2，其中 。那么在傳送 X1時(shí)， ；在傳送 X2 時(shí)， 。若保持平均功率不變，則傳送 X1 時(shí)功率可以提高到 ，而 X2功率可提高到 ?？傻?1Q20X 10X 1/SPQ21SPQ8.3.2 高斯多址接入信道高斯多址接入信道 112log(1)2SnPQRQ222(1)log 12(1)SnPQRQ8.3.2 高斯多址接入信道高斯多址接入信道 R2 C12 C2 A C E C12-C1 D 0 B R1 C12-C2 C1 C12

15、Q 不同時(shí)，得到不同的 (R1,R2)，即曲線 AEB 所決定的區(qū)域。顯然，除了 Q =1，Q=0 和 Q = 即 B,A,E 三點(diǎn)外，其它情況都在容量界線 ( 截角矩形 ) 之下?？梢娫跁r(shí)分方式下，C,D 對(duì)應(yīng)的速率對(duì)是達(dá)不到的。112/()SSSPPP 對(duì)于頻分多路通信方式，每個(gè)發(fā)送者的傳輸速率依賴于所允許傳輸?shù)膸??？紤]信號(hào)功率分別為 PS1和PS2的二個(gè)發(fā)送端，所占帶寬為 W1和W2。這兩帶寬不重疊，且總帶寬 W=W1+W2。令Q =W1/W是發(fā)送者 1 所占帶寬比，(1-Q)=W2/W是發(fā)送者 2 所占帶寬比，可達(dá)速率對(duì)是 1211012202log 12log 12SSPWRN W

16、PWRN W R2 C12 C2 A C E C12-C1 D 0 B R1 C12-C2 C1 C12 將Q和（1Q）代入，可得110log(1)2SPQRN WQ220(1)log 12(1)SPQRN WQ改變W1和W2( 即 Q 不同時(shí) ) 的可達(dá)速率區(qū) 在相同的平均功率約束下，時(shí)分多址和頻分多址可達(dá)到的信息傳輸速率均小于理論給出的容量域。但適當(dāng)設(shè)計(jì)時(shí)隙分配或帶寬分配的比例，時(shí)分多址和頻分多址都可使速率達(dá)到理論容量域所給的最大值，即E點(diǎn)。 碼分多址技術(shù)中所有信道輸入信號(hào)都占用信道的全部帶寬和時(shí)間，各信號(hào)間不存在時(shí)隙分配或帶寬分配問題。因此，碼分多址的可達(dá)速率域與理論容量域一致。在這一意

17、義上，我們認(rèn)為碼分多址是比較理想的方式。 8.3.2 高斯多址接入信道高斯多址接入信道 R2 C12 C2 A C E C12-C1 D 0 B R1 C12-C2 C1 C12高斯多址接入信道高斯多址接入信道各占一半時(shí)間的各占一半時(shí)間的時(shí)分多址時(shí)分多址Q比例的時(shí)分多比例的時(shí)分多址和頻分多址址和頻分多址碼分多址碼分多址8.4 網(wǎng)絡(luò)中相關(guān)信源的信源編碼 研究多個(gè)相關(guān)信源的編碼問題; 在實(shí)際通信中，常常某個(gè)信宿收到來自不同源的編碼信息。 各信源獨(dú)立：分別處理，單信源通信； 各信源相關(guān)：各種相關(guān)信源編碼模型。信源1信源2編碼器1編碼器2譯碼器1譯碼器2u1lu2lR22R21R12u”1lu”2lu

18、2lR11u1l兩個(gè)信源和兩個(gè)譯碼器之間可有16種不同的聯(lián)接方式 兩個(gè)相關(guān)信源編碼的最基本結(jié)構(gòu)：兩個(gè)信源均為離散無記憶信源。信源1信源2編碼器1編碼器2譯碼器u1lu2lR2R1u1lu2l 采用一個(gè)編碼器：對(duì)于單個(gè)信源U進(jìn)行編碼，傳輸信息率需滿足RH(U)，才能實(shí)現(xiàn)無失真編碼；對(duì)于兩個(gè)信源U1和U2聯(lián)合編碼，傳輸信息率需滿足RH(U1,U2)，才能使譯碼錯(cuò)誤概率為任意小。 采用二個(gè)獨(dú)立的編碼器：uR1H(U1), R2H(U2) R=R1+R2=H(U1)+H(U2)u二個(gè)信源相關(guān)：R=? RH(U1,U2) 例8-4 設(shè)信源U0和U1相互獨(dú)立， 若U2=U0U1，則 H(U1)=H(U2)

19、=1 bit/sym H(U2/U1)=H(U0)=0.5 bit/sym 因此，在已知X的情況下，要確定U2只需0.5 bit，而不需1 bit，因?yàn)閁1與U2有關(guān)聯(lián)性，已知U1時(shí)，已提供了一些關(guān)于U2的信息量，因此只需再獲得H(U2/U1)的信息量，就能完全確定U2。0010.890.11UP1010.50.5UP2010.50.5UP邊信息 由此可見，編碼時(shí)只需保證： R1 H(U1)，R2H(U2/U1)，RH(U1)+H(U2/U1)=H(U1,U2) 這種U1所能提供關(guān)于U2的信息，或U2所能提供關(guān)于U1的信息，稱為邊信息。 相關(guān)信源編碼定理(Slepian-Wolf)： 對(duì)于任意

20、離散無記憶信源X1和X2，所有的可達(dá)速率對(duì)(R1,R2)滿足1122211212(/)(/)(,)RH XXRH XXRRH XX R2H(X1,X2) 可達(dá)速率域 H(X2)H(X2/X1) H(X1/X2) H(X1) H(X1,X2) R1 相關(guān)信源編碼逆定理：如果速率對(duì)(R1,R2)不滿足上式，則無論n多大，平均譯碼錯(cuò)誤概率Pe。8.4.2 具有邊信息的信源編碼 若兩個(gè)信源U1和U2之間統(tǒng)計(jì)相關(guān)，且兩個(gè)信源之間有相互通信聯(lián)絡(luò)。由于有了邊信息(side information)，這樣協(xié)同編碼應(yīng)該比單獨(dú)編碼更有效。信源U1信源U2編碼器編碼器R2u1l圖8-18 具有邊信息的信源編碼R1譯碼器 R2 H(U1,U2) H(U2) H(U2/U1) H(U1/U2) H(U1) H(U1,U2) R1圖8-19 譯碼器只恢復(fù)信源1信息的相關(guān)信源編碼可達(dá)速率域 具有邊信息信源編碼定理：信源U1以速率R1編碼，信源U2以速率R2編碼，對(duì)于離散無記憶信源U1，若譯碼器含有來自信源U2的邊信息，則當(dāng)且僅當(dāng)存在無失真信源編碼，使其譯碼錯(cuò)誤概率為任意小。其中 Z 為離散隨機(jī)變量，它使U1U2Z構(gòu)成馬氏鏈。11(/)RH UZ22(; )RI UZ R2 U2無失真 和U1有失 真編碼區(qū) 無失真編碼區(qū) H