1、信息論與編碼第七章 網(wǎng)絡(luò)信息論,7.1 概述,“However, information theory has not yet made a comparable mark in the field of communication networks, the sister field and natural extension of communication theory, that is today, and is likely to remain for many years, the center of activity and attention in most informati

2、on technology areas.”,-Anthony Ephremides, Bruce Hajek, “Information Theory and Communication Networks: An Unconsummated Union,” 1998.,網(wǎng)絡(luò)信息論研究面臨的問題： 網(wǎng)絡(luò)的模型構(gòu)建 多用戶信息論 多源接入信道 缺乏參考體系 如何選取理論分析的變量，容量域的維數(shù)高 如何保證全網(wǎng)的效率和用戶之間的公平 理論分析的困難 網(wǎng)絡(luò)的分布式造成困難 主觀因素的復(fù)雜導(dǎo)致理論分析的邊界模糊不清,信息論與編碼第七章 網(wǎng)絡(luò)信息論,研究現(xiàn)狀 多址接入信道：研究較為完善，具有反饋的多址接入

3、信道的容量域的確定存在問題。 雙向信道：雙向信道容量域尚未完全解決，已經(jīng)得到了可達(dá)速率區(qū)域的內(nèi)外界。 串?dāng)_信道：串?dāng)_信道尚未完全解決，在某些情況下可以給出上界。 中繼信道：可以給出信道容量的上界。 廣播信道：一般廣播信道的容量域尚未解決，只解決了一些特殊問題。,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信息論與編碼第七章 網(wǎng)絡(luò)信息論,7.2 通信網(wǎng)信道分類,多址接入信道 廣播信道 中繼信道 串?dāng)_信道 雙向信道 多用戶通信網(wǎng) 具有反饋的信道,多址接入信道：多個不同信源的信息經(jīng)過幾個編碼器編碼后，送入同一信道傳送。收端僅僅由一個譯碼器譯出不同信源的信息，送給不同的信宿。 特點：多入單出,信息論與編碼第七章

4、網(wǎng)絡(luò)信息論,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信源1,信源2,信源M,編碼器1,編碼器2,編碼器M,多址接入信道,譯碼器,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信息論與編碼第七章 網(wǎng)絡(luò)信息論,廣播信道：信源信息經(jīng)過一個公用編碼器后，送入信道傳送，信道輸出通過不同的譯碼器譯碼后送給不同信宿 特點：單入多出,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信源1,信源2,信源M,譯碼器1,譯碼器2,譯碼器M,廣播信道,編 碼 器,信息論與編碼第七章 網(wǎng)絡(luò)信息論,中繼信道：一對用戶之間經(jīng)過多種途徑中轉(zhuǎn)所進行的通信信道。,信息論與編碼第七章 網(wǎng)絡(luò)信息論,串?dāng)_信道：有兩個發(fā)送端和兩個接收端，通過一個公共信道傳送信息。 特點：兩

5、路通信間會產(chǎn)生相互干擾。,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信源1,譯碼1,編碼1,串?dāng)_信道,譯碼2,信源2,編碼2,主路,串?dāng)_路,串?dāng)_路,主路,雙向信道： 信道有兩個發(fā)送端和兩個接收端。其中信源1與接收端2在一端，信源2與接收端1在另一端。信源1可根據(jù)接收端2所接收到的符號決定其下時刻發(fā)送什么符號，信源2也可利用接收端1所接收的符號決定其發(fā)送符號。,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信源1,接收端2,譯碼1,雙向信道,編碼1,譯碼2,編碼2,信源2,接收端1,多用戶通信網(wǎng)：由多個相關(guān)信源和信宿組成的多信道的通信。,信息論與編碼第七章

6、 網(wǎng)絡(luò)信息論,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信源1,信源2,信源M,編碼1,編碼2,編碼S,譯碼1,譯碼2,譯碼T,信道,具有反饋的信道：系統(tǒng)的譯碼器輸出有部分信息反饋傳送到編碼器，這種信道稱為具有反饋的信道。,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信源1,信源2,編碼1,編碼2,譯碼,信道,信息論與編碼第七章 網(wǎng)絡(luò)信息論,7.3 相關(guān)信源編碼,相關(guān)信源編碼定理 相關(guān)信源編碼逆定理,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信源S1,信源S2,編碼器1,編碼器2,譯碼器1,譯碼器2,S1,S2,R11,R22,R12,R21,若兩信源相關(guān)，則：,兩個相關(guān)信源和信宿的模型：,信

7、息論與編碼第七章 網(wǎng)絡(luò)信息論,信源S1,信源S2,編碼器1,編碼器2,譯碼器,S1,S2,R1,R2,最有意義的一種,對于單信源，編碼信息率,對于兩用戶，編碼信息率,因此，只要,這種S2所提供關(guān)于S1的信息，或S1 所提供關(guān)于S2的信息，稱為邊信息,信息論與編碼第七章 網(wǎng)絡(luò)信息論,編碼規(guī)則：信源S1輸出N長的信源序列,由編碼器（1）一一映射到整數(shù)集,而信源S2輸出N長的信源序列,由編碼器（2）一一映射到整數(shù)集,編碼是分別獨立進行的，編碼器輸出一對整數(shù),其中 ，這對整數(shù)傳輸?shù)揭粋€共同的譯碼器，經(jīng)過譯碼重建信源序列,信息論與編碼第七章 網(wǎng)絡(luò)信息論,即，編碼函數(shù)為：,譯碼函數(shù)為：,譯碼重建的平均譯碼

8、錯誤概率：,信息論與編碼第七章 網(wǎng)絡(luò)信息論,若存在一種壓縮編碼方法 ，使得,任意小，則速率對 稱為可達(dá)速率對。,所有可達(dá)速率對集合的閉包稱為可達(dá)速率域。,相關(guān)信源編碼定理（SelpianWolf定理）：對于任意離散無記憶信源，所有的可達(dá)速率對滿足,信息論與編碼第七章 網(wǎng)絡(luò)信息論,可達(dá)速率域 R,定理證明思路：采用隨機編碼方法，譯碼規(guī)則為尋找對應(yīng)的典型序列對，當(dāng)R1和R2滿足定理條件時，當(dāng)N足夠大時，錯誤概率將任意小。,信息論與編碼第七章 網(wǎng)絡(luò)信息論,自學(xué)嚴(yán)格證明。,信息論與編碼第七章 網(wǎng)絡(luò)信息論,相關(guān)信源編碼的逆定理：對于任意離散無記憶信源對，不滿足條件,的任何速率對是不可達(dá)的。,信息論與編碼

9、第七章 網(wǎng)絡(luò)信息論,證明思路：利用范諾不等式。,自學(xué)嚴(yán)格證明,信息論與編碼第七章 網(wǎng)絡(luò)信息論,7.4 多址接入信道,離散多址接入信道,多址高斯接入信道,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信源M1,信源M2,編碼器,編碼器,譯碼器,信道,假設(shè)信道離散無記憶，對信源符號序列進行N長編碼，有：,信息論與編碼第七章 網(wǎng)絡(luò)信息論,信源1的消息集：,信源2的消息集：,編碼函數(shù)：,譯碼函數(shù)：,信息論與編碼第七章 網(wǎng)絡(luò)信息論,假設(shè)消息獨立等概分布，則在其聯(lián)合空間上也是均勻分布的，即,平均譯碼錯誤概率為：,信息論與編碼第七章 網(wǎng)絡(luò)信息論,定理1：具有兩個發(fā)端的多址接入信道,其信道容量域由滿足下述凸殼的閉包給定：,

10、其中,信息論與編碼第七章 網(wǎng)絡(luò)信息論,容量區(qū),A,C,D,B,0,當(dāng)兩信源獨立時：,信息論與編碼第七章 網(wǎng)絡(luò)信息論,對于多址接入高斯信道，設(shè)有m個發(fā)送端，每個輸入端的信號平均功率為 ，而信道干擾是均值為零，方差為 的高斯噪聲。信道輸出:,信息論與編碼第七章 網(wǎng)絡(luò)信息論,因Z與X1，X2統(tǒng)計獨立，而X1，X2也統(tǒng)計獨立，有：,因為平均功率受限，正態(tài)分布的熵最大，所以有：,信息論與編碼第七章 網(wǎng)絡(luò)信息論,由定理1可得：,A,C,D,B,0,信息論與編碼第七章 網(wǎng)絡(luò)信息論,E,信息論與編碼第七章 網(wǎng)絡(luò)信息論,7.5 中繼信道,源節(jié)點 S,中繼節(jié)點 R,目的節(jié)點 D,信息的中繼傳輸分為兩種模式： 第一

11、種模式：信源發(fā)出信息到達(dá)R與D，這個階段稱為廣播階段模式（BC）； 第二種模式，S，R都發(fā)消息給D，這是一種多址模式（MAC）。,信息論與編碼第七章 網(wǎng)絡(luò)信息論,半雙工中繼與全雙工中繼： 如果中繼不能在同一波帶上同時發(fā)送和接收則稱為半雙工中繼，否則稱為全雙工中繼。 半雙工中繼意味著發(fā)送和接收的信道必須是正交的；,中繼協(xié)議：如果源和中繼共享其資源，則對于任何已知的編碼方案都有可能獲得最高的流量，這種共享協(xié)作策略被稱為中繼協(xié)議。 DF（Decodeand-Forward）協(xié)議：中繼對源信號進行譯碼然后再對信號進行編碼轉(zhuǎn)發(fā)。當(dāng)源與中繼間信道質(zhì)量較好時，該協(xié)議的是近最優(yōu)的。,信息論與編碼第七章 網(wǎng)絡(luò)信息論,EF（estimate-and-forward ）協(xié)議：中繼節(jié)點不必對源信號進行譯碼，但是它會對源信號進行估計，并將