1、第三章 信道與信道容量,3-1 引言,1什么是信道？ 信道是傳送信息的載體信號所通過的通道。 信息是抽象的，信道則是具體的。比如：二人對話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機，收、發(fā)間的空間就是信道。 2信道的作用 在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。 3研究信道的目的 在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。,3-2 信道的分類與描述,（一） 信道分類,信道可以從不同角度加以分類，但歸納起來可以分為： 從工程物理背景傳輸媒介類型； 從數(shù)學描述方式信號與干擾描述方式；

2、從信道本身的參數(shù)類型恒參與變參； 從用戶類型單用戶與多用戶； 等方面加以分類：,（一） 信道分類 （續(xù)）,（一） 信道分類 （續(xù)）,（一） 信道分類 （續(xù)）,信道劃分是人為的，比如：,（一） 信道分類 （續(xù)）,其中：c1為連續(xù)信道，調(diào)制信道； c2為離散信道，編碼信道； c3為半離散、半連續(xù)信道； c4為半連續(xù)、半離散信道。,（二） 信道描述,信道可以引用三組變量來描述： 信道輸入概率空間： ; 信道輸出概率空間： 信道概率轉(zhuǎn)移矩陣：,（二） 信道描述 （續(xù)）,當K=1時，退化為單個消息（符號）信道；進一步當n=m=2時，退化為二進制單個消息信道。若它滿足對稱性，即構(gòu)成最常用的二進制單消息對稱

3、信道BSC：,3-3 無干擾離散信道（略）,3-4 有干擾時單個消息（符號）信道及其容量,這里，仍類似于信源，從最基本、最簡單的單個消息（符號）開始，再逐步將其推廣至消息序列信道以及多用戶信道。,（一） 離散單消息信道與信道容量,下面，我們首先將互信息表達成概率的函數(shù)：,（一） 離散單消息信道與信道容量 （續(xù)）,兩種表達式中，這里選用 。 一般當信道給定以后， （ 已知）,（一） 離散單消息信道與信道容量 （續(xù)）,（二）強對稱信道:,其中：,它具備三個特征： 1 矩陣中的每一行都是第一行的重排列；矩陣中的每一列都是第一 列的重排列。 2 錯誤分布是均勻的，為 3 信道輸入與輸出消息（符號）數(shù)相

4、等，即m=n。 顯然，對稱性基本條件是1，而2、3是加強條件。,（二）強對稱信道 （續(xù)）:,下面，我們放松對信道的約束，僅滿足條件1，就構(gòu)成一般性對稱信道。 例：,（二）強對稱信道 （續(xù)）:,（二）強對稱信道 （續(xù)）:,定理3-4-1：對于單個消息離散對稱信道，當且僅當信道輸入輸出均為等概率分布時，信道達到容量值。,即 證：,由信道對稱性： 第i行（每一行）都是第一行重排列，即與行序號i無關(guān)，而 （給定）。 由信道容量定義：,（二）強對稱信道 （續(xù)）:,（三） 準對稱信道,再進一步放松條件 若P(/)不滿足對稱條件，但是， ，其中r=1,2s。且所有Pr滿足對稱性條件，則稱P為準對稱信道。 例

5、：,顯然子陣P1,P2滿足可排列性（行，列） 對準對稱信道有下列定理.,（三） 準對稱信道 （續(xù)）,定理3-4-2：對于單消息、離散、準對稱信道，當且僅當信道輸入為等概率分布時，信道達容量值:,且,證：較繁，自己看書 具有可逆矩陣信道及其容量,其特點是： P一定為方陣，存在逆陣,離散單消息（或無記憶）信道，容量C的計算機迭代算法： 基本思路： 1 求C即求互信息極值，可以采用拉氏乘子求條件極值方法求解； 2 實現(xiàn)迭代關(guān)鍵在于尋求兩個互為因果關(guān)系并決定互信息的自變量，即從,（三） 準對稱信道 （續(xù)）,互為因果，,求解步驟：,將改寫為迭代形式：,迭代步驟示意圖如下:,當 (或足夠大時)，計算,可進

6、一步證明: 1 即收斂于信道容量值,2收斂速度取決于:,3-5 離散消息序列信道及其容量,由消息序列互信息 性質(zhì)，對離散無記憶信道，有,1離散無記憶信道,則,當且僅當信源(信道入)無記憶時，“等號”成立。,2離散，平穩(wěn)，有記憶信道:,2離散，平穩(wěn)，有記憶信道 （續(xù)）:,2離散，平穩(wěn)，有記憶信道 （續(xù)）:,3-6 連續(xù)信道及其容量,（一）連續(xù)單消息信道及其容量,1 高斯信道,其中：,I(X;Y)=HC(Y)-HC(Y/X),1 高斯信道 （續(xù)）,2 一般迭加性干擾信道,天電、工業(yè)干擾、其它脈沖干擾屬迭加性干擾，它們是非高斯型分布。有以下定理： 定理3-6-1：對迭加性連續(xù)信道，收到平均功率（方差

7、）為2的非高斯干擾影響時，當信道輸出平均功率P一定時，其容量上下界為：,證：上界顯見，下面給出下界證明。 主要思路利用正態(tài)性與Jensen不等式。 當信道輸入X,輸出Y以及噪聲N為正態(tài)時： x N(0,S), y N(0,P), n N(0,2)并設(shè)，當信道輸入X為正態(tài)時，互 信息可表示為：IN(X;Y)。則,（一）連續(xù)單消息信道及其容量 （續(xù)）,2 一般迭加性干擾信道 （續(xù)）,由信道容量定義，有,結(jié)論：高斯信道容量是一切平均功率受限的迭加性非高斯信道容量的下限值。 其它分布的容量都比高斯容量大，因此高斯容量是一切分布容量值最保守的估計值。,2 一般迭加性干擾信道 （續(xù)）,（二）廣義平穩(wěn)的限頻

8、(F)、限時(T)、限功率(P)白色高斯信道及其容量C。,對限頻(F)、限時(T)的連續(xù)過程信源可展成下列取樣函數(shù)序列：,現(xiàn)將這2FT個樣值序列通過一個功率受限(P)的白色高斯信道并求其容量值C。 定理3-6-2：滿足限頻(F)、限時(T)的廣義平穩(wěn)隨機過程信源X(t,w)，當它通過一個功率受限(P)的白色高斯信道，其容量為：,這就是著名的Shannon公式。,則單位時間T=1時的容量為：,（二）廣義平穩(wěn)的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C。（續(xù)）,證：前面已求得單個連續(xù)消息（第k個）通過高斯信道以后的容量值為：,同時，在消息序列的互信息中已證明當信源、信道滿足無記憶時

9、，下列結(jié)論成立：,由信道容量定義，有,（二）廣義平穩(wěn)的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C。（續(xù)）,當信源、信道均滿足廣義平穩(wěn)、限頻、限時并具有白色譜特征，則時域相關(guān)函數(shù)樣點值是不相關(guān)的。,（二）廣義平穩(wěn)的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C。（續(xù)）,對于高斯分布，不相關(guān)與統(tǒng)計獨立是等效的，即滿足： 信源無記憶： 信道無記憶：,下面，討論Shannon公式的物理意義與用途：,（二）廣義平穩(wěn)的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C。（續(xù)）,它給出了決定信道容量C的是三個信號物理參量：F、T、 之間的辯證關(guān)系。,三者的乘積是一個“可塑

10、”性體積（三維）。 三者間可以互換。 下面舉例說明： 1 用頻帶換取信噪比：擴頻通信原理。 雷達信號設(shè)計中的線性調(diào)頻脈沖，模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強。 數(shù)字通信中，偽碼(PN)直擴與時頻編碼等，帶寬越寬，擴頻增益越大，抗干擾性就越強。 下面僅以偽隨機碼（PN）直擴系統(tǒng)為例： 采用m序列：m=2n-1. 為了簡化，取n=3,m=23-1=7.,（二）廣義平穩(wěn)的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C。（續(xù)）,（二）廣義平穩(wěn)的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C。（續(xù)）,2 用信噪比換取頻帶 衛(wèi)星、數(shù)字微波中常采用的有： 多電平調(diào)制

11、、多相調(diào)制、高維星座調(diào)制等等。(M-QAM)它利用高質(zhì)量信道中富裕的信噪比換取頻帶，以提高傳輸有效性。,3 用時間換取信噪比 弱信號累積接收基于這一原理。,（二）廣義平穩(wěn)的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C。（續(xù)）,t=T0 為分界線。 信號功率S有規(guī)律隨時間線性增長，噪聲功率2無規(guī)律，隨時間呈均方根增長。,Shannon公式另一種形式：,（二）廣義平穩(wěn)的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C。（續(xù)）,其中，N0為噪聲密度，即單位帶寬的噪聲強度，2= N0F; E 表示單位符號信號的能量，E=ST=S/F； E/N0 稱為歸一化信噪比.也稱為能量信噪

12、比. 當E/N01時，,（三）有公共約束的連續(xù)消息序列信道,上面研究了平穩(wěn)無記憶消息序列信道，這里進一步研究非平穩(wěn)無記憶消息序列信道。但仍受到一定的公共約束條件。,對這類信道，主要問題是如何分配功率Sk,才能使其達到真正的容量值C。這仍是一個求條件極值的問題。,這時:,（三）有公共約束的連續(xù)消息序列信道（續(xù)）,引用拉氏乘子法，有,結(jié)論：只有當輸出序列中各分量相等時（為常量），信道才達到C值。這就是著名的水庫（注水）定理。即擇優(yōu)選取原理，而不是扶貧。噪聲小分配信號功率大，噪聲大分配信號功率小。,（三）有公共約束的連續(xù)消息序列信道（續(xù)）,對于滿足迭加性、連續(xù)高斯非白噪聲限頻信道以及頻率特性不理想、

13、或者頻率選擇性的高斯信道，也可以類似的來用上述方法求解其容量值。這些在接入網(wǎng)的不對稱數(shù)字用戶線ADSL以及寬帶無線數(shù)據(jù)的頻率選擇性信道中將會遇到這類情況。 令N(f)為高斯噪聲功率譜。 總噪聲功率為： 且受限于：,其中G(f)為信號功率譜，F(xiàn)為帶寬，由于頻率特性非白，則可將F分割為很多子頻段f,在f中可近似認為其頻譜是白色的。則可引用前面的Shannon公式：,引用拉氏乘子法，有,（三）有公共約束的連續(xù)消息序列信道（續(xù)）,則,且 （受限）,其中,為了保證上式中的G(f)0，還必須將一切G(f)0的頻段棄之不用。它一般只能采用數(shù)值解法，求得可用頻段F1為：,（三）有公共約束的連續(xù)消息序列信道（續(xù)

14、）,m(F1)是F1的勒貝格(L)測度，這是由于F1可能不是一個連續(xù)區(qū)間。最后，求得,3-7 容量代價函數(shù)C(F),實際問題中信道使用是有代價的。比如占用資源、占用資金等。 下面從最簡單的單個離散消息信道來討論它。 設(shè)信道輸入集合： 信道輸出集合： 信道轉(zhuǎn)移概率： 使用信道的代價函數(shù)： 總代價為F,且 則有：,為了運算方便，可去掉不等號，則有下列容量代價函數(shù)：,類似地，對單個連續(xù)消息信道亦有：,信道冗余度Rc:,3-7 容量代價函數(shù)C(F) （續(xù)）,類似于信源效率有： 稱c為信道效率。,稱Rc為信道相對冗余度。顯然，對于無干擾信道： I(X;Y)=H(X), max I(X;Y)=max H(

15、X)=log n,同理：,則,3-8 多用戶信道,前面討論的都是單用戶信道，它是建立在點對點通信的基礎(chǔ)上，然而對于現(xiàn)代的移動通信、衛(wèi)星通信、通信網(wǎng)、信息網(wǎng)實際上都是多點對多點的多用戶信道。對于單用戶信道實際上可分為兩類： 單用戶信道 后者可表為：,稱將多個用戶信源合并為一個單用戶信道的技術(shù)稱為信號復用技術(shù)。又稱為信號設(shè)計技術(shù)。,目前的信號復用基本上都屬于線性正交復用，它可劃分為三類：,3-8 多用戶信道 （續(xù)）,若考慮實際因素，則有：,顯然，信號的正交性主要體現(xiàn)在信號參量（時間Ti頻帶Fi）的正交性上，可見信號設(shè)計就是要尋找一組正交或準正交信號參量i, i=1,2n。 在發(fā)端，設(shè)計：,3-8

16、多用戶信道 （續(xù)）,稱x0為保護區(qū)間, 為子保護區(qū)間。,在收端，可設(shè)計：,3-8 多用戶信道 （續(xù)）,當i=Fi，稱它為頻分，它就是載波通信的基本原理。 當i=Ti，稱它為時分，它就是時分PCM多路通信的基本原理。 當i=Ci，稱它為碼分，它就是碼分多路通信的基本原理。 而F0i為保護頻帶， T0i為保護時隙， C0i為禁用碼組。 若將這一在基帶或中頻上實現(xiàn)的正交復用技術(shù)推廣至射頻，就形成了多用戶信道的多址正交技術(shù)。,下面研究多用戶信道物理背景：,3-8 多用戶信道 （續(xù)）,1 多址信道：,特點：多輸入、單輸出信道，稱它為多址信道;,特點：單個輸入，多個輸出信道，稱為廣播信道。,2 廣播信道：

17、,多用戶信道物理背景： （續(xù)）,可見第12為3的特例： （1）當i=j=1,退化為單用戶信道； （2）當i=1n, j=1, 為多址信道； （3）當i=1，j=1n，為廣播信道 （4） i=1n, j=1n,為一般隨機接入信道。,多用戶信道物理背景： （續(xù)）,3 隨機接入信道,二址信道分析如下：（離散）,多址信道：,設(shè),則 R1、R2與R1+R2應(yīng)滿足,多址信道編碼定理將證明：,多址信道 （續(xù)）：,多址信道 （續(xù)）：,若三類分布不相等,多用戶：容量為一截角邊界線：,信道容量概念的推廣： 單用戶：容量為一個實數(shù)值：,容量區(qū)域：單用戶：為一區(qū)間： 多用戶：為一區(qū)域：截角多邊形面積,下面將二址推廣到

18、N址接入信道： 若給定信道轉(zhuǎn)移概率為： 則可分別規(guī)定各信源信息率的限制為：,類似可證明：當各信源相互獨立時：,這一結(jié)果表明，多址信道的容量區(qū)域是一個N維空間的體積，是滿足所有限制條件下的截角多面體凸包。,例1：N=3，三維情況：,例2：下面具體分析時分（頻分）和碼分在二址情況下的容量： 設(shè)在二址信道中傳送K個符號串， 對一維的時（頻）分可設(shè)：,顯然它是小于二址信道的容量界限。 即三角形面積小于截角四邊形面積。 至于碼分，它實質(zhì)上是屬于二維劃分。其結(jié)果應(yīng)優(yōu)于一維的時（頻）分。,當,例2 （續(xù)）：,例3：若 信道中無干擾，且條件概率如下：,例3 （續(xù)）：,當 已知時，可求得,則由上述條件概率表，有

19、：,由條件概率表,將上式分別對p與p取偏導并至之為0， 可解得： 則,例3 （續(xù)）：,其中,可見，碼分可以突破時分、頻分的容量界限。,例4：對連續(xù)二址信道,例4 （續(xù)）：,坐標系中的容量區(qū)域為下：,利用C1、C2、C12求得,同理,這里，再來分析連續(xù)信源時（頻）分方式： 在總時隙T內(nèi)：,例4 （續(xù)）：,則：,其中，,例4 （續(xù)）：,廣播信道：單輸入多輸出信道。,仍以最簡單二輸出為例：,其中 為兩獨立信源，,且：,這里以連續(xù)變量為例：有,廣播信道：單輸入多輸出信道 （續(xù)）,其中：,廣播信道：單輸入多輸出信道 （續(xù)）,這樣可求得關(guān)于R1、R2與R1+R2界限區(qū)域為 則,即包含所有這些區(qū)域的外凸包。

20、一般求解這個外凸包很困難，至今沒有找到確切求解方法。能夠求解的僅是一些特例。比如降階的退化廣播信道，這時信道轉(zhuǎn)移概率滿足：,廣播信道：單輸入多輸出信道 （續(xù)）,由概率論：,與上述退化條件對比，得,它要求y2與x無關(guān)，即X、Y1、Y2組成馬氏鏈。,即若有 存在，則稱該信道為降價或退化型廣播信道。有很多實際信道可滿足上述退化條件：比如下列馬氏鏈信道：,例：對于正態(tài)信道：,廣播信道：單輸入多輸出信道 （續(xù)）,廣播信道：單輸入多輸出信道 （續(xù)）,且設(shè) ，可得一個y1y2二元函數(shù),結(jié)合編碼器為一個普通加法：,X=U1+U2 Y1=X+n1 Y2=X+n2,且U1、U2相互獨立，EX2=P1+P2=P（受限）由限功率高斯信道理論，要使這類退化廣播信道互信息達最大，則要求X為正態(tài)變量，再由正態(tài)變量性質(zhì)，兩個正態(tài)變量和亦為正態(tài)，所以Y1、Y2都是正態(tài)。故有下列條件方差：,這時R1、R2、R1+R2受限條件為：,廣播信道：單輸入