1、第5章離散信道的信道容量 第5章 離散信道的信道容量?jī)?nèi)容提要 信道對(duì)于信息率的容納并不是無(wú)限制的，它不僅與物理信道本身的特性有關(guān)，還與信道輸入信號(hào)的統(tǒng)計(jì)特性有關(guān)，它有一個(gè)極限值，即信道容量，信道容量是有關(guān)信道的一個(gè)很重要的物理量。這一章研究信道，研究在信道中傳輸?shù)拿總€(gè)符號(hào)所攜帶的信息量，并定義信道容量。 5.1 信道容量的定義 信息傳輸率是衡量通信質(zhì)量的一個(gè)重要指標(biāo)，定理1.1知：對(duì)于固定信道，總存在某種輸入概率分布q(x)，使I（X; Y）達(dá)到最大值，定義這個(gè)最大值為信道容量，記為C。 （比特/碼符號(hào)） （5-2）使I（X; Y）達(dá)到信道容量的分布q (x)為最佳分布。5.2 離散無(wú)記憶信道

2、容量的計(jì)算 定理5.1 如果信道是離散無(wú)記憶（DMC）的，則CN NC， 其中C是同一信道傳輸單符號(hào)時(shí)的信道容量。下面一條定理給出了一維信道和N維信道的信道容量之間的關(guān)系。若 （1） 輸入的N個(gè)符號(hào)統(tǒng)計(jì)獨(dú)立，即信源離散無(wú)記憶,根據(jù)定理2.3有：（2）對(duì)每個(gè)i,輸入分布q (xi) 可使I (Xi; Yj) 達(dá)到信道容量C，則： = = NC CN NC (5-5)綜合式(5-4)和(5-5)，在信源和信道都離散無(wú)記憶的情況下，有CN = NC，即定理中等號(hào)成立，這時(shí)N長(zhǎng)序列的傳輸問(wèn)題可歸結(jié)為單符號(hào)傳輸問(wèn)題。5.2.1 達(dá)到信道容量的充要條件 定理5.2 使平均互信息量I（X; Y）達(dá)到信道容量

3、C的充要條件是信道輸入概率分布 ，簡(jiǎn)記為q (X) = q (x1), q (x2), , q (xM)滿(mǎn)足： (5-6)介紹幾種無(wú)噪信道，對(duì)于無(wú)噪信道，信道的輸入X和輸出Y之間有著確定的關(guān)系，一般有三類(lèi)：無(wú)損信道、確定信道和無(wú)損確定信道?！纠?.2】 無(wú)損信道 無(wú)損信道的輸入符號(hào)集元素個(gè)數(shù)小于輸出符號(hào)集的元素個(gè)數(shù)，信道的一個(gè)輸入對(duì)應(yīng)多個(gè)互不交叉的輸出，如圖5-2所示，信道輸入符號(hào)集X =x1, x2, x3，輸出符號(hào)集Y =y1, y2, y3, y4, y5，其信道轉(zhuǎn)移概率矩陣記為，計(jì)算該信道的信道容量。 圖5-2 無(wú)損信道x1x2x3y1y2y3y5y62/61/63/61/21/21y

4、42. 根據(jù)定義計(jì)算信道容量C從上式可看出，求信道容量C的問(wèn)題轉(zhuǎn)化為尋找某種分布q (x) 使信源熵H（X）達(dá)到最大，由極大離散熵定理知道，在信源消息等概分布時(shí) ，熵值達(dá)到最大，即有1. 先考察平均互信息量I（X; Y）= H（X）-H（XY），在無(wú)噪信道條件下，H（XY）= 0，則平均互信息量I（X; Y）= H（X）3. 根據(jù)平均互信息量I（X; Y）達(dá)到信道容量的充要條件式（5-6）對(duì)C進(jìn)行驗(yàn)證：先根據(jù)計(jì)算出(yj)， j =1,2,3,4,5,6再計(jì)算出：5.2.2 幾類(lèi)特殊的信道 定義5.1 如果信道轉(zhuǎn)移概率矩陣P中，每一行元素都是另一行相同元素的不同排列，則稱(chēng)該信道關(guān)于行（輸入）對(duì)

5、稱(chēng)。定義5.2 如果信道轉(zhuǎn)移概率矩陣P中，每一列元素都是另一列相同元素的不同排列，則稱(chēng)該信道關(guān)于列（輸出）對(duì)稱(chēng)。定義5.3 如果信道轉(zhuǎn)移概率矩陣P可按輸出符號(hào)集Y分成幾個(gè)子集（子矩陣），而每一子集關(guān)于行、列都對(duì)稱(chēng)，稱(chēng)此信道為準(zhǔn)對(duì)稱(chēng)信道。 1. 準(zhǔn)對(duì)稱(chēng)信道【例5.6】 信道輸入符號(hào)集X = x1, x2，輸出符號(hào)集Y = y1, y2, y3, y4，給定信道轉(zhuǎn)移概率矩陣 ，求該信道的信道容量C。 這是一個(gè)準(zhǔn)對(duì)稱(chēng)信道，根據(jù)定理5.3，當(dāng)X等概分布，時(shí)，信道容量平均互信息量 I（X; Y）= H（Y）-H（YX） (5-7) 定理5.3 實(shí)現(xiàn)DMC準(zhǔn)對(duì)稱(chēng)信道的信道容量的分布為等概分布。由 ，先算出

6、 (5-8) 將式(5-8)和 代入式(5-7)，可算得信道容量 = 0.0325 (比特/符號(hào))【例5.8】 信道輸入符號(hào)集X = x1, x2 ，輸出符號(hào)集Y = y1, y2, y3，給定信道轉(zhuǎn)移概率矩陣 ，求信道容量C。設(shè)使平均互信息量達(dá)到信道容量的信源分布為 q(x1) = ， q(x2) =1- 。由 可算出 2. 信源只含兩個(gè)消息 平均互信息量I(X; Y) = H(Y) H (YX) = -(1-q) log + (1-) log (1-)根據(jù)定義，求C的問(wèn)題就轉(zhuǎn)化為為何值時(shí)，I (X; Y ) 達(dá)到最大值。令則信道容量 C = I (X; Y)a=0.5 = 1-q 計(jì)算信道

7、容量C按下面步驟進(jìn)行： (1)先驗(yàn)證信道轉(zhuǎn)移概率矩陣P =p(yjxi)是方陣，且矩陣P的行列式p(yjxi)0； 3.信道轉(zhuǎn)移概率矩陣為非奇異方陣 (2)計(jì)算出逆矩陣P= p-1 (yjxk)； (3)根據(jù)式（5-17），計(jì)算出； (4)根據(jù)式（5-18），計(jì)算出信道容量C； (5) 驗(yàn)證是否滿(mǎn)足q(xi) 0， i =1, 2, , K。l先由式（5-16）計(jì)算出（yk） k =1, 2, , Kl再由式（5-21） 計(jì)算 【例5.9】 給出信道轉(zhuǎn)移概率矩陣，求信道容量C。 （1）P矩陣的行列式，說(shuō)明P是一個(gè)非奇異方陣。（2）P的逆矩陣（3）算出 （4）信道容量 （奈特/碼符號(hào)） （5）下

8、面驗(yàn)證是否q (xi) 0，i =1, 2 l先根據(jù) 算出l再算得 圖59 兩個(gè)信道5.3 組合信道的容量 考慮有兩個(gè)信道。信道1信道2： 信道編碼器XY信道譯碼器X /Y /5.3.1 獨(dú)立并行信道 在這種情況下，二個(gè)信道作為一個(gè)信道使用，傳送符號(hào) ，接收符號(hào) ，根據(jù)定理2.4，對(duì)于離散無(wú)記憶信道，下式成立 （5-22） 對(duì)上面不等式兩邊取最大值，得 C C 1 + C2 （5-23） 推廣到N個(gè)信道的并行組合，當(dāng)N個(gè)信道并行獨(dú)立使用時(shí)，記Ck (k = 1, 2, , N )為第k個(gè)信道的信道容量，C為組合信道的總?cè)萘?，則有 （5-24） 等號(hào)成立的條件，都要求信源離散無(wú)記憶，即要求信道獨(dú)

9、立使用且輸入獨(dú)立。 5.3.2 和信道 兩個(gè)信道輪流使用，使用概率分別為p1, p2，且p1+p2 = 1，記概率分布P =（p1, p2），和信道的平均互信息計(jì)算如下 I（P）= I（p1, p2）= p1I（X;Y）+ p 2 I（X /;Y /）+ H 2（P）式中：H 2（P）= - p1 log p1 - p2 log p2。根據(jù)定義，有 （5-26） 求使式(5-26)取極大值的P 令 ，對(duì)數(shù)以2為底，注意到p2 = 1- p1，得記 C1 - log p1 = C2 - log p2 = （為待定常數(shù)） （5-27） 從式（5-27）中解出： （5-28） 將式(5-28)代入條

10、件p1+p2 = 1，得 （5-29）式（5-28）中的p1, p2就是使平均互信息量I（p1, p2）達(dá)到最大的取值，將其代入式（5-26），得： = （p1+p2）= 將式（5-29）代入式（5-30）得：推廣到N個(gè)信道輪流使用的情況, 當(dāng)N個(gè)信道以不同概率輪流使用時(shí)，記Ck (k = 1, 2, , N )為第k個(gè)信道的信道容量，C為組合信道的總?cè)萘?，則有 （5-31） 5.3.3 串行信道 將兩個(gè)信道級(jí)聯(lián)，有X / = Y，如圖5-10所示 。X信道1信道2Y /Y =X / 圖5-10 串行信道 串行信道的信道轉(zhuǎn)移概率用矩陣表示為： （5-32） 串行級(jí)聯(lián)信道的信道轉(zhuǎn)移概率趨向于兩個(gè)

11、獨(dú)立信道轉(zhuǎn)移概率的均值。若將N個(gè)轉(zhuǎn)移概率相同的信道級(jí)聯(lián)，當(dāng)N 時(shí)，其總信道容量將趨于零。 信道1：P1 = p (yx) ，信道2：P2 = p (yx ) ，信道1和信道2是獨(dú)立的，信道2的輸出Z只與其輸入Y及信道轉(zhuǎn)移概率P2 = p (yx )有關(guān)，而與X無(wú)關(guān)。因此信道1和信道2串連就構(gòu)成了一個(gè)馬爾可夫鏈，對(duì)于馬爾可夫鏈有如下定理：X信道1信道2ZY圖511 馬爾可夫鏈 數(shù)據(jù)處理定理：無(wú)論經(jīng)過(guò)何種數(shù)據(jù)處理，都不會(huì)使信息量增加。定理5.4 若隨即變量X、Y、Z組成一個(gè)馬爾可夫鏈，如圖5-11所示，則有 I（X; Z） I（X; Y） （5-33） I（X; Z） I（Y; Z） （5-34）

12、【例5.11】 兩個(gè)離散信道 ， ，將它們串行連接使用，如圖 5-10，計(jì)算總信道容量C。（1）先計(jì)算總信道的信道轉(zhuǎn)移概率矩陣 串聯(lián)信道的總信道矩陣P等于第一級(jí)信道的信道矩陣P1，從而概率滿(mǎn)足p (yx) = p (zx) (對(duì)所有的x，y，z) （5-36） 對(duì)式（5-36）兩邊關(guān)于x求和，得 p (y) = p (z) （5-37） 對(duì)式（5-36）兩邊關(guān)于x求和，得 p (y) = p (z) （5-37）利用式（5-37），由式（5-36）得(2)計(jì)算信道容量C 在例5.11中，第一個(gè)信道是輸入只有兩個(gè)消息的情況，設(shè)最佳分布為 q (x1) = ，q (x2) = 1-，仿照例5.8可算出 = 0.4，則信道容量C = C1 = 0.32 (比特/符號(hào))。本章主要定義了信道容量及討論了信道容量的計(jì)算方法。討論并證明了使平均互信息量達(dá)到信道容量的充要條件，并給出如下幾種情況下信道容量的計(jì)算方法（1） 準(zhǔn)對(duì)稱(chēng)信道（2） 信源只含兩個(gè)消息（3） 信道轉(zhuǎn)移概率矩陣為可逆方陣還討論了多個(gè)信道組合使用情況下，總信道容量的計(jì)算方法，討論了以下幾種情況：（1）N個(gè)信道獨(dú)立并行使用：記每個(gè)信道單獨(dú)使用時(shí)的信道容量為Ck ，k=1,2, , N，則總信道容量C滿(mǎn)足 ，當(dāng)N個(gè)信