§信道容量的計算這里，我們介紹普通離散信道的信道容量計算辦法，根據(jù)信道容量的定義，就是在固定信道的條件下，對全部可能的輸入概率分布求平均互信息的極大值。前面已知是輸入概率分布的上凸函數(shù)，因此極大值一定存在。而是個變量的多元函數(shù)。并且滿足。因此可用拉格朗日乘子法來計算這個條件極值。引入一種函數(shù)：解方程組（）能夠先解出達成極值的概率分布和拉格朗日乘子的值，然后在解出信道容量。由于而，因此。解（）式有（對都成立）又由于因此式方程組能夠轉(zhuǎn)化為假設(shè)使得平均互信息達成極值的輸入概率分布這樣有從而上式左邊即為信道容量，得現(xiàn)在令式中，是輸出端接受到Y(jié)后獲得有關(guān)的信息量，即是信源符號對輸出端Y平均提供的互信息。普通來講，值與有關(guān)。根據(jù)（）式和（）式，因此對于普通離散信道有以下定理。定理普通離散信道的平均互信息達成極大值（即等于信道容量）的充要條件是輸入概率分充滿足對全部的對全部的這時C就是所求的信道容量。對于離散信道來說，其實信道容量尚有一種解法：迭代解法。定理設(shè)信道的向前轉(zhuǎn)移概率矩陣為，是任給的輸入字母的一種初始概率分布，其全部分量。按照下式不停地對概率分布進行迭代，更新：其中由此所得的序列收斂于信道容量C。我們還能夠?qū)⑸鲜鲞^程寫成算法方便編制程序?qū)崿F(xiàn)（如圖）開始開始圖信道容量的迭代算法對于某些特殊的離散信道，我們有方便的辦法計算其信道容量。定義設(shè)X和Y分別表達輸入信源與輸出信源，則我們稱為損失熵，為信道噪聲熵。如果信道的損失熵，則次信道容量為（bit/符號）這里輸入信源X的信源符號個數(shù)為。如果信道的噪聲熵，則此信道容量為（bit/符號）這里輸出信源符Y的符號個數(shù)為s.定義一種信道Q稱為對稱離散信道，如果它滿足下面的性質(zhì)：信道Q矩陣中每一行是另一行的置換；每一列式另一列的置換。例如，信道矩陣和滿足對稱性，因此對應(yīng)信道是對稱離散信道。定義對稱離散信道的信道容量為（bit/符號）上式只與対稱信道矩陣中行矢量和輸出符號集的個數(shù)s有關(guān)。證明而由于信道的對稱性，因此與無關(guān)，為一常熟，即接著舉一種例子加以闡明。例某對稱離散信倒的信道矩陣為用公式計算信道容量（bit/符號）定義若信道矩陣Q的列能夠劃分成若干互不相交的子集矩陣，即且。由為列構(gòu)成的矩陣是對稱矩陣，則稱信道矩陣Q所對應(yīng)的信道為準對稱信道。例如，信道矩陣都是準對稱信道，在信道矩陣中，Y能夠劃分為三個子集，由子集的列構(gòu)成的矩陣為，，它們滿足對稱性，因此對應(yīng)的信道是準對稱信道。同理可劃分為，這兩個矩陣也滿足對稱性。下面，我們給出準對稱離散信道的信道容量計算公式其中，是輸入符號集的個數(shù)，為準對稱信道矩陣中的行矢量。設(shè)矩陣可劃分為個互不相交的子集。是第個子矩陣中行元素之和，是第個子矩陣中列元素之和，即并且能夠證明達成準對稱離散信道容量的輸入分布式等概分布，我們將推導(dǎo)作為習(xí)題留給讀者。001-p-q001-p-qqpp2q1-p-q11可表達成如圖所示，計算其信道容量根據(jù)上面計算公式可得則有圖下面我們舉某些其它信道容量的例子例設(shè)離散信道如圖所示，輸入符號集為，輸出符號集為，信道矩陣為圖由于輸入符號傳遞到和是等概率的，因此能夠省去。并且與，都分別傳遞到和，因此可只取和，因此設(shè)輸入概率分布，，能夠計算得，由定理得可見，此假設(shè)分充滿足定理，因此，信道容量（bit/符號）最佳分布是若設(shè)輸入分布為。同理可得，根據(jù)定理有從而，輸入分布也是最佳分布，可見，信道最佳輸入分布不是唯一的。對于普通的離散信道，我們很難運用特殊計算辦法，因此只能采用解方程組式（）的辦法。我們將（）式的前r個方程組改寫成移項后得令，代入上式得化為矩陣形式為這是含有個未知數(shù)個方程的非齊次線性方程組。如果設(shè)，信道矩陣為非奇異矩陣，則此方程組有解，并且能夠求出的數(shù)值，然后根據(jù)求得信道容量（bit/符號）由這個值可解得對應(yīng)的輸出概論分布。再根據(jù)即可解出達成信道容量的最佳輸入分布。下面給出一例。例設(shè)離散無記憶信道輸入的符號集為，輸出的符號集為，如圖所示。其信道矩陣為1/2 1/41/4111/41/41/2我們才用上面所講的辦法來計算信道容量：解方程組得信道容量（bit/符號）又求得輸出分布因此能夠求得最佳輸入分布為例設(shè)有兩個獨立并聯(lián)信道如圖，計算它的信道容量。信道1信道1信道2信道2解根據(jù)定理有即聯(lián)合平均互信息不不不大于各自信道的平均互信息之和，因此得到獨立并聯(lián)信道的信道容量為，是個獨立信道的信道容量。只有當輸入符號互相獨立，且輸入符號的概率分布達成各子信道容量的概率分布時，獨立并聯(lián)信道的信道容量才等于各信道容量之和，即這個辦法推廣到N個獨立并聯(lián)信道容量的計算，即有對于信道Ⅰ和Ⅱ，我們將它串聯(lián)起來構(gòu)成新的信道（如圖）信道Ⅰ信道Ⅰ信道Ⅱ圖則此信道容量為例設(shè)有兩個離散二元對稱信道（BSC信道），其串聯(lián)信道如圖，并設(shè)第一種信道輸入符號集的概率空間為二元對稱信道Ⅰ二元對稱信道Ⅰ二元對稱信道ⅡXY