1、4.2 離散單個符號信道及其容量,4.2.1 離散單符號信道及其容量 4.2.2 離散無干擾信道 4.2.3 對稱信道 4.2.4 準(zhǔn)對稱信道 4.2.5 一般離散信道的信道容量,3.2 離散單個符號信道及其容量,信息傳輸率R：信道中平均每個符號所能傳送的信息量 信息傳輸速率Rt:信道在單位時間內(nèi)平均傳輸?shù)?信息量。t為平均傳送一個符號所需的時間。,對于某特定的信道，轉(zhuǎn)移概率p(bj|ai)已經(jīng)確定，則互信息是關(guān)于輸入符號分布概率的凸函數(shù)。 也就是說可以找到某種概率分布p(ai)，使I(X;Y)達(dá)到最大，也即R 達(dá)到最大，該最大值就是信道所能傳送的最大信息量，即信道容量。 信道容量也可定義為信

2、道的最大的信息傳輸速率Rt。,【注】、一般地，我們只考慮第一種定義方式。,說明： 信道容量是信道本身的特性，與信源無關(guān)； 不是所有的信源傳輸符號時都可以達(dá)到這個傳輸速率，使信道達(dá)到最大傳輸率的輸入概率分布稱為最佳輸入分布； 信道容量是信息傳輸率R的上限，定量了信道信息的最大通過能力。,信道傳遞信息過程中引入兩個定義：,1、信道疑義度:H(X|Y) 2、噪聲熵:H(Y|X),1、信道疑義度,這是收到 后關(guān)于X的后驗熵，表示收到 后關(guān)于輸入符號的信息測度,這個條件熵稱為信道疑義度，表示輸出端在收到一個符號后，對輸入符號尚存的不確定性，這是由信道干擾造成的，如果沒有干擾，H(X|Y)=0,一般情括下

3、H(X|Y)小于H(X)，說明經(jīng)過信道傳輸，總能消除一些信源的不確定性，從而獲得一些信息。,I(X;Y)=H(X)-H(X|Y)= H(Y)-H(Y|X),2、噪聲熵,平均互信息I(X;Y)表示信道傳遞的信息量。,H(X|Y)即信到疑義度，也表示通過有噪信道造成的損失，故也稱為損失熵，因此信源的熵等于收到的信息量加上損失的熵；而H(Y|X)表示已知輸入的情況下，對輸出端還殘留的不確定性，這個不確定性是由噪聲引起的，故也稱之為噪聲熵。,4.2.2 無干擾離散信道,無噪現(xiàn)象：1個輸入只對應(yīng)1個輸出，噪聲熵H(Y|X)=0 無損現(xiàn)象：1個輸出只對應(yīng)1個輸入，疑義度H(X|Y)=0 無噪無損信道：即X

4、、Y一一對應(yīng)，則 H(Y|X)= H(X|Y)= 0 有噪無損信道：一個輸入X產(chǎn)生多個輸出Y （有噪）,而且每個X值所對應(yīng)的Y值不重合；又因為信道無損，接收到符號Y后，X完全確定。 因為無損：H(X/Y)=0，有噪：H(Y/X)0 所以：I(X;Y)=H(X)H(Y),無噪有損信道： 一個Y對應(yīng)多個X，而且每個Y 值所對應(yīng)的X值不重合。接收到符號Y后不能完全消除對X的不確定性。 H(X/Y) 0；I(X;Y)=H(Y) H(X),損失熵（疑義度）H(X/Y) = 0 的信道稱為無損信道，其信道容量為： 其中，r為輸入信源X的符號個數(shù)，等概率分布時H(X)最大。 噪聲熵 H(Y/X) = 0 的

5、信道稱為無噪信道，其信道容量為： 其中，s為輸出信源Y的符號個數(shù)，等概率分布時H(Y)最大。,一一對應(yīng)的信道稱為無噪無損信道,X、Y一一對應(yīng)，無噪無損信道 CmaxI(X;Y)log r 多個輸入變成一個輸出，無噪信道 CmaxI(X;Y)maxH(Y) 一個輸入對應(yīng)多個輸出，無損信道 CmaxI(X;Y)maxH(X),4.2.3 對稱DMC信道,對稱DMC信道定義 輸入對稱 轉(zhuǎn)移概率矩陣P的每一行都是第一行的重新排列(包含同樣元素)，稱該矩陣是輸入對稱。 輸出對稱 轉(zhuǎn)移概率矩陣P的每一列都是第一列的重新排列(包含同樣元素)，稱該矩陣是輸出對稱。 對稱的DMC信道 輸入、輸出都對稱。,對稱D

6、MC信道例子,接下來考慮對稱信道的信道容量：,因為輸入對稱所以條件熵,與信道輸入符號概率分布無關(guān)。則信道容量為,又輸出對稱，若信道輸入符號等概率分布，則 與j無關(guān)，即信道輸出也等概率分布；反之，若信道輸出符號等概率分布，對稱信道的輸入符號必定也是等概率分布的。因此要使H(Y)最大，只有信道輸出符號等概率分布，此時輸入符號也等概率分布。 則對稱DMC信道的容量為,信道轉(zhuǎn)移概率矩陣如下：信道輸入符號和輸出符號的個數(shù)相同，都為r，且正確傳輸概率為1，錯誤概率被對稱地均分給r-1個輸出符號，此信道稱為強(qiáng)對稱信道或均勻信道，是對稱離散信道的一個特例,當(dāng)n=2時，即為二進(jìn)制對稱信道 C1H（）=1- lo

7、g - (1- )log(1- ),4.2.4 準(zhǔn)對稱DMC信道,定義： 如果轉(zhuǎn)移矩陣P 的列可以劃分成若干個互不相交的子集Bk，（即B1B2 Bk=；B1B2Bk= P） 且每個子集所組成的子陣都是輸入輸出對稱矩陣，則稱該信道是準(zhǔn)對稱DMC信道。,要判斷一個信道是否為離散準(zhǔn)對稱信道，必須對該信道的轉(zhuǎn)移矩陣進(jìn)行適當(dāng)?shù)恼{(diào)整，即按列重排再按列分塊。這種調(diào)整，就是定義中所說的將轉(zhuǎn)移矩陣的列劃分成子集再組成子陣的過程。轉(zhuǎn)移矩陣的列與輸出符號對應(yīng)，因此，把轉(zhuǎn)移矩陣的列劃分成互不相交的子集，也相當(dāng)于把信道的輸出符號集合中的符號劃分成互不相交的子集。,結(jié)論：對于準(zhǔn)對稱DMC信道，當(dāng)輸入分布為等概分布時，互信

8、息達(dá)到最大值。信道容量表示為： 將轉(zhuǎn)移概率矩陣劃分成若干個互不相交的對稱的子集，r為輸入符號集個數(shù)；p1，p2，ps是轉(zhuǎn)移概率矩陣P 中一行的元素；Nk 是第k個子矩陣中行元素之和，Mk是第k個子矩陣中列元素之和，t是互不相交的子集個數(shù)。,如,4.2.5 一般離散信道的信道容量,信道容量計算：對所有可能的輸入概率分布P(ai)求該信道平均互信息I(X;Y)的極大值。 由于I(X;Y)是P(ai)的型上凸函數(shù)，所以極大值一定存在。n個變量滿足概率存在條件： P(ai)1。 當(dāng)信道給定時，條件轉(zhuǎn)移概率矩陣P(bj|ai)都為定量。 計算：拉格朗日乘數(shù)法計算該條件極值 引進(jìn)一個新函數(shù),先求出達(dá)到極值的概率分布和拉格朗日乘數(shù)的值，然后再求解出信道容量C。,令：,例,信道的輸入符號有兩個，設(shè)p(a1)，p(a2)1。信道的輸出符號有三個，用b1、b2、b3表示。,即輸入符號分布等概率時，I(X;Y)達(dá)到極大值。所以信道容量為,定理： 一般離散信道達(dá)到信道容量的充要條件是輸入概率分布滿足,該定理說明，當(dāng)平均互信息達(dá)到信道容量時，信源每一個符號都對輸出端輸出相同的互信息。,證明,可以利用該定理對一些特殊信道求得它