信息論與編碼李軒李玉峰編著第3章單符號離散信道叁信道的數(shù)學(xué)模型肆條件互信息量壹平均交互信息量柒幾種特殊結(jié)構(gòu)的信道容量計算第3章單符號離散信道貳信道的交互信息量平均交互信息量的性質(zhì)信道容量及其一般算法平均交互信息量的不增性信道容量的迭代計算捌玖陸伍3.1信道的數(shù)學(xué)模型單符號離散信道模型輸入變量X有r種取值，即輸入符號集，輸出變量Y有s種取值，即輸出符號集。信道轉(zhuǎn)移概率

共有個取值，體現(xiàn)了信道的符號傳遞特性。寫成矩陣形式，形成一個（）階矩陣，矩陣行數(shù)代表信道輸入符號個數(shù)，矩陣列數(shù)代表輸出符號個數(shù)。而且滿足，表明信道矩陣行和是1。信道特性也可以形象、直觀地用信道轉(zhuǎn)移圖表示信道轉(zhuǎn)移圖【例3.1】二進制對稱信道，簡記為BSC（BinarySemmetricChannel），輸入輸出符號集分別為，，信道轉(zhuǎn)移概率滿足，，p為錯誤傳輸概率。寫出信道的轉(zhuǎn)移概率矩陣，并畫出轉(zhuǎn)移概率圖。解：轉(zhuǎn)移概率矩陣為相應(yīng)的信道轉(zhuǎn)移概率矩陣如右圖二進制對稱信道轉(zhuǎn)移概率圖3.1信道的數(shù)學(xué)模型3.1信道的數(shù)學(xué)模型【例3.2】二進制刪除信道，簡記為BEC（BinaryErasureChannel）其中輸入集，輸出集轉(zhuǎn)移概率如圖圖3.4二進制刪除信道轉(zhuǎn)移概率圖寫出信道的轉(zhuǎn)移概率矩陣。解：信道的轉(zhuǎn)移概率矩陣為3.2信道的交互信息量

在求解信道輸入輸出單個符號對應(yīng)互信息量前，先討論信道輸入輸出變量的統(tǒng)計特性。通信系統(tǒng)模型如圖所示為方便討論，首先定義幾種概率的名稱。先驗概率信源X輸出符號的概率稱為先驗概率。正向轉(zhuǎn)移概率從信道輸入符號到信道輸出符號的條件概率

稱為正向轉(zhuǎn)移概率。后驗概率從信道輸出符號到輸出符號的條件概率

稱為后驗概率，又稱之為反向轉(zhuǎn)移概率。3.2信道的交互信息量

利用，則有看到，已知先驗概率和信道轉(zhuǎn)移概率、后驗概率即為確定。聯(lián)合概率信源符號和信道輸出符號的聯(lián)合概率

由信源概率和信道轉(zhuǎn)移概率唯一確定。類似信道轉(zhuǎn)移概率矩陣可以寫出聯(lián)合概率矩陣，也是r行s列矩陣。

3.2信道的交互信息量信宿概率信道輸出符號概率，已知信源符號概率和信道轉(zhuǎn)移概率，即可求得信道輸出符號概率?，F(xiàn)在轉(zhuǎn)入互信息量的討論。在通信系統(tǒng)中，信源發(fā)出某符號,由于受到噪聲的隨機干擾，在信道的輸出端輸出符號的某種變型，按信息的定義，信宿收到后，從中獲取關(guān)于的信息量，等于信宿收到前、后，對符號的不確定性的消除，即有

信宿收到前，對信源發(fā)符號的先驗不確定性

3.2信道的交互信息量信宿收到后，對信源發(fā)出的符號的后驗不確定性

則可得互信息為

信宿收到后，從中獲取關(guān)于的信息量稱為輸入符號和輸出符號之間的交互信息量，簡稱為互信息。它表示信道在把輸入符號傳遞為輸出符號的過程中，信道所傳遞的信息量。上式稱為符號和之間的互信息函數(shù)?，F(xiàn)在就互信息量表達式所代表的物理含義做進一步說明。當(dāng)時，有

表明收到的后，即可確切無誤地判斷發(fā)端符號為，消除對的全部不確定性，收端獲得關(guān)于的全部信息量。3.2信道的交互信息量當(dāng)時，有

這就意味著，收信者收到后，判斷信源發(fā)的可能性，比對于收到前判斷信源發(fā)的可能性更大；也就是說收到后對信源發(fā)的不確定性，比收到前有所減小，收信者從中就可獲取關(guān)于的一定信息量。當(dāng)時，有

由得到，符號與符號統(tǒng)計獨立。說明，收信者收到前、后，判斷信源發(fā)的可能性大小沒有任何變化，收信者在收到前、后，對判斷信源發(fā)的不確定性沒有任何減小，收信者從中得不到關(guān)于的任何信息量。3.2信道的交互信息量當(dāng)時，有

表明，由于信道噪聲的干擾，收到符號后，猜測符號的難度反而加大?；バ畔⒘康牧硗鈨煞N表達形式第一種表達形式

其含義是：通信前，條件與統(tǒng)計獨立。即，表達聯(lián)合條件不確定性；通信后，條件與條件建立統(tǒng)計關(guān)聯(lián)，表達通信后，聯(lián)合條件的確定性。二者差，同樣表明，信宿收到后，從中獲取關(guān)于的信息量等于通信前后不確定性的消除。3.2信道的交互信息量第二種表達形式

，構(gòu)成正向信道；，構(gòu)成反向信道。說明在反向信道中，從中獲得關(guān)于的信息量等于在正向信道中從中獲得關(guān)于的信息量，即?！纠?.3】二元刪除信道，簡記為BEC（BinaryErasureChannel）：其中輸入符號集A={a0,a1}={0,1}，輸出符號集B={b0,b1,b2}={0,2,1}，,寫出信道的轉(zhuǎn)移概率矩陣及互信息量。3.2信道的交互信息量【例3.4】4個等概率消息，編程的碼字為，，，，通過如圖所示二元對稱無記憶信道傳輸，求：①事件“接收到第一個數(shù)字為0”與發(fā)送之間的互信息；②當(dāng)接收到第二個數(shù)字也為0時，關(guān)于的附加信息；③當(dāng)接收到第三個數(shù)字也為0時，又增加了多少關(guān)于的信息？二元對稱無記憶信道解：設(shè)信道的轉(zhuǎn)移概率矩陣為聯(lián)合概率為則為那么互信息量用矩陣形式簡寫為3.2信道的交互信息量

解：記“0”表示第一個接收數(shù)字為0，“00”表示第一、二個接收數(shù)字都為0，“000”表示前三個接收數(shù)字都為0；表示接收符號的概率；為信道的轉(zhuǎn)移概率。得互信息：得互信息：附加信息：3.2信道的交互信息量得互信息：又增加的信息為3.3條件互信息量

如圖所示信道I與信道II串接。信道I的輸入符號集，輸出符號集，信道II的輸入符號集，輸出符號集圖3.7信道I與信道II串接信道I的傳遞概率：信道II的傳遞概率：則3.3條件互信息量一維分布：二維分布：進一步求得條件概率分布：由X、Y、Z的聯(lián)合概率可以求得其他各種概率分布。3.3條件互信息量

在串接信道輸出某符號條件下，從符號中獲取符號的信息量定義為

該式表明，已知條件下，出現(xiàn)前后對的條件不確定性的消除。用同時乘上式右邊的分子、分母，則有：

上式表明，I信道通信前、后，輸入輸出端同時出現(xiàn)和的條件不確定性的消除。3.3條件互信息量

做進一步變換，有所以有在圖3.7中，隨機變量與隨機變量X和Y的聯(lián)合符號之間的相關(guān)交互信息量3.3條件互信息量

這表明，相關(guān)交互信息量等于與之間的交互信息量，再加上已知的條件下，與之間的條件交互信息量所得之和。同樣這表明，相關(guān)交互信息量也等于與之間的交互信息量，再加上已知的條件下，與之間的條件交互信息量所得之和。3.3條件互信息量【例3.5】如下表所示，列出了無失真信源編碼的信源消息、消息的先驗概率以及每一個消息所對應(yīng)的碼字。

試以消息及相應(yīng)碼字（100）為例，分別說明碼字（100）中每一個碼符號對消息提供的信息量。解：根據(jù)相關(guān)交互信息量的理論可有信源消息碼字000001010011100101110111消息概率1/41/41/81/81/161/161/161/163.3條件互信息量以下分別計算其中各項條件互信息。（1）其中，表示收到碼符號“1”后，判斷信源發(fā)消息的后驗概率。因為收到碼符號“1”后，再收到碼符號序列“00”就構(gòu)成碼字（100），即消息出現(xiàn)。所以后驗概率，即有其中，碼字（100）出現(xiàn)的概率等于消息出現(xiàn)的概率，即有從表中可看出，8個碼字中有4個碼字（100）、（101）、（110）、（111）的第一個碼符號是“1”，所以有3.3條件互信息量即可得這樣就有（2）其中，表示收到碼符號“10”后，判斷信源發(fā)消息的后驗概率。因為收到碼符號“10”后，再收到碼符號序列“0”就構(gòu)成碼字（100），即消息出現(xiàn)。所以后驗概率，即有即可得3.3條件互信息量這樣就有（3）其中，表示收到碼符字（100）后，判斷信源發(fā)消息的后驗概率。顯然收到（100）后也就是收到了消息，所以有這樣就有

3.3條件互信息量

以上三項計算結(jié)果表明，在消息相對應(yīng)的碼字（100）中：第一個碼符號“1”提供關(guān)于消息的信息量；在收到第一個碼符號“1”的條件下，第二個碼符號“0”提供關(guān)于的條件交互信息量；在收到第一個碼符號“1”和第二個碼符號“0”組成的碼符號序列“10”的條件下，第三個碼符號“0”提供關(guān)于的條件交互信息量。所以，從碼字（100）中的三個碼符號總共提供關(guān)于消息的相關(guān)交互信息量另一方面，消息的自信息量這從信息測量的角度證實了由于消息與相應(yīng)的碼字（100）是一一對應(yīng)的確定關(guān)系，相關(guān)交互信息量就是消息的自信息量。3.4平均交互信息量

表示單個事件間的交互信息量，要求信道兩端平均一對符號傳遞信息量的多少，就要計算平均交互信息量，如圖3.8和圖3.9所示圖3.8信息傳輸方向為X到Y(jié)圖3.9信息傳輸方向為Y到X首先給出兩種特殊形式1.這表示信宿收到后，獲得有關(guān)信源的信息量。2.

這表示信宿收到后，獲得有關(guān)信源的信息量。3.4平均交互信息量

由上述兩個式子可知，X與Y間平均傳遞一個符號所傳輸?shù)钠骄畔⒘繎?yīng)該是在聯(lián)合集XY中的統(tǒng)計均值，即

同樣，也有三種不同的表達形式1.用信源概率和正向傳輸概率表達

（3.21）其中，3.4平均交互信息量表示在隨機變量的前提下，對隨機變量X仍然存在的平均不確定性。而條件熵

表示收到隨機變量Y后，對隨機變量X仍然存在的平均不確定性，通常稱它為疑義度。（3.21）式表明，從收到Y(jié)中獲取關(guān)于X的平均交互信息量，等于收到Y(jié)前對X的平均不確定性，與收到Y(jié)后對X仍然存在的平均不確定性之差，即收到Y(jié)前、后，關(guān)于X的平均不確定性的消除。3.4平均交互信息量2.用信宿概率和反向傳輸概率表達（3.24）其中，表示在隨機變量的前提下，隨機變量Y仍然存在的平均不確定性。而條件熵3.4平均交互信息量表示表示在反向信道中，收到隨機變量X后，對隨機變量Y仍然存在的平均不確定性。這個“反向疑義度”一般稱為噪聲熵。（3.24）式表明，對于反向信道來說，從輸出隨機變量X中，獲取關(guān)于Y的平均交互信息量，等于信宿收到X前，對Y的先驗不確定性，與信宿收到X后，對Y仍然存在的后驗平均不確定性之差，即通信前、后，關(guān)于Y的平均不確定性的消除。3.用信源概率、信宿概率和聯(lián)合概率表達

（3.27）其中，3.4平均交互信息量表示通信后，信道兩端同時出現(xiàn)X和Y的后驗平均不確定性，通常稱它為共熵。（3.27）式表明，信源X通過傳遞概率為的信道輸出隨機變量Y，信道傳遞的平均交互信息量，等于通信前（隨機變量X和Y統(tǒng)計獨立）隨機變量X和Y同時出現(xiàn)的平均不確定性，與通信后（隨機變量X和Y由信道傳遞概率相聯(lián)系）信道兩端同時出現(xiàn)隨機變量X和Y的平均不確定性之差，即通信前、后，隨機變量X和Y同時出現(xiàn)的平均不確定性的消除。上述討論的通信系統(tǒng)中各類熵的關(guān)系可用維拉圖形象表示通信系統(tǒng)中各類商關(guān)系圖3.4平均交互信息量【例3.6】設(shè)信源X的符號集，先驗概率分布為；。信道的輸入符號集，輸出符號集：，傳遞概率?，F(xiàn)將信源X與如圖3.11信道相接。（一）試寫出平均交互信息量的一般表達式；（二）若，；。試計算如圖3.12所示反向信道的。

圖3.11正向信道傳遞概率圖圖3.12反向信道傳遞概率圖3.4平均交互信息量解：（一）平均交互信息量的一般表達式（1）各聯(lián)合概率（2）隨機變量Y的概率分布（3）求隨機變量Y的熵3.4平均交互信息量（4）由求得條件熵（5）求得平均交互信息量這說明平均交互信息量是信源概率分布和信道傳遞概率的函數(shù)。3.4平均交互信息量（二）計算反向信道的（1）各聯(lián)合概率（2）隨機變量Y的概率分布（3）求隨機變量Y的熵（4）由求得噪聲熵（5）求得平均交互信息量3.5平均交互信息量的性質(zhì)

平均交互信息量除具有對稱性以外，即，還具有如下基本性質(zhì)。1.平均互信息的非負性當(dāng)且僅當(dāng)X和Y統(tǒng)計獨立時，等式成立?！咀C明】利用詹森不等式得即有當(dāng)且僅當(dāng)對一切i，j都有即當(dāng)X和Y統(tǒng)計獨立時，3.5平均交互信息量的性質(zhì)2.平均互信息的極值性由上述性質(zhì)，直接得到【證明】由于，而是對求統(tǒng)計平均，即因此有同理所以即3.5平均交互信息量的性質(zhì)3.平均互信息的凸函數(shù)性定理3.1信道兩端隨機變量X和Y之間的平均互信息量，在信道轉(zhuǎn)移概率給定條件下，是輸入隨機變量X的概率分布的∩型凸函數(shù)。定理3.2信道兩端隨機變量X和Y之間的平均交互信息量，在信源概率分布給定的條件下，是信道轉(zhuǎn)移概率的∪型凸函數(shù)。3.6信道容量及其一般算法3.6.1信道容量的定義信道的信息傳輸率定義為信道中平均每個符號所傳送的信息量，即平均互信息。信道的信息傳輸速率定義為信道平均每秒傳輸?shù)男畔⒘?。若傳輸一個符號平均需要t秒，則信道的信息傳輸速率表示為給定某個信道，平均交互信息量是信源概率分布的上凸型函數(shù)，存在極大值，這個極大值就定義為信道容量。

信道的最大信息傳輸速率是信道容量的另一種表述形式3.6信道容量及其一般算法

平均互信息量是輸入信源概率分布的∩型凸函數(shù)，所以極大值是一定存在的。而是r個輸入信號變量的多元函數(shù)，并且任何信源概率分布都必須遵循約束條件所以求信道容量C就是在約束條件式的約束下，求的最大值問題，并導(dǎo)出取最大值時的條件。此類問題可以通過拉格朗日乘子法來計算。為此，作輔助函數(shù)式中，為拉格朗日乘子。當(dāng)（3.28）時求得的值即為信道容量。3.6信道容量及其一般算法

由于而所以對式（3.28）整理得

（3.29）而因此，（3.29）可以簡化為3.6信道容量及其一般算法令，得（3.30）（3.30）兩邊分別乘以，并求和得（3.31）（3.31）左邊即為平均互信息的極大值C，即（3.32）結(jié)合式（3.32），把式子（3.30）中前r個方程改寫成移項后得令得這是含有s個未知參數(shù)，有r個方程的非齊次線性方程組。3.6信道容量及其一般算法

如果設(shè)r=s，信道傳遞矩陣P是非奇異矩陣，則此方程組有解，并且可以求出的數(shù)值，然后根據(jù)的附加條件求得信道容量由這個C值就可以解得對應(yīng)的輸出概率分布再根據(jù)，即可解出最佳輸入分布。觀察式（3.30）可以發(fā)現(xiàn)，該式左邊正好是輸出端接收到符號Y后，獲得的關(guān)于輸入符號的信息量，結(jié)合式（3.32）可知由此可以導(dǎo)出以下定理。3.6信道容量及其一般算法定理3.3一般離散信道的平均互信息達到信道容量的充要條件是輸入概率分布滿足這時的就是信道容量C。

如果求解達到信道容量時，最佳概率分布中，某些，則這些解無效。它表明所求極大值C出現(xiàn)的區(qū)域不滿足概率條件，這時最大值必須在邊界上，即某些的概率。因此，必須設(shè)某些信源符號的概率，然后重新進行運算。當(dāng)r<s時，求解非其次線性方程就比較困難，即使求出解，也無法保證求得的信源符號概率都大于或等于零。因此，必須反復(fù)進行運算，這就使運算變得非常復(fù)雜。3.6信道容量及其一般算法【例3.7】設(shè)離散信道的輸入符號集為，輸出符號集為，其信道轉(zhuǎn)移概率矩陣為求其信道容量及最佳輸入分布。解：列得解得則信道的信道容量由得3.6信道容量及其一般算法現(xiàn)在驗證以上結(jié)果由于可寫成下式因此因此，最佳分布為3.6信道容量及其一般算法同理可以計算顯然，而每個符號貢獻的互信息也正好是前文求解出的信道容量，證實了該求解過程是正確的。3.7幾種特殊結(jié)構(gòu)的信道容量計算3.7.1無噪無損信道

圖3.13無噪無損信道輸入輸出符號一一對應(yīng)，信道轉(zhuǎn)移概率矩陣為單位矩陣此時平均互信息滿足噪聲熵和損失熵都為0。此時輸入符號的概率分布為等概分布。所以無噪無損信道的信道容量3.7幾種特殊結(jié)構(gòu)的信道容量計算3.7.2有噪無損信道此時噪聲熵，損失熵為0，對應(yīng)信道的一個輸入符號有多個輸出符號與之對應(yīng)，如右所示。

信道轉(zhuǎn)移概率矩陣信道反向轉(zhuǎn)移概率，，信道容量輸入符號等概分布時達到信道容量。3.7幾種特殊結(jié)構(gòu)的信道容量計算3.7.3無噪有損信道

屬于多個輸入對應(yīng)一個輸出的信道如下圖所示。顧名思義，這種信道噪聲熵，損失熵信道容量一定存在一種輸入符號分布，使得輸出符號，達到等概分布。3.7幾種特殊結(jié)構(gòu)的信道容量計算3.7.4對稱離散信道的信道容量若信道轉(zhuǎn)移概率矩陣每行元素構(gòu)成相同，稱為輸入對稱；若轉(zhuǎn)移矩陣中，每列元素構(gòu)成相同，稱為輸出對稱。若輸入和輸出都對稱，此時信道稱為對稱信道。比如都是對稱信道矩陣。若輸入符號和輸出符號個數(shù)相同，都等于r，那么信道矩陣為

3.7幾種特殊結(jié)構(gòu)的信道容量計算

式中，且，則此信道稱為強對稱信道或均勻信道。這類信道中總的錯誤概率為p，對稱地平均分配給r-1個輸出符號。它是對稱離散信道的一類特例。二元對稱信道就是r=2的均勻信道。對于均勻信道，其信道矩陣中各列之和也等于1（一般信道的信道矩陣中各列之和不一定等于1）。對于對稱信道，噪聲熵為（3.33）可見，離散對稱信道的噪聲熵就是矩陣某一行元素所對應(yīng)的熵。信道容量為3.7幾種特殊結(jié)構(gòu)的信道容量計算

當(dāng)信道輸入符號等概，即，信道輸出符號概率上式中是對稱信道轉(zhuǎn)移概率中的列和，是一個固定值。所以當(dāng)信道輸入符號等概時，輸出符號也等概，達到（3.33）式所對應(yīng)的信道容量，類似可以得到強對稱信道的信道容量。3.7幾種特殊結(jié)構(gòu)的信道容量計算

若信道轉(zhuǎn)移概率矩陣中，每行都是同一行元素的不同排列，每列元素構(gòu)成不同，但該信道矩陣按列可以劃分為互不相交的子矩陣，每個子矩陣都是對稱矩陣，則該信道稱為準對稱信道。例如，信道矩陣可以劃分成兩個對稱的子矩陣和，因此它是對稱信道。定理3.4對于準對稱離散信道，當(dāng)輸入等概率時達到信道容量，其信道容量為其中，為輸入等概時信道輸出的熵，n為準對稱離散信道矩陣按列可以劃分成互不相交的子集，是第k個子矩陣中的行元素之和，是第k個子矩陣中的列元素之和，就是信道矩陣P中行元素集合的s個元素構(gòu)成的熵函數(shù)。3.7幾種特殊結(jié)構(gòu)的信道容量計算【例3.8】設(shè)某信道的轉(zhuǎn)移矩陣為計算其信道容量。分析：該信道為一個準對稱信道，計算信道容量即為輸入等概時的平均互信息量。解：將劃分為兩個對稱子矩陣

因為則，該準對稱離散信道的信道容量為需要指出的是，由于本題的信道為準對稱信道，信道容量也可以通過計算輸入等概時的平均互信息得到。3.8信道容量的迭代計算

對于一般離散信道來說，信道容量的計算比較復(fù)雜。迭代計算是一種常用的近似方法。

設(shè)單符號離散信道的輸入符號集、輸出符號集，信道的傳遞概率。若輸入符號集的概率分布，則信道的平均交互信息量（3.34）是輸入信源的概率分布和后驗概率的函數(shù)（3.35）而先驗概率和后驗概率不是兩個獨立的變量，他們之間按照如下關(guān)系式（3.36）發(fā)生相應(yīng)的變化。3.8信道容量的迭代計算

為了導(dǎo)出近似算法，暫時把后驗概率當(dāng)作自變量，而把本來要隨之發(fā)生相應(yīng)變化的應(yīng)急變量近似看作固定不變量。由于也固定不變，則（3.34）式所示的平均交互信息量就可以看作是后驗概率的函數(shù)（3.37）由于“底”大于1的對數(shù)是∩型凸函數(shù)，所以具有上凸性。這樣，就可以在條件（3.38）的約束下，對變量求∩型凸函數(shù)的條件極大值，以及達到極大值的為此，作輔助函數(shù)

3.8信道容量的迭代計算取函數(shù)對的偏導(dǎo)數(shù)，并置之為零，得到穩(wěn)定點方程（3.39）把（3.34）式代入（3.39）式，有（3.40）即有（3.41）由約束條件（3.38）式，得（3.42）則可以得到（3.43）3.8信道容量的迭代計算

這表明，當(dāng)采用“把后驗概率看作變量，信源的概率分布看作固定不變的量”這種近似處理的方法時，使平均交互信息量達到最大值，即信道容量C的后驗概率，就是信源的概率分布時，給定信道的一般意義下的后驗概率。這是因為對給定信道來說，當(dāng)輸入信源的概率分布固定不變時，其信道的平均交互信息量只有一個確定的值，其最大值也只可能就是這唯一的確定值。達到這唯一確定值的后驗概率當(dāng)然只可能就是由（3.36）式所規(guī)定的一般意義下的后驗概率。所以，由（3.43）式可知，當(dāng)變動后驗概率，而固定信源的概率分布時，信道容量3.8信道容量的迭代計算

另一方面，同樣可把信源的概率分布當(dāng)作自變量，把本來要隨之發(fā)生相應(yīng)變化的應(yīng)變量近似的看作是固定不變的量。在采用這種近似處理時，由于和都是固定不變，則（3.34）式所示的平均交互信息量就可以看作是先驗概率的函數(shù)由于是的∩型凸函數(shù)，所以可在條件

（3.45）的約束下，對變量求函數(shù)的條件極大值，以及達到極大值的為此，作輔助函數(shù)（3.46）取函數(shù)對的偏導(dǎo)，并置之為零，得到穩(wěn)定點方程

（3.47）3.8信道容量的迭代計算把（3.34）式代入（3.47）式，有

（3.48）即有即（3.49）由約束條件（3.45）式，得（3.50）3.8信道容量的迭代計算即得則可以得到（3.51）若令由（3.51）式，得（3.52）則信道容量（3.53）綜上所述，（3.44）式是在信源的概率分布固定不變，變動后驗概率的假設(shè)前提下，傳遞概率為的給定信道的信道容量C的近似迭代公式。3.8信道容量的迭代計算

（3.53）式是在后驗概率固定不變，變動信源的概率分布的假設(shè)前提下，傳遞概率為的給定信道的信道容量C的近似迭代公式。實際上，由（3.36）式可知，對于傳遞概率固定為的給定信道，在變動后驗概率時，先驗概率不可能固定不變；在變動先驗概率時，不可能后驗概率固定不變。迭代計算法就是用分別單獨變動和的方法，逼近和同時變動的實際情況，求得信道容量C的近似值。先假定一組作為起始值，并記為。把作為固定值，變動。由（3.43）式求得后驗概率（3.54）3.8信道容量的迭代計算由（3.44）式求得信道容量再把由（3.54）式所得的作為固定值，變動先驗概率，由（3.52）式求得使平均交互信息量達到最大值的輸入信源的概率分布由（3.53）式求得信道容量

3.8信道容量的迭代計算以此類推，一般可有在實際計算中，逐段比較和；和；和的值。當(dāng)n次迭代和（n+1）次迭代的計算值的差，已小到可以允許的程度，就可認為達到了所求信道容量值C。3.9平均交互信息量的不增性

在實際通信系統(tǒng)中，常需對信道傳輸?shù)臄?shù)據(jù)作適當(dāng)處理，若把數(shù)據(jù)處理裝置亦看作是一個信道，這就由兩個信道串接，組成了一個串接信道。設(shè)信道I和信道II串接，組成圖3.16所示串接信道。信道I的輸入符號集輸出符號集，輸出符號集。又設(shè)，信道I的傳遞概率，信道II的傳遞概率。且假定圖3.16串接信道3.9平均交互信息量的不增性由一個信道組成的通信系統(tǒng)只有輸入、輸出兩個隨機變量X和Y。由兩個信道串接組成的串接信道中，就有X、Y、Z三個隨機變量，那么，由三個隨機變量構(gòu)成的隨機變量序列（XYZ），在信息傳輸上又有什么新的特點和規(guī)律呢？定理3.5設(shè)由兩個信道串接構(gòu)成隨機變量序列（XYZ），則(3.55)當(dāng)且僅當(dāng)(3.56)即（XYZ）是Markov鏈時，才有

(3.57)3.9平均交互信息量的不增性【證明】根據(jù)平均交互信息量的定義，有(3.58)而(3.59)考慮到，以及“底”大于1的對數(shù)是∩型凸函數(shù)，可有

(3.60)即證得

3.9平均交互信息量的不增性由(3.56)式有（3.61）則由（3.60）式有

（3.62）即證得3.9平均交互信息量的不增性定理3.6設(shè)由兩個信道串接構(gòu)成隨機變量序列（XYZ）,則（3.63）當(dāng)且僅當(dāng)(3.64)即(YXZ)是Markov鏈時，才有（3.65）定理3.7 設(shè)由兩個信道串接構(gòu)成的隨機變量序列（XYZ）。當(dāng)（3.70）即當(dāng)（XYZ）是Markov鏈時，有（3.71）當(dāng)且僅當(dāng)（3.72）即(YXZ)亦是Markov鏈時，有（3.73）3.9平均交互信息量的不增性【證明（定理3.6）】根據(jù)平均交互信息量的定義，有而(3.66)考慮到，以及“底”大于1的對數(shù)時∩型凸函數(shù)，可有

(3.67)即證得3.9平均交互信息量的不增性由（3.64）式有（3.68）則由（3.67）式有（3.69）即證得3.9平均交互信息量的不增性【證明（定理3.7）】由定理3.5可知當(dāng)隨機變量序列（XYZ）是Markov鏈時，有（3.74）由定理3.6可知，在隨機變量序列(YXZ)不是Markov鏈的情況下，有（3.75）由（3.74）和（3.75）式可得，當(dāng)（XYZ）是Markov鏈，而（YXZ）不是Markov鏈的情況下，有由定理3.6可知，當(dāng)(YXZ)是Markov鏈時，有（3.76）則由（3.74）、（3.75）式證得，當(dāng)(XYZ)和(YXZ)都是Markov鏈時，即時，有證畢。3.9平均交互信息量的不增性

對于圖3.16所示串接信道，在工程上一般把隨機變量序列(XYZ)看作Markov鏈，整個串接信道的傳遞概率頻求得，即有

（3.77）這就是說，整個串接信道的信道矩陣[P](rxL階)，等于信道I的信道矩陣[PI](rxs階)與信道II的信道矩陣[PII](sxL)階的連乘，即[P]=[PI]·[PII]（3.78）若要求隨機變量序列（XYZ）和（YXZ）都是Markov鏈，則要有即 （3.79）3.9平均交互信息量的不增性即必須有（3.80）這就是說，整個串接信道的信道矩陣[P]與信道II的信道矩陣[PII]要完全一樣，即要有 [P]=[PI]·[PII]=[PII] （3.81）顯然，信道I的矩陣[PI]是（sxs）階單位矩陣，是（3.81）式能得到滿足的一種情況，這時有

=（3.82）3.9平均交互信息量的不增性

（3.82）式指明，當(dāng)信道I是一一對應(yīng)的確定關(guān)系的一般無噪信道時，隨機變量序列（XYZ）與隨機變量序列（XYZ）一樣，亦是Markov鏈。由以上分析可以得到這樣一個結(jié)論：在一般情況下（XYZ）是Markov鏈，輸出隨機變量Z通過信道II一個信道，獲取關(guān)于隨機變量Y的信息量I(Y;Z)，總是比輸出隨機變量Z通過信道II、信道I兩個信道，獲取關(guān)于隨機變量X的信息量I(X;Z)大，這就是說，隨機變量Y通過信道I到隨機變量X，總是要丟失一部分信息量（如圖3.17）。只有當(dāng)隨機變量序列（YXZ）亦是Markov鏈（如信道I是一一對應(yīng)確定關(guān)系的一般無噪信道）時，隨機變量Y到隨機變量X才不會丟失信息量，因而從Z中獲取關(guān)于Y的信息量I(Y;Z)，才與從Z中獲取關(guān)于X的信息量I(X;Z)相等。3.9平均交互信息量的不增性定理3.8 設(shè)由兩個信道串接構(gòu)成隨機變量序列（XYZ），當(dāng)（3.83）即當(dāng)（XYZ）是Markov鏈時，有(3.84)當(dāng)且僅當(dāng)(3.85)即（YZX）亦是Markov鏈時，才有（3.86）3.9平均交互信息量的不增性

【證明】由概率一般運算規(guī)則有(3.87)由（3.83）式，有(3.88)這表明，當(dāng)隨機變量序列（XYZ）是Markov鏈時，隨機變量序列（ZYX）亦是Markov鏈，根據(jù)定理3.5，有(3.89)在一般情況下，隨機變量序列（YZX）不是Markov鏈，根據(jù)定理3.6，有（3.90）由（3.89）和（3.90）式，有(3.91)根據(jù)平均交互信息量的交互性，可證得3.9平均交互信息量的不增性

當(dāng)隨機變量序列（YZX）亦是Markov鏈時，根據(jù)定理3.6，有(3.92)由（3.89）式有根據(jù)平均交互信息量的交互性，證得這樣定理就得到了證明。3.9平均交互信息量的不增性

對于圖3.16所示串接信道，在一般情況下，隨機變量序列（XYZ）都可看作是Markov鏈，即隨機變量序列（ZYX）亦可看做Markov鏈。如要求隨機變量序列（YZX）同時也是Markov鏈，則必須有即有（3.93）即必須有（3.94）而（3.95）

（3.96）3.9平均交互信息量的不增性

由（3.94）式以及（3.95）、（3.96）式可知，則必須有（3.97）這說明，如果要求隨機變量序列（ZYX）是Markov鏈的條件下，隨機變量序列（YZX）亦是Markov鏈，則必須要求圖3.16串接信道的信道矩陣[P]與信道Ⅰ的信道矩陣完全相同，即必須有（3.98）顯然，信道Ⅱ的信道矩陣是階單位矩陣，是（3.98）式能得到滿足的一種情況，這時有

（3.99）3.9平均交互信息量的不增性

這表明，當(dāng)信道Ⅱ是一一對應(yīng)的確定關(guān)系的一般無噪信道時，隨機變量序列（YZX）與隨機變量序列（ZYX）一樣，亦是Markov鏈。由以上分析可得到這樣一個結(jié)論：對于圖3.16串接信道，在一般情況下，由于隨機變量序列（XYZ）可看作是Markov鏈，所以隨機變量序列（ZYX）亦可看作是Markov鏈。隨機變量X通過信道Ⅰ獲取關(guān)于隨機變量Y的信息量，總比隨機變量X通過信道I和信道II兩個信道，獲取關(guān)于隨機變量Z的信息量大。這就是說，隨機變量Y通過信道II到隨機變量Z，總要丟失一部分信息量（如圖3.18）。只有當(dāng)隨機變量序列（YZX）亦是Markov鏈（如信道II是一一對應(yīng)確定關(guān)系的一般無噪信道時），隨機變量Y到隨機變量Z才不會丟失信息量。因而從隨機變量X中獲取關(guān)于隨機變量Y的信息量，才與從隨機變量X中獲取關(guān)于隨機變量Z的信息量相等。

圖3.17關(guān)注信道II圖3.18關(guān)注信道?3.9平均交互信息量的不增性【例3.9】設(shè)信道Ⅰ和信道Ⅱ相接，組成圖3.19串接信道。若隨機變量序列（XYZ）是Markov鏈，試證明。

圖3.19（XYZ）構(gòu)成Markov鏈3.9平均交互信息量的不增性

解：因為隨機變量序列（XYZ）是Markov鏈，由圖3.19可知，串接信道的信道矩陣由于串接信道的信道矩陣[P]與信道Ⅰ的信道矩陣完全一致，所以有

根據(jù)（3.97）、（3.96）、（3.95）、（3.94）、（3.93）式，隨機變量序列（YZX）亦是Markov鏈。根據(jù)定理3.8，可證得這一特例說明，在（XYZ）是Markov鏈的條件下，信道Ⅱ是一一對應(yīng)確定關(guān)系的一般無噪信道，是（3.84）式中等式（3.85）成立的必要條件，但不是充分條件。3.9平均交互信息量的不增性推論設(shè)有兩個信道串接構(gòu)成隨機變量序列（XYZ）。若隨機變量序列（XYZ）是Markov鏈，則有（3.100）【證明】因為隨機變量序列（XYZ）是Markov鏈，則由定理3.7有又因為當(dāng)（XYZ）是Markov鏈時，隨機變量序列（ZYX）亦是Markov鏈，由定理3.8，有即證得，當(dāng)隨機變量序量（XYZ）是Markov鏈時，有這樣，推論就得到了證明。平均交互信息量與和之間的關(guān)系綜合表示為右圖所示。3.9平均交互信息量的不增性推論指出，若以Z作為觀察點，把信道Ⅰ看作是一個數(shù)據(jù)處理裝置（如圖3.21），隨機變量序列（XYZ）是Markov鏈。因隨機變量Y經(jīng)過處理后，變成隨機變量X，則從隨機變量Z中獲取關(guān)于隨機變量X的平均交互信息量，不會超過數(shù)據(jù)處理前從隨機變量Z中獲取關(guān)于隨機