信源X信宿Y有擾信道C干擾源N平均互信息一、平均互信息量的定義平均互信息量Y對X的平均交互信息量；交互熵發(fā)送接收？？同理，X對Y的平均互信息：(2.1.44)發(fā)送接收？？(2.1.45)信道中流通信息量的整體測度。發(fā)送接收通信前通信后發(fā)送接收二、平均互信息的物理意義平均互信息量是收到Y(jié)前、后關(guān)于X的不確定度減少的量，即由Y獲得的關(guān)于X的平均信息量。1

平均互信息量是發(fā)送X前、后，關(guān)于Y的平均不確定度減少的量。23平均互信息量等于通信前、后，整個(gè)系統(tǒng)不確定度減少的量。

信息就是負(fù)熵——從一個(gè)事件獲得另一個(gè)事件的平均互信息需要消除不確定度，一旦消除了不確定度，就獲得了信息。例2.1.4信源X接入圖示信道0.980.80.20.02123等概率信源的熵最大。4567三、平均互信息的性質(zhì)對稱性1非負(fù)性2極值性132凸函數(shù)性4上凸函數(shù)證（略）1例2.1.5二元信源X接入對稱信道求平均互信息I(X；Y)，如圖2.1.90011下凸函數(shù)2I(X;Y)隨信道變化的曲線，如圖2.1.1000110.50.50.50.500111100111100111100111100111100110.50.50.50.500110.50.50.50.500110.50.50.50.500110.50.50.50.5多次處理信息量將減少圖2.1.8 數(shù)據(jù)處理模型數(shù)據(jù)處理定理XⅠ

YⅡZ5定義例題：p36多次測量多次測量的互信息量要比單次測量的互信息量大證(略)第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函數(shù)第5章：信源編碼第6章：信道編碼第7章：密碼體制的安全性測度§3.1信道容量的數(shù)學(xué)模型和分類§3.2單符號離散信源§3.3多符號離散信源§3.4多用戶信道§3.5信道編碼定理§3.1信道的數(shù)學(xué)模型和分類P(Y/X)xY信道的數(shù)學(xué)模型：{X

P(Y/X)Y}信道的分類無干擾信道有干擾信道信道的分類有記憶信道無記憶信道信道的分類單符號信道多符號信道信道的分類單用戶信道多用戶信道信道的分類連續(xù)信道半離散信道離散信道§3.1信道的數(shù)學(xué)模型和分類§3.2單符號離散信道§3.3多符號離散信道§3.4多用戶信道§3.5信道編碼定理§3.2

單符號離散信道的信道容量§3.2.1信道容量的定義

§3.2.2幾種特殊離散信道的容量§3.2.3離散信道容量的一般計(jì)算方法§3.2.1信道容量的定義p(bi/ai)xYi=1,2,…n信道轉(zhuǎn)移概率矩陣：（見下頁）信道容量§3.2單符號離散信道的信道容量§3.2.1信道容量的定義

§3.2.2幾種特殊離散信道的容量§3.2.3離散信道容量的一般計(jì)算方法§3.2.2幾種特殊離散信道的容量一、離散無噪信道1、一一對應(yīng)的無噪信道anbna1b1a2b2……a1b1a2b2an-1bn-1anbn……X、Y一一對應(yīng)C＝maxI(X;Y)＝lognp(ai)a1

b1b2

b32、具有擴(kuò)展功能的無噪信道a2

b4b5

b6a3

b7b8

此時(shí)，H(X/Y)=0，H(Y/X)0，且H(X)<H(Y)。此時(shí)，C=maxH(X)=logn

p(ai)一個(gè)輸入對應(yīng)多個(gè)輸出3、具有歸并性的無噪信道x1

y1x2

x3y2x4x5y3C=maxH(Y)=logmp(ai)H(X/Y)≠0，H(Y/X)=0多個(gè)輸入變成一個(gè)輸出二、強(qiáng)對稱(均勻)離散信道的信道容量P：總體錯(cuò)誤概率nXn相應(yīng)的二進(jìn)制均勻信道容量

C＝1－H(p),其中H(p)=-((1-p)log(1-p)+plogp)二進(jìn)制均勻信道容量曲線三、對稱離散信道的信道容量

矩陣中的每行都是集合P={p1,p2,……,pn}中的諸元素的不同排列，稱矩陣的行是可排列的。

矩陣中的每列都是集合Q={q1,q2,……,qm}中的諸元素的不同排列，稱矩陣的列是可排列的。

如果矩陣的行和列都是可排列的，稱矩陣是可排列的。 如果一個(gè)信道矩陣具有可排列性，則它所表示的信道稱為

對稱信道中，當(dāng)n<m時(shí)，P是Q的子集；當(dāng)n>m，Q是P的子集；當(dāng)n=m時(shí)，P=Q。對稱信道練習(xí)：判斷下列矩陣表示的信道是否是對稱信道√√相應(yīng)的對稱離散信道的信道容量強(qiáng)對稱信道與對稱信道比較：強(qiáng)對稱對稱n=mn與m未必相等矩陣對稱矩陣未必對稱P=QP與Q未必相等行之和，列之和均為1行之和為1四、準(zhǔn)對稱信道離散信道的信道容量

若信道矩陣的行是可排列的，但列不可排列，如果把列分成若干個(gè)不相交的子集，且由n行和各子集的諸列構(gòu)成的各個(gè)子矩陣都是可排列的，則稱相應(yīng)的信道為準(zhǔn)對稱信道。例如下面的矩陣：

假設(shè)此時(shí)將矩陣的列分為S個(gè)子集，每個(gè)子集的元素個(gè)數(shù)分別是m1，m2，……，ms?！?.2單符號離散信道§3.2.1信道容量的定義

§3.2.2幾種特殊離散信道的容量§3.2.3離散信道容量的一般計(jì)算方法§3.2.3離散信道容量的一般計(jì)算方法對一般離散信道而言，求信道容量，就是在固定信道的條件下，對所有可能的輸入概率分布{p(xi)}，求平均互信息的極大值。采用拉各朗日乘子法來計(jì)算。(1)兩邊乘p(ai)，并求和，則有：(2)將（2）代入（1），則有：（3）（4）則（3）變?yōu)椋海?）（6）（7）總結(jié)C的求法，過程如下：（8）（9）例：信道矩陣如下，求C。1234§3.1信道的數(shù)學(xué)模型和分類§3.2單符號離散信道§3.3多符號離散信道§3.4多用戶信道§3.5信道編碼定理§3.3多符號離散信道§3.3.1多符號離散信道的數(shù)學(xué)模型§3.3.2離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量多符號離散信道多符號信源通過離散信道傳輸形成多符號離散信道。§3.3.1

多符號離散信道的數(shù)學(xué)模型輸入輸出§3.3多符號離散信道§3.3.1多符號離散信道的數(shù)學(xué)模型

§3.3.2離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量§3.3.2離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量無記憶：YK僅與XK有關(guān)1YNY(a)?????=====-￡\￡-=-=NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211

)/()();()()..()/()..()/()();(rrrrr§3.1信道的數(shù)學(xué)模型和分類§3.2單符號離散信道§3.3多符號離散信道§3.4多用戶信道§3.5信道編碼定理§3.4多用戶信道§3.4.1多址接入信道

§3.4.2廣播信道§3.4.3

相關(guān)信源的多用戶信道§3.4.1多址接入信道多入單出信道信源1信源2編碼器1編碼器2信道譯碼二址接入信道模型R2

C20

C1

C12C1+C2R1§3.4多用戶信道§3.4.1多址接入信道

§3.4.2廣播信道§3.4.3相關(guān)信源的多用戶信道§3.4.2廣播信道廣播信道具有單個(gè)輸入和多個(gè)輸出的信道。信源1編碼器信道信源2譯碼器2譯碼器1圖3.4.4單輸入雙輸出廣播信道模型退化廣播信道（串聯(lián)）編碼器信道1信道2圖3.4.5退化的廣播信道模型構(gòu)成馬爾可夫鏈不變，保持最大§3.4多用戶信道§3.4.1多址接入信道

§3.4.2廣播信道§3.4.3相關(guān)信源的多用戶信道模型1§3.4.3相關(guān)信源的多用戶信道信源編碼器1編碼器2信道1信道2譯碼器1譯碼器2相關(guān)信源多用戶信道C2C1E1C1D1x1x2邊信息模型2RE1E2C1C2D1D2x1x2E0C0wW:公信息要求R0盡可能小，并且在W條件下，X1X2無關(guān)§3.1信道的數(shù)學(xué)模型和分類§3.2單符號離散信道§3.3多符號離散信道§3.4多用戶信道§3.5連續(xù)信道§3.5連續(xù)信道P(Y/X)連續(xù)信道的數(shù)學(xué)模型加性連續(xù)信道NY=X+Np(y/x)=p(n)X

利用坐標(biāo)變換原理,可證p(y/x)=p(n)

X,N相互獨(dú)立。假定N是均值為0，方差為的高斯變量噪聲功率輸入平