第三章信道模型和信道容量第1頁，共106頁，2023年，2月20日，星期三第三章信道模型和信道容量信道的基本概念信道的數(shù)學(xué)模型平均互信息量、損失熵、噪音熵信道容量離散對(duì)稱信道的信道容量計(jì)算第2頁，共106頁，2023年，2月20日，星期三信息傳輸系統(tǒng)消息消息第二章:信息量第三章信道與信道容量第3頁，共106頁，2023年，2月20日，星期三信道的基本概念第4頁，共106頁，2023年，2月20日，星期三信道的基本概念信道的任務(wù)：以信號(hào)的方式傳輸信息和存儲(chǔ)信息信道中存在隨機(jī)噪聲輸入信號(hào)與輸出信號(hào)之間一般都不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴的關(guān)系第5頁，共106頁，2023年，2月20日，星期三例：信源輸出二元符號(hào)(0,1)調(diào)制時(shí)如采用正負(fù)方波的傳輸，正負(fù)方波分別表示0和1信道的基本概念第6頁，共106頁，2023年，2月20日，星期三信道的基本概念１.無噪聲干擾

P(0|0)=P(1|1)=1P(1|0)=P(0|1)=0第7頁，共106頁，2023年，2月20日，星期三信道的基本概念2.微小噪聲干擾

P(0|0)=P(1|1)=1P(1|0)=P(0|1)=0第8頁，共106頁，2023年，2月20日，星期三信道的基本概念3.一般噪聲干擾P(0|0)≠

P(1|1)≠1P(1|0)≠P(0|1)≠

0第9頁，共106頁，2023年，2月20日，星期三信道的基本概念信道的任務(wù)：以信號(hào)的方式傳輸信息和存儲(chǔ)信息信道中存在隨機(jī)噪聲輸入信號(hào)與輸出信號(hào)之間一般都不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴的關(guān)系研究信道的目的：信道能夠傳輸或存儲(chǔ)的最大信息量，即信道容量第10頁，共106頁，2023年，2月20日，星期三信道的基本概念－信道分類根據(jù)信道用戶的多少，可以分為：?jiǎn)斡脩粜诺溃褐挥幸粋€(gè)輸入、一個(gè)輸出的單向信道多用戶信道：輸入、輸出至少有一端有兩個(gè)以上的用戶，還有可能是雙向信道第11頁，共106頁，2023年，2月20日，星期三信道的基本概念－信道分類根據(jù)信道的記憶特性無記憶信道：信道輸出只與當(dāng)前的輸入有關(guān)有記憶信道：信道輸出不僅與當(dāng)前輸入有關(guān)，還與過去的輸入有關(guān)第12頁，共106頁，2023年，2月20日，星期三信道的基本概念－信道分類根據(jù)輸入、輸出信號(hào)的取值特點(diǎn)：離散輸入：輸入輸出的隨機(jī)序列取值都是離散的連續(xù)信道：輸入輸出的隨機(jī)序列取值都是連續(xù)的半離散半連續(xù)信道：輸入序列取值離散而輸出序列取值連續(xù)，或者反之。波形信道：輸入輸出信號(hào)在時(shí)間上和取值上都是連續(xù)的，不能用隨機(jī)序列，而需要用隨機(jī)過程表示第13頁，共106頁，2023年，2月20日，星期三信道的基本概念－信道分類根據(jù)信道參數(shù)與時(shí)間的關(guān)系，可以分為：固定參數(shù)信道：信道參數(shù)（統(tǒng)計(jì)特性）不隨時(shí)間變化而變化時(shí)變參數(shù)信道：信道參數(shù)（統(tǒng)計(jì)特性）隨時(shí)間變化而變化我們?cè)谶@門課程中，主要研究的是單用戶、固定參數(shù)的離散信道

第14頁，共106頁，2023年，2月20日，星期三信道的數(shù)學(xué)模型X和Y分別是輸入和輸出隨機(jī)序列第15頁，共106頁，2023年，2月20日，星期三信道的數(shù)學(xué)模型

是條件概率分布，或稱為條件概率矩陣描述了輸入信號(hào)、輸出信號(hào)之間的統(tǒng)計(jì)依賴關(guān)系，反映了信道的統(tǒng)計(jì)特性.第16頁，共106頁，2023年，2月20日，星期三信道的數(shù)學(xué)模型根據(jù)信道的統(tǒng)計(jì)特性，即的不同，離散信道可以分成三種情況：無干擾信道有干擾無記憶信道有干擾有記憶信道第17頁，共106頁，2023年，2月20日，星期三無干擾信道

最理想的信道，信道中沒有隨機(jī)性的干擾，輸出信號(hào)和輸入信號(hào)有一一對(duì)應(yīng)的函數(shù)關(guān)系第18頁，共106頁，2023年，2月20日，星期三有干擾無記憶信道一般信道中都存在著干擾和噪聲，所以輸出符號(hào)和輸入符號(hào)之間沒有確定的對(duì)應(yīng)關(guān)系，而是統(tǒng)計(jì)依賴關(guān)系。第19頁，共106頁，2023年，2月20日，星期三有干擾無記憶信道不僅僅是有干擾信道，而且是無記憶的。無記憶的信道指的是在任一時(shí)刻的輸出符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，而與其它時(shí)刻的輸入符號(hào)和其它時(shí)刻的輸出符號(hào)無關(guān)。第20頁，共106頁，2023年，2月20日，星期三有干擾無記憶信道滿足離散無記憶信道的充要條件是因?yàn)闊o記憶信道的輸出只與對(duì)應(yīng)時(shí)刻的輸入有關(guān)，所以已知輸入序列條件下輸出序列的條件概率等于輸入輸出序列中，各對(duì)應(yīng)分量的條件概率之積第21頁，共106頁，2023年，2月20日，星期三有干擾無記憶信道－模型簡(jiǎn)化一般的信道輸入模型：對(duì)于有干擾無記憶信道：第22頁，共106頁，2023年，2月20日，星期三離散無記憶信道－模型簡(jiǎn)化

輸入輸出隨機(jī)序列間的隨機(jī)特性可以用一對(duì)輸入輸出分量間的隨機(jī)特性來表示，數(shù)學(xué)模型中的隨機(jī)序列可以用隨機(jī)變量來表示信道()NXXXXK21=()NYYYYK21=)|(11NNXXYYPKK)|(iiXYPiXiY離散無記憶信道(DMC)的模型為第23頁，共106頁，2023年，2月20日，星期三單符號(hào)離散信道（DMC）

輸入變量的樣本空間輸出變量的樣本空間有個(gè)條件概率

傳遞矩陣(信道矩陣)第24頁，共106頁，2023年，2月20日，星期三傳遞矩陣性質(zhì)

滿足且第25頁，共106頁，2023年，2月20日，星期三相關(guān)概率

研究信道的過程中，一般輸入信號(hào)的概率、信道的傳遞概率是已知的，其它的概率未知，但可以求出：輸入符號(hào)的先驗(yàn)概率輸出符號(hào)的先驗(yàn)概率傳遞概率、轉(zhuǎn)移概率、前向概率后向概率、后驗(yàn)概率聯(lián)合概率第26頁，共106頁，2023年，2月20日，星期三相關(guān)概率－計(jì)算

聯(lián)合概率(根據(jù)乘法公式）輸出符號(hào)概率(根據(jù)全概率公式)第27頁，共106頁，2023年，2月20日，星期三相關(guān)概率－計(jì)算

后向概率(根據(jù)Beyas公式)可見：已知輸入先驗(yàn)概率、信道傳遞概率后，聯(lián)合概率、輸出先驗(yàn)概率、后向概率都可以求出來

第28頁，共106頁，2023年，2月20日，星期三相關(guān)概率－例題設(shè)信源，通過一干擾信道接收符號(hào)為，信道傳輸矩陣為，求各種概率分布第29頁，共106頁，2023年，2月20日，星期三１)聯(lián)合概率

2)輸出概率第30頁，共106頁，2023年，2月20日，星期三2)輸出概率(或者)

3)后向概率第31頁，共106頁，2023年，2月20日，星期三離散單符號(hào)信道舉例

二元對(duì)稱信道（BSC）輸入、輸出的取值都為0、1，定義錯(cuò)誤概率p，傳遞概率為：第32頁，共106頁，2023年，2月20日，星期三離散單符號(hào)信道舉例

信道矩陣信道線圖第33頁，共106頁，2023年，2月20日，星期三離散單符號(hào)信道舉例

二元?jiǎng)h除信道（BEC）輸入的取值有2個(gè)為0、1，輸出的取值有3個(gè)為0、1、2(或者?)，定義正確概率p第34頁，共106頁，2023年，2月20日，星期三離散單符號(hào)信道舉例

二元?jiǎng)h除信道（BEC）BEC在實(shí)際應(yīng)用中也經(jīng)常用到，如正負(fù)方波的傳輸，正負(fù)方波分別表示0和1由于碼間串?dāng)_，輸出端可能是第35頁，共106頁，2023年，2月20日，星期三離散單符號(hào)信道舉例

二元?jiǎng)h除信道（BEC）在輸出端判決準(zhǔn)則：對(duì)輸出信號(hào)求積分第36頁，共106頁，2023年，2月20日，星期三互信息量－定義

回顧：

自信息量條件自信息量聯(lián)合信息量第37頁，共106頁，2023年，2月20日，星期三互信息量－定義

互信息量：通信過程中所獲得的信息量.以單符號(hào)離散信道為例輸入信號(hào)的概率空間是輸出信號(hào)的概率空間是信源信道信宿XYaibj第38頁，共106頁，2023年，2月20日，星期三互信息量－定義先驗(yàn)概率自信息量后驗(yàn)概率條件自信息量收到輸出信號(hào)前后，不確定性發(fā)生了變化通信過程中所獲得的信息量，即通過信道所傳輸?shù)男畔⒘康?9頁，共106頁，2023年，2月20日，星期三互信息量－定義

定義為事件和間的互信息量，表示通信過程中所獲得的信息量信道)|(XYP)(:21raaaXK)(:21sbbbYK)(1log)(iiapaI=)|(1log)|(jijibapbaI=)|()();(jiijibaIaIbaI-=通信前通信后第40頁，共106頁，2023年，2月20日，星期三互信息量－定義舉例：發(fā)出0后，接收端收到的卻是1互信息量可以為負(fù)數(shù)。第41頁，共106頁，2023年，2月20日，星期三互信息量－舉例

例題：某地三月份天氣構(gòu)成的信源為有一天有人告訴你，“三月某天的天氣不是晴天”，將此作為事件求第42頁，共106頁，2023年，2月20日，星期三互信息量－舉例

收到，有第43頁，共106頁，2023年，2月20日，星期三互信息量－三種理解方式

經(jīng)過概率互換，可以變化為另外兩種形式。第44頁，共106頁，2023年，2月20日，星期三互信息量－三種理解方式

第一種方式：從接收端的角度觀察，得到的是關(guān)于的信息量第二種方式：從發(fā)送端的角度觀察，得到的是關(guān)于的信息量第三種方式：從通信系統(tǒng)總體角度觀察通信前通信后傳輸信息量第45頁，共106頁，2023年，2月20日，星期三平均互信息量－定義互信息量也只能描述發(fā)生具體輸入輸出消息時(shí)流經(jīng)信道的信息量，隨著輸入輸出消息的不同，互信息量也不同。自信息量不能用來從整體上，描述信源發(fā)出信息量的能力，不能作為信源發(fā)出信息量的測(cè)度。同理，互信息量不能從整體上，作為信道中信息流通的測(cè)度第46頁，共106頁，2023年，2月20日，星期三平均互信息量－定義每對(duì)輸入輸出消息的互信息量發(fā)生的概率是平均互信息量:第47頁，共106頁，2023年，2月20日，星期三平均互信息量－與各種熵的關(guān)系定義：為已知輸出Y的情況下，輸入信號(hào)X的信息熵，稱為后驗(yàn)熵.后驗(yàn)熵是條件熵。第48頁，共106頁，2023年，2月20日，星期三平均互信息量－與各種熵的關(guān)系收到輸出信號(hào)以前輸入信號(hào)的信息熵收到輸出信號(hào)以后輸入信號(hào)的信息熵代表了收到輸出信號(hào)后，獲得的關(guān)于輸入信號(hào)的平均信息量

第49頁，共106頁，2023年，2月20日，星期三平均互信息量－與各種熵的關(guān)系第50頁，共106頁，2023年，2月20日，星期三平均互信息量－與各種熵的關(guān)系另外根據(jù)有第51頁，共106頁，2023年，2月20日，星期三平均互信息量－與各種熵的關(guān)系第52頁，共106頁，2023年，2月20日，星期三平均互信息量－與各種熵的關(guān)系輸入信號(hào)原本有的平均信息量，經(jīng)過信道傳輸?shù)膮s只有的平均信息量，還有損失在信道中，所以稱為損失熵。是信道疑義度、后驗(yàn)熵，也稱為損失熵。第53頁，共106頁，2023年，2月20日，星期三平均互信息量－與各種熵的關(guān)系損失熵也是條件自信息量的平均值

第54頁，共106頁，2023年，2月20日，星期三平均互信息量－與各種熵的關(guān)系

通過信道傳輸?shù)钠骄畔⒘渴?，而輸出信?hào)的平均信息量是，多出了的平均信息量，多出來的平均信息量是由信道噪聲引起的，所以稱之為噪聲熵是信道的散布度，也稱為信道的噪聲熵。第55頁，共106頁，2023年，2月20日，星期三平均互信息量－與各種熵的關(guān)系噪音熵也是條件自信息量的平均值

第56頁，共106頁，2023年，2月20日，星期三平均互信息量－與各種熵的關(guān)系第57頁，共106頁，2023年，2月20日，星期三平均互信息量－與各種熵的關(guān)系第58頁，共106頁，2023年，2月20日，星期三平均互信息量－計(jì)算平均互信息的求解：一般情況下，知道輸入信號(hào)的概率分布，信道傳遞概率分布，求解有三種方法：第59頁，共106頁，2023年，2月20日，星期三平均互信息量－計(jì)算第一種方法：已知，很容易求求損失熵

要求個(gè)后驗(yàn)概率第二種方法：用的較少第60頁，共106頁，2023年，2月20日，星期三平均互信息量－計(jì)算第三種方法：求輸出信號(hào)的熵，要求s個(gè)輸出概率

結(jié)論：第三種方法計(jì)算量更小一些第61頁，共106頁，2023年，2月20日，星期三平均互信息量－例題設(shè)信源，通過一干擾信道接收符號(hào)為，信道傳輸矩陣為，求第62頁，共106頁，2023年，2月20日，星期三平均互信息量第63頁，共106頁，2023年，2月20日，星期三平均互信息量－課堂作業(yè)設(shè)信源X的符號(hào)集{0,1,2}，其概率分布為Px(0)=1/4,Px(1)=1/4,Px(2)=1/2.通過一信道，其信道線圖為：第64頁，共106頁，2023年，2月20日，星期三平均互信息量－性質(zhì)第65頁，共106頁，2023年，2月20日，星期三平均互信息量－性質(zhì)數(shù)學(xué)證明如下：

第66頁，共106頁，2023年，2月20日，星期三平均互信息量－性質(zhì)凸?fàn)钚裕旱?7頁，共106頁，2023年，2月20日，星期三平均互信息量－性質(zhì)凸?fàn)钚裕憾ɡ?：當(dāng)信道給定(即P(Y|X)給定),平均互信息量I(X;Y)是輸入信號(hào)先驗(yàn)概率分布P(X)的上凸函數(shù)。定理2：當(dāng)信源給定(即P(X)給定),平均互信息量I(X;Y)是信道傳遞概率分布P(Y|X)的下凸函數(shù)。第68頁，共106頁，2023年，2月20日，星期三平均互信息量－性質(zhì)這兩個(gè)定理非常重要，是研究信道容量，率失真信源編碼的理論基礎(chǔ)。在信道容量的研究中，信道是固定的，平均互信息是輸入信號(hào)概率分布 的函數(shù)，總存在最佳的概率分布，使平均互信息達(dá)到最大值，這個(gè)最大值就是信道容量第69頁，共106頁，2023年，2月20日，星期三平均互信息量－性質(zhì)在率失真信源編碼的研究中，把編碼過程看作信道，輸入的信號(hào)是固定的，平均互信息只是傳遞概率分布的函數(shù)，這時(shí)在滿足失真度的情況下，要壓縮的更多，就是要平均互信息盡量小第70頁，共106頁，2023年，2月20日，星期三信道容量的定義研究信道的目的就是研究信道所能夠傳輸?shù)淖畲笮畔⒘浚葱诺廊萘慷x平均互信息量，即信道的信息率：定義信息傳輸速率：(單位：bit/s)第71頁，共106頁，2023年，2月20日，星期三信道容量的定義根據(jù)定理一：對(duì)于特定信道，是輸入信號(hào)的概率分布的上凸型凸函數(shù)，存在一種輸入信號(hào)的概率分布，使 最大。定義最大的信息傳輸率或信息傳輸速率為信道容量相應(yīng)的輸入概率分布稱為最佳輸入分布第72頁，共106頁，2023年，2月20日，星期三信道容量的計(jì)算求信道容量是本章的重點(diǎn)從數(shù)學(xué)的角度上分析，求信道容量是對(duì)一個(gè)特定的信道，調(diào)整輸入信號(hào)的概率分布，求的最大值的問題對(duì)于一般的信道，信道容量的計(jì)算非常復(fù)雜，我們僅研究一些特殊的信道容量第73頁，共106頁，2023年，2月20日，星期三離散無噪確定信道的信道容量

信道中沒有干擾，輸入符號(hào)和輸出符號(hào)之間有一一對(duì)應(yīng)的函數(shù)關(guān)系第74頁，共106頁，2023年，2月20日，星期三離散無噪確定信道的信道容量離散無噪確定信道的信道容量的最佳輸入分布是等概分布。第75頁，共106頁，2023年，2月20日，星期三有噪無損信道的信道容量第76頁，共106頁，2023年，2月20日，星期三有噪無損信道的信道容量最佳輸入分布是等概分布第77頁，共106頁，2023年，2月20日，星期三無噪有損信道的信道容量第78頁，共106頁，2023年，2月20日，星期三無噪有損信道的信道容量第79頁，共106頁，2023年，2月20日，星期三對(duì)稱信道的信道容量信道的傳遞概率矩陣中，每一行都是另一行的置換，每一列也都是另一列的置換，這樣的信道稱為對(duì)稱信道第80頁，共106頁，2023年，2月20日，星期三對(duì)稱信道的信道容量作為對(duì)稱信道的一個(gè)特殊形式，我們定義了強(qiáng)對(duì)稱信道或稱均勻信道對(duì)角線上的元素是正確概率，錯(cuò)誤概率平均分配給其它個(gè)符號(hào)，每個(gè)符號(hào)的概率第81頁，共106頁，2023年，2月20日，星期三對(duì)稱信道的信道容量要求信道容量，先求平均互信息：首先看是傳遞矩陣某一行的傳遞概率第82頁，共106頁，2023年，2月20日，星期三對(duì)稱信道的信道容量因?yàn)槭菍?duì)稱矩陣，每一行都是其他行的置換，根據(jù)熵的對(duì)稱性，有：所以有第83頁，共106頁，2023年，2月20日，星期三對(duì)稱信道的信道容量要得到信道容量，就要求最大，根據(jù)離散熵定理，就要等概率分布因?yàn)槭菍?duì)稱矩陣，每一列都是其它列的置換，只要輸入信號(hào)的概率分布為等概率分布，那么輸出信號(hào)就是等概率分布第84頁，共106頁，2023年，2月20日，星期三對(duì)稱信道的信道容量對(duì)于輸入等概率，輸出信號(hào)的概率第85頁，共106頁，2023年，2月20日，星期三對(duì)稱信道的信道容量可以看到，只要輸入信號(hào)等概率分布，那么輸出信號(hào)也是等概率分布第86頁，共106頁，2023年，2月20日，星期三對(duì)稱信道的信道容量舉例：對(duì)稱信道第87頁，共106頁，2023年，2月20日，星期三對(duì)稱信道的信道容量舉例：強(qiáng)對(duì)稱信道第88頁，共106頁，2023年，2月20日，星期三對(duì)稱信道的信道容量舉例：二元對(duì)稱信道第89頁，共106頁，2023年，2月20日，星期三準(zhǔn)對(duì)稱信道的信道容量信道的傳遞概率矩陣可按輸出符號(hào)集Y分成幾個(gè)子矩陣，每個(gè)子矩陣表示的信道都是對(duì)稱，則稱這個(gè)信道是準(zhǔn)對(duì)稱信道第90頁，共106頁，2023年，2月20日，星期三準(zhǔn)對(duì)稱信道的信道容量第91頁，共106頁，2023年，2月20日，星期三準(zhǔn)對(duì)稱信道的信道容量【例】信道的轉(zhuǎn)移概率矩陣如下，求信道容量

第92頁，共106頁，2023年，2月20日，星期三準(zhǔn)對(duì)稱信道的信道容量

分解為：第93頁，共106頁，2023年，2月20日，星期三準(zhǔn)對(duì)稱信道的信道容量這樣轉(zhuǎn)換為：已知了輸入概率分布、轉(zhuǎn)移概率分布，求