第4章離散信道的平均互信息與信道容量教學(xué)內(nèi)容和要求理解單符號(hào)離散信道及其模型，掌握其平均互信息，理解其信道容量掌握N×N信道、對(duì)稱信道、弱對(duì)稱信道的信道容量了解多符號(hào)離散信道及其模型，了解其平均互信息與信道容量理解n次擴(kuò)展信道及其模型，理解其平均互信息與信道容量4.1單符號(hào)離散信道的平均互信息發(fā)送信道接收噪聲信源信宿信道——傳輸信號(hào)的通道，信道中通常引入噪聲狹義信道——信號(hào)的傳輸媒介有線信道——電線、電纜、光纜無(wú)線信道——電磁空間——地波傳播、天波傳播、視線傳播發(fā)轉(zhuǎn)換媒介收轉(zhuǎn)換調(diào)制解調(diào)

調(diào)制信道編碼信道廣義信道——包括調(diào)制解調(diào)、收發(fā)轉(zhuǎn)換裝置的信道調(diào)制信道——連續(xù)信道編碼信道——離散信道1、單符號(hào)離散信道及其模型定義單符號(hào)離散信道——對(duì)應(yīng)于單符號(hào)離散信源和單符號(hào)離散信宿的信道信源的模型——離散型隨機(jī)變量X信宿的模型——離散型隨機(jī)變量Y隨機(jī)變量X的取值xi為信源發(fā)出的消息i=1,2,…,N隨機(jī)變量Y的取值yj為信宿收到的消息j=1,2,…,M單符號(hào)離散信道的模型——XP(Y/X)Y例1例22、單符號(hào)離散信道的平均互信息信宿收到消息yj所含的信息——消息yj所對(duì)應(yīng)概率P(yj)對(duì)數(shù)的負(fù)值，用I(yj)表示——受信道污染的信息信道將信源發(fā)出消息xi轉(zhuǎn)移為信宿收到消息yj所含的信息——消息xi消息yj所對(duì)應(yīng)轉(zhuǎn)移概率P(yj/xi)對(duì)數(shù)的負(fù)值，用I(yj/xi)表示——信道的污染信息①信道關(guān)于消息xi、yj的互信息定義信道關(guān)于消息xi、yj的互信息——信宿收到消息yj所含信源發(fā)出消息xi的互信息——信宿收到消息yj所含的信息I(yj)與信道將信源發(fā)出消息xi轉(zhuǎn)移為信宿收到消息yj所含的信息I(yj/xi)之差，用I(xi;yj)表示②平均互信息/交互熵信道各互信息的數(shù)學(xué)期望，用I(X;Y)表示定義反映信宿每收到一條消息所含信源一條消息的平均信息一般不等于信宿收到某條特定消息所含信源某條特定消息的信息——互信息例3平均互信息4、平均互信息的意義條件熵H(Y/X)——信道所含平均信息——噪聲熵信宿每收到一條消息所含信源一條消息的平均信息條件熵H(X/Y)——用反信道矩陣形式表示的信道所含平均信息——損失熵H(X/Y)H(X)H(Y/X)H(Y)I(X;Y)以信宿的熵為基礎(chǔ)，通過(guò)扣除信道的噪聲熵來(lái)度量信道每傳輸一條消息所含的平均信息以信源的熵為基礎(chǔ)，通過(guò)扣除信道的損失熵來(lái)度量信道每傳輸一條消息所含的平均信息5、平均互信息的主要性質(zhì)①對(duì)稱性②非負(fù)性③極值性④?chē)?yán)格凸性信道給定時(shí)，I(X;Y)對(duì)于信源概率P(X)嚴(yán)格上凸信源給定時(shí)，I(X;Y)對(duì)于信道轉(zhuǎn)移概率P(Y/X)嚴(yán)格下凸平均互信息及p-I(X;Y)和q-I(X;Y)曲線例4信道固定時(shí)q為常數(shù)，作p-I(X;Y)曲線00.51I(X;Y)1-H(q)p信源固定時(shí)p為常數(shù)，作q-I(X;Y)曲線00.51I(X;Y)H(p)q習(xí)題，(P99)3.1、3.2(1)4.2單符號(hào)離散信道的信道容量1、信道容量信道給定時(shí)，平均互信息I(X;Y)對(duì)于信源概率P(X)嚴(yán)格上凸——總能找到P(X)，使I(X;Y)達(dá)到最大定義信道給定時(shí)平均互信息I(X;Y)的最大值，用C表示2、信道容量的意義平均互信息I(X;Y)——信道每傳輸一條消息所含的平均信息信道容量C——給定信道每傳輸一條消息所含的最大平均信息——給定信道傳輸信息的能力3、信道容量的主要性質(zhì)①非負(fù)性②極值性4.3N×N信道的信道容量信道容量達(dá)到信道容量的信源概率當(dāng)M=N，方程有唯一解例1信道容量及達(dá)到信道容量的信源概率4.4對(duì)稱信道、弱對(duì)稱信道的信道容量1、對(duì)稱信道矩陣中每一行都是集合中各元素的不同排列——矩陣行可置換；每一列都是集合中各元素的不同排列——矩陣列可置換信道的信道矩陣既行可置換又列可置換定義例1例2二進(jìn)制對(duì)稱信道2、對(duì)稱信道的信道容量達(dá)到信道容量的信源概率對(duì)稱信道行可置換對(duì)稱信道列可置換，不失一般性，設(shè)對(duì)稱信道的信道矩陣如果信宿等概信宿等概是否可達(dá)？二進(jìn)制對(duì)稱信道的信道容量達(dá)到信道容量的信源概率例3信道容量及達(dá)到信道容量的信源概率信道矩陣既行可置換又列可置換→對(duì)稱信道信道容量達(dá)到信道容量的信源概率例4信道容量及達(dá)到信道容量的信源概率信道矩陣既行可置換又列可置換→對(duì)稱信道信道容量達(dá)到信道容量的信源概率3、弱對(duì)稱信道信道的信道矩陣行可置換定義例5例6二進(jìn)制擦除信道——弱對(duì)稱信道4、弱對(duì)稱信道的信道容量達(dá)到信道容量的信源概率弱對(duì)稱信道行可置換信宿等概是否可達(dá)？如果信宿等概矛盾！不可達(dá)按列分為s個(gè)不相交的子集，各子集構(gòu)成的子信道為對(duì)稱信道對(duì)應(yīng)于子信道的各子信宿等概是否可達(dá)？子信道矩陣列可置換，不失一般性，設(shè)第k個(gè)子信道矩陣如果各子信宿等概二進(jìn)制擦除信道的信道容量達(dá)到信道容量的信源概率例7信道容量及達(dá)到信道容量的信源概率信道矩陣行可置換→弱對(duì)稱信道——二進(jìn)制擦除信道按列分成兩個(gè)不相交的子集，兩個(gè)子集構(gòu)成的子信道矩陣為對(duì)稱信道信道容量達(dá)到信道容量的信源概率例8信道容量及達(dá)到信道容量的信源概率信道矩陣行可置換→弱對(duì)稱信道按列分成兩個(gè)不相交的子集，兩個(gè)子集構(gòu)成的子信道矩陣為對(duì)稱信道信道容量達(dá)到信道容量的信源概率習(xí)題，(P99-101)3.2(2)、3.7、3.14(1)4.5多符號(hào)離散信道的平均互信息與信道容量1、多符號(hào)離散信道及其模型定義多符號(hào)離散信道——對(duì)應(yīng)于多符號(hào)離散信源和多符號(hào)離散信宿的信道信源的模型——離散型隨機(jī)變量序列X1X2…Xn信宿的模型——離散型隨機(jī)變量序列Y1Y2…YnNnMnX1X2…XnP(Y1Y2…Yn/X1X2…Xn)Y1Y2…YnMnNnMn多符號(hào)離散信道的模型——2、多符號(hào)離散信道的平均互信息①信道關(guān)于消息的互信息（聯(lián)合互信息）定義定義n-1n-1n-21②信道的平均互信息（聯(lián)合平均互信息）聯(lián)合平均互信息——信宿收到信源發(fā)出各消息所含互信息的數(shù)學(xué)期望，用I(X1X2…Xn;Y1Y2…Yn)表示定義條件平均互信息——條件互信息的數(shù)學(xué)期望，用I(Xk;Yl/X1…Xk-1Y1…Yl-1)表示，其中k=1,2,…,n，l=2,…,n，l≥k定義n-1n-1n-213、平均互信息的鏈?zhǔn)椒▌tnnn(n+1)/2n(n+1)/24、多符號(hào)離散信道的平均互信息率平均互信息率——信宿收到信源發(fā)出消息中每一個(gè)符號(hào)所含的平均信息，用In(X1X2…Xn;Y1Y2…Yn)表示定義單位一般為bit/symbol5、多符號(hào)離散信道的信道容量（聯(lián)合信道容量）定義信道給定時(shí)聯(lián)合平均互信息I(X1X2…Xn;Y1Y2…Yn)的最大值，用C(X1X2…Xn;Y1Y2…Yn)表示條件信道容量——信道給定時(shí)條件平均互信息I(Xk;Yl/X1…Xk-1Y1…Yl-1)的最大值，用C(Xk;Yl/X1…Xk-1Y1…Yl-1)表示，其中k=1,2,…,n，l=1,2,…,n，l≥k定義6、信道容量的鏈?zhǔn)椒▌t7、多符號(hào)離散信道的信道容量率信道給定時(shí)平均互信息率In(X1X2…Xn;Y1Y2…Yn)的最大值，用Cn(X1X2…Xn;Y1Y2…Yn)表示定義4.6n次擴(kuò)展信道的平均互信息與信道容量1、n維離散平穩(wěn)信道定義多符號(hào)離散信道對(duì)任意兩個(gè)不同時(shí)間起點(diǎn)k和1，轉(zhuǎn)移概率及直到n維的各維聯(lián)合轉(zhuǎn)移概率相同2、n維離散平穩(wěn)信道的平均互信息3、n維離散平穩(wěn)無(wú)記憶信道與n次擴(kuò)展信道定義n維離散平穩(wěn)信道傳輸?shù)南⒅懈鞣?hào)相互獨(dú)立n維離散平穩(wěn)無(wú)記憶信道——獨(dú)立同分布，相當(dāng)于單