1、1信道容量信道容量2本講框架體系本講框架體系信道容量信道容量離散信道離散信道容量及性質(zhì)容量及性質(zhì)連續(xù)信道容量連續(xù)信道容量DMC容量容量AWGN信道容量信道容量離散無記憶信道離散無記憶信道DMC離散信道容量及性質(zhì)離散信道容量及性質(zhì)離散信道，輸入輸出時(shí)間上離散，取值上取有離散信道，輸入輸出時(shí)間上離散，取值上取有限個(gè)值限個(gè)值輸入序列輸入序列輸出序列輸出序列31, 1 , 0KX1, 1 , 0JYnnxxxx,21nnyyyy,21離散信道容量及性質(zhì)離散信道容量及性質(zhì)輸入輸出隨機(jī)序列互信息輸入輸出隨機(jī)序列互信息離散信道容量定義：離散信道容量定義：其中：其中： 表示不同的輸入分布表示不同的輸入分布性質(zhì)

2、：性質(zhì)：1.2. 是關(guān)于是關(guān)于 的連續(xù)上凸的連續(xù)上凸(concave)函數(shù)函數(shù)4返回返回nnYYYXXXI2121;nnxQnYYYXXXInCn2121;max1lim nxQYXlog,logmin0 C);(YXI xp離散無記憶信道離散無記憶信道（DMC） DMC-Discrete Memoryless Channel 若離散信道對(duì)任何若離散信道對(duì)任何N有：有： 稱該信道為離散無記憶信道（稱該信道為離散無記憶信道（DMC）。）。 以以 表示。表示。5NnnnNNNxypxyp1|YX;|;nnxyp離散無記憶信道離散無記憶信道（DMC） 對(duì)任意對(duì)任意n與與m有：有： 則稱該信道是平穩(wěn)的

3、或恒參的，此時(shí)信道特則稱該信道是平穩(wěn)的或恒參的，此時(shí)信道特性與時(shí)間無關(guān)。性與時(shí)間無關(guān)。 以以 簡(jiǎn)化表示。簡(jiǎn)化表示。6kxjypkxjypmmnn|YX;|;xyp返回返回DMC容量容量對(duì)于離散無記憶信道對(duì)于離散無記憶信道其中等號(hào)在輸入為獨(dú)立隨機(jī)序列時(shí)達(dá)到。其中等號(hào)在輸入為獨(dú)立隨機(jī)序列時(shí)達(dá)到。證明如下：證明如下：輸入序列輸入序列輸出序列輸出序列DMC7niiinnYXIYYYXXXI12121;nnxxxx,21nnyyyy,21NiiiNNNxypxyp1|DMC容量容量知：知：由于：由于：8)|()();(;2121XYYYXHHIYYYXXXInn niiiniyxiiiiniyxiinn

4、yxniiinnyxnnnnXYHxypyxpxypyxpxypyxpxypyxpHiinnnnnn11,1,1,)|()|(log),()|(log),()|(log),()|(log),()(XYDMC容量容量所以：所以：當(dāng)輸入序列是獨(dú)立隨機(jī)序列時(shí)當(dāng)輸入序列是獨(dú)立隨機(jī)序列時(shí)9niinnnYHYYYYHYYYHYYHYHYYYHH112121312121)()|()|()|()()()(YniiiniiiniiYXIXYHYHI111);()|()();(YXniinxqxQ1)()(DMC容量容量這時(shí)這時(shí)：當(dāng)輸入序列為獨(dú)立隨機(jī)變量時(shí)，輸出序列亦然。當(dāng)輸入序列為獨(dú)立隨機(jī)變量時(shí)，輸出序列亦然。

5、10 niiniiixixxxniiiixxxniniiiixnnnnypxypxqxypxqxypxqxypxQypinnn11111|)|()()|()()|()()(1212DMC容量容量此時(shí)：此時(shí)：從而：從而：因此，對(duì)因此，對(duì)DMC來說，當(dāng)輸入是獨(dú)立隨機(jī)變量時(shí)：來說，當(dāng)輸入是獨(dú)立隨機(jī)變量時(shí)：11niiYHH1)()(YniiiYXII1);();(YXniiinnYXIYYYXXXI12121;DMC容量容量對(duì)恒參信道和平穩(wěn)信源來說：對(duì)恒參信道和平穩(wěn)信源來說：因此，得到離散無記憶信道容量為：因此，得到離散無記憶信道容量為：其中其中 為為X的概率分布。的概率分布。12YXICkQ;max

6、YXnIYYYXXXInn;2121kQ返回返回AWGN信道容量信道容量 AWGN-Additive White Gaussian Noise 高斯信道：高斯信道： 其中其中 和和 為獨(dú)立隨機(jī)變量為獨(dú)立隨機(jī)變量 定義：在功率限制定義：在功率限制P之下，高斯信道容量定義之下，高斯信道容量定義為為 高斯信道容量是互信息高斯信道容量是互信息 在一切均方值在一切均方值受限的輸入隨機(jī)分布上的極大值。受限的輸入隨機(jī)分布上的極大值。13 YXICPEXxp;max2:YXI;NZi, 0 NiiiZXYiXiZAWGN信道容量信道容量由定義計(jì)算高斯信道容量：由定義計(jì)算高斯信道容量：因?yàn)椋阂驗(yàn)椋?4 ZhYh

7、XZhYhXZXhYhXYhYhYXI|;eNZh2log21NPEZEZEXEXZXEEY22222證明證明正態(tài)分布微分熵正態(tài)分布微分熵證明：證明：15NZ, 0 N NzeNzZ2/2)2/1 ( eNNeNeNEZNeNzxh2log212log21log212log21log22loglog2log22AWGN信道容量信道容量所以：所以：以上不等式成立是由于以上不等式成立是由于當(dāng)當(dāng)Y是高斯隨機(jī)變量時(shí)等號(hào)成立。是高斯隨機(jī)變量時(shí)等號(hào)成立。16 NPeNNPeZhYhYXI1log212log212log21; NPeYh2log21AWGN信道容量信道容量由于當(dāng)由于當(dāng)X為高斯變量時(shí)，為高斯變量時(shí)，Y也為高斯變量，于是也為高斯變量，于是即：當(dāng)即：當(dāng)X為正態(tài)分布，為正態(tài)分