1、本章節(jié)達(dá)到的目的,了解信息論研究信道的目的、內(nèi)容 了解信道的基本分類并掌握信道的基本描述方法 掌握信道容量/信道容量代價(jià)函數(shù)的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系 能夠計(jì)算簡(jiǎn)單信道的信道容量/信道容量代價(jià)函數(shù)（對(duì)稱離散信道、無(wú)記憶加性高斯噪聲信道） 了解信道容量/容量代價(jià)函數(shù)在研究通信系統(tǒng)中的作用,概念問(wèn)題,熵熵率無(wú)失真信源編碼定理中的作用 互信息信道容量信道編碼定理中的作用,回顧互信息函數(shù)的性質(zhì)1,互 信息與信道輸入概率分布的關(guān)系 性質(zhì)1 ：I(X; Y)是信道輸入概率分布p(x)的上凸函數(shù).,I(X; Y),p(x),回顧互信息函數(shù)的性質(zhì)2,信息量與信道轉(zhuǎn)移概率分布的關(guān)

2、系 性質(zhì)2 ：I(X; Y)是信道轉(zhuǎn)移概率分布p(y/x)的下凹函數(shù).,I(X; Y),p(y/x),回顧互信息函數(shù)的性質(zhì)3,信息量與信道輸入符號(hào)相關(guān)性的關(guān)系 性質(zhì)3: 信道的輸入是離散無(wú)記憶的,回顧互信息函數(shù)的性質(zhì)4,信息量與信道輸入符號(hào)相關(guān)性的關(guān)系 性質(zhì)4: 信道是離散無(wú)記憶的,回顧互信息函數(shù)的性質(zhì)5,性質(zhì)3、性質(zhì)4的推論： 信道的輸入和信道本身都是離散無(wú)記憶的,信道與信道容量,概述 信道的分類與描述 離散無(wú)記憶信道及其容量 連續(xù)信道及其容量 容量代價(jià)函數(shù)C(F),4.1:概述,信息論對(duì)信道研究的內(nèi)容 什么是信道？ 信道的作用 研究信道的目的,5.1:概述1,信息論對(duì)信道研究的內(nèi)容： 信道

3、的建模：用恰當(dāng)?shù)妮斎?輸出兩個(gè)隨機(jī)過(guò)程來(lái)描述 信道容量 不同條件下充分利用信道容量的各種辦法,5.1:概述2,什么是信道？ 信道是傳送信息的載體信號(hào)所通過(guò)的通道。 信息是抽象的，信道則是具體的。比如：二人對(duì)話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽(tīng)收音機(jī)，收、發(fā)間的空間就是信道。,5.1:概述3,信道的作用 在信息系統(tǒng)中信道主要用于傳輸與存儲(chǔ)信息，而在通信系統(tǒng)中則主要用于傳輸。,5.1:概述4,研究信道的目的 實(shí)現(xiàn)信息傳輸?shù)挠行院涂煽啃?有效性：充分利用信道容量 可靠性：通過(guò)信道編碼降低誤碼率 在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計(jì)算其容量，即極限

4、傳輸能力，并分析其特性。 通信技術(shù)研究信號(hào)在信道中傳輸?shù)倪^(guò)程所遵循的物理規(guī)律，即傳輸特性 信息論研究信息的傳輸問(wèn)題（假定傳輸特性已知）,4.2:信道的分類與描述,信道分類 信道描述,4.2:信道分類與描述1,信道分類 從工程物理背景傳輸媒介類型； 從數(shù)學(xué)描述方式信號(hào)與干擾描述方式； 從信道本身的參數(shù)類型恒參與變參； 從用戶類型單用戶與多用戶；,4.2:信道分類與描述2,4.2:信道分類與描述3,4.2:信道分類與描述4,4.2:信道分類與描述5,4.2:信道分類與描述6,信道描述 信道可以引用三組變量來(lái)描述： 信道輸入概率空間： 信道輸出概率空間： 信道概率轉(zhuǎn)移矩陣： P 即： P ， 它可簡(jiǎn)

5、化為： 。,4.2:信道分類與描述7,其中： 而 而,4.2:信道分類與描述8,當(dāng)K=1時(shí)，退化為單個(gè)消息（符號(hào)）信道；進(jìn)一步當(dāng)n=m=2時(shí)，退化為二進(jìn)制單個(gè)消息信道。若它滿足對(duì)稱性，即構(gòu)成最常用的二進(jìn)制單消息對(duì)稱信道BSC： 且 , ,4.3:離散無(wú)記憶信道及其信道容量,離散無(wú)記憶信道及其信道容量 離散無(wú)記憶信道容量的計(jì)算 離散無(wú)記憶信道的信道容量定理 對(duì)稱的離散無(wú)記憶信道容量 香農(nóng)第一定理的物理意義,4.3:離散無(wú)記憶信道及其信道容量-1,離散消息序列信道,4.3:離散無(wú)記憶信道及其信道容量-2,離散無(wú)記憶信道及其信道容量 由消息序列互信息 性質(zhì) 對(duì)離散無(wú)記憶信道，有： （性質(zhì)4） 則,當(dāng)

6、且僅當(dāng)信源(信道入)無(wú)記憶時(shí)，“等號(hào)”成立（性質(zhì)3、4推論）,4.3:離散無(wú)記憶信道及其信道容量-3,離散無(wú)記憶信道及其信道容量的進(jìn)一步理解 Cmax存在互信息性質(zhì)1，上凸函數(shù)極值存在 達(dá)到Cmax時(shí)的兩個(gè)條件： 信道輸入（信源）是離散無(wú)記憶的 信道輸入的概率分布是使I(X,Y)達(dá)到最大的分布 C的值不是由信源的p(x)決定的，而是由p 決定的 C是信道作為信息傳輸通道的性能度量 只有信道輸入（信源）X（x1x2xn)滿足一定條件時(shí)，才能充分利用信道傳輸信息的能力,4.3:離散無(wú)記憶信道及其信道容量-4,離散無(wú)記憶信道容量的計(jì)算 思路：?jiǎn)栴}轉(zhuǎn)化為：有界閉區(qū)域上求約束極值 方法：1、求區(qū)域內(nèi)極值

7、 2、求邊界極值 3、求前兩者的最大值 具體實(shí)現(xiàn)： 1、簡(jiǎn)單情況下求解（如單符號(hào)信道、對(duì)稱信道） 2、解方程 3、迭代法 4、其他,4.3:離散無(wú)記憶信道及其信道容量-5,離散無(wú)記憶信道的信道容量定理 定理5.1：對(duì)前向轉(zhuǎn)移概率矩陣為Q的離散無(wú)記憶信道，其輸入字母的概率分布p*能使互信息I(p,Q)取最大值的充要條件是 其中： 是信源字母ak傳送的平均互信息，C就是這一信道的信道容量。,4.3:離散無(wú)記憶信道及其信道容量-6,離散無(wú)記憶信道的信道容量定理理解 在這種分布下，每個(gè)概率0的字母提供的互信息C，每個(gè)概率0的字母提供的互信息C 當(dāng)且僅當(dāng)這種分布時(shí)，可使I(p,Q)達(dá)到最大值C I(X,

8、Y)是I(x=ak;Y)的平均值。即： 想提高I(X,Y)，可以提高p(ak) 但提高p(ak)，又使I(x=ak;Y)降低 反復(fù)調(diào)整p(ak)，使I(x=ak;Y)相等且都等于C 此時(shí)I(X,Y) C 定理只給出了可使I(X,Y) C的p(x)的充要條件 ，并無(wú)具體分布及C的值，但可以幫助求解簡(jiǎn)單情況部分信道的C,4.3:離散無(wú)記憶信道及其信道容量-7,對(duì)稱的離散無(wú)記憶信道信道容量 對(duì)稱的離散無(wú)記憶信道 輸出字母的集合可以劃分為若干子集，對(duì)每個(gè)子集有： 矩陣中的每一行都是第一行的重排列； 矩陣中的每一列都是第一列的重排列。 定理5.2：對(duì)于對(duì)稱的離散無(wú)記憶信道，當(dāng)信道輸入字母為等概率分布時(shí)達(dá)

9、到信道容量。,4.3:離散無(wú)記憶信道及其信道容量-8,對(duì)稱信道,4.3:離散無(wú)記憶信道及其信道容量-9,a1,a2,b1,b2,b3,0。7,0。1,0。1,0。2,0。7,4.3:離散無(wú)記憶信道及其信道容量-10,BSC信道信道容量的計(jì)算,a1,a2,b1,b2,1-,1-,4.3:離散無(wú)記憶信道及其信道容量-11,由定理5.2，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量 即：p(a1)=p(a2)=1/2；有： 于是： 這里：,應(yīng)用舉例3.2(18)、3.6(23),4.3:離散無(wú)記憶信道及其信道容量-12,二元?jiǎng)h除信道信道容量的計(jì)算,a1,a2,b1,b2,1-,1-,b3,4.3:離散無(wú)記憶

10、信道及其信道容量-13,由定理5.2，當(dāng)輸入等概分布時(shí)，互信息達(dá)到信道容量 即：p(a1)=p(a2)=1/2；有： 于是：,4.3:離散無(wú)記憶信道及其信道容量-14,0.5,1.0,0,0.5,1.0,c,b,a,Ca= Cb=,a:BSC信道的信道容量曲線 b:二進(jìn)制刪除信道的信道容量曲線,求對(duì)稱信道離散矩陣P的信道的容量 1/2 1/3 1/6 P= 1/6 1/2 1/3 1/3 1/6 1/2 C=logs-H(p1,p2,p3)=log3-H(1/2,1/3,1/6) =log3+1/2log1/2+1/3log1/3+1/6log1/6=1.126 bit/s 結(jié)果表明:只有輸入

11、等概率分布,信道容量達(dá)到最大,平均每個(gè)符號(hào)傳輸最大信息量為1.126比特,1 無(wú)損信道 一個(gè)輸入對(duì)多個(gè)互不相交的輸出,因?yàn)閾p失熵H(X/Y)=0 故 I(X,Y)=H(X) C=logr r為輸入個(gè)數(shù) 2 確定信道 一個(gè)輸出對(duì)多個(gè)互不相交的輸入,因?yàn)樵肼曥豀(Y/ X)=0 故 I(X,Y)=H(Y) C=logs s為輸出個(gè)數(shù) 3 無(wú)損確定信道 一個(gè)輸入對(duì)一個(gè)輸出,因?yàn)閾p失熵H(X/Y)=0 噪聲熵H(Y/ X)=0 故 I(X,Y)=H(X)= H(Y) C=logr r為輸入個(gè)數(shù),離散無(wú)噪信道,4.3:離散無(wú)記憶信道及其信道容量-15,香農(nóng)第一定理（變長(zhǎng)無(wú)失真信源編碼定理）的物理意義 （

12、達(dá)到極限時(shí)等號(hào)成立） 從信道的角度看，信道的信息傳輸率 （達(dá)到極限時(shí)等號(hào)成立）,4.3:離散無(wú)記憶信道及其信道容量-16,香農(nóng)第一定理（變長(zhǎng)無(wú)失真信源編碼定理）的物理意義 無(wú)噪無(wú)損信道的信道容量：C=logM 再看當(dāng)平均碼長(zhǎng)達(dá)到極限值時(shí) 此時(shí)信道的信息傳輸率R無(wú)噪信道的信道容量C 無(wú)失真信源編碼的實(shí)質(zhì)： 對(duì)離散信源進(jìn)行適當(dāng)變換，使變換后新的碼符號(hào)信源（信道的輸入信源）盡可能為等概分布，以使新信源的每個(gè)碼符號(hào)平均所含的信息量達(dá)到最大，從而使信道的信息傳輸率R達(dá)到信道容量C，實(shí)現(xiàn)信源與信道理想的統(tǒng)計(jì)匹配。 又稱：無(wú)噪信道編碼定理 若信道的信息傳輸率R不大于信道容量C，總能對(duì)信源的輸出進(jìn)行適當(dāng)?shù)木幋a

13、，使得在無(wú)噪無(wú)損信道上能無(wú)差錯(cuò)地以最大信息傳輸率C傳輸信息；但要使信道的信息傳輸率R大于C而無(wú)差錯(cuò)地傳輸信息則是不可能的。,4.5:信道容量,Information source,Encoder S X,Decoder X S,Information receiver,連續(xù)信道模擬信道,連續(xù)信道： 特點(diǎn)1：時(shí)間離散、幅度連續(xù) 特點(diǎn)2 ：每個(gè)時(shí)刻是取值連續(xù)的單個(gè)隨機(jī)變量（vs離散序列) 研究方法：N個(gè)自由度的隨機(jī)變量，取 研究平均在每個(gè)自由度上的C 模擬信道： 特點(diǎn)1：時(shí)間連續(xù)、幅度連續(xù) 特點(diǎn)2：一族時(shí)間樣本函數(shù)，每個(gè)時(shí)間樣本函數(shù)都是時(shí)間、幅度取值連續(xù)的 研究方法：1、限頻、限時(shí)時(shí)離散、量化為離

14、散隨機(jī)矢量 2、為避免有記憶隨機(jī)矢量研究的困難，找到一組正交完備函 數(shù)集，展開(kāi)為級(jí)數(shù)，使所得到系數(shù)組成的隨機(jī)矢量相互獨(dú) 立或線性無(wú)關(guān)。 注意：1、限時(shí)頻譜無(wú)限，限頻時(shí)間無(wú)限。 2、認(rèn)為函數(shù)在F以上或T以外取值很小，限時(shí)、限頻不會(huì)引起函數(shù)的嚴(yán)重 失真,Analog source,模擬通信系統(tǒng),Source coding,Channel coding,Analog channel,Channel decoding,Source decoding,Destination,A/D converter,Modulation,Demodulation,D/A converter,0 1 1 0 1 ,0

15、1 1 1 0 0 1 0 ,0 1 1 1 1 0 1 0 ,0 1 1 0 1 ,5.4:連續(xù)信道及其容量1回顧,連續(xù)隨機(jī)變量的熵微分熵（VS離散隨機(jī)變量） 連續(xù)隨機(jī)變量最大熵分布依賴于約束條件（VS離散隨機(jī)變量） 峰值功率受限條件下均勻分布的隨機(jī)變量具有最大微分熵 平均功率受限條件下高斯分布的隨機(jī)變量具有最大微分熵 連續(xù)信道的輸入所取的值域不足以完全表示對(duì)信道輸入的限制還有約束條件 Cmaxh(Y)-h(n) C取決于信道的統(tǒng)計(jì)特性（加性信道即噪聲的統(tǒng)計(jì)特性） 輸入隨機(jī)矢量X所受的限制條件（一般考慮平均功率受限時(shí)） C的單位為：比特/N個(gè)自由度 連續(xù)信道信道容量容量費(fèi)用函數(shù)描述,5.4:

16、連續(xù)信道及其容量2,C.F 吳 Eb 表示單位符號(hào)信號(hào)的能量，Eb=STb=S/F； Eb/N0 稱為歸一化信噪比.也稱為能量信噪比. 當(dāng)Eb/N01時(shí)， Eb/N0 (nat) (bit),結(jié)論：低信噪比時(shí)，信道容量近似地決定于能量信噪比的值,5.5:模擬信道及其容量 Shannon公式5,Shannon公式的用途二 用信噪比換取頻帶 多進(jìn)制多電平多維星座調(diào)制方式的基本原理 衛(wèi)星、數(shù)字微波中常采用的有： 多電平調(diào)制、多相調(diào)制、高維星座調(diào)制(M-QAM)等 等，它利用高質(zhì)量信道中富裕的信噪比換取頻帶，以提高傳輸有效性。,5.5:模擬信道及其容量 Shannon公式6,Shannon公式的用途三

17、 用時(shí)間換取信噪比 重傳、弱信號(hào)累積接收基于這一原理。 t=T0 為分界線。 信號(hào)功率S有規(guī)律隨時(shí)間線性增長(zhǎng)，噪聲功率2無(wú)規(guī)律，隨時(shí)間呈均方根增長(zhǎng)。,5.5:模擬信道及其容量 Shannon公式7,Shannon公式的用途四 用時(shí)間換取頻帶或用頻帶換取時(shí)間 擴(kuò)頻縮短時(shí)間：通信電子對(duì)抗、潛艇通信 窄帶增加時(shí)間：電話線路傳準(zhǔn)活動(dòng)圖象,5.5:模擬信道及其容量 Shannon公式8,討論信道容量及容量費(fèi)用函數(shù)的目的： 不是為了實(shí)現(xiàn)可靠傳輸（這是信道編碼的目的） 只是為了實(shí)現(xiàn)最大限度達(dá)到信道的信息傳輸能力 可以給出信道編碼的界 關(guān)于Shannon公式 條件是加性高斯白噪聲（AWGN)信道下 給出的是S

18、、N、W與信道容量（最大信息傳輸速率）的關(guān)系 沒(méi)有給出S、N、W與差錯(cuò)概率的關(guān)系,例2、在圖片傳輸中，每幀約為2.25106個(gè)像素，為了能很好地重現(xiàn)圖像，需分16個(gè)亮度電平，并假設(shè)亮度電平等概率分布。試計(jì)算每秒鐘傳送30幀圖片所需信道的帶寬(信噪功率比為30dB)。 信噪比（S/N）通常用分貝（dB）表示， 分貝數(shù)=10log10（S/N） 解：高斯白噪聲加性信道單位時(shí)間的信道容量： (比特/秒） 要求的信息傳輸率為： Ct= 2.25106log1630=2.7108（bit/s) =W log(1+S/N) 而：10lg(S/N)=30dBS/N=103 W=(2.7108 )/log(1+103) 2.7107 (HZ ),貓速度和寬帶的解釋,舉例3.8(26),曹志剛現(xiàn)代通信原理關(guān)于香農(nóng)公式的一些結(jié)論,信道容量： 單位時(shí)間內(nèi)信道上所能傳輸?shù)淖畲笮畔⒘?香農(nóng)公式： 香農(nóng)公式結(jié)論： 提高信號(hào)與噪聲功率之比能增加信道容量 當(dāng)噪聲功率N0時(shí)，信道容量C,這意味著無(wú)干擾信道容量為無(wú)窮大。 增加信道頻帶W使信道容量增大。,結(jié)論解釋,在特定信道（加性高斯白噪聲）下，信道容量的數(shù)值可以用發(fā)送信號(hào)的某些參量計(jì)算獲得。 提高