1、第二章信息論基礎(chǔ),香農(nóng)定理從理論上闡述通信系統(tǒng)中有效性和可靠統(tǒng)一的依據(jù)，以此計(jì)算出通信系統(tǒng)的極限傳輸性能。信源和信道編碼信源編碼:將信源輸出的信號有效地變換成二進(jìn)制序列，用盡可能少的二進(jìn)制代碼表示信源輸出的信息。提高數(shù)字通信的有效性。信道編碼:研究提高數(shù)字通信可靠性所采取的編碼，提高可靠性,信息、消息和信號消息Message：聲音、圖象、文字等所代表的內(nèi)容。信息Information：消息內(nèi)容中所含的有意義份量。信號Signal：消息、信息的載體和傳遞形式。消息的物理實(shí)現(xiàn)。,2.1信息的度量,信息與消息的關(guān)系信息是可以度量的。消息中所含信息的量的多少稱為信息量。消息中所含信息量的大小與消息所出

2、現(xiàn)的可能性（概率）有關(guān)。概率愈小，信息量愈大；反之信息量愈小。幾個相互獨(dú)立的事件所構(gòu)成消息的信息量是各個立事件的信息量之和。,2.1.1信息量的數(shù)學(xué)定義,信息量的表示,事件A：出現(xiàn)概率為p(A)則：,單位：a=2bit比特a=enit奈特a=10hatle哈特萊,幾種離散信源的信息量,二進(jìn)制碼元只有1,0.每個碼元P1/2，且獨(dú)立，因此I=Log2(1/P)=Log22=1(bit)16進(jìn)制每個碼元出現(xiàn)的概率是P=1/16,且獨(dú)立，則I=Log216=4(bit)拉丁字母26個，若它們獨(dú)立等概，則每字母的I=Log226=4.7(bit)一級漢字3755個,若它們獨(dú)立等概，則每漢字I=Log2

3、3375=11.8(bit),2.1.2平均信息量熵（Entropy）,每個事件（符號）所含信息量的統(tǒng)計(jì)平均值稱為信源熵。,消息的長度為n=n1+n2+nN。,（bit/符號）,例1：信源由4個符號組成0、1、2、3。各符號出現(xiàn)的概率分別為1/2、1/4、1/8、1/8，且相互獨(dú)立，求信源的平均信息量（熵）。解：,例2：英文字母和漢字的熵,英文字母的熵：H4.03(bit/符號)中文漢字的熵：H=9.65(bit/符號)法文：3.98;西班牙文：4.01;英文：4.03;俄文：4.35,且,試求該符號集的熵,例：設(shè)有一符號集,熵隨概率變化情況,熵的性質(zhì),（1）非負(fù)性,（bit/符號）,（2）極

4、值性,2.2信道,基本要求：了解信道的定義與分類，掌握信道的數(shù)學(xué)模型，理解信道的加性噪聲和信道容量的概念。,本節(jié)講授的內(nèi)容,信道概述信道定義和分類信道模型調(diào)制（模擬）和編碼（數(shù)字）信道模型恒、隨參信道對信號傳輸?shù)挠绊憻o失真?zhèn)鬏敆l件、幅頻與相頻失真等信道容量有擾連續(xù)信道的容量,信道的定義,信道是指以傳輸媒質(zhì)為基礎(chǔ)的信號通道，它是通信系統(tǒng)必不可少的組成部分，信道的特性將直接影響到系統(tǒng)的總特性。,信道的定義（續(xù)1）,狹義信道：發(fā)射端和接收端之間傳輸媒質(zhì)的總稱，是任何一個通信系統(tǒng)不可或缺的組成部分。按傳輸媒質(zhì)的不同，狹義信道又可分為有線信道與無線信道兩類。廣義信道：除包括傳輸媒質(zhì)外，還包括有關(guān)的變換裝

5、置(如發(fā)送設(shè)備、接收設(shè)備、饋線與天線、調(diào)制器、解調(diào)器等)。按照它包含的功能，廣義信道又可以劃分為調(diào)制信道和編碼信道。,信道的定義（續(xù)2）,調(diào)制信道用于研究調(diào)制與解調(diào)問題是方便和恰當(dāng)?shù)?。編碼信道用于研究編碼與譯碼問題時使問題的分析更容易。,信道的數(shù)學(xué)模型,信道的數(shù)學(xué)模型用來表征實(shí)際物理信道的特性；它對通信系統(tǒng)的分析和設(shè)計(jì)是十分方便的。,調(diào)制信道的數(shù)學(xué)模型,調(diào)制信道的共性：有一對(或多對)輸入端和一對(或多對)輸出端；絕大多數(shù)的信道都是線性的，即滿足疊加原理；信號通過信道具有一定的遲延時間，而且它還會受到(固定的或時變的)損耗；即使沒有信號輸入，在信道的輸出端仍有一定的功率輸出(噪聲)。,調(diào)制信道

6、的數(shù)學(xué)模型（續(xù)1）,二對端網(wǎng)絡(luò),多對端網(wǎng)絡(luò),調(diào)制信道的數(shù)學(xué)模型（續(xù)2）,對于二對端的信道模型，其輸出與輸入的關(guān)系應(yīng)該有：eo(t)=fei(t)+n(t)式中:ei(t)輸入的已調(diào)信號；eo(t)輸出信號；n(t)加性噪聲，它與ei(t)相互獨(dú)立；fei(t)與輸入有關(guān)的一個函數(shù)，表示信道對于信號的影響。,調(diào)制信道的數(shù)學(xué)模型（續(xù)3）,通常，fei(t)可以表示為：h(t)*ei(t)，此時，eo(t)=h(t)*ei(t)+n(t)其中，h(t)表示時變線性網(wǎng)絡(luò)的特性，稱為乘性干擾。h(t)是一個復(fù)雜的函數(shù)，反映信道的衰減、線性失真、非線性失真、延遲等。h(t)=常數(shù)，稱為恒(定)參(量)信道

7、，如同軸電纜h(t)常數(shù)，稱為隨(機(jī))參(量)信道，如移動蜂窩網(wǎng)通信信道,編碼信道的數(shù)學(xué)模型,一般把編碼信道則看成是一種數(shù)字信道；對信號的影響表現(xiàn)為一種數(shù)字序列的變換，即把一種數(shù)字序列變成另一種數(shù)字序列；編碼信道模型可以用數(shù)字的轉(zhuǎn)移概率來描述；可分為有記憶編碼信道和無記憶編碼信道。,編碼信道的數(shù)學(xué)模型（續(xù)1）,模型中，把P(0/0)、P(1/0)、P(0/1)、P(1/1)稱為信道轉(zhuǎn)移概率。以P(1/0)為例，其含義是“經(jīng)信道傳輸，把0轉(zhuǎn)移為1的概率”。,恒參信道舉例,恒參信道：對信號的影響是固定的或變化極為緩慢的。如：架空明線和電纜、中長波地波傳播、超短波及微波視距傳播、人造衛(wèi)星中繼、光導(dǎo)纖

8、維以及光波視距傳播等信道是恒參信道。,有線電信道及其特性,明線：平行而相互絕緣的架空裸線線路。傳輸損耗低；易受氣候和天氣的影響；對外界噪聲干擾敏感。,有線電信道及其特性（續(xù)1）,對稱電纜：同一保護(hù)套內(nèi)有許多對相互絕緣的雙導(dǎo)線的傳輸媒質(zhì)；導(dǎo)線材料是鋁或銅，直徑為0.41.4mm；為減小各線對之間的相互干擾，每一對線都擰成扭絞狀；由于這些結(jié)構(gòu)上的特點(diǎn)，電纜的傳輸損耗比明線大得多，但其傳輸特性比較穩(wěn)定。,有線電信道及其特性（續(xù)2）,對稱電纜：通常有兩種類型：非屏蔽（UTP）和屏蔽（STP）。特點(diǎn)：電纜的傳輸損耗比較大，但其傳輸特性比較穩(wěn)定；價格便宜，安裝容易。對稱電纜主要用于市話中繼線路和用戶線路，

9、在許多局域網(wǎng)如以太網(wǎng)、令牌網(wǎng)中也采用高等級的UTP電纜進(jìn)行連接。STP電纜的特性同UTP的特性相同，由于加入了屏蔽措施，對噪聲有更好的屏蔽作用，但是其價格要昂貴一些。,有線電信道及其特性（續(xù)3）,同軸電纜：由同軸的兩個導(dǎo)體構(gòu)成，外導(dǎo)體是一個圓柱形的空管(金屬絲網(wǎng))，內(nèi)導(dǎo)體是金屬線(芯線)，中間填充著介質(zhì)；外導(dǎo)體接地，起屏蔽作用，外界噪聲很少進(jìn)入其內(nèi)部。,有線電信道及其特性（續(xù)4）,為了增大容量，也可以將幾根同軸電纜封裝在一個大的保護(hù)套內(nèi)，構(gòu)成多芯同軸電纜，另外還可以裝入一些二芯絞線對或四芯線組，作為傳輸控制信號用。在有線電視網(wǎng)絡(luò)中大量采用這種結(jié)構(gòu)的同軸電纜。,有線電信道及其特性（續(xù)5）,光纖信

10、道及其特性,光纖信道：以光導(dǎo)纖維(簡稱光纖)為傳輸媒質(zhì)、光波為載波的信道。華裔科學(xué)家高錕（CharlesKuenKao）1966年發(fā)表的光頻率的介質(zhì)纖維表面波導(dǎo)奠定了光纖發(fā)展和應(yīng)用的基礎(chǔ)，因此，被認(rèn)為是“光纖之父”。,光纖信道及其特性（續(xù)1）,光纖信道及其特性（續(xù)2）,由光源、光纖線路及光電探測器等三個部分組成。光源是光載波發(fā)生器，廣泛應(yīng)用半導(dǎo)體發(fā)光二極管(LED)或激光二極管(LD)做光源；在接收端是一個直接檢波式的光探測器，常用PIN光電二極管或雪崩光電二極管(APD管)來實(shí)現(xiàn)光強(qiáng)度的檢測；中繼器有兩種類型：直接中繼器和間接中繼器。在數(shù)字光纖信道中，為了減小失真以及防止噪聲的積累，每隔一定

11、距離需加入再生中繼器。,光纖信道及其特性（續(xù)3）,單模光纖：當(dāng)光纖中只能傳輸一種光波的模式；由于光波波長極短，傳光特性較好；但是光纖的芯徑極小、截面尺寸小，在制造、耦合和連接上都比較困難；多模光纖：光纖中能傳輸?shù)哪Ｊ讲恢挂粋€；多模光纖的截面尺寸較大，在制造、耦合和連接上都比單模光纖容易。在光纖技術(shù)中，“模”的概念簡單說就是“路徑”。,光纖信道及其特性（續(xù)4）,光纖信道的技術(shù)參數(shù)：損耗（是光纖能實(shí)現(xiàn)遠(yuǎn)距離傳輸?shù)那疤幔?；色散（是指信號的群速度隨頻率或模式不同而引起的信號失真這種物理現(xiàn)象）。,特點(diǎn)：損耗低、頻帶寬、線徑細(xì)、重量輕、可彎曲半徑小、不怕腐蝕、節(jié)省有色金屬以及不受電磁干擾等優(yōu)點(diǎn)。,無線電視

12、距中繼,定義：工作頻率在超短波和微波波段時，電磁波基本上沿視線傳播，通信距離依靠中繼方式延伸的無線電線路；相鄰中繼站間距離一般在4050km；適用場合：長途干線、移動通信網(wǎng)及某些數(shù)據(jù)收集(如水文、氣象數(shù)據(jù)的測報(bào))系統(tǒng)中；組成：終端站、中繼站及各站間的電波傳播路徑；特點(diǎn)：傳輸容量大、發(fā)射功率小、通信穩(wěn)定可靠，以及和同軸電纜相比，可以節(jié)省有色金屬等優(yōu)點(diǎn)。,無線電視距中繼（續(xù)1）,無線電中繼信道的構(gòu)成,無線電視距中繼（續(xù)2）,地球半徑R=6370km，考慮到大氣的折射因素，等效半徑r=(4/3)R=8493km。信號傳播距離滿足：d2+r2=(h+r)2設(shè)D為兩天線間的距離，則有：hD2/50(m)

13、其中：D的單位為km。,衛(wèi)星中繼信道,定義：無線電中繼信道的一種特殊形式；同步通信衛(wèi)星：軌道在赤道平面上的人造衛(wèi)星，當(dāng)它離地面高度為35860km時，繞地球運(yùn)行一周的時間恰為24小時，采用三個適當(dāng)配置的同步衛(wèi)星中繼站就可以覆蓋全球(除兩極盲區(qū)外)；具有傳輸距離遠(yuǎn)、覆蓋地域廣、傳播穩(wěn)定可靠、傳輸容量大等突出的優(yōu)點(diǎn)；移動通信衛(wèi)星：不在靜止軌道運(yùn)行的衛(wèi)星，對發(fā)射功率的要求較小，適合于移動通信和個人通信；組成：由通信衛(wèi)星、地球站、上行線路及下行線路構(gòu)成；上行與下行線路是地球站至衛(wèi)星及衛(wèi)星至地球站的電波傳播路徑，而信道設(shè)備集中于地球站與衛(wèi)星中繼站中。,衛(wèi)星中繼信道概貌,衛(wèi)星中繼信道的特點(diǎn),能夠增大一次轉(zhuǎn)

14、發(fā)的距離；增大了對發(fā)射功率的要求；增大了信號傳輸?shù)难舆t時間；此外，發(fā)射衛(wèi)星也是一項(xiàng)巨大的工程。,大氣對電磁波傳播的影響,大氣（主要是氧氣）、水蒸氣和降水會吸收和散射電磁波，頻率越高，影響越大。在某些頻率范圍內(nèi)，由于分子諧振現(xiàn)象，會出現(xiàn)衰減峰值。水蒸氣諧振點(diǎn)：23GHz、180GHz、350GHz氧氣諧振點(diǎn)：62GHz、120GHz,恒參信道特性及其對信號傳輸?shù)挠绊?恒參信道對信號的影響是確定的或者是變化極其緩慢的，可以等效為一個非時變的線性網(wǎng)絡(luò)。網(wǎng)絡(luò)的傳輸特性可用幅度頻率特性及相位頻率特性來表征。設(shè)網(wǎng)絡(luò)的傳輸函數(shù)為：恒參信道滿足的不失真條件是：幅頻特性為：相頻特性為：()與成線形關(guān)系群遲延-頻

15、率特性：是一條水平線,恒參信道特性及其對信號傳輸?shù)挠绊懀ɡm(xù)1）,理想恒參信道特性：,若輸入信號為s(t)，則理想恒參信道的輸出為：,此時，稱信號是無失真?zhèn)鬏敗?恒參信道特性及其對信號傳輸?shù)挠绊懀ɡm(xù)2）,恒參信道特性及其對信號傳輸?shù)挠绊懀ɡm(xù)4）,影響：不均勻衰耗使傳輸信號的幅度隨頻率發(fā)生畸變，引起信號波形的失真；傳輸數(shù)字信號，還會引起相鄰碼元波形在時間上的相互重疊，造成碼間串?dāng)_。抑制措施：為了減小幅度頻率畸變，在設(shè)計(jì)總的電話信道傳輸特性時，一般都要求把幅度頻率畸變控制在一個允許的范圍內(nèi)；即通過一個線性補(bǔ)償網(wǎng)絡(luò)，使衰耗特性曲線變得平坦，這一措施通常稱之為“均衡”；在載波電話信道上傳輸數(shù)字信號時，通

16、常要采取均衡措施。,恒參信道特性及其對信號傳輸?shù)挠绊懀ɡm(xù)5）,相位一頻率畸變（相位失真）：相位頻率特性偏離線性關(guān)系所引起的畸變，它是一種線性失真。,恒參信道特性及其對信號傳輸?shù)挠绊懀ɡm(xù)6）,生成原因舉例：電話信道的相位頻率畸變主要來源于信道中的各種濾波器及可能有的加感線圈，尤其是在信道頻帶的邊緣畸變更為嚴(yán)重；特點(diǎn)：相頻畸變對模擬話音通信影響并不顯著，這是因?yàn)槿硕鷮ο囝l畸變不太靈敏；但對數(shù)字信號傳輸卻不然，尤其當(dāng)傳輸速率高時，相頻畸變會引起嚴(yán)重的碼間串?dāng)_，造成誤碼。,恒參信道特性及其對信號傳輸?shù)挠绊懀ɡm(xù)7）,群遲延頻率畸變：群遲延頻率特性偏離線性關(guān)系所引起的畸變，它是一種線性失真。,恒參信道特性

17、及其對信號傳輸?shù)挠绊懀ɡm(xù)8）,當(dāng)非單一頻率的信號通過該信道時，信號頻譜中的不同頻率分量將有不同的群遲延，即它們到達(dá)的時間不一樣，從而引起信號的畸變。,恒參信道特性及其對信號傳輸?shù)挠绊懀ɡm(xù)9）,恒參信道特性對信號傳輸?shù)钠渌绊懀悍蔷€性畸變：由信道中元器件的振幅特性非線性引起的，造成諧波失真及若干寄生頻率等；頻率偏移：由信道中接收端解調(diào)載頻與發(fā)送端調(diào)制載頻之間偏差造成的；相位抖動：由調(diào)制和解調(diào)載頻不穩(wěn)定造成的，相位抖動相當(dāng)在發(fā)送信號上附加一個小指數(shù)的調(diào)頻。,恒參信道特性及其對信號傳輸?shù)挠绊懀ɡm(xù)10）,線性失真：包括頻率失真和相位失真；可用“線性補(bǔ)償網(wǎng)絡(luò)”糾正，即“均衡”。非線性失真：包括非線性、頻

18、率偏移、相位抖動；難以消除，可通過系統(tǒng)設(shè)計(jì)降低。,隨參信道舉例,隨參信道：信道傳輸特性隨時間隨機(jī)快速變化的信道。短波電離層反射信道超短波流星余跡散射信道超短波及微波對流層散射信道超短波電離層散射超短波超視距繞射陸地移動信道,陸地移動信道,工作頻段主要在VHF和UHF頻段，電波傳播特點(diǎn)是以直射波為主。由于城市建筑群和其他地形地物的影響，電波在傳播過程中會產(chǎn)生反射波、散射波以及它們的合成波，電波傳輸環(huán)境較為復(fù)雜。,陸地移動信道（續(xù)1）,隨參信道特性及其對信號傳輸?shù)挠绊?隨參信道比恒參信道復(fù)雜得多，它對信號傳輸?shù)挠绊懸脖群銋⑿诺绹?yán)重得多。特點(diǎn)：對信號的衰耗隨時間隨機(jī)變化；信號傳輸?shù)臅r延隨時間隨機(jī)變化

19、；多徑傳播。,信道容量的概念,信道容量是指信道中信息無差錯傳輸?shù)淖畲笏俾?，其?shù)學(xué)表達(dá)式為：,式中：R：信源傳輸速率P(x)：信源的概率分布Max：表示對所有可能的輸入概率分布的最大值,信道容量的概念（續(xù)1）,Shannon定理指出：如果信息源的信息速率R小于或者等于一個所謂的信道容量C，那么，在理論上存在一種方法可使信息源能以任意小的差錯率通過信道傳輸。如果RC，則沒有任何辦法傳輸這樣的信息，或者說傳輸二進(jìn)制信息的差錯率為12。,離散信道的信道容量,先驗(yàn)概率P(xi)-xi的不確定性；后驗(yàn)概率P(xi/yj)-收到y(tǒng)j后xi的不確定性；轉(zhuǎn)移概率P(yj/xi)-xi經(jīng)信道傳輸后變?yōu)閥j可能性。

20、,x1x2x3。xn,y1y2y3。ym,xiP(xi),yjP(yj),離散信道的信道容量（續(xù)1）,xi攜帶的信息量：信源熵信源平均信息量：條件信息量（信道損失的信息量）：I(xi/yj)=log2P(xi/yj)bit互信息量（信道傳輸時xi所傳輸?shù)男畔⒘浚寒?dāng)I(xi/yj)=0，I(xI,yj)=I(xi)，信道不丟失xi的信息量；當(dāng)P(xi/yj)=P(xi)時，I(xi/yj)=0，信道收xi的信息量全丟失。平均互信息量：I(x,y)=H(x)H(x/y)(bit/符號),離散信道的信道容量（續(xù)2）,單位時間內(nèi)信道所傳輸?shù)男畔⒘浚篟=H(x)H(x/y)r，r為碼速率即RB。當(dāng)無噪

21、聲時H(x/y)=0，R=H(x)r=RB；當(dāng)噪聲很大時H(x/y)=H(x)，R=0；信道確定后H(x/y)為定值。,離散信道的信道容量（續(xù)3）,信道容量（對一切可能的信源概率分布，信道傳輸信息的速率R的最大值）：C=max(R)=maxH(x)H(x/y)r(bit/s)顯然信源等概率分布時的R即為C。,離散信道的信道容量（續(xù)4）,例、設(shè)信息源由0、1組成，信息源每秒傳1000個符號，且等概，在傳輸中若干擾引起的差錯是每100個符號中有一個，試問這時傳輸信息的速率是多少？,離散信道的信道容量（續(xù)5）,解：信息源的平均信息量：,有干擾的情況下，平均信息量：,信道丟失的信息量：1000*0.0

22、8=81bit/s傳輸信息速率=1000-81=919bit/s,連續(xù)信道的信道容量,Shannon公式可以證明，在被高斯白噪聲干擾的信道中，傳送的最大信息速率C，由Shannon公式確定：C=Blog2(1+S/N)bit/S其中：C：信道容量；B：信道帶寬（Hz）；S：信號功率（W）；N：噪聲功率（W）；S/N為信噪比；N0為單邊帶功率譜密度。另一形式：,連續(xù)信道的信道容量（續(xù)1）,由香農(nóng)公式得到的幾點(diǎn)結(jié)論：（l）信道容量極限N0=0或S=，均能使C=。N0=0意味著無噪聲，S=意味著發(fā)送功率要達(dá)到無窮大。若要提高信道容量C，則應(yīng)減小噪聲或者提高發(fā)射功率。,連續(xù)信道的信道容量（續(xù)2）,（2

23、）信道容量C與帶寬B有關(guān)，帶寬對信道容量的影響B(tài)=0，顯然無法傳輸信息，C=0；增加B不能無限制增大C。,連續(xù)信道的信道容量（續(xù)3）,（3）帶寬與信噪比的互換當(dāng)信道容量C保持不變時，帶寬B與信噪比可以進(jìn)行互換。例：C=12000bit/s當(dāng)S/N=7時，B=4000Hz；當(dāng)S/N=15時，B=3000Hz；,連續(xù)信道的信道容量（續(xù)4）,例:已知彩電電視圖像由5105個像素組成，設(shè)每個像素有64種色彩，每種色彩有16個亮度等級，試計(jì)算：（1）每秒傳送100個畫面所需的信道容量；（2）若接收機(jī)的信噪比為30dB，求傳送彩色圖像所需的帶寬。解：(1)每像素信息量I=log2(6416)=10bit每

24、幅圖信息量I=105105=5106bit信源信息速率r=1005106=5108bit/s信道容量Cr=5108bit/s(2)30=10logS/N故S/N=1000由shannon公式:B=C/log2(1+1000)5107=50MHz,連續(xù)信道的信道容量（續(xù)5）,例：設(shè)有一個圖象要在電話線路中實(shí)現(xiàn)傳真?zhèn)鬏?，大約要傳輸個象素，每個象素有12個亮度等級，且等概，電話電路具有3KHz帶寬，30db信噪比，試求在電話線路中傳輸一張傳真圖片需要最少時間？解：信息/象素=信息/每幅圖=,連續(xù)信道的信道容量（續(xù)6）,例、有一顯示器終端聯(lián)接計(jì)算機(jī)系統(tǒng)，用一條電話線路連接，電話帶寬3000Hz，信噪比

25、為10db，終端有128個印刷字符，終端輸出字符是相互獨(dú)立且等概的，求最大的字符速率是？解：,香農(nóng)公式的應(yīng)用,對于一定的信道容量C來說，信道帶寬B、信號噪聲功率比S/N及傳輸時間三者之間可以互相轉(zhuǎn)換。若增加信道帶寬，可以換來信號噪聲功率比的降低，反之亦然。如果信號噪聲功率比不變，那么增加信道帶寬可以換取傳輸時間的減少。,這種信噪比和帶寬的互換性在通信工程中有很大的用處。在宇宙飛船與地面的通信中，飛船上的發(fā)射功率不可能做得很大，因此可用增大帶寬的方法來換取對信噪比要求的降低。如果信道頻帶比較緊張，如有線載波電話信道，這時主要考慮頻帶利用率，可用提高信號功率來增加信噪比，或采用多進(jìn)制的方法來換取較

26、窄的頻帶。,香農(nóng)公式的意義,香農(nóng)公式給出了通信系統(tǒng)所能達(dá)到的極限信息傳輸速率，達(dá)到極限信息速率的通信系統(tǒng)稱為理想通信系統(tǒng)。但是，香農(nóng)公式只證明了理想通信系統(tǒng)的“存在性”，卻沒有指出這種通信系統(tǒng)的實(shí)現(xiàn)方法。因此，理想通信系統(tǒng)的實(shí)現(xiàn)還需要我們不斷努力。,2.3、信源編碼與信道編碼,一、信源編碼與信道編碼1、信源編碼在數(shù)字通信系統(tǒng)只，為提高數(shù)字信號傳輸?shù)挠行远扇〉木幋a措施稱為信源編碼或有效編碼。2、信道編碼在數(shù)字通信中，為提高數(shù)字信號傳輸?shù)目煽啃远扇〉木幋a措施稱為信道編碼、可靠編碼或抗干擾編碼。,信道分類：從差錯控制角度看隨機(jī)信道：錯碼的出現(xiàn)是隨機(jī)的突發(fā)信道：錯碼是成串集中出現(xiàn)的混合信道：既存

27、在隨機(jī)錯碼又存在突發(fā)錯碼差錯控制技術(shù)的種類檢錯重發(fā)前向糾錯反饋校驗(yàn)檢錯刪除,差錯控制編碼：常稱為糾錯編碼監(jiān)督碼元：上述4種技術(shù)中除第3種外，都是在接收端識別有無錯碼。所以在發(fā)送端需要在信息碼元序列中增加一些差錯控制碼元，它們稱為監(jiān)督碼元。不同的編碼方法，有不同的檢錯或糾錯能力。多余度：就是指增加的監(jiān)督碼元多少。例如，若編碼序列中平均每兩個信息碼元就添加一個監(jiān)督碼元，則這種編碼的多余度為1/3。編碼效率(簡稱碼率)：設(shè)編碼序列中信息碼元數(shù)量為k，總碼元數(shù)量為n，則比值k/n就是碼率。冗余度：監(jiān)督碼元數(shù)(n-k)和信息碼元數(shù)k之比。理論上，差錯控制以降低信息傳輸速率為代價換取提高傳輸可靠性。,自動

28、要求重發(fā)(ARQ)系統(tǒng)停止等待ARQ系統(tǒng)數(shù)據(jù)按分組發(fā)送。每發(fā)送一組數(shù)據(jù)后發(fā)送端等待接收端的確認(rèn)(ACK)答復(fù)，然后再發(fā)送下一組數(shù)據(jù)。圖中的第3組接收數(shù)據(jù)有誤，接收端發(fā)回一個否認(rèn)(NAK)答復(fù)。這時，發(fā)送端將重發(fā)第3組數(shù)據(jù)。系統(tǒng)是工作在半雙工狀態(tài)，時間沒有得到充分利用，傳輸效率較低。,ARQ的主要優(yōu)點(diǎn)：和前向糾錯方法相比監(jiān)督碼元較少即能使誤碼率降到很低，即碼率較高；檢錯的計(jì)算復(fù)雜度較低；檢錯用的編碼方法和加性干擾的統(tǒng)計(jì)特性基本無關(guān)，能適應(yīng)不同特性的信道。ARQ的主要缺點(diǎn)：需要雙向信道來重發(fā)，不能用于單向信道，也不能用于一點(diǎn)到多點(diǎn)的通信系統(tǒng)。因?yàn)橹匕l(fā)而使ARQ系統(tǒng)的傳輸效率降低。在信道干擾嚴(yán)重時，

29、可能發(fā)生因不斷反復(fù)重發(fā)而造成事實(shí)上的通信中斷。在要求實(shí)時通信的場合，例如電話通信，往往不允許使用ARQ法。,二、差錯編碼的分類1、檢錯碼：只能發(fā)現(xiàn)錯碼；糾錯碼：僅能糾正誤碼；糾刪碼：不僅能糾錯，而且還具有檢錯的能力。對不可糾正的錯誤可發(fā)出提示或簡單刪除錯碼。2、線性碼：信息碼元和監(jiān)督碼元之間的函數(shù)關(guān)系滿足線性關(guān)系；非線性碼：除線性碼以外的碼。3、分組碼：編碼后的碼元序列按n位分成一組，其中有k位是信息碼元，r位是附加的監(jiān)督碼元，其中，r=n-k，這里附加的監(jiān)督碼元僅與本組碼的信息有關(guān)，而與其他碼組的信息碼元無關(guān)。,卷積碼：與分組碼不同的是，卷積碼的監(jiān)督碼元不僅與本碼組的信息碼元有關(guān)，而且與前面

30、碼組的信息碼元也有約束關(guān)系。4、系統(tǒng)碼：如果信息碼元能夠從編碼后的糾錯碼組中分離出來，也就是編碼后的碼元前k位是原始的數(shù)字信號，該類碼稱為系統(tǒng)碼；非系統(tǒng)碼：信息位已經(jīng)“面目全非”。5、糾正隨機(jī)碼糾正突發(fā)碼6、代數(shù)碼、集合碼和算數(shù)碼7、二進(jìn)制碼和多進(jìn)制碼,三、糾錯編碼的基本原理分組碼基本原理：舉例說明如下。設(shè)有一種由3位二進(jìn)制數(shù)字構(gòu)成的碼組，它共有8種不同的可能組合。若將其全部用來表示天氣，則可以表示8種不同天氣，例如：“000”（晴），“001”（云），“010”（陰），“011”（雨），“100”（雪），“101”（霜），“110”（霧），“111”（雹）。其中任一碼組在傳輸中若發(fā)生一個或多

31、個錯碼，則將變成另一個信息碼組。這時，接收端將無法發(fā)現(xiàn)錯誤。,若在上述8種碼組中只準(zhǔn)許使用4種來傳送天氣，例如：“000”晴“011”云“101”陰“110”雨這時，雖然只能傳送4種不同的天氣，但是接收端卻有可能發(fā)現(xiàn)碼組中的一個錯碼。例如，若“000”（晴）中錯了一位，則接收碼組將變成“100”或“010”或“001”。這3種碼組都是不準(zhǔn)使用的，稱為禁用碼組。接收端在收到禁用碼組時，就認(rèn)為發(fā)現(xiàn)了錯碼。當(dāng)發(fā)生3個錯碼時，“000”變成了“111”，它也是禁用碼組，故這種編碼也能檢測3個錯碼。但是這種碼不能發(fā)現(xiàn)一個碼組中的兩個錯碼，因?yàn)榘l(fā)生兩個錯碼后產(chǎn)生的是許用碼組。,檢錯和糾錯上面這種編碼只能檢

32、測錯碼，不能糾正錯碼。例如，當(dāng)接收碼組為禁用碼組“100”時，接收端將無法判斷是哪一位碼發(fā)生了錯誤，因?yàn)榍?、陰、雨三者錯了一位都可以變成“100”。要能夠糾正錯誤，還要增加多余度。例如，若規(guī)定許用碼組只有兩個：“000”（晴），“111”（雨），其他都是禁用碼組，則能夠檢測兩個以下錯碼，或能夠糾正一個錯碼。例如，當(dāng)收到禁用碼組“100”時，若當(dāng)作僅有一個錯碼，則可以判斷此錯碼發(fā)生在“1”位，從而糾正為“000”（晴）。因?yàn)椤?11”（雨）發(fā)生任何一位錯碼時都不會變成“100”這種形式。但是，這時若假定錯碼數(shù)不超過兩個，則存在兩種可能性：“000”錯一位和“111”錯兩位都可能變成“100”，因

33、而只能檢測出存在錯碼而無法糾正錯碼。,分組碼的結(jié)構(gòu)將信息碼分組，為每組信息碼附加若干監(jiān)督碼的編碼稱為分組碼。在分組碼中，監(jiān)督碼元僅監(jiān)督本碼組中的信息碼元。信息位和監(jiān)督位的關(guān)系：舉例如下,分組碼的一般結(jié)構(gòu)分組碼的符號：(n,k)N碼組的總位數(shù)，又稱為碼組的長度（碼長），k碼組中信息碼元的數(shù)目，nkr碼組中的監(jiān)督碼元數(shù)目，或稱監(jiān)督位數(shù)目。,分組碼的碼重和碼距碼重：把碼組中“1”的個數(shù)目稱為碼組的重量，簡稱碼重。碼距：把兩個碼組中對應(yīng)位上數(shù)字不同的位數(shù)稱為碼組的距離，簡稱碼距。碼距又稱漢明距離。例如，“000”晴，“011”云，“101”陰，“110”雨，4個碼組之間，任意兩個的距離均為2。最小碼距

34、：把某種編碼中各個碼組之間距離的最小值稱為最小碼距(d0)。例如，上面的編碼的最小碼距d0=2。,碼距的幾何意義對于3位的編碼組，可以在3維空間中說明碼距的幾何意義。每個碼組的3個碼元的值(a1,a2,a3)就是此立方體各頂點(diǎn)的坐標(biāo)。而上述碼距概念在此圖中就對應(yīng)于各頂點(diǎn)之間沿立方體各邊行走的幾何距離。由此圖可以直觀看出，上例中4個準(zhǔn)用碼組之間的距離均為2。,碼距和檢糾錯能力的關(guān)系一種編碼的最小碼距d0的大小直接關(guān)系著這種編碼的檢錯和糾錯能力為檢測e個錯碼，要求最小碼距d0e+1【證】設(shè)一個碼組A位于O點(diǎn)。若碼組A中發(fā)生一個錯碼，則我們可以認(rèn)為A的位置將移動至以O(shè)點(diǎn)為圓心，以1為半徑的圓上某點(diǎn)，

35、但其位置不會超出此圓。若碼組A中發(fā)生兩位錯碼，則其位置不會超出以O(shè)點(diǎn)為圓心，以2為半徑的圓。因此，只要最小碼距不小于3，碼組A發(fā)生兩位以下錯碼時，不可能變成另一個準(zhǔn)用碼組，因而能檢測錯碼的位數(shù)等于2。,同理，若一種編碼的最小碼距為d0，則將能檢測(d0-1)個錯碼。反之，若要求檢測e個錯碼，則最小碼距d0至少應(yīng)不小于(e+1)。為了糾正t個錯碼，要求最小碼距d02t+1【證】圖中畫出碼組A和B的距離為5。碼組A或B若發(fā)生不多于兩位錯碼，則其位置均不會超出半徑為2以原位置為圓心的圓。這兩個圓是不重疊的。判決規(guī)則為：若接收碼組落于以A為圓心的圓上就判決收到的是碼組A，若落于以B為圓心的圓上就判決為碼組B。這樣，就能夠糾正兩位錯碼。,若這種編碼中除碼組A和B外，還有許多種不同碼組，但任兩碼組之間的碼距均不小于5，則以各碼組的位置為中心以2為半徑畫出之圓都不會互相重疊。這樣，每種碼組如果發(fā)生不超過兩位錯碼都將能被糾正。因此，當(dāng)最小碼距d05時，能夠糾正2個錯碼，且最多