1、2020/9/8,1,第三章 信息與信道,3.1 信息論 3.2 信息的度量 3.3 信道與噪聲,2020/9/8,2,31信息論,1信息論基礎(chǔ) 2一般信息論 3廣義信息論,2020/9/8,3,1信息論基礎(chǔ),1948年，美國(guó)工程師香農(nóng)發(fā)表了長(zhǎng)篇論文通信的數(shù)學(xué)理論，論文以概率論為工具，系統(tǒng)地討論了通信工程中的一系列基本理論問(wèn)題，給出了計(jì)算信源信息量和信道容量的方法和一般公式，得出了一組表征信息傳遞重要關(guān)系的編碼定理，從而奠定了信息論的基礎(chǔ)。香農(nóng)也被后人尊稱(chēng)為“信息論之父”。,2020/9/8,4,香農(nóng)信息論也稱(chēng)狹義信息論，主要研究信息的測(cè)度、信道容量、信息率失真函數(shù)，與這三個(gè)概念相對(duì)應(yīng)的有香農(nóng)

2、三定理以及信源和信道編碼。,2020/9/8,5,2一般信息論,一般信息論主要研究信息的傳輸和處理問(wèn)題。除了香農(nóng)的基本理論之外，還包括噪聲理論、信號(hào)濾波和預(yù)測(cè)、統(tǒng)計(jì)檢測(cè)與估值理論、調(diào)制理論。美國(guó)科學(xué)家維納（N. Wiener）是這個(gè)領(lǐng)域的另一個(gè)代表人物。,2020/9/8,6,雖然維納和香農(nóng)等人都是運(yùn)用概率和統(tǒng)計(jì)數(shù)學(xué)的方法，研究準(zhǔn)確或者近似再現(xiàn)消息的，但香農(nóng)的研究對(duì)象是從信源到信宿的全過(guò)程，是收、發(fā)端聯(lián)合最優(yōu)化問(wèn)題，重點(diǎn)是編碼；而維納的研究重點(diǎn)在接收端，研究如何在消息受到干擾的情況下（事實(shí)上這無(wú)可避免），在接收端將它從干擾中提取出來(lái)。,2020/9/8,7,3廣義信息論,廣義信息論是一門(mén)綜合性

3、的新興學(xué)科，至今沒(méi)有嚴(yán)格定義，它將研究從自然科學(xué)領(lǐng)域擴(kuò)展到經(jīng)濟(jì)學(xué)和社會(huì)科學(xué)領(lǐng)域。任何系統(tǒng)，如神經(jīng)傳導(dǎo)系統(tǒng)、市場(chǎng)銷(xiāo)售系統(tǒng)，只要能夠抽象成通信系統(tǒng)模型，都可以用信息論進(jìn)行研究。,2020/9/8,8,總的來(lái)說(shuō)，所有研究信息的識(shí)別、控制、提取、變換、傳輸、處理、存儲(chǔ)、顯示、價(jià)值、作用及信息量的大小等一般規(guī)律，以及實(shí)現(xiàn)手段的工程學(xué)科，都屬于廣義信息論的范疇。,2020/9/8,9,3.2 信息的度量,信息論是在信息可以度量的前提下，研究有效、可靠、安全地傳遞信息的科學(xué)?？梢?jiàn)信息的可度量性是建立信息論的基礎(chǔ)。衡量信息多少的物理量叫做信息量。,3.2.1 信息量 3.2.2 平均信息量和信源熵,2020/

4、9/8,10,3.2.1 信息量,在一切有意義的通信中，雖然消息的傳遞意味著信息的傳遞，但對(duì)于接收者來(lái)說(shuō)，某些消息比另外一些消息含有更多的信息。例如一方告訴另一方兩件事：“夏天很悶熱，她穿著絲質(zhì)短袖”和“夏天很悶熱，她倒穿上了大棉襖”，后一消息所包含的信息量感覺(jué)起來(lái)比前者要多些。因?yàn)樵诮邮照呖磥?lái)，前一件事很可能發(fā)生，不足為奇，后一件事倒有些稀奇，聽(tīng)后讓人感到意外。,2020/9/8,11,信息度量的方法有若干種，其中最常用的是統(tǒng)計(jì)度量。 概率論告訴我們：事件出現(xiàn)的可能性越小，概率就越小，可能性越大，概率也越大。消息所攜帶的信息量，與它所描述的事件出現(xiàn)的概率密切相關(guān)。事件發(fā)生的概率越小，消息中包

5、含的信息量就越大，反之信息量就越小。如果事件是必然的（概率為1），則消息傳遞的信息量應(yīng)為零。因此，信息量應(yīng)該是事件發(fā)生概率的單調(diào)遞減函數(shù)。,2020/9/8,12,對(duì)由有限個(gè)符號(hào)組成的離散信源來(lái)說(shuō)，隨著消息長(zhǎng)度的增加，可能出現(xiàn)的消息數(shù)目是呈指數(shù)增加的。 如果收到的不是一個(gè)消息，而是若干個(gè)相互獨(dú)立的消息，那么總的信息量應(yīng)該是每個(gè)消息的信息量之和，這意味著信息量還應(yīng)滿(mǎn)足相加性的條件。,2020/9/8,13,對(duì)信息量作如下定義可滿(mǎn)足以上三方面的考慮：若一個(gè)消息 （或其描述的事件）出現(xiàn)的概率為 ，則這一消息所含的信息量為,（3.1）,2020/9/8,14,式（3.1）中對(duì)數(shù)的底 取2時(shí)，信息量的單

6、位為比特（bit，b），這是目前應(yīng)用最廣泛的單位； 取 e即為自然對(duì)數(shù)時(shí)，信息量的單位為奈特（nat）； 取10時(shí)，信息量的單位為迪特（Det）或哈特（Hart，Hartley）。,2020/9/8,15,設(shè)離散信息源是一個(gè)由個(gè) 符號(hào)組成的集合，稱(chēng)符號(hào)集。符號(hào)集中的每一個(gè)符號(hào) 在消息中按一定概率 獨(dú)立出現(xiàn)，表示為：,，且,2020/9/8,16,若把一個(gè)字符看作一個(gè)最短的消息，則根據(jù) ，可知符號(hào) 所包含的信息量分是 比特。,2020/9/8,17,特別地，若 個(gè)符號(hào)出現(xiàn)的概率相等，即每個(gè)符號(hào)出現(xiàn)的概率都為 ，則每個(gè)符號(hào)攜帶的信息量為：,（3.2）,2020/9/8,18,當(dāng) ，即二進(jìn)制信源時(shí)，

7、每個(gè)二進(jìn)制符號(hào)（通常表示為0、1）攜帶的信息量是1 。,注：Bit（位）也常被用作計(jì)量二進(jìn)制數(shù)據(jù)位數(shù)的單位，請(qǐng)注意其與用作信息量單位時(shí)的差異。 若一條消息包括若干個(gè)符號(hào)，那么這條消息包含的信息量應(yīng)是所有符號(hào)攜帶信息量的總和。,2020/9/8,19,【例3-1】,一信息源由4個(gè)符號(hào)A、B、C、D組成，它們出現(xiàn)的概率分別是1/4、3/8、1/8、1/4，且每個(gè)符號(hào)的出現(xiàn)都是獨(dú)立的。試求某個(gè)消息“ABACDDACCCDBBBDCDABCDAADCBC”的信息量。,2020/9/8,20,解 符號(hào)A、B、C、D攜帶的信息量分別為：,2020/9/8,21,消息總共有28個(gè)符號(hào)，其中A出現(xiàn)7次，B出現(xiàn)

8、6次，C出現(xiàn)8次，D出現(xiàn)7次。因此上述消息攜帶的總信息量為：,2020/9/8,22,3.2.2 平均信息量和信源熵,由例3-1可知，當(dāng)消息很長(zhǎng)時(shí)，用符號(hào)出現(xiàn)的概率和次數(shù)來(lái)計(jì)算消息的信息量是比較麻煩的。引入單個(gè)符號(hào)的平均信息量會(huì)方便許多。 平均信息量是指每個(gè)符號(hào)所含信息量的統(tǒng)計(jì)平均值。,2020/9/8,23,種符號(hào)的平均信息量定義為：,（3.3）,2020/9/8,24,由于 的定義形式與統(tǒng)計(jì)熱力學(xué)中的熵相似，所以通常稱(chēng)之為信源的信息熵，也叫信源熵或香農(nóng)熵。,注：但除了表示平均信息量外，信源熵還有更寬泛的含義。例如還可用于表征信源的平均不確定度等。,2020/9/8,25,有了平均信息量 和

9、消息中包含的符號(hào)個(gè)數(shù) ，可求出總信息量為：,（3.4）,這雖是估算方法，但使用比較方便。,2020/9/8,26,【例3-2】,要求利用平均信息量的方法對(duì)例3-1進(jìn)行計(jì)算。,解 由式（3.3）可得平均信息量為：,2020/9/8,27,由式（3.4）可得消息所含信息量為：,2020/9/8,28,不同的離散信源可能有不同的信源熵，通常我們會(huì)期望熵值越大越好。 可以證明，信源熵的最大熵值發(fā)生在每一符號(hào)出現(xiàn)概率相等的情況下，對(duì)具有個(gè)符號(hào)的信源，最大熵值等于比特/符號(hào)；若為二進(jìn)制信源，最大熵值為1比特/符號(hào)。,2020/9/8,29,3.3 信道與噪聲,3.3.1 信道的定義和模型 3.3.2 信道

10、中的噪聲 3.3.3 信道容量,2020/9/8,30,3.3.1 信道的定義和模型,1狹義信道和廣義信道 2調(diào)制信道的模型,2020/9/8,31,1狹義信道和廣義信道,在第一章中，信道被定義為發(fā)送設(shè)備和接收設(shè)備之間用以傳輸信號(hào)的傳輸媒質(zhì)。例如光纜、雙絞線(xiàn)電纜、同軸電纜、自由空間、電離層等都是信道。這種信道只涉及傳輸媒質(zhì)，通常稱(chēng)之為狹義信道。,2020/9/8,32,在通信系統(tǒng)的研究中，為了簡(jiǎn)化系統(tǒng)模型并突出重點(diǎn)，常常要根據(jù)所研究的問(wèn)題，把信道范圍適當(dāng)擴(kuò)大，也就是說(shuō)除了傳輸媒質(zhì)以外，還可以將有關(guān)的電路或部件包括進(jìn)來(lái)，例如圖3.1示意了調(diào)制信道和編碼信道的構(gòu)成。這類(lèi)被擴(kuò)大了范圍的信道統(tǒng)稱(chēng)為廣義

11、信道。,2020/9/8,33,圖3.1 調(diào)制信道和編碼信道,2020/9/8,34,狹義信道是廣義信道的核心，廣義信道的性能在很大程度上取決于狹義信道，因此在研究信道一般特性時(shí)，傳輸媒質(zhì)仍然是討論的重點(diǎn)。 在討論通信系統(tǒng)的一般原理時(shí)，通常都采用廣義信道。 為了敘述上的簡(jiǎn)便，我們常把廣義信道簡(jiǎn)稱(chēng)為信道。,2020/9/8,35,調(diào)制信道（從調(diào)制器的輸出端到解調(diào)器的輸入端）是一種常用的廣義信道。調(diào)制器的作用是產(chǎn)生已調(diào)信號(hào)，解調(diào)器的作用是由已調(diào)信號(hào)恢復(fù)原來(lái)的調(diào)制信號(hào)，至于它們之間的所有部件和媒質(zhì)，從調(diào)制器和解調(diào)器的角度看來(lái)，都同樣起著對(duì)已調(diào)信號(hào)的傳輸作用，因此可以將它們視作一個(gè)整體調(diào)制信道。,20

12、20/9/8,36,2調(diào)制信道的模型,調(diào)制信道傳輸已調(diào)信號(hào)，其輸入端接調(diào)制器的輸出端，輸出端接解調(diào)器的輸入端，可將其視為一個(gè)二對(duì)端的時(shí)變線(xiàn)性網(wǎng)絡(luò)，如圖3.2所示。,2020/9/8,37,圖3.2 調(diào)制信道模型,2020/9/8,38,設(shè)信道的輸入（已調(diào)）信號(hào) 和輸出信號(hào) 之間滿(mǎn)足關(guān)系：,（3.5）,2020/9/8,39,式中 依賴(lài)于網(wǎng)絡(luò)的特性， 不依賴(lài)于網(wǎng)絡(luò)特性，它們的存在對(duì)輸入信號(hào) 來(lái)說(shuō)都是干擾。 由于 與 是相乘關(guān)系，而 與 是相互獨(dú)立的，所以習(xí)慣上稱(chēng) 為乘性干擾、 為加性干擾。,2020/9/8,40,乘性干擾 一般是一個(gè)復(fù)雜的函數(shù)，它可能包括各種線(xiàn)性、非線(xiàn)性畸變因素，這是因?yàn)榫W(wǎng)絡(luò)的

13、延遲特性和損耗特性在隨時(shí)間作隨機(jī)變化。,2020/9/8,41,但大量觀(guān)察表明，有些信道的 基本不隨時(shí)間變化，即信道對(duì)信號(hào)的影響是固定的或變化極為緩慢的；而另一些信道的 是隨機(jī)快速變化的。,2020/9/8,42,這樣，在分析乘性干擾時(shí)，可把信道分為兩大類(lèi)：一類(lèi)稱(chēng)為恒參信道，即其 可看成不或基本不隨時(shí)間變化；另一類(lèi)則稱(chēng)為隨參信道，即其 是隨機(jī)快變化的。,2020/9/8,43,恒參信道非常普遍，如有線(xiàn)信道、無(wú)線(xiàn)信道中的超短波信道、衛(wèi)星信道等都可視作恒參信道。對(duì)恒參信道而言，信道模型可簡(jiǎn)化為非時(shí)變的線(xiàn)性網(wǎng)絡(luò)，那么信道對(duì)信號(hào)的干擾就只有加性干擾了。 加性干擾也稱(chēng)加性噪聲，簡(jiǎn)稱(chēng)噪聲。,2020/9/

14、8,44,3.3.2 信道中的噪聲,1噪聲的分類(lèi) 2高斯噪聲 3白噪聲,2020/9/8,45,1噪聲的分類(lèi),按來(lái)源進(jìn)行如下分類(lèi)： 人為噪聲來(lái)源于無(wú)關(guān)的其他信號(hào)源，如外臺(tái)信號(hào)、電火花、熒光燈干擾等。 自然噪聲是指自然界存在的各種電磁波源，如閃電、雷暴等。 內(nèi)部噪聲是系統(tǒng)設(shè)備本身產(chǎn)生的各種噪聲，如熱噪聲、散彈噪聲、電源哼聲等。,2020/9/8,46,某些類(lèi)型的噪聲是確知的，例如電源哼聲、自激振蕩、各種內(nèi)部的諧波干擾等，雖然消除這些噪聲不一定很容易，但至少在原理上可以消除或基本消除。而另一些噪聲則不能準(zhǔn)確地預(yù)測(cè)波形，這種不能預(yù)測(cè)的噪聲統(tǒng)稱(chēng)為隨機(jī)噪聲。隨機(jī)噪聲是我們關(guān)注的重點(diǎn)。,2020/9/8,

15、47,常見(jiàn)的隨機(jī)噪聲可分為單頻噪聲、脈沖噪聲和起伏噪聲三類(lèi)。,2020/9/8,48,單頻噪聲,單頻噪聲是一種連續(xù)波的干擾（如外臺(tái)信號(hào)），它可視為一個(gè)已調(diào)正弦波（幅度、頻率或相位事先無(wú)法預(yù)測(cè)），占有極窄的頻帶。它的頻率可以通過(guò)實(shí)際測(cè)量進(jìn)行確定，因此只要采取恰當(dāng)措施，通?？杉右苑乐?。,2020/9/8,49,脈沖噪聲,脈沖噪聲是在時(shí)間上無(wú)規(guī)則的時(shí)而安靜時(shí)而突發(fā)的噪聲，突發(fā)時(shí)脈沖幅度大，但每個(gè)突發(fā)脈沖持續(xù)時(shí)間短，且相鄰?fù)话l(fā)脈沖之間往往有較長(zhǎng)的“平靜”期。從頻譜上看，脈沖噪聲通常有較寬的頻譜，但頻率越高，頻譜強(qiáng)度也就越小。這種噪聲對(duì)模擬語(yǔ)音信號(hào)的影響不大，而在數(shù)字通信中，一旦出現(xiàn)突發(fā)脈沖，由于其幅度

16、較大，常會(huì)導(dǎo)致一連串的誤碼，造成嚴(yán)重危害。不過(guò)，這種危害通?？梢酝ㄟ^(guò)信道（糾錯(cuò)）編碼技術(shù)得以減輕。,2020/9/8,50,起伏噪聲,起伏噪聲以熱噪聲、散彈噪聲、宇宙噪聲等為代表，它無(wú)論在時(shí)域還是在頻域中總是普遍存在、不可避免的。 研究中常以起伏噪聲為重點(diǎn)。,2020/9/8,51,2高斯噪聲,根據(jù)概率論的極限中心定理：大量相互獨(dú)立的、均勻的微小隨機(jī)變量的總和趨于服從高斯分布。 對(duì)于隨機(jī)過(guò)程也是如此。,2020/9/8,52,作為通信系統(tǒng)內(nèi)主要噪聲來(lái)源的熱噪聲和散彈噪聲，可以看成是無(wú)數(shù)獨(dú)立的微小電流脈沖的疊加，因此它們是服從高斯分布的，即高斯過(guò)程，通常把它們叫做高斯噪聲。 大量觀(guān)察表明，高斯噪

17、聲始終存在于任何一種信道中。,2020/9/8,53,3白噪聲,一個(gè)均值為零、功率譜密度在整個(gè)頻率軸上有非零常數(shù)，即,（3.6）,的平穩(wěn)過(guò)程，被稱(chēng)為白噪聲過(guò)程，簡(jiǎn)稱(chēng)白噪聲或白過(guò)程。,2020/9/8,54,圖3.3 白噪聲的功率譜密度和自相關(guān)函數(shù),2020/9/8,55,白噪聲中的“白”字借用了光學(xué)中的“白光”概念白光的頻譜包含了所有可見(jiàn)光的頻率成分，而白噪聲的功率譜中也包含了所有的頻率成分。 白噪聲在數(shù)學(xué)處理上比較簡(jiǎn)單，給通信系統(tǒng)的分析帶來(lái)方便。,2020/9/8,56,白噪聲的定義只是一種理想化模型，實(shí)際不可能存在。因?yàn)樵谧匀唤绾凸こ虘?yīng)用中，隨機(jī)信號(hào)就其平均功率而言總是有限的，而且實(shí)際過(guò)程

18、在非常鄰近的兩個(gè)時(shí)刻總會(huì)存在一定的相關(guān)性，相關(guān)函數(shù)不可能是嚴(yán)格的沖激函數(shù)。,2020/9/8,57,實(shí)際工作中，當(dāng)研究的噪聲過(guò)程在很寬（比有用頻帶寬得多）范圍內(nèi)具有均勻的功率譜密度，就可以把它作為白噪聲來(lái)處理。 電子設(shè)備中的起伏過(guò)程，如電阻熱噪聲、半導(dǎo)體散彈噪聲等，一般都可以視作白噪聲。,2020/9/8,58,通常把統(tǒng)計(jì)特性服從高斯分布而功率譜密度又是均勻分布的噪聲稱(chēng)為高斯白噪聲。 如果白噪聲的被限制在頻率范圍 之內(nèi)，這樣的噪聲則被稱(chēng)為帶限噪聲或有色噪聲。,2020/9/8,59,3.3.3 信道容量,信道容量表示一個(gè)信道的最大數(shù)據(jù)傳輸速率，對(duì)應(yīng)于信道傳輸數(shù)據(jù)能力的極限，單位是比特/秒 。 信道容量和數(shù)據(jù)傳輸速率的關(guān)系可類(lèi)比于公路的最大限速與汽車(chē)的實(shí)際速度。,2020/9/8,60,1數(shù)字信道的信道容量 2模擬信道的信道容量,2020/9/8,61,1數(shù)字信道的信道容量,數(shù)字信道的輸入、輸出信號(hào)都是數(shù)字信號(hào)。 廣義信道中的編碼信道就是數(shù)字信道。 數(shù)字信道模型可用轉(zhuǎn)移概率來(lái)表示，有噪聲情況下的信道容量這里略去。,2