項(xiàng)目一

通信技術(shù)概論

任務(wù)3信息及其度量信息可被理解為消息中包含的有效內(nèi)容。消息可以有各種各樣的形式,但消息的內(nèi)容可統(tǒng)一用信息來(lái)表述。數(shù)字信息通?？梢杂脭?shù)字代碼表示,稱(chēng)為信碼。信息及其度量通信的目的在于傳輸消息中所包含的信息（傳遞和交換信息）信息是指消息中所包含的有效內(nèi)容或者說(shuō)是收信者預(yù)先不知而待知的內(nèi)容。信息的多少可用“信息量來(lái)度量”，消息中所包含的信息量與消息發(fā)生的概率密切相關(guān)。消息出現(xiàn)的概率越小，其不確定性越大，消息中所包含的信息量就越大。45讓我們從常識(shí)的角度感知以下三條消息：1.太陽(yáng)從東方升起；2.太陽(yáng)比往日大兩倍；3.太陽(yáng)將從西方升起

可知：第一條消息幾乎沒(méi)有帶來(lái)任何信息；

第二條帶來(lái)了大量信息；

第三條帶來(lái)的信息多于第二條這是因?yàn)榈谝粋€(gè)事件是一個(gè)必然事件，不足為奇；

第三個(gè)事件幾乎不可能發(fā)生，它使人感到驚奇和意外。也就是說(shuō)，它帶來(lái)更多的信息，越是不可預(yù)測(cè)的事件，越會(huì)使人感到驚奇，帶來(lái)的信息就越多。6

概率論告訴我們，事件的不確定程度可以用其出現(xiàn)的概率來(lái)表描述。因此，消息中包含的信息量多少與消息所表達(dá)事件的出現(xiàn)概率密切相關(guān)。事件出現(xiàn)的概率越小，則消息中包含的信息量就越大，反之則越小。

根據(jù)以上認(rèn)知，消息中所含的信息量I與消息發(fā)生的概率P(x)的關(guān)系應(yīng)當(dāng)反映如下規(guī)律：(1)消息X中所含的信息量I是該消息出現(xiàn)概率

的函數(shù)，即

(2)消息出現(xiàn)的概率

越小，I越大；反之，I越小。且當(dāng)

7

（3）若干個(gè)互相獨(dú)立事件構(gòu)成的消息

，

所含信息量等于各獨(dú)立事件

信息量之和，也就是說(shuō)，信息具有相加性，即：

可以看出，若I與P(x)間的關(guān)系式為：

（1.4-1）則可滿(mǎn)足上述三項(xiàng)要求，所以我們定義公式（1.4-1）為消息x所含的信息量。8信息量I的單位取決于式（1.4-1）中對(duì)數(shù)的底a的取值：a=2單位為比特（bit），可簡(jiǎn)寫(xiě)為ba=e單位為奈特（nat），可簡(jiǎn)寫(xiě)為na=10單位為哈特萊（Hartley）通常廣泛使用單位比特，即

（1.4-2）

例題1-1：設(shè)二進(jìn)制離散信源，數(shù)字0和數(shù)字1以相等的概率出現(xiàn)，試計(jì)算每個(gè)符號(hào)的信息量。9例題1-2：若是四進(jìn)制信源（0，1，2，3），符號(hào)0、1、2、3等概率出現(xiàn)是時(shí)，試計(jì)算信息源輸出的每個(gè)符號(hào)的信息量。10

同理，對(duì)于離散信源，若N個(gè)符號(hào)等概率（P=1/N），且每一個(gè)符號(hào)的出現(xiàn)是相互獨(dú)立的，即信源是無(wú)記憶的，則每個(gè)符號(hào)所含的信息量相等，為：

（1.4-3）

式中，P為每一個(gè)符號(hào)出現(xiàn)的概率；N為信源中所包含的符號(hào)數(shù)目。若N是2的整冪次，比如

則式（1.4-3）可寫(xiě)為：

（1.4-4）11

12

（1.4-4）式中，K是二進(jìn)制符號(hào)數(shù)目，也就是說(shuō)，傳送每一個(gè)N（

）進(jìn)制符號(hào)的信息量就等于用二進(jìn)制符號(hào)表示該N進(jìn)制符號(hào)所需的符號(hào)數(shù)目。例題2：試計(jì)算二進(jìn)制符號(hào)不等概率時(shí)的信息量[設(shè)P（0）=P]。根據(jù)式（1.4-2），有

可見(jiàn)，不等概率時(shí)，每個(gè)符號(hào)所含的信息量不同。13

計(jì)算消息的信息量，常用到平均信息量的概念。平均信息量H(x)定義為每個(gè)符號(hào)所含信息量的統(tǒng)計(jì)平均值，即等于每個(gè)符號(hào)的信息量乘以各自的出現(xiàn)概率再相加。

設(shè)離散信源是由N個(gè)符號(hào)組成的集合，其中每個(gè)符號(hào)按一定的概率

獨(dú)立出現(xiàn)，即

14

則每個(gè)符號(hào)所含信息量的平均值為

（）

（1.4-5）

由于H同熱力學(xué)中的熵形式相似，故通常又稱(chēng)他為信息源的熵，其單位為b/符號(hào)。

顯然，當(dāng)每個(gè)符號(hào)等概率獨(dú)立出現(xiàn)時(shí)，式（1.4-5）即為（1.4-3），此時(shí)信源的熵有最大值。15

信源熵H(X)有三種物理含義：(1)在信源輸出前，H(X)表示信源的平均不確定性。(2)在信源輸出后，H(X)表示每個(gè)離散消息所提供的平均信息量。(3)H(X)反映了隨機(jī)變量X的隨機(jī)性和無(wú)序性。16

信源熵有如下性質(zhì)：(1)非負(fù)性。信息熵不能小于零，即H(X)≥0。(2)確定性。若信源某一符號(hào)以概率1出現(xiàn)，而其他符號(hào)均不可能出現(xiàn)時(shí)，這個(gè)信源就是一個(gè)確知信源，其熵等于零。(3)對(duì)稱(chēng)性。信息熵的取值與各概率分量P1、P2、...Pn的順序無(wú)關(guān)。(4)極值性。對(duì)于離散信源，當(dāng)各個(gè)符號(hào)等概出現(xiàn)時(shí)，其熵最大，這稱(chēng)為最大離散定理，用公式表示如下：17【擴(kuò)展閱讀：不要把所有的雞蛋放在同一個(gè)籃子里】

近年來(lái)，隨著人們生活水平的提高，特色菜肴慢慢變成了搶手貨。一位投資者看到此景，毅然拋開(kāi)了一直處于考察中的其它投資項(xiàng)目，一心一意搞起了特色養(yǎng)殖。這位自稱(chēng)相信“風(fēng)險(xiǎn)與機(jī)遇并存”的投資者，力排眾議，傾其所有，將全部資金都投入到他選定的特色養(yǎng)殖項(xiàng)目上，并堅(jiān)信在自己的苦心經(jīng)營(yíng)下，一定能夠從這個(gè)項(xiàng)目獲取豐厚回報(bào)。但一場(chǎng)突如其來(lái)的“禽流感”疫情，確使其夢(mèng)想破滅。

18【擴(kuò)展閱讀：不要把所有的雞蛋放在同一個(gè)籃子里】

雖然單一投資因?yàn)橘Y源和資金的集中，在項(xiàng)目選擇正確的情況下，常常會(huì)給企業(yè)帶來(lái)好的收益，但單一投資的風(fēng)險(xiǎn)也是顯而易見(jiàn)的，放大的風(fēng)險(xiǎn)只要發(fā)生一次，就可能使投資者多年積累起來(lái)的財(cái)富毀于一旦。形象地講，投資過(guò)于單一，就像是把所有雞蛋放在同一個(gè)籃子里，一旦籃子打翻，雞蛋也就全部摔破了。而由多項(xiàng)目結(jié)構(gòu)構(gòu)成的組合性投資，可以大大減少單一投資所帶來(lái)的投資風(fēng)險(xiǎn)。19例題3：某信源符號(hào)集由A、B、C、D、E5個(gè)符號(hào)組成，設(shè)每個(gè)符號(hào)獨(dú)立出現(xiàn)，其概率分別為1/2、1/4、1/8、1/16、1/16，試求該信息源的平均信息量。20例題4：某信源符號(hào)集由A、B、C、D、E、F組成，設(shè)每個(gè)符號(hào)獨(dú)立出現(xiàn)，其概率分別為1/4、1/4、1/16、1/8、1/16、1/4，試求該信息源的平均信息量。答案：H=......=2.375(b/符號(hào))21例題5：某信源符號(hào)集由A、B、C、D、E組成，設(shè)每個(gè)符號(hào)獨(dú)立出現(xiàn)，其概率分別為1/4、1/8、1/8、3/16、5/16，試求該信息源的平均信息量。答案：H=2.23（b/符號(hào)）22例題6：一離散信源由0、1、2、3四個(gè)符號(hào)組成，它們出現(xiàn)的概率分別為3/8、1/4、1/4、1/8，且每個(gè)符號(hào)的出現(xiàn)都是獨(dú)立的。試求某信息1022

0102

0130213021203210100321010023102002010312032100120210的信息量。可用兩種不同的方法計(jì)算：1.累計(jì)每個(gè)符號(hào)所出現(xiàn)次數(shù)*信息量2.平均信息量*符號(hào)數(shù)23例題6：一離散信源由0、1、2、3四個(gè)符號(hào)組成，它們出現(xiàn)的概率分別為3/8、1/4、1/4、1/8，且每個(gè)符號(hào)的出現(xiàn)都是獨(dú)立的。試求某信息1022

0102

0130213021203210100321010023102002010312032100120210的信息量。方法1：此信息中0出現(xiàn)23次，1出現(xiàn)15次，2出現(xiàn)15次，3出現(xiàn)7次，共有60個(gè)符號(hào)。則該消息的信息量為：I=23*I（0）+15*I（1）+15*I（2）+7*I（3）

24例題6：一離散信源由0、1、2、3四個(gè)符號(hào)組成，它們出現(xiàn)的概率分別為3/8、1/4、1/4、1/8，且每個(gè)符號(hào)的出現(xiàn)都是獨(dú)立的。試求某信息1022

0102

0130213021203210100321010023102002010312032100120210的信息量。方法2：用熵的概念計(jì)算平均信息量：則該消息的信息量為：I=60H=60*1.906=114.36比特。25

26

可見(jiàn)，兩種方法的計(jì)算結(jié)果有一定的誤差，前一種方法是按算數(shù)平均的方法，后一種是按統(tǒng)計(jì)平均的方法。但當(dāng)消息很長(zhǎng)時(shí)，用熵的概念來(lái)計(jì)算比較方便，而且隨著消息序列長(zhǎng)度的增加，兩種計(jì)算誤差將趨于0。小結(jié)通信技術(shù)概論

任務(wù)1：通信的基本概念、組成1.掌握通信的目的、基本概念；2.了解通