1.3信息及其度量

前已指出，信號(hào)是消息的載體，而信息是其內(nèi)涵。任何信源產(chǎn)生的輸出都是隨機(jī)的，也就是說(shuō)，信源輸出是用統(tǒng)計(jì)方法來(lái)定性的。對(duì)接收者來(lái)說(shuō)，只有消息中不確定的內(nèi)容才構(gòu)成信息；否則，信源輸出已確切知曉，就沒(méi)有必要再傳輸它了。因此，信息含量就是對(duì)消息中這種不確定性的度量。首先，讓我們從常識(shí)的角度來(lái)感覺(jué)三條消息：①太陽(yáng)從東方升起；②太陽(yáng)比往日大兩倍；③太陽(yáng)將從西方升起。第一條幾乎沒(méi)有帶來(lái)任何信息，第二條帶來(lái)了大量信息，第三條帶來(lái)的信息多于第二條。究其原因，第一事件是一個(gè)必然事件，人們不足為奇；第三事件幾乎不可能發(fā)生，它使人感到驚奇和意外，也就是說(shuō)，它帶來(lái)更多的信息。因此，信息含量是與驚奇這一因素相關(guān)聯(lián)的，這是不確定性或不可預(yù)測(cè)性的結(jié)果。越是不可預(yù)測(cè)的事件，越會(huì)使人感到驚奇，帶來(lái)的信息越多。

根據(jù)概率論知識(shí)，事件的不確定性可用事件出現(xiàn)的概率來(lái)描述?？赡苄栽叫?，概率越小；反之，概率越大。因此，消息中包含的信息量與消息發(fā)生的概率密切相關(guān)。消息出現(xiàn)的概率越小，消息中包含的信息量就越大。假設(shè)P(x)是一個(gè)消息發(fā)生的概率，I是從該消息獲悉的信息，根據(jù)上面的認(rèn)知，顯然I與P(x)之間的關(guān)系反映為如下規(guī)律：（1）信息量是概率的函數(shù)，即I=f［P(x)］（2）P(x)越小，I越大；反之，I越小，且

P(x)→1時(shí)，I→0P(x)→0，I→∞（3）若干個(gè)互相獨(dú)立事件構(gòu)成的消息，所含信息量等于各獨(dú)立事件信息量之和，也就是說(shuō)，信息具有相加性，即I［P(x1)P(x2)…］=I［P(x1)］+I［P(x2)］+…綜上所述，信息量I與消息出現(xiàn)的概率P(x)之間的關(guān)系應(yīng)為I=loga{1／P(x)}=－logaP(x)(1.3-1)信息量的單位與對(duì)數(shù)底數(shù)a有關(guān)。a=2時(shí)，信息量的單位為比特(bit)；a=e時(shí)，信息量的單位為奈特(nit)；a=10時(shí)，信息量的單位為十進(jìn)制單位，叫哈特萊。目前廣泛使用的單位為比特。下面舉例說(shuō)明信息量的對(duì)數(shù)度量是一種合理的度量方法。例1–1設(shè)二進(jìn)制離散信源，以相等的概率發(fā)送數(shù)字0或1，則信源每個(gè)輸出的信息含量為:I(0)=I(1)=log21／0.5=log22=1(bit)(1.3-2)式中,K是二進(jìn)制脈沖數(shù)目，也就是說(shuō)，傳送每一個(gè)M（M=2K）進(jìn)制波形的信息量就等于用二進(jìn)制脈沖表示該波形所需的脈沖數(shù)目K。

可見，傳送等概率的二進(jìn)制波形之一（P=1/2）的信息量為1比特。同理，傳送等概率的四進(jìn)制波形之一（P=1/4）的信息量為2比特，這時(shí)每一個(gè)四進(jìn)制波形需要用2個(gè)二進(jìn)制脈沖表示；傳送等概率的八進(jìn)制波形之一（P=1/8）的信息量為3比特，這時(shí)至少需要3個(gè)二進(jìn)制脈沖。綜上所述，對(duì)于離散信源，M個(gè)波形等概率（P=1/M）發(fā)送，且每一個(gè)波形的出現(xiàn)是獨(dú)立的，即信源是無(wú)記憶的，則傳送M進(jìn)制波形之一的信息量為：I=－log21／M=log2M(bit)(1.3-3)式中，P為每一個(gè)波形出現(xiàn)的概率，M為傳送的波形數(shù)。若M是2的整冪次，比如M=2K（K=1，2，3，…），則式(1.3-3)可改寫為I=log22K=K(bit)(1.3-4)如果是非等概情況，設(shè)離散信源是一個(gè)由n個(gè)符號(hào)組成的符號(hào)集，其中每個(gè)符號(hào)xi(i=1,2,3,…,n)出現(xiàn)的概率為P(xi)，且有∑P(xi)=1,則x1,x2,…,xn所包含的信息量分別為-log2P(x1),-log2P(x2)，…，-log2P(xn)。于是，每個(gè)符號(hào)所含信息量的統(tǒng)計(jì)平均值，即平均信息量為：H(x)=P(x1)［log2P(x1)］+P(x2)［log2P(x2)］+…+P(xn)［log2P(xn)=

由于H同熱力學(xué)中的熵形式一樣，故通常又稱它為信息源的熵，其單位為bit/符號(hào)。顯然，當(dāng)信源中每個(gè)符號(hào)等概獨(dú)立出現(xiàn)時(shí)，式(1.3-5)即成為式(1.3-3)，此時(shí)信源的熵有最大值。例1-2一離散信源由0，1，2，3四個(gè)符號(hào)組成，它們出現(xiàn)的概率分別為3/8,1/4,1/4,1/8，且每個(gè)符號(hào)的出現(xiàn)都是獨(dú)立的。試求某消息201020130213001203210100321010023102002010312032100120210的信息量。解:此消息中，0出現(xiàn)23次，1出現(xiàn)14次，2出現(xiàn)13次，3出現(xiàn)7次，共有57個(gè)符號(hào)，故該消息的信息量為

可見，兩種算法的結(jié)果有一定誤差，但當(dāng)消息很長(zhǎng)時(shí)，用熵的概念來(lái)計(jì)算比較方便。而且隨著消息序列長(zhǎng)度的增加，兩種計(jì)算誤差將趨于零。以上我們介紹了離散消息所含信息量的度量方法。對(duì)于連續(xù)消息，信息論中有一個(gè)重要結(jié)論，就是任何形式的待傳信息都可以用二進(jìn)制形式表示而不失主要內(nèi)容。抽樣定理告訴我們：一個(gè)頻帶受限的連續(xù)信號(hào)，可以用每秒一定數(shù)目的抽樣值代替。而每個(gè)抽樣值可以用若干個(gè)二進(jìn)制脈沖序列來(lái)表示。因此，以上信息量的定義和計(jì)算同樣適用于連續(xù)信號(hào)。1.4主要性能指標(biāo)

通信的任務(wù)是快速、準(zhǔn)確地傳遞信息。因此，評(píng)價(jià)一個(gè)通信系統(tǒng)優(yōu)劣的主要性能指標(biāo)是系統(tǒng)的有效性和可靠性。有效性是指在給定信道內(nèi)所傳輸?shù)男畔?nèi)容的多少，或者說(shuō)是傳輸?shù)摹八俣取眴?wèn)題；而可靠性是指接收信息的準(zhǔn)確程度，也就是傳輸?shù)摹百|(zhì)量”問(wèn)題。這兩個(gè)問(wèn)題相互矛盾而又相對(duì)統(tǒng)一，通常還可以進(jìn)行互換.模擬通信系統(tǒng)的有效性可用有效傳輸頻帶來(lái)度量，同樣的消息用不同的調(diào)制方式，則需要不同的頻帶寬度。可靠性用接收端最終輸出信噪比來(lái)度量。不同調(diào)制方式在同樣信道信噪比下所得到的最終解調(diào)后的信噪比是不同的。如調(diào)頻信號(hào)抗干擾能力比調(diào)幅好，但調(diào)頻信號(hào)所需傳輸頻帶卻寬于調(diào)幅。

通常在給出碼元速率時(shí)，有必要說(shuō)明碼元的進(jìn)制。由于M進(jìn)制的一個(gè)碼元可以用log2M個(gè)二進(jìn)制碼元去表示，因而在保證信息速率不變的情況下，M進(jìn)制的碼元速率RBM與二進(jìn)制的碼元速率RB2之間有以下轉(zhuǎn)換關(guān)系：RB2=RBMlog2M(