1、chap1 思考題與習(xí)題 參考答案參考答案 1.1 信息論與編碼技術(shù)研究的主要內(nèi)容是什么？ 信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計和近代代數(shù)的方法，來研究廣義的信息傳輸、提取 和處理系統(tǒng)中一般學(xué)科。編碼技術(shù)研究的主要內(nèi)容是如何既可靠又有效地傳輸信息。 1.2 簡述信息理論與編碼技術(shù)的發(fā)展簡史。 1948 年香農(nóng)在貝爾系統(tǒng)技術(shù)雜志上發(fā)表了兩篇有關(guān)“通信的數(shù)學(xué)理論”的文章。在這兩篇論文中， 他用概率論測度和數(shù)理統(tǒng)計的方法系統(tǒng)地討論了通信的基本問題， 得出了及格重要而帶有普遍意義的結(jié) 論，并由此奠定了現(xiàn)代信息論的基礎(chǔ)。 從 1948 年開始，信息論的出現(xiàn)引起了一些有名的數(shù)學(xué)家如柯爾洛夫、a.fe

2、instein、j.wolfowitz 等 人的興趣， 他們將香農(nóng)已得到的數(shù)學(xué)結(jié)論做了進(jìn)一步的嚴(yán)格論證和推廣， 使這一理論具有更為堅實(shí)的數(shù) 學(xué)基礎(chǔ)。 在研究香農(nóng)信源編碼定理的同時，另外一部分科學(xué)家從事尋找最佳編碼（糾錯碼）的研究工作，并 形成一門獨(dú)立的分支糾錯碼理論。 1959 年香農(nóng)發(fā)表了“保真度準(zhǔn)則下的離散信源編碼定理”，首先提出了率失真函數(shù)及率失真信源 編碼定理。從此，發(fā)展成為信息率失真編碼理論。 香農(nóng) 1961 年的論文“雙路通信信道”開拓了網(wǎng)絡(luò)信息論的研究。 現(xiàn)在，信息理論不僅在通信、計算機(jī)以及自動控制等電子學(xué)領(lǐng)域中得到直接的應(yīng)用，而且還廣泛地 滲透到生物學(xué)、醫(yī)學(xué)、生理學(xué)、語言學(xué)、社

3、會學(xué)、和經(jīng)濟(jì)學(xué)等領(lǐng)域。 1.3 簡述信息與消息、信號的定義以及三者之間的關(guān)系。 信息就是事物運(yùn)動的狀態(tài)和方式，就是關(guān)于事物運(yùn)動的千差萬別的狀態(tài)和方式的知識。 用文字、符號、數(shù)據(jù)、語言、音符、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動和 主觀思維活動的狀態(tài)表達(dá)出來成為消息。 把消息變換成適合信道傳輸?shù)奈锢砹?，這種物理量稱為信號。 它們之間的關(guān)系是：消息中包含信息，是信息的載體；信號攜帶消息，是消息的運(yùn)載工具。 1.4 簡述一個通信系統(tǒng)包括的各主要功能模塊及其作用。 通信系統(tǒng)主要分成下列五個部分： （1）信息源。 信源是產(chǎn)生消息和消息序列的源。 （2）編碼器。 編碼是把消息變換成信號的措

4、施。 （3）信道。信道是指通信系統(tǒng)把載荷消息的信號從甲地傳到乙地的媒介。 （4）譯碼器。譯碼就是把信道輸出的編碼信號（已疊加了干擾）進(jìn)行反變換。 （5）信宿。 信宿是消息傳送的對象，即接收消息的人或機(jī)器。 1.5 你有沒有接觸與考慮過信息與信息的測度問題，你如何理解這些問題？ 略。 1.6 什么是事物的不確定性？不確定性如何與信息的測度發(fā)生關(guān)系？ 由于主、客觀事物運(yùn)動狀態(tài)或存在狀態(tài)是千變?nèi)f化的、不規(guī)則的、隨機(jī)的。所以在通信以前，收信 者存在“疑義”和“不知”，即不確定性。 用數(shù)學(xué)的語言來講，不確定就是隨機(jī)性，具有不確定性的事件就是隨機(jī)事件。因此，可運(yùn)用研究隨 機(jī)事件的數(shù)學(xué)工具概率論和隨機(jī)過程來

5、測度不確定性的大小。 1.7 試從你的實(shí)際生活中列舉出三種不同類型的通信系統(tǒng)模型，并說明它們的信源、信道結(jié)構(gòu)，寫出 它們的消息字母表、輸入與輸出字母表及它們的概率分布與條件概率分布。 略。 1.8 在你日常生活中出現(xiàn)過哪些編碼問題？能否用編碼函數(shù)給以描述？ 略。 chap2 思考題與習(xí)題 參考答案 2.1 同時扔一對均勻的骰子， 當(dāng)?shù)弥皟慎蛔用娉宵c(diǎn)數(shù)之和為 2”或“兩骰子面朝上點(diǎn)數(shù)之和為 8”或“兩 骰子面朝上點(diǎn)數(shù)是 3 和 4”時，試問這三種情況分別獲得多少信息量？ 解解：同時扔一對均勻的骰子，可能呈現(xiàn)的狀態(tài)數(shù)有 36 種，各面呈現(xiàn)的概率為 1/6，所以 36 種中任何一 種狀態(tài)出現(xiàn)的概

6、率都是相等，為 1/36。 （1）設(shè) “兩骰子面朝上點(diǎn)數(shù)之和為 2”為事件 a。在 36 種情況中，只有一種情況，即 1+1。則 2 ( )1/36 ( )log( )log 365.17( p a i ap a = = =比特) （2）設(shè) “兩骰子面朝上點(diǎn)數(shù)之和為 8”為事件 b。在 36 種情況中，有六種情況，即 5+3，3+5，2+6， 6+2，4+4。 則 2 ( )5/36 36 ( )log( )log2.85( 5 p b i bp b = = =比特) （3）設(shè) “兩骰子面朝上點(diǎn)數(shù)是 3 和 4”為事件 c。在 36 種情況中，有兩種情況，即 3+4 和 4+3。 則 2 (

7、)2/36 ( )log( )log 184.17( p c i cp c = = =比特) 2.2 同時擲兩個均勻的骰子，也就是各面呈現(xiàn)的概率都是 1/6，求： (1) 事件“3 和 5 同時出現(xiàn)”的自信息量； (2) 事件“兩個 l 同時出現(xiàn)”的自信息量； (3) 兩個點(diǎn)數(shù)之和(即 2，3，12 構(gòu)成的子集)的熵； (4) 事件“兩個骰子點(diǎn)數(shù)中至少有一個是 1”的自信息量。 解解：同時擲兩個均勻的骰子，也就是各面呈現(xiàn)的概率都是 1/6，總共有 36 種可能的狀態(tài)，每 種狀態(tài)出現(xiàn)的概率都是 1/36。 （1）設(shè)“3 和 5 同時出現(xiàn)”為事件 a。則在 36 種狀態(tài)中，有兩種可能的情況，即 5

8、+3 和 3+5。則 2 ( )2/36 ( )log( )log 184.17( p a i ap a = = =比特) （2）設(shè)“兩個 l 同時出現(xiàn)”為事件 b。則在 36 種狀態(tài)中，只有一種可能情況，即 1+1。 則： 2 ( )1/36 ( )log( )log 365.17( p b i bp b = = =比特) （3）設(shè)兩個點(diǎn)數(shù)之和構(gòu)成信源 z,它是由兩個骰子的點(diǎn)數(shù)之和組合，即 z=y+x. 得： 23456789101112 ( )1/362/363/364/365/366/365/364/363/362/361/36 ( )1 z p z p z = = 22222 222

9、( )( )log( ) 468106 log 36 log 2log 3log 4log 5log 6 3636363636 261210 log 36 log 3log 5 363636 5.17 1.8963.274( z h zp zp z= =+ =+ 比特) 2 （4）在這 36 種狀態(tài)中，至少有一個是 1 的狀態(tài)共有 11 種，每種狀態(tài)都是獨(dú)立出現(xiàn)的，每種狀態(tài)初點(diǎn) 的概率都是 1/36。設(shè)“兩個點(diǎn)數(shù)中至少有一個是 1”為事件 c。則： 2 ( )11/36 11 ( )log( )log1.71( 36 p c i cp c = = = 比特) 2.3 設(shè)離散無記憶信源 1234

10、 012 ( )3/81/41/41/8 xaaaa p x = 3 = = ，其發(fā)出的消息為(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求： (1) 此消息的自信息是多少？ (2) 在此消息中平均每個符號攜帶的信息量是多少? 解解：（1）因?yàn)殡x散信源是無記憶的，所以它發(fā)出的消息序列中各個符號是無依賴的，統(tǒng)計獨(dú)立的。因 此，此消息的自信息就等于各個符號的自信息之和。則可得： 112 222 332 442 33 (0)log()loglog1.45( 88 1 (1)log()loglog 4=2( 4 1 (2)

11、log()loglog 4=2( 4 1 (3)log()loglog 8=3( 8 i ap a i ap a i ap a i ap a = = = = = = = = = = = = 比特) 比特) 比特) 比特) 此消息中共有 14 個符號“0”，13 個符號“1”，12 個符號“2”和 6 個符號“3”，則此消息的自 信息是 123 14 (0) 13 (1) 12 (2)6 (3) 14 1.415 13 2 12 26 3 87.71( ii ai ai ai a=+=+=+= + + + 比特) 4 （2）此消息中共有 45 個信源符號，攜帶了 87.81 比特信息量，因此，此

12、消息中平均每個符號攜帶的信 息量為 2 87.81/451.95(i =比特) 2.4 有一個二元信源，計算該信源的熵。 01 ( )0.90.1 x p x = = 解解：根據(jù)公式得該信源的熵為： 22 ()(0)log(0)(1)log(1) 0.9 log 0.90.1 log 0.1 0.4689( h xp xp xp xp x= = = 比特/符號) 2.5 設(shè)信源 123456 ( )0.20.190.180.170.160.17 xaaaaaa p x = = ，求該信源的熵，并解釋為什么在本題中 h(x) log6，不滿足信源熵的極值性。 解解：根據(jù)公式得信源熵為： ()(

13、)log( ) log 0.2log0.20.19log0.190.18log0.18 0.17log0.170.16log0.160.17log0.17 2.65(/ x ii i h xp xp x pp = = = 比特 符號) 由離散信源熵的特性可知，其有一個最大值，等概分布時達(dá)到最大值，最大值為 log q= log 6=2.58 比特/符號?，F(xiàn)在 h（x）log 6,不滿足信源熵的極值性，這是因?yàn)?，我們討論的信源?概率空間應(yīng)該是一個完備集，即 6 1 1 i i p = = ,而在本題當(dāng)中， 6 1 1.071 i i p = = ，不是完備集，所以不滿足 信源熵的極值性。 2.

14、6 每幀電視圖像可以認(rèn)為是由 310 5 個像素組成，每個像素均是獨(dú)立變化，若每個像素可取 128 個 不同的亮度電平，并設(shè)亮度電平等概率出現(xiàn)。 問每幀圖像含有多少信息量？若有一廣播員在約 10000 個漢字的字匯中選 1000 個字來口述此電視 圖像， 試問廣播員描述此圖像所廣播的信息量是多少(假設(shè)漢字字匯是等概率分布， 并彼此無依賴)？若 要恰當(dāng)?shù)孛枋龃藞D像，廣播員在口述中至少需用多少漢字？ 解解：（1）亮度電平等概出現(xiàn)，即每個像素亮度信源為： 128 12128 1 . ( )1 ( )1/1281/128. 1/128 i i i xaaa p a p a = = 則每個像素亮度含有的

15、信息量為： 2 ()log 1287()h x =比特/符號 一幀圖像每個像素均是獨(dú)立變化的，則每幀圖像信源就是離散亮度信源的無記憶 n 次擴(kuò)展信 源，得到每幀圖像含有的信息量為： 56 ()()3 10()2.1 10 n h xnh xh x= =（比特/每幀） （2）同（1）中，漢字字匯信源為： 10000 1210000 1 . ( )1 ( )1/100001/10000. 1/10000 i i i xbbb p b p b = = 則每個漢字含有的信息量為： 2 ( )log 1000013.29()h y =比特/字 廣播員口述電視圖像是從此漢字字匯信源中獨(dú)立的選取 1000

16、個字來描述的， 所以廣播員描述此幀 圖像所廣播的信息量為： 44 2 ()( )1000log 101.329 10 n h ynh y=（比特/千字） （3）若廣播員仍從此漢字字匯信源 y 中獨(dú)立選取漢字來描述電視圖像，每次口述一次漢字含有的信息 量是 h(y)，每幀電視圖像含有的信息量是，則廣播員口述次圖像至少需要使用的漢字?jǐn)?shù)為： () n h y 6 5 ()2.1 10 1.58 10158000( ( )13.29 n h x h y 字) 2.7 為了傳輸一個由字母 a、 b、 c、 d 組成的符號集， 把每個字母編碼成兩個二元碼脈沖序列， 以 “00” 代表 a，“01”代表 b

17、，“10”代表 c，“11”代表 d。每個二元碼脈沖寬度為 5ms。 (1) 不同字母等概率出現(xiàn)時，計算傳輸?shù)钠骄畔⑺俾? (2) 若每個字母出現(xiàn)的概率分別為1/5，1/4，1/4，3/10，試計算傳輸?shù)钠骄畔⑺俾? 解解：（1）不同字母等概率出現(xiàn)時，符號集的概率空間為： ( )1/41/41/41/4 i xabcd p a = 平均每個字母含有的信息量為： 2 ()log 42()h x =比特/符號 現(xiàn)在用兩個二元碼脈沖代表一個字母，每個二元碼脈沖寬度為5ms=，則每個字母占用 210tms=。一秒內(nèi)可以傳輸?shù)淖帜競€數(shù)為： 1 100(/)n t =字母 秒 則傳輸?shù)钠骄畔⒙蕿椋?

18、()200(/rnh x=比特 秒) (2)字母出現(xiàn)概率不同時，根據(jù)題意可以其概率空間為： 4 1 ( )1 ( )1/5 1/41/43/10 i i i xabcd p a p a = = 此時每個字母含有的平均自信息量為： 4 1 ()( )log( ) 1113 log5log4log4log 54410 1.985(/ ii i h xp ap a = = =+ 比特 符號) 10 3 同（1），其傳輸?shù)钠骄畔⑺俾蕿椋?2 ()1.985 10/rnh x=(比特 秒) 2.8 試問四進(jìn)制、八進(jìn)制脈沖所含的信息量是二進(jìn)制脈沖的多少倍？ 解：解：二進(jìn)制脈沖當(dāng)中，共可以表示兩種不同信息

19、。假設(shè)兩種不同信息等概分布，則每個二進(jìn)制脈沖的信 息量為： 1 2 1 log)(log 222 =xpi （比特/脈沖） 同理，在四進(jìn)制脈沖當(dāng)中，共可以表示四種不同信息。假設(shè)四種不同信息等概分布，則每個四進(jìn)制脈沖 含有的信息量為： 2 4 1 log)(log 224 =xpi （比特/脈沖） 同理，在八進(jìn)制脈沖當(dāng)中，共可以表示八種不同信息。假設(shè)八種不同信息等概分布，則每個八進(jìn)制脈沖 含有的信息量為： 3 8 1 log)(log 228 =xpi （比特/脈沖） 從上可知，四進(jìn)制脈沖所含的信息量是二進(jìn)制脈沖的 2 倍，八進(jìn)制脈沖所含的信息量是二進(jìn)制脈沖的 3 倍。 2.9 國際摩爾斯電碼用

20、點(diǎn)和劃的序列發(fā)送英文字母，“劃”用持續(xù)三個單位的電流脈沖表示，“點(diǎn)” 用持續(xù)一個單位的電流脈沖表示。其中“劃”出現(xiàn)的概率是“點(diǎn)”出現(xiàn)概率的 1/3。計算： (1) 點(diǎn)和劃的信息量； (2) 電碼信源的平均信息量。 解解：（1）根據(jù)題意： )()( 3 1 劃點(diǎn)=xpxp，而 1)()(劃點(diǎn)=xpxp （完備集） 所以： 4 1 )( 4 3 )(劃，點(diǎn)=xpxp “點(diǎn)”含有的信息量為：= 4 3 logp(x)logi 221 0.415 （比特） “劃”含有的信息量為：2 4 1 log)(log 222 =xpi （比特） （2）電碼信源的平均信息量為： = = 4 3 log 4 3 4

21、 1 log 4 1 )(log)()( 22 2 1 2 i ii xpxpxh2.415（比特/符號） 2.10 某一無記憶信源的符號集為0，1，已知(0)1/4, (1)3/4=pp。 (1) 求信源的熵。 (2) 由 100 個符號構(gòu)成的序列，求某一特定的序列(例如有個“0”和100個“1”)的自信息 量的表達(dá)式。 mm (3) 計算(2)中的序列的熵。 解解：（1）信源熵為： 2 222 1 1133 ()( )log( )loglog0.811 4444 ii i h xp xp x = = = = （比特/符號） （2）2 4 1 log)0(log)0( 22 =xpxi （比

22、特） 415. 0 4 3 log) 1(log) 1( 22 =xpxi（比特） 自信息量表達(dá)式為： =+=) 1()100()0(ximximi41.5+1.585m （比特） （3）因?yàn)槭菬o記憶信源，所以序列中 100 個符號相互獨(dú)立，為 100 次擴(kuò)展信源，其熵為： 100 ()100() 81.1(/ h xh x= =比特 符號序列) 2.11 一個隨機(jī)變量 x 的概率密度函數(shù)( ) =p xkx，02xv，試求該信源的相對熵。 解解：信源的相對熵也就是信源的差熵，根據(jù)其定義式得： 2 2 2 0 2 22 2 0 2 ()( )log( ) log 2 11 log| 022 2

23、 log 2(/ ln2 r h xp xp x dx kxkxdx kk ln2 xkxx kdx kx k kkbit = = = + = + 自由度) 2.12 給定語音信號樣值x的概率密度為 1 ( ) 2 x p xe = ，x 則： 2 2 11 ()log log () b c a hxdx baba ba = = （1）當(dāng)信號的幅度在3v3v 均勻分布時候，該信源熵為： =6log)3(3(log)( 22 xhc2.584 （比特/自由度） （2）當(dāng)信號的幅度在5v5v 均勻分布時候，該信源熵為： =10log)5(5(log)( 22 xhc3.321 （比特/自由度） （

24、3）由（1）和（2）的計算結(jié)果可直觀的解釋為：（2）中均勻分布的范圍比較廣，因而概率密度比 較小，也即出現(xiàn)的可能性比較小，因而含有的信息量比較大，即熵較大。 2.14 若隨機(jī)信號的樣值 x 在1之間均勻分布。 7vv (1) 求信源熵hc(x)，并將此結(jié)果與上題中的(1)相比較，可得到什么結(jié)論？ (2) 計算期望值 e(x)和方差 var(x)。 解解：（1）同上題，當(dāng)信號的樣值 x 在 1v7v 之間均勻分布，該信源的熵為： =6log) 17(log)( 22 xhc2.584（比特/自由度） 與上題中的（1）比較，可知：對于所有的均勻分布來說，信源熵只與樣值所在的區(qū)間大小有關(guān)系， 而和區(qū)

25、間位置沒有關(guān)系。 （2） 7 2 1 7 11 ( )( )|4 17 112 r e xxp x dxxdxx + = = 7 22 1 711 ( )( )( )(4)(4) | 17 118 3 r var xxe xp x dxxdxx + = = 3 2.15 若兩個一維隨機(jī)變量 x 的概率密度函數(shù)分別如圖(a)、(b)所示，問哪一個熵值較大？ ( )p x 解解：從（a） （b）可知，p(x)的表達(dá)式為： = 其他, 0 40 , 2 1 )( xx xpa = 其他, 0 20 , 4 )( x xpb 則分別計算它們的熵得： 2ln 1 2ln 11 2 1 4 1 0 2 | 2 1 log 4 1 2 1 log 2 1 )(log)()( 2 4 0 2 2 2 4 0 2 = = = = + dx x xxx xdxx dxxpxpxh aaca 16 4log4 )(log)()( 2 2 0 2 = = = + dx dxxpxpxh bbcb 顯然， （b）圖的信源熵較大。 2.16 黑白氣象傳真圖的消息只有黑色和白色兩種， 即信源 x=黑,白， 設(shè)黑色的出概率為 p(黑)0.3， 白色的出現(xiàn)概率為