1、 信息論與編碼習(xí)題課信息論與編碼習(xí)題課一、填空題1、設(shè)信源X包含4個(gè)不同離散消息，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為_(kāi)時(shí)，信源熵達(dá)到最大值，為_(kāi)，此時(shí)各個(gè)消息的自信息量為_(kāi)。2、不可能事件的自信息量是_, 必然事件的自信息是 。3、假設(shè)每個(gè)消息的發(fā)出都是等概率的，四進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的 倍。4、某離散無(wú)記憶信源X，其符號(hào)個(gè)數(shù)為n，則當(dāng)信源符號(hào)呈 分布情況下，信源熵取最大值_。5、設(shè)信源X包含8個(gè)不同離散消息，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為 時(shí)，信源熵達(dá)到最大值，為 _。 6、自信息量表征信源中各個(gè)符號(hào)的不確定度，信源符號(hào)的概率越大，其自信息量越 。7、對(duì)于香農(nóng)編碼、費(fèi)諾編碼和霍夫曼

2、編碼，編碼方法惟一的是 編碼。 編碼方法構(gòu)造的是最佳碼。8、若一離散無(wú)記憶信源的信源熵H（X）等于2.5，對(duì)信源進(jìn)行等長(zhǎng)的無(wú)失真二進(jìn)制編碼，則編碼長(zhǎng)度至少為 。9、_提高通信的有效性，_目的是提高通信的可靠性，_編碼的目的是保證通信的安全性。10、離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的 倍。11、平均互信息量I(X;Y)與信源熵和條件熵之間的關(guān)系是 。12、互信息I(X;Y)與信息熵H(Y)的關(guān)系為：I(X;Y) _（大于、小于或者等于）H(Y)。12、信源的冗余度來(lái)自兩個(gè)方面，一是信源符號(hào)之間的 ，二是信源符號(hào)分布的 。13、已知某線性分組碼的最小漢明距離為3，那么這組碼

3、最多能檢測(cè)出 個(gè)碼元錯(cuò)誤，最多能糾正 個(gè)碼元錯(cuò)誤。14、設(shè)有一個(gè)離散無(wú)記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R C（大于、小于或者等于），則存在一種編碼，當(dāng)輸入序列長(zhǎng)度n足夠大，使譯碼錯(cuò)誤概率任意小。15、設(shè)信道輸入端的熵為H(X)，輸出端的熵為H(Y)，該信道為無(wú)噪有損信道，則該信道的容量為 。16、在無(wú)失真的信源中，信源輸出由 來(lái)度量；17、要使通信系統(tǒng)做到傳輸信息有效、可靠和保密，必須首先 編碼，然后_編碼，再_編碼，最后送入信道18、帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式，也就是有名的香農(nóng)公式是 ；19、已知n7的循環(huán)碼 ，則信息位長(zhǎng)度k為 ，校驗(yàn)多項(xiàng)

4、式h(x)= 。20、平均互信息是輸入信源概率分布的 函數(shù);平均互信息是信道轉(zhuǎn)移概率的 函數(shù),平均互信息的最大值為 。42( )1g xxxx二、判斷題1.確定性信源的熵H(0,0,0,1)=1。 2.信源X的概率分布為P(X)=1/2, 1/3, 1/6，對(duì)其進(jìn)行哈夫曼編碼得到的碼是唯一的。3、離散無(wú)記憶序列信源中平均每個(gè)符號(hào)的符號(hào)熵等于單個(gè)符號(hào)信源的符號(hào)熵。4.線性碼一定包含全零碼。6.信源X的概率分布為P(X)=1/2, 1/3, 1/6，信源Y的概率分布為P(Y)=1/3,1/2,1/6，則信源X和Y的熵相等。7.互信息量I(X;Y)表示收到Y(jié)后仍對(duì)信源X的不確定度。8.對(duì)信源符號(hào)X=

5、a1,a2,a3,a4進(jìn)行二元信源編碼，4個(gè)信源符號(hào)對(duì)應(yīng)碼字的碼長(zhǎng)分別為K1=1，K2=2，K3=3，K3=3，滿足這種碼長(zhǎng)組合的碼一定是唯一可譯碼。10.設(shè)C = 000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010是一個(gè)二元線性分組碼，則該碼最多能檢測(cè)出3個(gè)隨機(jī)錯(cuò)誤。11、某一信源，不管它是否輸出符號(hào)，只要這些符號(hào)具有某些概率特性，就有信息量。12、循環(huán)碼的碼集中的任何一個(gè)碼字的循環(huán)移位仍是碼字。13、信道容量是信道中能夠傳輸?shù)淖钚⌒畔⒘俊?14、只要信息傳輸率大于信道容量，總存在一種信道編譯碼，可以以所要求的任意小的

6、誤差概率實(shí)現(xiàn)可靠的通信. 15、連續(xù)信源和離散信源的熵都具有非負(fù)性. 16、漢明碼是一種線性分組碼17、必然事件和不可能事件的自信息量都是 018、當(dāng)隨機(jī)變量 和 相互獨(dú)立時(shí)，條件熵 等于信源熵 .19、概率大的事件自信息量大。20、互信息量可正、可負(fù)亦可為零。1、信息論的創(chuàng)始人是（ )A、維納 B、香農(nóng) C、圖靈 D、哈萊特2、下列不屬于消息的是（ ）。A.文字 B.信號(hào) C.圖像 D.語(yǔ)言3、同時(shí)扔兩個(gè)正常的骰子，即各面呈現(xiàn)的概率都是1/6，若點(diǎn)數(shù)之和為12，則得到的自信息為（ ）。A. log36bit B. log36bit C. log (11/36)bit D. log(11/36

7、)bit4、下列離散信源，熵最大的是（ ）。A. H（1/3,1/3,1/3）； B. H（1/2,1/2）； C. H（0.9,0.1）； D. H（1/2,1/4,1/8,1/8)5、以下選項(xiàng)中不是香農(nóng)信息論中主要研究對(duì)象的是A 信息的測(cè)度 B 信道容量 C 信息率失真函數(shù) D 信息的變換6、以下關(guān)于信息量性質(zhì)描述正確的是（ ）。A 信息量可以為負(fù) B 信息量是事件發(fā)生概率的遞增函數(shù)C 某事件為不可能事件，其信息量為0 D 信息量是一個(gè)隨機(jī)變量7、當(dāng)信源符合（ ）時(shí)，信源熵最大。A 均勻分布 B 等概分布 C 泊松分布 D 正態(tài)分布8、對(duì)于相同的信息，不同的觀察者所獲得的信息量可能不同，指

8、的是信息的（ ）A 可度量性 B 相對(duì)性 C 可替代性 D 可共享性9、信源熵不滿足以下哪個(gè)性質(zhì)？（ ） A 確定性 B 非負(fù)性 C 連續(xù)性 D 可加性10、二進(jìn)制通信系統(tǒng)使用符號(hào)0和1，由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符號(hào)表示下列事件，u0:一個(gè)0發(fā)出，u1:一個(gè)1發(fā)出，v0 :一個(gè)0收到，v1:一個(gè)1收到。則已知收到的符號(hào)，被告知發(fā)出的符號(hào)能得到的信息量是（ ）。A H(U/V) B H(V/U) C H(U,V) D H(UV)11、從大量的資料中知道，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果問(wèn)一位男士他是否色盲，他的回答有可能是“是”，或者“否”，從該男士的回答中得到

9、平均信息量是 A 0.366bit/sym B 0.414bit/sym C 0.259bit/sym D 0.887bit/sym12、彩色電視顯像管的屏幕上有5105 個(gè)像元，設(shè)每個(gè)像元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn)，并且各個(gè)組合之間相互獨(dú)立。每秒傳送25幀圖像所需要的信道容量（ ）。lA. 50106 B. 75106 C. 125106 D. 25010613為提高通信系統(tǒng)傳輸消息有效性，信源編碼采用的方法是A.壓縮信源的冗余度 B.在信息比特中適當(dāng)加入冗余比特C.研究碼的生成矩陣 D.對(duì)多組信息進(jìn)行交織處理14、給定

10、xi條件下隨機(jī)事件yj所包含的不確定度和條件自信息量p(yj /xi)，（ ）A數(shù)量上不等，單位不同 B數(shù)量上不等，單位相同C數(shù)量上相等，單位不同 D數(shù)量上相等，單位相同15、條件熵和無(wú)條件熵的關(guān)系是：AH(Y/X)H(Y)BH(Y/X)H(Y)CH(Y/X)H(Y)DH(Y/X)H(Y)簡(jiǎn)答題l1、什么是自信息量？什么是熵？它們之間有什么聯(lián)系和區(qū)別l2、為什么要進(jìn)行信源編碼和信道編碼？l3、什么是信道容量l4、簡(jiǎn)述離散信源和連續(xù)信源的最大熵定理。l5、簡(jiǎn)述信源的符號(hào)之間的依賴與信源冗余度的關(guān)系。l6、什么是最小碼距, 以及它和檢錯(cuò)糾錯(cuò)能力之間的關(guān)系。綜合題l1,有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為l定義另一隨機(jī)變量Z = XY（一般乘積），試計(jì)算H(Z)=? l解：Z = XY的概率分布如下：Y Xx1=0 x2=1y1=01/83/8y2=13/81/8symbolbitzpZHzzZPZkk/ 544. 081log8187log87)()(818710)(221l2,二元對(duì)稱信道如圖。2）求該信道的信道容量。3,.信源空間為，試構(gòu)造二元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率（要求有編碼過(guò)程）。1234567( )0.2 0.19 0.18 0.17 0.15 0.1 0.01Xx