1、（11）填空題1948年，美國數學家香農發(fā)表了題為“通信的數學理論”的長篇論文，從而創(chuàng)立了信息論。必然事件的自信息是0。離散平穩(wěn)無記憶信源X的N次擴展信源的嫡等于離散信源X的嫡的N倍。對于離散無記憶信源，當信源嫡有最大值時，滿足條件為_信源符號等概分布。若一離散無記憶信源的信源嫡H（X）等于2.5,對信源進行等長的無失真二進制編碼，則編碼長度至少為3。對于香農編碼、費諾編碼和霍夫曼編碼，編碼方法惟一的是香農編碼。已知某線性分組碼的最小漢明距離為3,那么這組碼最多能檢測出2個碼元錯誤，最多能糾正個碼元錯誤。設有一離散無記憶平穩(wěn)信道，其信道容量為C,只要待傳送的信息傳輸率R_小于C（大于、小于或者

2、等于），則存在一種編碼，當輸入序列長度n足夠大，使譯碼錯誤概率任意小。平均錯誤概率不僅與信道本身的統(tǒng)計特性有關，還與譯碼規(guī)則和編碼方法_有關（9）判斷題信息就是一種消息。（）信息論研究的主要問題是在通信系統(tǒng)設計中如何實現(xiàn)信息傳輸、存儲和處理的有效性和可靠性。（）概率大的事件自信息量大。（）互信息量可正、可負亦可為零。（）信源剩余度用來衡量信源的相關性程度，信源剩余度大說明信源符號間的依賴關系較小。（）(1)(2)(3)(4)(5)(6)(7)(8)(9)_K、(1)(2)(3)(4)(5)(6)對于固定的信源分布，平均互信息量是信道傳遞概率的下凸函數。()(7)非奇異碼一定是唯一可譯碼，唯一可

3、譯碼不一定是非奇異碼。()(8)信源變長編碼的核心問題是尋找緊致碼(或最佳碼)，霍夫曼編碼方法構造的是最佳碼。()(9)信息率失真函數R(D)是關于平士失真度D的上凸函數.()三、(5)居住在某地區(qū)的女孩中有25%是大學生，在女大學生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占總數的一半。假如我們得知“身高1.6米以上的某女孩是大學生”的消息，問獲得多少信息量？解：設AI示“大學生”這一事件，B表示“身高1.60以上”這一事件，則P(A)=0.25p(B)=0.5p(B|A)=0.75(2分)故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.2

4、5/0.5=0.375(2分)I(A|B)=-log0.375=1.42bit(1分)四、(5)證明：平均互信息量同信息嫡之間滿足I(X;Y)=H(X)+H(Y)-H(XY)證明：一pxi山pXiyjlogXYpX同理IX;YHYHYX(1分)IX;YpxyjlogpXXYHXHXYpXiyjlogpXiyjXY(2分)HYXHYIX;Y因為HXYHXHYX（1分）故HXYHXHYIX;Y即IX;YHXHYHXY（1分）五、（18）.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為0.3,白色出現(xiàn)的概率為0.7。給出這個只有兩個符號的信源假設圖上黑白消息出現(xiàn)前后沒有關聯(lián)，求嫡H

5、X;2）假設黑白消息出現(xiàn)前后有關聯(lián)，其依賴關系為X的數學模型。,求其嫡HX。3）分別求上述兩種信源的冗余度，比較它們的大小并說明其物理意義。解：1）信源模型為黑=白（1分）|0,3詞目（幻-工尸（%1叫?081版”符號（2分）j-i2）由題意可知該信源為一階馬爾科夫信源。（2分）由產處）=與%）尸（國/%）,”L2*?。ǖ模?產（叼）=121。說明：當信源的符號之間有依賴時，信源輸出消息的不確定性減弱。而信源冗余度正是反映信源符號依賴關系的強弱，冗余度越大，依賴關系就越大。（2分）六、（18）.信源空間為Xx1X2X3X4X5x6X7，試分別構造二元香農碼和二元霍夫P（X）0.20.190.1

6、80.170.150.10.01曼碼，計算其平均碼長和編碼效率（要求有編碼過程）（4分）得極限狀態(tài)概率尸間為F黑（2分）%（幻=產（叼，的）1 畛 FSJW=0.5533 城,符號（3分）3）H（X）10g220.119H（X）10g220.447（1分）（1分）信源消息稱號 0符號概率（勺）累加概率L-logq)-logq)碼字長度L碼字a0.200.200 02.322.323 3000000a.0.190.190.20.22392393 3001001q0.180.180390392.472.473 30H0H% %0.170.170.570.57n n2.562.563 3100100

7、%0.150.150.740.742.742.743 3101101“6OJOOJO(189 -11101110Hr(kOl(kOl0.990.996.646.647 711111101111110_7Lp(ai)li3.14i1H(X)2.61R0.831L3.14f0.260,35,0.390.20：0.26/350.19/Q200.260.18、/0.19 上0.170.(),II 山0.01JE=P3N=272i=i碼元/符號H(X)2,61K=-=-=IL96信源符號叫概/乂勺）嗎字碼長 Lai0.200.2010102%0.190.1911112%OJ8O

8、J8()00()003 30J70J70010013 3/ /0.150.150100103 3/ /(L10(L10()110()11040.010.0101110111P40.200.190.18(k170.150.200.190.180.17O15L2.72比特/符號,、1p（xi）1/21/31/64七（6）.設有一離散信道，其信道傳遞矩陣為1/61/21/3，并設p（X2）-,1/31/61/21P（X3）4最大后驗概率準則與最大似然譯碼準則確定譯碼規(guī)則，并計算相應的平均錯誤概率。1）（3分）最小似然譯碼準則下，有,22） （3分）最大后驗概率準則下，有,八（10）.二元對稱信道如圖

9、。431,一1）若p0p1一，求HX、HX|Y和IX;Y；解：1）共6分丹陽顯/符號HX|Y0.749bit/符號-00616所力符號試分別按2）,C。,。82就符節(jié)（3分）此時輸入概率分布為等概率分布。（1分）000111H0110011010111）求此分組碼n=?,k=?共有多少碼字？2）求此分組碼的生成矩陣Go3）寫出此分組碼的所有碼字。4）若接收到碼字（101001）,求出伴隨式并給出翻譯結果。解：1）n=6,k=3,共有8個碼字。（3分）2）設碼字CC5c4c3c2C1C0由HCTC2C1C00C4C3C00生成矩陣為04）由STHRT得,（2分）該碼字在第5位發(fā)生錯誤，（101001）糾正為（101011）,即譯碼為（101001）（1分）令