1、【3.2】設8個等概率分布的消息通過傳遞概率為p的BSC進行傳送，8個消息相應編成下述碼字：M1=0000，M2=0101，M3=0110，M4=0011M5=1001，M6=1010，M7=1100，M8=1111試問：（1）接收到第一個數(shù)字0與M1之間的互信息；（2）接收到第二個數(shù)字也是0時，得到多少關(guān)于M1的附加互信息；（3）接收到第三個數(shù)字仍為0時，又增加了多少關(guān)于M1的互信息；（4）接收到第四個數(shù)字還是0時，再增加了多少關(guān)于M1的互信息。解：各個符號的先驗概率均為1/8(1)根據(jù)已知條件，有因此接收到第一個數(shù)字0與M1之間的互信息為：（2）根據(jù)已知條件，有因此接收到第二個數(shù)字也是0時

2、，得到多少關(guān)于M1的互信息為：得到的附加信息為：（3）根據(jù)已知條件，有因此接收到第三個數(shù)字也是0時，得到多少關(guān)于M1的互信息為：此時得到的附加信息為：（4）根據(jù)已知條件，有因此接收到第四個符號為0時，得到的關(guān)于M1的互信息為此時得到的附加信息為【3.3】設二元對稱信道的傳遞矩陣為（1）若P(0)=3/4，P(1)=1/4，求H(X )，H(X | Y )，H(Y | X )和I (X;Y)；（2）求該信道的信道容量及其達到信道容量時的輸入概率分布。解：（1）根據(jù)已知條件，有【3.5】若X 、Y 和Z 是三個隨機變量，試證明：（1）I (X;YZ) = I(X;Y) + I(X;Z | Y) =

3、 I (X;Z) + I (X;Y | Z)（2）I (X;Y | Z) = I (Y; X | Z) = H(X | Z) - H(X | YZ)（3）I (X;Y | Z) 0當且僅當(X, Z,Y)是馬氏鏈時等式成立。(3) 【3.10】求下列兩個信道的信道容量，并加以比較因此有 【4.17】在圖片傳輸中，每幀約 個像素，為了能很好地重現(xiàn)圖像，需分16個亮度電平，并假設亮度電平等概率分布。試計算每秒鐘傳送30幀圖片所需信道的帶寬（信噪功率比為30dB）。解：每秒需要傳輸?shù)男畔⒘繛椋?【4.18】設在平均功率受限高斯加性波形信道中，信道帶寬為3kHz，又設（信號功率+噪聲功率）/噪聲功率=

4、10dB。（1） 試計算該信道傳送的最大信息率（單位時間）；（2） 若功率信噪比降為5dB，要達到相同的最大信息傳輸率，信道帶寬應為多少？解：（1） 根據(jù)已知條件有， （2）如果功率信噪比降為5dB，即因此 解：【5.2】有一信源，它有六個可能的輸出，其概率分布如下表所示，表中給出了對應的碼A、B、C、D、E 和F。 （1） 求這些碼中哪些是惟一可譯碼；（2） 求哪些碼是非延長碼（即時碼）；（3） 求對所有惟一可譯碼求出其平均碼長L 。解：（1）上述碼字中，A 為等長碼，且為非奇異碼，因此碼A 為惟一可譯碼；碼B 中，根據(jù)惟一可譯碼的判斷方法，可求得其尾隨后綴集合為1,11,111,1111,

5、11111，且其中任何后綴均不為碼字，因此碼B是惟一可譯碼。碼C 為逗點碼，因此碼C 為惟一可譯碼；碼D 不是惟一可譯碼，因為其尾隨后綴集合中包含0，而0又是碼字；碼E的尾隨后綴集合為空集，因此碼E是惟一可譯碼；碼F不是惟一可譯碼，因為其尾隨后綴集合中包含0，而0又是碼字，因此F不是惟一可譯碼。（2）碼A、C、E是即時碼（非延長碼）（3）碼A 的平均碼長為3；碼B 的平均碼長為2.125；碼C 的平均碼長為2.125；碼F的平均碼長為2?！?.3】證明定理5.6，若存在一個碼長為l1 ,l2 , K,lq的惟一可譯碼，則一定存在具有相同碼長的即時碼。如果存在碼長為的惟一可譯碼，則必定滿足如下不

6、等式而如果碼長滿足上述不等式，根據(jù)Kraft 不等式構(gòu)造即時碼的方法，可以構(gòu)造出碼長為的即時碼，具體構(gòu)造過程略，參照課本相關(guān)定理。 【5.5】若有一信源每秒鐘發(fā)出2.66 個信源符號。將此信源的輸出符號送入某一個二元信道中進行傳輸（假設信道是無噪無損的），而信道每秒鐘只傳遞兩個二元符號。試問信源不通過編碼能否直接與信道連接？若通過適當編碼能否中在信道中進行無失真?zhèn)鬏?？若能連接，試說明如何編碼并說明原因。解：如果不通過編碼，即信道的兩個碼符號對應兩個信源符號，而信道傳輸碼符號的速度小于信源發(fā)出信源符號的速度，因此勢必會造成信源符號的堆積，因此不通過編碼是無法將信源與信道直接連接。信源平均每秒發(fā)出

7、的信息量為而該信道的信道容量為1比特/符號，平均每秒能夠傳輸?shù)淖畲笮畔⒘繛?比特，因此通過編碼可以實現(xiàn)二者的連接。若要連接，需要對擴展信源的信源符號進行編碼，目的是使送入信道的信息量小于信道每秒能接收的最大信息量（或使每秒鐘編碼后送入信道的碼符號個數(shù)必須小于信道所能接受的最大碼符號個數(shù)），具體編碼方法將在第八章進行?！?.6】設某無記憶二元信源，概率(1) 0.1 1 p = P = ， (0) 0.9 0 p = P = ，采用下述游程編碼方案：第一步，根據(jù)0的游程長度編成8個碼字，第二步，將8個碼字變換成二元變長碼，如下表所示。（1） 試問最后的二元變長碼是否是否是惟一可譯碼；（2） 試求

8、中間碼對應的信源序列的平均長度 ；（3） 試求中間碼對應的二元變長碼碼字的平均長度 ；（4） 計算比值 ，解釋它的意義，并計算這種游程編碼的編碼效率；解：（1）該碼是非延長碼，因此肯定是惟一可譯碼；（2）由于信源本身是無記憶的，因此各信源符號的概率如下表所示。因此信源序列的平均長度為（3）中間碼對應的二元變長碼碼長為（4），反應了每個信源符號需要的二元碼符號數(shù)。平均每個信源符號的信息量為編碼效率為【8.2】設二元霍夫曼碼為(00,01,10,11)和(0,10,110,111)，求出可以編得這樣霍夫曼碼的信源的所有概率分布。解：二元霍夫曼編碼的過程必定是信源縮減的過程，編碼為(00,01,10

9、,11)的信源，其碼樹如下圖所示。假設四個信源符號的概率分別是 p1 , p2 , p3 , p4 ，假設 ，則必定有如下條件成立又，即，因此要構(gòu)造上述編碼，必定要滿足而編碼為(0,10,110,111)的碼樹如下圖所示：如果按上述情況進行編碼，必定要滿足，根據(jù) 可得，因此完成上述編碼的概率分布為：【8.3】設信源符號集（1） 求H(S)和信源冗余度；（2） 設碼符號為X =0,1，編出S 的緊致碼，并求S 的緊致碼的平均碼長；（3） 把信源的N 次無記憶擴展信源 編成緊致碼，試求出N = 2,3,4,時的平均碼長 ；（4） 計算上述N =1,2,3,4這四種碼的編碼效率和碼冗余度。解：（1）

10、 信源熵為 H(S) = -P(x)log P(x) = 0.469比特/符號因此得信源冗余度為（2）對其進行緊致碼編碼，二個信源符號一個編碼為0，一個編碼為1，因此平均碼長為1碼符號/信源符號；（3）對原碼字進行二次擴展，其信源空間為：進行Huffman編碼，得碼字如下：平均碼長為：對原信源進行三次擴展，得擴展信源空間為 進行Huffman編碼，碼字如下：擴展信源的平均碼長為： 當時，根據(jù)香農(nóng)第一定理，平均碼長為：（5） 編碼效率為：因此有不進行信源擴展時，編碼效率為：進行一次擴展時，編碼效率為：進行二次擴展時，編碼效率為： 當時，編碼效率趨向于1。因此，從本題結(jié)論可看出，對于變長緊致碼，擴

11、展信源的次數(shù)不需很大時就可以達到高效的無失真編碼，這一點與等長碼有很大的不同?！?.4】信源空間為碼符號為X =0,1,2，試構(gòu)造一種三元的緊致碼。解：原信源有8 個信源符號，為了有效利用短碼，需對原信源進行擴展，添加1個概率為0的信源符號，使其滿足9=2*3+3成立。編碼過程如下：【8.5】某氣象員報告氣象狀態(tài)，有四種可能的消息：晴、去、雨和霧。若每個消息是等概率的，那么發(fā)送每個消息最少所需的二元脈沖數(shù)是多少？又若四個消息出現(xiàn)的概率分別為1/4 1/8 1/8和1/2，問在此情況下消息所需的二元脈沖數(shù)是多少？如何編碼？解：平均每個消息攜帶的信息量為2比特，因此發(fā)送每個消息最少需要的二元脈沖數(shù)

12、為2。如果四個消息非等概率分布，采用緊致碼編碼，可使得所需要的二元脈沖數(shù)最少，編碼過程如下：平均碼長為：二元碼符號/信源符號即在此情況下消息所需的二元脈沖數(shù)為1.75個。【8.9】現(xiàn)有一幅已離散量化后的圖像，圖像的灰度量化分成8 級，見下表。表中數(shù)字為相應像素上的灰度級。另有一無損無噪二元信道，單位時間（秒）內(nèi)傳輸100個二元符號。（1） 現(xiàn)將圖像通過給定的信道傳輸，不考慮圖像的任何統(tǒng)計特性，并采用二元等長碼，問需要多長時間才能傳完這幅圖像？（2） 若考慮圖像的統(tǒng)計特性（不考慮圖像的像素之間的依賴性），求此圖像的信源熵H(S)，并對灰度級進行霍夫曼最佳二元編碼，問平均每個像素需用多少二元碼符號

13、來表示？這時需多少時間才能傳送完這幅圖像？（3） 從理論上簡要說明這幅圖像還可以壓縮，而且平均每個像素所需的二元碼符號數(shù)可以小于H(S)比特。解：（1）采用二元等長碼，不考慮信源符號的統(tǒng)計特性，平均每個灰度需要3位二進制表示，在10*10 的圖像上，共需300 位二進制表示，以每秒傳輸100位計算，共需3秒鐘傳輸。（2）統(tǒng)計圖像中各灰度級的出現(xiàn)次數(shù)：如果考慮信源符號的統(tǒng)計特性，對上述灰度級進行編碼，如下圖所示。得如下碼字：【8.10】有一個含有8 個消息的無記憶信源，其概率各自為0.2, 0.15, 0.15, 0.1, 0.1,0.1, 0.1, 0.1。試編成兩種三元非延長碼，使它們的平均

14、碼長相同，但具有不同的碼長的方差，并計算平均碼長和方差，說明哪一種碼更實用些。解：進行三元編碼，需增補一個概率為0的信源符號，兩種編碼方法如下所示?！?.15】對輸入數(shù)據(jù)流01111分別用LZ-77算法、LZ-78算法，LZW算法、K-Y算法進行編碼，并計算各種方法的壓縮率。解：采用LZ-77編碼，所得的編碼序列為：(0,0,0)(1,3,1)(0,0,1)(2,2,1)(6,3,1)(5,3,0)(13,3,0)(9,3,1)(14,3,eof)采用LZ-78編碼，其分段順序為：0, 00,01,011,001,1,10,000,100,11,0111,11字典的建立過程如下：K-Y算法：令D0=0，D1=1，先讀入4個，0000，前后相等，因此暫時編碼D2D2其中D2=D0D0繼續(xù)輸入至D2D2 D1D0D1D0，出現(xiàn)重復情況，令D1D0=D3=10，則該序列變?yōu)椋篋2D2 D3D3，繼續(xù)輸入，得D2D2 D3D3D0D1D1D1D2D2令D4=D