2025年信息論試題及答案

一、單項選擇題（每題2分，共20分）

1.信息論是由哪位科學家在1948年創(chuàng)立的？

A.阿蘭·圖靈

B.約翰·馮·諾依曼

C.克勞德·香農(nóng)

D.查爾斯·巴貝奇

2.一個離散隨機變量X的熵H(X)的最大值是：

A.0

B.1

C.log?n（n是X的可能取值數(shù)量）

D.無限大

3.在二進制對稱信道(BSC)中，如果交叉概率為p，則信道容量為：

A.1

B.1-H(p)

C.H(p)

D.log?(1-p)

4.香農(nóng)第二定理（信道編碼定理）表明：

A.對于任何信道，存在一種編碼方式可以實現(xiàn)無差錯傳輸

B.對于任何信道，只要傳輸速率小于信道容量，就存在一種編碼方式可以實現(xiàn)任意小的差錯概率

C.信道容量是傳輸速率的上限

D.任何編碼方式都無法超過信道容量

5.以下哪種編碼方法屬于無損壓縮？

A.JPEG

B.MP3

C.Huffman編碼

D.MPEG

6.兩個獨立隨機變量X和Y的聯(lián)合熵H(X,Y)等于：

A.H(X)+H(Y)

B.H(X)-H(Y)

C.H(X)×H(Y)

D.H(X)/H(Y)

7.在信道編碼中，漢明碼的糾錯能力是：

A.糾1位錯

B.糾2位錯

C.糾3位錯

D.糾多位錯

8.互信息I(X;Y)表示的是：

A.X和Y之間的相關(guān)性

B.X和Y之間的獨立性

C.X和Y之間的條件熵

D.X和Y之間的聯(lián)合熵

9.以下哪種編碼方法屬于有損壓縮？

A.LZW編碼

B.算術(shù)編碼

C.Run-Length編碼

D.JPEG

10.香農(nóng)第一定理（信源編碼定理）表明：

A.對于任何信源，存在一種編碼方式可以實現(xiàn)壓縮

B.對于任何信源，只要編碼速率大于信源的熵，就存在一種編碼方式可以實現(xiàn)任意小的失真

C.信源的熵是壓縮率的下限

D.任何編碼方式都無法超過信源的熵

二、填空題（每題2分，共10分）

1.信息熵的定義公式為H(X)=_______________，其中p(x)是隨機變量X取值為x的概率。

2.對于一個離散無記憶信道，其信道容量C定義為_______________，其中I(X;Y)是輸入X和輸出Y之間的互信息。

3.在二進制對稱信道(BSC)中，當交叉概率p=0.5時，信道容量C=_______________。

4.Huffman編碼是一種基于_______________的變長編碼方法。

5.信道編碼的目的是在存在噪聲的情況下實現(xiàn)_______________的傳輸。

三、判斷題（每題2分，共10分）

1.信息熵可以用來衡量一個隨機變量的不確定性。（）

2.對于任何信道，只要傳輸速率小于信道容量，就一定可以實現(xiàn)無差錯傳輸。（）

3.無損壓縮可以減少數(shù)據(jù)的大小，但可以完全恢復原始數(shù)據(jù)。（）

4.兩個隨機變量X和Y相互獨立當且僅當I(X;Y)=0。（）

5.信道編碼定理表明，只要傳輸速率小于信道容量，就存在一種編碼方式可以實現(xiàn)任意小的差錯概率。（）

四、多項選擇題（每題2分，共4分）

1.以下哪些是信息論的基本概念？（）

A.熵

B.互信息

C.信道容量

D.編碼效率

E.以上都是

2.以下哪些編碼方法屬于無損壓縮？（）

A.Huffman編碼

B.LZW編碼

C.算術(shù)編碼

D.JPEG

E.MP3

五、簡答題（每題5分，共10分）

1.請簡述香農(nóng)第二定理（信道編碼定理）的內(nèi)容及其意義。

2.請解釋什么是信息熵，并說明為什么熵可以用來衡量信息的不確定性。

參考答案及解析

一、單項選擇題

1.答案：C

解析：信息論是由克勞德·香農(nóng)(ClaudeShannon)在1948年發(fā)表的論文《通信的數(shù)學理論》中創(chuàng)立的。阿蘭·圖靈是計算機科學和人工智能的先驅(qū)，約翰·馮·諾依曼是計算機架構(gòu)和博弈論的奠基人，查爾斯·巴貝奇是機械計算機的發(fā)明者。

2.答案：C

解析：對于一個有n個可能取值的離散隨機變量X，其熵H(X)的最大值為log?n，當且僅當所有取值等概率時達到最大值。這是因為根據(jù)信息論的不等式，H(X)≤log?n，且當p(x)=1/n對所有x成立時取等號。

3.答案：B

解析：二進制對稱信道(BSC)的信道容量C=1-H(p)，其中H(p)=-plog?p-(1-p)log?(1-p)是二元熵函數(shù)。當p=0或p=1時，C=1；當p=0.5時，C=0。

4.答案：B

解析：香農(nóng)第二定理（信道編碼定理）表明，對于任何離散無記憶信道，只要傳輸速率R小于信道容量C，就存在一種編碼方式可以實現(xiàn)任意小的差錯概率。這意味著理論上可以通過增加碼長來實現(xiàn)可靠通信。

5.答案：C

解析：Huffman編碼是一種無損壓縮方法，它基于字符出現(xiàn)頻率構(gòu)建最優(yōu)前綴碼。JPEG是有損圖像壓縮標準，MP3是有損音頻壓縮標準，MPEG是有損視頻壓縮標準。

6.答案：A

解析：對于兩個獨立隨機變量X和Y，它們的聯(lián)合熵H(X,Y)等于各自熵的和，即H(X,Y)=H(X)+H(Y)。這是因為獨立性意味著p(x,y)=p(x)p(y)，所以H(X,Y)=-∑∑p(x,y)log?p(x,y)=-∑∑p(x)p(y)log?(p(x)p(y))=H(X)+H(Y)。

7.答案：A

解析：漢明碼是一種線性糾錯碼，可以檢測并糾正單個比特錯誤。例如，(7,4)漢明碼可以將4個數(shù)據(jù)比特編碼為7個比特，能夠糾正1位錯誤。

8.答案：A

解析：互信息I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)，表示知道一個隨機變量的值后，另一個隨機變量的不確定性的減少量，即X和Y之間的相關(guān)性或相互信息量。

9.答案：D

解析：JPEG是一種有損圖像壓縮標準，它通過離散余弦變換(DCT)和量化過程實現(xiàn)高壓縮比，但會丟失部分圖像信息。LZW、算術(shù)編碼和Run-Length編碼都是無損壓縮方法。

10.答案：C

解析：香農(nóng)第一定理（信源編碼定理）表明，對于任何離散無記憶信源，其熵H(X)是壓縮率的下限，即任何無損編碼的平均碼長至少為H(X)。這意味著熵代表了信源的平均信息量，是無法進一步壓縮的理論極限。

二、填空題

1.答案：-∑p(x)log?p(x)

解析：信息熵H(X)定義為隨機變量X所有可能取值的概率加權(quán)和，H(X)=-∑p(x)log?p(x)，其中p(x)是X取值為x的概率。這個公式衡量了隨機變量的不確定性或信息量。

2.答案：maxI(X;Y)

解析：信道容量C定義為輸入X和輸出Y之間互信息的最大值，即C=maxI(X;Y)，其中最大值是在所有可能的輸入分布上取的。信道容量表示信道能夠可靠傳輸?shù)淖畲笮畔⑺俾省?/p>

3.答案：0

解析：在二進制對稱信道(BSC)中，當交叉概率p=0.5時，信道容量C=1-H(0.5)=1-1=0。這是因為當p=0.5時，輸出完全獨立于輸入，無法傳輸任何信息。

4.答案：字符出現(xiàn)頻率

解析：Huffman編碼是一種基于字符出現(xiàn)頻率的變長編碼方法，它為頻繁出現(xiàn)的字符分配較短的編碼，為不頻繁出現(xiàn)的字符分配較長的編碼，從而實現(xiàn)平均碼長最小化。

5.答案：可靠

解析：信道編碼的目的是在存在噪聲和干擾的情況下實現(xiàn)可靠的數(shù)據(jù)傳輸。通過添加冗余信息，信道編碼可以檢測和糾正傳輸過程中發(fā)生的錯誤。

三、判斷題

1.答案：√

解析：信息熵確實可以用來衡量一個隨機變量的不確定性。熵越大，表示隨機變量的不確定性越高；熵越小，表示隨機變量的不確定性越低。當熵為0時，表示隨機變量是確定的（取某個值的概率為1）。

2.答案：×

解析：這個說法不完全正確。香農(nóng)第二定理表明，對于任何離散無記憶信道，只要傳輸速率R小于信道容量C，就存在一種編碼方式可以實現(xiàn)任意小的差錯概率，但通常需要很長的碼長和復雜的編碼/解碼算法。在實際應(yīng)用中，由于碼長和復雜度的限制，可能無法實現(xiàn)完全無差錯傳輸。

3.答案：√

解析：無損壓縮可以減少數(shù)據(jù)的大小，但可以完全恢復原始數(shù)據(jù)。它通過消除數(shù)據(jù)中的冗余信息來實現(xiàn)壓縮，而不丟失任何信息。常見的無損壓縮方法包括Huffman編碼、LZW編碼、算術(shù)編碼等。

4.答案：√

解析：兩個隨機變量X和Y相互獨立當且僅當它們的聯(lián)合概率等于各自概率的乘積，即p(x,y)=p(x)p(y)。根據(jù)互信息的定義，I(X;Y)=∑∑p(x,y)log?(p(x,y)/(p(x)p(y)))，當X和Y獨立時，p(x,y)/(p(x)p(y))=1，log?1=0，所以I(X;Y)=0。反之，如果I(X;Y)=0，則p(x,y)=p(x)p(y)，即X和Y獨立。

5.答案：√

解析：這是香農(nóng)第二定理（信道編碼定理）的準確表述。該定理是信息論的基石之一，表明只要傳輸速率小于信道容量，就存在一種編碼方式可以實現(xiàn)任意小的差錯概率，為現(xiàn)代通信系統(tǒng)的設(shè)計提供了理論基礎(chǔ)。

四、多項選擇題

1.答案：E

解析：A、B、C、D都是信息論的基本概念。熵是信息論的核心概念，用于衡量信息的不確定性；互信息衡量兩個隨機變量之間的相關(guān)性；信道容量表示信道能夠可靠傳輸?shù)淖畲笮畔⑺俾?；編碼效率是衡量編碼性能的重要指標。因此，E選項"以上都是"是正確的。

2.答案：A、B、C

解析：Huffman編碼、LZW編碼和算術(shù)編碼都是無損壓縮方法，它們可以在解壓縮時完全恢復原始數(shù)據(jù)。JPEG是一種有損圖像壓縮標準，MP3是一種有損音頻壓縮標準，它們在壓縮過程中會丟失部分信息，無法完全恢復原始數(shù)據(jù)。

五、簡答題

1.答案：

香農(nóng)第二定理（信道編碼定理）的內(nèi)容是：對于任何離散無記憶信道，存在一個信道容量C，使得當傳輸速率R<C時，存在一種編碼方式，其碼長足夠長時，可以實現(xiàn)任意小的差錯概率；而當R>C時，不可能實現(xiàn)任意小的差錯概率。

意義：香農(nóng)第二定理是信息論的基石之一，它表明了在噪聲信道中實現(xiàn)可靠通信的理論可能性。該定理證明了只要傳輸速率不超過信道容量，就存在一種編碼方式可以實現(xiàn)任意可靠的通信，為現(xiàn)代通信系統(tǒng)的設(shè)計提供了理論基礎(chǔ)。它也表明了信道容量是通信速率的理論上限，指導了通信系統(tǒng)的設(shè)計和優(yōu)化。

2.答案：

信息熵是信息論中用于衡量隨機變量不確定性的度量，定義為H(X)=-∑p(x)log?p(x)，其中p(x)是隨機變量X取值為x的概