信息論基礎(chǔ)考試卷及答案

一、單項(xiàng)選擇題（每題2分，共10題）1.信息的基本度量單位是（）A.比特B.字節(jié)C.波特D.瓦特2.離散無(wú)記憶信源熵達(dá)到最大值時(shí)，信源符號(hào)的概率分布是（）A.均勻分布B.高斯分布C.泊松分布D.二項(xiàng)分布3.對(duì)于離散平穩(wěn)信源，其平均互信息（）A.是信源概率分布的上凸函數(shù)B.是信源概率分布的下凸函數(shù)C.與信源概率分布無(wú)關(guān)D.是常數(shù)4.若信道容量為C，輸入平均功率受限為P，則當(dāng)輸入信號(hào)服從（）分布時(shí)，信道達(dá)到容量。A.均勻B.高斯C.泊松D.二項(xiàng)5.下列哪個(gè)不屬于信源編碼的目的（）A.提高信息傳輸?shù)挠行訠.提高信息傳輸?shù)目煽啃訡.降低信源冗余度D.把信源符號(hào)變換為適合信道傳輸?shù)姆?hào)6.香農(nóng)第一定理是關(guān)于（）的定理。A.無(wú)失真信源編碼B.有失真信源編碼C.信道編碼D.密碼編碼7.信源輸出符號(hào)集X，其概率分布為P(X)，則信源熵H(X)的取值范圍是（）A.0≤H(X)≤log?|X|B.H(X)≥log?|X|C.H(X)≤0D.H(X)>log?|X|8.某離散無(wú)記憶信源有3個(gè)符號(hào)，概率分別為1/2、1/4、1/4，則該信源熵為（）A.1bitB.1.5bitC.2bitD.2.5bit9.信道的轉(zhuǎn)移概率矩陣描述了（）A.信源符號(hào)的概率分布B.信道噪聲的特性C.信宿收到符號(hào)的概率分布D.信源到信宿的傳遞特性10.以下哪種編碼方法不屬于變長(zhǎng)碼（）A.哈夫曼編碼B.算術(shù)編碼C.等長(zhǎng)碼D.游程編碼答案：1.A2.A3.A4.B5.B6.A7.A8.B9.D10.C二、多項(xiàng)選擇題（每題2分，共10題）1.信息的主要特征包括（）A.可傳輸性B.可存儲(chǔ)性C.可加工性D.共享性2.以下哪些屬于離散信源（）A.擲骰子的結(jié)果B.語(yǔ)音信號(hào)C.文本消息D.電視圖像3.信源熵具有以下哪些性質(zhì)（）A.非負(fù)性B.對(duì)稱(chēng)性C.擴(kuò)展性D.可加性4.平均互信息I(X;Y)滿足以下哪些關(guān)系（）A.I(X;Y)=I(Y;X)B.I(X;Y)=H(X)-H(X|Y)C.I(X;Y)=H(Y)-H(Y|X)D.I(X;Y)=H(X)+H(Y)-H(XY)5.信道容量的影響因素有（）A.信道的轉(zhuǎn)移概率B.輸入信號(hào)的概率分布C.信道的噪聲特性D.信源的熵6.下列屬于無(wú)失真信源編碼方法的有（）A.哈夫曼編碼B.算術(shù)編碼C.Lempel-Ziv編碼D.預(yù)測(cè)編碼7.衡量編碼性能的指標(biāo)有（）A.編碼效率B.碼長(zhǎng)C.差錯(cuò)率D.冗余度8.對(duì)于離散無(wú)記憶信道，以下說(shuō)法正確的是（）A.信道容量是輸入概率分布的函數(shù)B.當(dāng)輸入符號(hào)等概率分布時(shí)，信道達(dá)到容量C.信道容量只與信道轉(zhuǎn)移概率有關(guān)D.平均互信息是輸入概率分布的上凸函數(shù)9.以下哪些屬于信息論的研究范疇（）A.信息的度量B.信源編碼C.信道編碼D.密碼學(xué)10.信源的相關(guān)性對(duì)信源熵有什么影響（）A.相關(guān)性增強(qiáng)，信源熵增大B.相關(guān)性增強(qiáng)，信源熵減小C.相關(guān)性減弱，信源熵增大D.相關(guān)性減弱，信源熵減小答案：1.ABCD2.AC3.ABCD4.ABCD5.ABC6.ABC7.ABD8.ACD9.ABC10.BC三、判斷題（每題2分，共10題）1.信息就是消息。（）2.離散信源的熵只與信源符號(hào)的概率分布有關(guān)。（）3.平均互信息I(X;Y)一定大于等于0。（）4.信道容量是信道能夠傳輸?shù)淖畲笃骄バ畔?。（?.哈夫曼編碼是一種等長(zhǎng)碼。（）6.信源的冗余度越大，其信息傳輸效率越高。（）7.無(wú)噪信道的信道容量無(wú)窮大。（）8.有失真信源編碼的目的是提高信息傳輸?shù)目煽啃?。（?.離散平穩(wěn)信源的熵隨時(shí)間增加而減小。（）10.信息論中的熵與熱力學(xué)中的熵概念完全不同。（）答案：1.×2.√3.√4.√5.×6.×7.×8.×9.×10.×四、簡(jiǎn)答題（每題5分，共4題）1.簡(jiǎn)述信息論的主要研究?jī)?nèi)容。答案：信息論主要研究信息的度量，如信源熵；信源編碼，以提高傳輸有效性；信道編碼，提高傳輸可靠性；以及平均互信息等概念，探討信息傳輸和處理中的基本規(guī)律。2.什么是信源的冗余度？如何計(jì)算？答案：信源冗余度是信源存在的多余信息。計(jì)算方法是1減去信源的實(shí)際熵與最大熵的比值，即冗余度=1-H(X)/H?(X)，H(X)是實(shí)際熵，H?(X)是最大熵。3.簡(jiǎn)述香農(nóng)第二定理的意義。答案：香農(nóng)第二定理指出，在信道容量為C的信道中，只要碼長(zhǎng)足夠長(zhǎng)，總可以找到一種編碼方式，使信息傳輸?shù)牟铄e(cuò)率任意小，實(shí)現(xiàn)可靠通信，為信道編碼提供理論依據(jù)。4.說(shuō)明變長(zhǎng)碼和等長(zhǎng)碼的特點(diǎn)。答案：等長(zhǎng)碼每個(gè)碼字長(zhǎng)度相同，編碼和解碼簡(jiǎn)單，但對(duì)不同概率符號(hào)編碼效率低。變長(zhǎng)碼碼字長(zhǎng)度不同，對(duì)高概率符號(hào)用短碼，低概率用長(zhǎng)碼，編碼效率高，但編碼和解碼相對(duì)復(fù)雜。五、討論題（每題5分，共4題）1.討論信息論在通信系統(tǒng)中的重要性。答案：信息論為通信系統(tǒng)提供理論基礎(chǔ)?？芍笇?dǎo)信源編碼提高傳輸效率，減少冗余；指導(dǎo)信道編碼增強(qiáng)可靠性，降低差錯(cuò)率。幫助優(yōu)化通信系統(tǒng)設(shè)計(jì)，實(shí)現(xiàn)高效可靠的信息傳輸，推動(dòng)通信技術(shù)發(fā)展。2.分析無(wú)失真信源編碼和有失真信源編碼的應(yīng)用場(chǎng)景。答案：無(wú)失真信源編碼用于對(duì)數(shù)據(jù)準(zhǔn)確性要求極高的場(chǎng)景，如文件傳輸、數(shù)據(jù)庫(kù)存儲(chǔ)，確保信息無(wú)損失。有失真信源編碼用于對(duì)數(shù)據(jù)準(zhǔn)確性要求不苛刻、更注重感知效果的場(chǎng)景，如音頻視頻壓縮，可在一定失真度下大幅提高編碼效率。3.探討信道容量與信道噪聲的關(guān)系。答案：信道噪聲越大，信道傳輸信息的干擾越強(qiáng)，信號(hào)容易出錯(cuò)，信道容量就越小。降低信道噪聲可提高信道容量，為實(shí)現(xiàn)高效可