2025年大學(xué)信息工程（信息論基礎(chǔ)）試題及答案

（考試時(shí)間：90分鐘滿分100分）班級(jí)______姓名______一、選擇題（總共10題，每題3分，每題只有一個(gè)正確答案，請(qǐng)將正確答案填入括號(hào)內(nèi)）1.信息論的創(chuàng)始人是（）A.香農(nóng)B.哈特利C.維納D.費(fèi)希爾2.離散無記憶信源發(fā)出的符號(hào)序列中，每個(gè)符號(hào)的出現(xiàn)概率（）A.依賴于前一個(gè)符號(hào)B.依賴于后一個(gè)符號(hào)C.相互獨(dú)立D.以上都不對(duì)3.對(duì)于離散平穩(wěn)信源，其熵率（）信源熵。A.大于B.小于C.等于D.大于等于4.已知某信源的概率空間為\(\begin{pmatrix}X\\P(X)\end{pmatrix}=\begin{pmatrix}x_1,x_2,x_3\\0.2,0.3,0.5\end{pmatrix}\)，則該信源的熵為（）A.1.43bitB.1.53bitC.1.63bitD.1.73bit5.無失真信源編碼定理表明，當(dāng)信源熵為\(H(X)\)，碼長(zhǎng)為\(n\)時(shí)，若要實(shí)現(xiàn)無失真編碼，平均碼長(zhǎng)\(L\)應(yīng)滿足（）A.\(L\geqH(X)\)B.\(L\leqH(X)\)C.\(L=H(X)\)D.\(L>H(X)\)6.香農(nóng)第一定理又稱為（）A.無失真信源編碼定理B.有噪信道編碼定理C.信道容量定理D.信息率失真定理7.對(duì)于二進(jìn)制對(duì)稱信道，其信道容量\(C\)為（）A.\(1-H(p)\)B.\(H(p)\)C.\(1+H(p)\)D.\(2H(p)\)，其中\(zhòng)(p\)為誤碼率8.已知某信道的轉(zhuǎn)移概率矩陣\(P=\begin{pmatrix}0.8&0.2\\0.1&0.9\end{pmatrix}\)，則該信道的信道容量為（）A.0.53bitB.0.63bitC.0.73bitD.0.83bit9.信息率失真函數(shù)\(R(D)\)的定義域?yàn)椋ǎ〢.\([0,D_{max}]\)B.\([0,\infty)\)C.\([D_{min},D_{max}]\)D.\([D_{min},\infty)\)，其中\(zhòng)(D_{min}\)為最小失真，\(D_{max}\)為最大失真10.當(dāng)信源輸出的消息序列是平穩(wěn)遍歷過程時(shí)，信源的熵率等于（）A.平均符號(hào)熵B.極限熵C.條件熵D.聯(lián)合熵二、多項(xiàng)選擇題（總共5題，每題4分，每題有兩個(gè)或兩個(gè)以上正確答案，請(qǐng)將正確答案填入括號(hào)內(nèi)，少選、多選均不得分）1.以下屬于信息論研究?jī)?nèi)容的有（）A.信源編碼B.信道編碼C.信道容量D.信息率失真理論E.密碼學(xué)2.離散信源的描述方式有（）A.概率空間B.符號(hào)序列C.狀態(tài)轉(zhuǎn)移圖D.信息熵E.互信息3.下列關(guān)于熵的說法正確的是（）A.熵是隨機(jī)變量不確定性的度量B.熵越大，不確定性越小C.離散信源熵\(H(X)=\sum_{i=1}^{n}p(x_i)\log_2\frac{1}{p(x_i)}\)D.條件熵\(H(X|Y)\leqH(X)\)E.聯(lián)合熵\(H(XY)\geqH(X)+H(Y)\)4.無失真信源編碼的目的是（）A.提高傳輸效率B.降低碼率C.增加信息冗余D.減少平均碼長(zhǎng)E.提高信道利用率5.信道編碼的作用有（）A.通過增加冗余度來提高抗干擾能力B.降低誤碼率C.提高信息傳輸?shù)目煽啃訢.提高信道容量E.提高信源熵三、判斷題（總共10題，每題2分，請(qǐng)判斷下列說法的對(duì)錯(cuò)，正確的打“√”，錯(cuò)誤的打“×”）1.信息論只研究離散信源，不研究連續(xù)信源。（）2.信源發(fā)出的符號(hào)越多，信源熵越大。（）3.對(duì)于離散無記憶信源，其\(n\)次擴(kuò)展信源的熵等于原信源熵的\(n\)倍。（）4.最佳編碼就是使平均碼長(zhǎng)達(dá)到最小的編碼。（）5.信道容量是信道能夠無差錯(cuò)傳輸信息的最大信息率。（）6.當(dāng)信道輸入為等概率分布時(shí)，信道輸出的平均互信息達(dá)到信道容量。（）7.信息率失真理論研究的是在允許一定失真的情況下，信源編碼的最小碼率。（）8.隨著失真度\(D\)的增大，信息率失真函數(shù)\(R(D)\)也增大。（）9.互信息\(I(X;Y)=H(X)+H(Y)-H(XY)\)。（）10.平穩(wěn)信源的熵率不隨時(shí)間變化。（）四、簡(jiǎn)答題（總共3題，每題10分）1.簡(jiǎn)述香農(nóng)第二定理的內(nèi)容，并說明其在通信系統(tǒng)中的重要意義。2.什么是離散平穩(wěn)信源的熵率？如何計(jì)算離散平穩(wěn)信源的熵率？3.信息率失真函數(shù)\(R(D)\)的物理意義是什么？它與信源編碼和信道編碼有什么關(guān)系？五、計(jì)算題（總共2題，每題15分）1.已知離散信源\(X\)的概率空間為\(\begin{pmatrix}X\\P(X)\end{pmatrix}=\begin{pmatrix}x_1,x_2,x_3,x_4\\0.4,0.3,0.2,0.1\end{pmatrix}\)，求：（1）信源\(X\)的熵\(H(X)\)；（2）若對(duì)信源\(X\)進(jìn)行二進(jìn)制編碼，求其平均碼長(zhǎng)的下限。2.已知某信道的轉(zhuǎn)移概率矩陣\(P=\begin{pmatrix}0.7&0.1&0.2\\0.1&0.8&0.1\\0.2&0.1&0.7\end{pmatrix}\)，輸入符號(hào)集\(X=\{x_1,x_2,x_3\}\)，輸出符號(hào)集\(Y=\{y_1,y_2,y_3\}\)，且輸入符號(hào)等概率分布，求：（1）信道容量\(C\)；（2）當(dāng)輸入符號(hào)為\(x_1\)時(shí)，輸出符號(hào)的條件概率分布\(P(Y|x_1)\)。答案：一、選擇題1.A2.C3.D4.C5.A6.A7.A8.B9.A10.B二、多項(xiàng)選擇題1.ABCD2.ABC3.ACD4.ABD5.ABC三、判斷題1.×2.×3.√4.√5.√6.√7.√8.×9.√10.√四、簡(jiǎn)答題1.香農(nóng)第二定理指出：對(duì)于一個(gè)有噪信道，若信道容量為\(C\)，只要信息傳輸率\(R<C\)，就一定存在一種編碼方法，使信息以任意小的差錯(cuò)概率通過該信道傳輸。其重要意義在于為有噪信道的編碼提供了理論依據(jù)，指導(dǎo)如何設(shè)計(jì)高效可靠的信道編碼。2.離散平穩(wěn)信源的熵率是指當(dāng)信源輸出的消息序列是平穩(wěn)遍歷過程時(shí)，信源熵隨時(shí)間的變化率。計(jì)算離散平穩(wěn)信源的熵率通常采用極限熵的方法，即對(duì)信源的\(n\)次擴(kuò)展信源的熵求極限\(H_{\infty}(X)=\lim_{n\rightarrow\infty}\frac{1}{n}H(X^n)\)。3.信息率失真函數(shù)\(R(D)\)表示在允許失真度\(D\)的情況下，信源編碼所需的最小信息率。它與信源編碼的關(guān)系是確定了在一定失真條件下信源編碼的極限性能；與信道編碼的關(guān)系是通過信息率失真理論，將信源編碼和信道編碼聯(lián)系起