-.z.〔一〕一、判斷題共10小題，總分值20分.1.當(dāng)隨機(jī)變量和相互獨(dú)立時(shí)，條件熵等于信源熵.〔〕2.由于構(gòu)成同一空間的基底不是唯一的，所以不同的基底或生成矩陣有可能生成同一碼集.〔〕3.一般情況下，用變長編碼得到的平均碼長比定長編碼大得多.〔〕4.只要信息傳輸率大于信道容量，總存在一種信道編譯碼，可以以所要求的任意小的誤差概率實(shí)現(xiàn)可靠的通信.〔〕5.各碼字的長度符合克拉夫特不等式，是唯一可譯碼存在的充分和必要條件.〔〕6.連續(xù)信源和離散信源的熵都具有非負(fù)性.〔〕7.信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越小，獲得的信息量就越小.8.漢明碼是一種線性分組碼.〔〕9.率失真函數(shù)的最小值是.〔〕10.必然事件和不可能事件的自信息量都是.〔〕二、填空題共6小題，總分值20分.1、碼的檢、糾錯(cuò)能力取決于.2、信源編碼的目的是；信道編碼的目的是.3、把信息組原封不動(dòng)地搬到碼字前位的碼就叫做.4、香農(nóng)信息論中的三大極限定理是、、.5、設(shè)信道的輸入與輸出隨機(jī)序列分別為和，則成立的條件.6、對于香農(nóng)-費(fèi)諾編碼、原始香農(nóng)-費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是.7、*二元信源，其失真矩陣，則該信源的=.三、此題共4小題，總分值50分.1、*信源發(fā)送端有2種符號,；接收端有3種符號，轉(zhuǎn)移概率矩陣為.計(jì)算接收端的平均不確定度；計(jì)算由于噪聲產(chǎn)生的不確定度；計(jì)算信道容量以及最正確入口分布.2、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖如右圖所示，信源的符號集為.〔1〕求信源平穩(wěn)后的概率分布；〔2〕求此信源的熵；〔3〕近似地認(rèn)為此信源為無記憶時(shí)，符號的概率分布為平穩(wěn)分布.求近似信源的熵并與進(jìn)展比擬.4、設(shè)二元線性分組碼的生成矩陣為.〔1〕給出該碼的一致校驗(yàn)矩陣，寫出所有的陪集首和與之相對應(yīng)的伴隨式；〔2〕假設(shè)接收矢量，試計(jì)算出其對應(yīng)的伴隨式并按照最小距離譯碼準(zhǔn)則試著對其譯碼.〔二〕一、填空題〔共15分，每空1分〕1、信源編碼的主要目的是，信道編碼的主要目的是。2、信源的剩余度主要來自兩個(gè)方面，一是，二是。3、三進(jìn)制信源的最小熵為，最大熵為。4、無失真信源編碼的平均碼長最小理論極限制為。5、當(dāng)時(shí)，信源與信道到達(dá)匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為和。7、根據(jù)是否允許失真，信源編碼可分為和。8、假設(shè)連續(xù)信源輸出信號的平均功率為，則輸出信號幅度的概率密度是時(shí)，信源具有最大熵，其值為值。9、在下面空格中選擇填入數(shù)學(xué)符號"〞或"〞〔1〕當(dāng)*和Y相互獨(dú)立時(shí)，H〔*Y〕H(*)+H(*/Y)H(Y)+H(*)。〔2〕〔3〕假設(shè)信道輸入用*表示，信道輸出用Y表示。在無噪有損信道中，H(*/Y)0,H(Y/*)0,I(*;Y)H(*)。三、〔16分〕信源〔1〕用霍夫曼編碼法編成二進(jìn)制變長碼；〔6分〕〔2〕計(jì)算平均碼長;〔4分〕〔3〕計(jì)算編碼信息率;〔2分〕〔4〕計(jì)算編碼后信息傳輸率;〔2分〕〔5〕計(jì)算編碼效率?！?分〕四、〔10分〕*信源輸出A、B、C、D、E五種符號，每一個(gè)符號獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。如果符號的碼元寬度為0.5。計(jì)算：〔1〕信息傳輸速率?！?分〕五、(16分)一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。(1)畫出狀態(tài)轉(zhuǎn)移圖。(4分)(2)計(jì)算穩(wěn)態(tài)概率。(4分)(3)計(jì)算馬爾可夫信源的極限熵。(4分)(4)計(jì)算穩(wěn)態(tài)下,及其對應(yīng)的剩余度。(4分)六、設(shè)有擾信道的傳輸情況分別如下圖。試求這種信道的信道容量。七、(16分)設(shè)*、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z=*Y(一般乘積)。試計(jì)算(1)(2)(3)(4);八、(10分)設(shè)離散無記憶信源的概率空間為，通過干擾信道，信道輸出端的接收符號集為，信道傳輸概率如以下圖所示。計(jì)算信源中事件包含的自信息量；計(jì)算信源的信息熵；計(jì)算信道疑義度；計(jì)算噪聲熵；計(jì)算收到消息后獲得的平均互信息量。"信息論根底"2參考答案一、填空題〔共15分，每空1分〕1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。2、信源的剩余度主要來自兩個(gè)方面，一是信源符號間的相關(guān)性，二是信源符號的統(tǒng)計(jì)不均勻性。3、三進(jìn)制信源的最小熵為0，最大熵為bit/符號。4、無失真信源編碼的平均碼長最小理論極限制為信源熵〔或H(S)/logr=Hr(S)〕。5、當(dāng)R=C或〔信道剩余度為0〕時(shí)，信源與信道到達(dá)匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為恒參信道和隨參信道。7、根據(jù)是否允許失真，信源編碼可分為無失真信源編碼和限失真信源編碼。8、假設(shè)連續(xù)信源輸出信號的平均功率為，則輸出信號幅度的概率密度是高斯分布或正態(tài)分布或時(shí)，信源具有最大熵，其值為值。9、在下面空格中選擇填入數(shù)學(xué)符號"〞或"〞〔1〕當(dāng)*和Y相互獨(dú)立時(shí)，H〔*Y〕=H(*)+H(*/Y)=H(Y)+H(*)?！?〕〔3〕假設(shè)信道輸入用*表示，信道輸出用Y表示。在無噪有損信道中，H(*/Y)>0,H(Y/*)=0,I(*;Y)<H(*)。三、〔16分〕信源〔1〕用霍夫曼編碼法編成二進(jìn)制變長碼；〔6分〕〔2〕計(jì)算平均碼長;〔4分〕〔3〕計(jì)算編碼信息率;〔2分〕〔4〕計(jì)算編碼后信息傳輸率;〔2分〕〔5〕計(jì)算編碼效率。〔2分〕〔1〕編碼結(jié)果為：〔2〕〔3〕〔4〕其中，〔5〕評分：其他正確的編碼方案：1，要求為即時(shí)碼2，平均碼長最短四、〔10分〕*信源輸出A、B、C、D、E五種符號，每一個(gè)符號獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。如果符號的碼元寬度為0.5。計(jì)算：〔1〕信息傳輸速率?！?分〕〔1〕五、(16分)一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。(1)畫出狀態(tài)轉(zhuǎn)移圖。(4分)(2)計(jì)算穩(wěn)態(tài)概率。(4分)(3)計(jì)算馬爾可夫信源的極限熵。(4分)(4)計(jì)算穩(wěn)態(tài)下,及其對應(yīng)的剩余度。(4分)解：(1)(2)由公式有得(3)該馬爾可夫信源的極限熵為：(4)在穩(wěn)態(tài)下：對應(yīng)的剩余度為六、設(shè)有擾信道的傳輸情況分別如下圖。試求這種信道的信道容量。解：信道傳輸矩陣如下可以看出這是一個(gè)對稱信道，L=4,則信道容量為七、(16分)設(shè)*、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z=*Y(一般乘積)。試計(jì)算(1)(2)(3)(4);解：(1)Z01P(Z)3/41/4(2)(3)(4)八、(10分)設(shè)離散無記憶信源的概率空間為，通過干擾信道，信道輸出端的接收符號集為，信道傳輸概率如以下圖所示。計(jì)算信源中事件包含的自信息量；計(jì)算信源的信息熵；計(jì)算信道疑義度；計(jì)算噪聲熵；計(jì)算收到消息后獲得的平均互信息量。解：(1)(2)(3)轉(zhuǎn)移概率：*yy1y2*15/61/6*23/41/4聯(lián)合分布：*yy1y2*12/312/154/5*13/201/201/549/6011/601/5(5)(三)選擇題〔共10分，每題2分〕1、有一離散無記憶信源*，其概率空間為，則其無記憶二次擴(kuò)展信源的熵H(*2)=()A、1.75比特/符號；B、3.5比特/符號；C、9比特/符號；D、18比特/符號。信道轉(zhuǎn)移矩陣為其中兩兩不相等，則該信道為A、一一對應(yīng)的無噪信道B、具有并歸性能的無噪信道C、對稱信道D、具有擴(kuò)展性能的無噪信道3、設(shè)信道容量為C，以下說法正確的選項(xiàng)是：〔〕A、互信息量一定不大于CB、交互熵一定不小于CC、有效信息量一定不大于CD、條件熵一定不大于C4、在串聯(lián)系統(tǒng)中，有效信息量的值〔〕A、趨于變大B、趨于變小C、不變D、不確定5、假設(shè)BSC信道的過失率為P，則其信道容量為：〔〕A、B、C、D、填空題〔20分，每空2分〕(7,4)線性分組碼中，承受端收到分組R的位數(shù)為____，伴隨式S可能的值有____種,過失圖案e的長度為，系統(tǒng)生成矩陣Gs為____行的矩陣，系統(tǒng)校驗(yàn)矩陣Hs為____行的矩陣，Gs和Hs滿足的關(guān)系式是。香農(nóng)編碼中,概率為的信源符號*i對應(yīng)的碼字Ci的長度Ki應(yīng)滿足不等式。3、設(shè)有一個(gè)信道，其信道矩陣為，則它是信道〔填對稱，準(zhǔn)對稱〕，其信道容量是比特/信道符號。三、〔20分〕，通過一個(gè)干擾信道，承受符號集為，信道轉(zhuǎn)移矩陣為試求〔1〕H(*),H(Y),H(*Y);〔7分〕(2)H(Y|*),H(*|Y);〔5分〕(3)I(Y;*)。〔3分〕(4)該信道的容量C〔3分〕〔5〕當(dāng)平均互信息量到達(dá)信道容量時(shí)，接收端Y的熵H〔Y〕。〔2分〕計(jì)算結(jié)果保存小數(shù)點(diǎn)后2位,單位為比特/符號?！?分〕簡述平均互信息量的物理意義，并寫出應(yīng)公式。六、〔10分〕設(shè)有離散無記憶信源，其概率分布如下：對其進(jìn)展費(fèi)諾編碼，寫出編碼過程，求出信源熵、平均碼長和編碼效率。七、信道編碼〔21分〕現(xiàn)有生成矩陣求對應(yīng)的系統(tǒng)校驗(yàn)矩陣Hs?！?分〕2求該碼字集合的最小碼字距離d、最大檢錯(cuò)能力、最大糾錯(cuò)能力tma*?！?分〕填寫下面的es表〔8分〕es00000000000001000001000001000001000001000001000001000000現(xiàn)有接收序列為，求糾錯(cuò)譯碼輸出?！?分〕5.畫出該碼的編碼電路〔4分〕(四)簡答題〔共20分，每題10分利用公式介紹無條件熵、條件熵、聯(lián)合熵和平均互信息量之間的關(guān)系。簡單介紹哈夫曼編碼的步驟計(jì)算題〔共40分〕*信源含有三個(gè)消息，概率分別為p(0)=0.2，p(1)=0.3，p(2)=0.5，失真矩陣為。求Dma*、Dmin和R(Dma*)?！?0分〕設(shè)對稱離散信道矩陣為，求信道容量C?！?0分〕有一穩(wěn)態(tài)馬爾可夫信源，轉(zhuǎn)移概率為p(S1/S1)=2/3，p(S1/S2)=1。求：畫出狀態(tài)轉(zhuǎn)移圖和狀態(tài)轉(zhuǎn)移概率矩陣。求出各狀態(tài)的穩(wěn)態(tài)概率。求出信源的極限熵?！?0分〕〔五〕一、〔11’〕填空題1948年，美國數(shù)學(xué)家香農(nóng)發(fā)表了題為"通信的數(shù)學(xué)理論〞的長篇論文，從而創(chuàng)立了信息論。必然事件的自信息是0。離散平穩(wěn)無記憶信源*的N次擴(kuò)展信源的熵等于離散信源*的熵的N倍。對于離散無記憶信源，當(dāng)信源熵有最大值時(shí)，滿足條件為__信源符號等概分布_。對于香農(nóng)編碼、費(fèi)諾編碼和霍夫曼編碼，編碼方法惟一的是香農(nóng)編碼。*線性分組碼的最小漢明距離為3，則這組碼最多能檢測出_2_______個(gè)碼元錯(cuò)誤，最多能糾正___1__個(gè)碼元錯(cuò)誤。設(shè)有一離散無記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R__小于___C〔大于、小于或者等于〕，則存在一種編碼，當(dāng)輸入序列長度n足夠大，使譯碼錯(cuò)誤概率任意小。平均錯(cuò)誤概率不僅與信道本身的統(tǒng)計(jì)特性有關(guān)，還與___譯碼規(guī)則____________和___編碼方法___有關(guān)二、〔9〕判斷題信息就是一種消息?！病承畔⒄撗芯康闹饕獑栴}是在通信系統(tǒng)設(shè)計(jì)中如何實(shí)現(xiàn)信息傳輸、存儲(chǔ)和處理的有效性和可靠性。〔〕概率大的事件自信息量大?！病郴バ畔⒘靠烧?、可負(fù)亦可為零?！病承旁词Ｓ喽扔脕砗饬啃旁吹南嚓P(guān)性程度，信源剩余度大說明信源符號間的依賴關(guān)系較小。〔〕對于固定的信源分布，平均互信息量是信道傳遞概率的下凸函數(shù)。〔〕非奇異碼一定是唯一可譯碼，唯一可譯碼不一定是非奇異碼?！病承旁醋冮L編碼的核心問題是尋找緊致碼〔或最正確碼〕，霍夫曼編碼方法構(gòu)造的是最正確碼。〔〕〔9〕信息率失真函數(shù)R(D)是關(guān)于平均失真度D的上凸函數(shù).()五、〔18’〕.黑白氣象圖的消息只有黑色和白色兩種，求：1〕黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號的信源*的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵；3〕分別求上述兩種信源的冗余度，比擬它們的大小并說明其物理意義。解：1〕信源模型為〔1分〕〔2分〕2〕由題意可知該信源為一階馬爾科夫信源?！?分〕由4分〕得極限狀態(tài)概率〔2分〕3分〕〔1分〕。說明：當(dāng)信源的符號之間有依賴時(shí)，信源輸出消息的不確定性減弱。而信源冗余度正是反映信源符號依賴關(guān)系的強(qiáng)弱，冗余度越大，依賴關(guān)系就越大?！?分〕六、〔18’〕.信源空間為，試分別構(gòu)造二元香農(nóng)碼和二元霍夫曼碼，計(jì)算其平均碼長和編碼效率〔要求有編碼過程〕。2〕〔3分〕最大后驗(yàn)概率準(zhǔn)則下，有，八〔10〕.二元對稱信道如圖。1〕假設(shè)，，求、和；

2〕求該信道的信道容量。解：1〕共6分2〕，〔3分〕此時(shí)輸入概率分布為等概率分布?！?分〕九、〔18〕設(shè)一線性分組碼具有一致監(jiān)視矩陣1〕求此分組碼n=",k="共有多少碼字？2〕求此分組碼的生成矩陣G。3〕寫出此分組碼的所有碼字。4〕假設(shè)接收到碼字〔101001〕，求出伴隨式并給出翻譯結(jié)果。解：1〕n=6,k=3,共有8個(gè)碼字?！?分〕2〕設(shè)碼字由得〔3分〕令監(jiān)視位為，則有〔3分〕生成矩陣為〔2分〕3〕所有碼字為000000，001101，010011，011110，100110，101011，110101，111000?！?分〕4〕由得，〔2分〕該碼字在第5位發(fā)生錯(cuò)誤，〔101001〕糾正為〔101011〕，即譯碼為〔101001〕〔1分〕〔六〕一、概念簡答題〔每題5分，共40分〕1.什么是平均自信息量與平均互信息，比擬一下這兩個(gè)概念的異同？2.簡述最大離散熵定理。對于一個(gè)有m個(gè)符號的離散信源，其最大熵是多少？3.解釋信息傳輸率、信道容量、最正確輸入分布的概念，說明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？4.對于一個(gè)一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處理定理。5.寫出香農(nóng)公式，并說明其物理意義。當(dāng)信道帶寬為5000Hz，信噪比為30dB時(shí)求信道容量。6.解釋無失真變長信源編碼定理。7.解釋有噪信道編碼定理。8.什么是保真度準(zhǔn)則？對二元信源，其失真矩陣，求a>0時(shí)率失真函數(shù)的和？二、綜合題〔每題10分，共60分〕1.黑白氣象圖的消息只有黑色和白色兩種，求：1〕黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有