信息論與編碼總結(jié)試題一填空題（共15分，每題1分）1單符號(hào)離散信源一般用隨機(jī)變量描述，而多符號(hào)信源一般用隨機(jī)矢量描述。2離散平穩(wěn)無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍。3對(duì)于一階馬爾可夫信源，其狀態(tài)空間共有個(gè)不同的狀態(tài)。MN4根據(jù)輸入輸出的信號(hào)特點(diǎn)，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信道。5對(duì)于離散無記憶信道和信源的N次擴(kuò)展，其信道容量NCNC6信道編碼論定理是一個(gè)理想編碼存在性理論，即信道無失真?zhèn)鬟f信息的條件是信息傳輸速率小于信道容量。7信源編碼的目的是提高通信的有效性。8對(duì)于香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼，編碼方法唯一的是香農(nóng)編碼。9在多符號(hào)的消息序列中，大量重復(fù)出現(xiàn)的，只起占時(shí)作用的符號(hào)稱為冗余位。10若糾錯(cuò)碼的最小距離為D,則可以糾錯(cuò)任意小于等于個(gè)差錯(cuò)。MIN21MIND11線性分組碼是同時(shí)具有分組特性和線性特性的糾錯(cuò)碼。12平均功率為P的高斯分布的連續(xù)信源，其信源熵為EPXHCLOG213當(dāng)連續(xù)信源和連續(xù)信道都是無記憶時(shí)，則NIIYXIYXI1,14信源編碼與信道編碼之間的最大區(qū)別是，信源編碼需減少信源的剩余度，而信道編碼需增加信源的剩余度。15離散信源的熵值HX越小，說明該信源消息之間的平均不確定性減弱。二選擇題（共15分，每題3分）1離散信源熵表示信源輸出一個(gè)消息所給出的（B）。A、實(shí)際信息量；B、統(tǒng)計(jì)平均信息量；C、最大信息量；D、最小信息量；解選擇B。2下圖給出了兩個(gè)連續(xù)信源的概率密度函數(shù)，其熵值間滿足（A）。A、HXHY；PXPYB、HX2），所以不能直接連接因?yàn)镾EC2SEC916270621LOG62BITBITPSHRII所以，可以通過當(dāng)編碼在次信道中無失真的傳輸?？蓪?duì)信源的N詞擴(kuò)展信源進(jìn)行無失真信源編碼，只要N足夠大取適當(dāng)?shù)木幋a就能與信道匹配。四計(jì)算題（共46分，第2題13分，其他每題11分）1、一個(gè)馬爾可夫信源有3個(gè)符號(hào)，轉(zhuǎn)移概率為321U號(hào)穩(wěn)態(tài)概率畫出狀態(tài)圖并求出個(gè)符,0,/2,3/3/2,0,/13313212UPUPUPUPU解由題可得馬兒克夫狀態(tài)圖為轉(zhuǎn)移矩陣為0321P設(shè)狀態(tài)穩(wěn)定后的概率分別為321,U321,W由256910132133123112321計(jì)算可得得WP2、設(shè)二元對(duì)稱信道的傳遞矩陣為2/3001/32/31/3U1U2U3/2/23/2/11（1）畫出傳遞函數(shù)矩陣；（2）若P03/4,P11/4,求HX,HX/Y（3）求I（X,Y）；（4）求概率分布為何值時(shí)達(dá)到信道容量；（5）求信道容量；解（1）由信道轉(zhuǎn)移圖可得傳遞矩陣為P321（2）已知X的概率則熵的公式可知127341000XYPXYPXY125341001XYPXYPXYX76123400/YPXXYYXX所以71234010/1YPXXYXP5312411/0YPXXYX5213411/YPXXYXP根據(jù)熵和平均互信息的表達(dá)式，可計(jì)算符號(hào)比特/74902018423152LOG3415LOG37LOG6LOGLXYYXYXH（3）因?yàn)榉?hào)比特06274981/YXHYXI（4）根據(jù)對(duì)稱信道的性質(zhì)可知，當(dāng)P0P11/2時(shí)，信道的傳輸率IXY達(dá)到信道容量。（5）對(duì)于二元對(duì)稱信道，信道容量為符號(hào)比特08231PHC3、一個(gè)平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號(hào)與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號(hào)與噪聲的平均功率比值降至5，要達(dá)到相同的信道容量，信道通頻帶應(yīng)為多大（3）若信道通頻帶減小為05MHZ時(shí)，要保持相同的信道容量，信道上的信號(hào)與噪聲的平均功率比值應(yīng)等于多大解（1）MBPSSNRWC1930LOG11LOG262（2）MBPS45932所以HZ86L593（3）SS1OG23又因?yàn)?16504LNR所以計(jì)算可得所以SNR1204設(shè)有信源兩種符號(hào)A、B，它們出現(xiàn)的概率分別是PA03,PB07。當(dāng)信源輸出符號(hào)序列是ABABBA，對(duì)其進(jìn)行算術(shù)編碼。解首先按照概率分布將區(qū)間分割成兩個(gè)區(qū)間和，分別代表30,1,A、B。由于信源輸出的第一個(gè)符號(hào)是A，那么取區(qū)間，再對(duì)該區(qū)間按照概,率分步進(jìn)行劃分，得到區(qū)間和09,3,由于信源輸出的第二個(gè)符號(hào)是B，那么取區(qū)間，再對(duì)該區(qū)間按照30,9概率分布進(jìn)行劃分，得到區(qū)間和15,由于信源輸出的第三個(gè)符號(hào)是A，那么取區(qū)間，再對(duì)該區(qū)間按15照概率分布進(jìn)行劃分，得到區(qū)間和089,30,由于信源輸出地第四個(gè)符號(hào)是B,那么取區(qū)間，再對(duì)該區(qū)間89按照該概率分布進(jìn)行劃分，得到區(qū)間和12,15,2由于信源輸出地第五個(gè)符號(hào)是B,那么取區(qū)間，再對(duì)該區(qū)間30按照概率分布進(jìn)行劃分，得到區(qū)間和390,9由于信源輸出的第六個(gè)符號(hào)是A，那么取區(qū)間12即為符號(hào)序列對(duì)應(yīng)的編碼區(qū)間，在該區(qū)間內(nèi)任選一實(shí)數(shù)1390,2代