信息論與編碼總結試題一填空題（共15分，每題1分）1單符號離散信源一般用隨機變量描述，而多符號信源一般用隨機矢量描述。2離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源X的熵的N倍。3對于一階馬爾可夫信源，其狀態(tài)空間共有個不同的狀態(tài)。MN4根據(jù)輸入輸出的信號特點，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信道。5對于離散無記憶信道和信源的N次擴展，其信道容量NCNC6信道編碼論定理是一個理想編碼存在性理論，即信道無失真?zhèn)鬟f信息的條件是信息傳輸速率小于信道容量。7信源編碼的目的是提高通信的有效性。8對于香農編碼、費諾編碼和哈夫曼編碼，編碼方法唯一的是香農編碼。9在多符號的消息序列中，大量重復出現(xiàn)的，只起占時作用的符號稱為冗余位。10若糾錯碼的最小距離為D,則可以糾錯任意小于等于個差錯。MIN21MIND11線性分組碼是同時具有分組特性和線性特性的糾錯碼。12平均功率為P的高斯分布的連續(xù)信源，其信源熵為EPXHCLOG213當連續(xù)信源和連續(xù)信道都是無記憶時，則NIIYXIYXI1,14信源編碼與信道編碼之間的最大區(qū)別是，信源編碼需減少信源的剩余度，而信道編碼需增加信源的剩余度。15離散信源的熵值HX越小，說明該信源消息之間的平均不確定性減弱。二選擇題（共15分，每題3分）1離散信源熵表示信源輸出一個消息所給出的（B）。A、實際信息量；B、統(tǒng)計平均信息量；C、最大信息量；D、最小信息量；解選擇B。2下圖給出了兩個連續(xù)信源的概率密度函數(shù)，其熵值間滿足（A）。A、HXHY；PXPYB、HX2），所以不能直接連接因為SEC2SEC916270621LOG62BITBITPSHRII所以，可以通過當編碼在次信道中無失真的傳輸?？蓪π旁吹腘詞擴展信源進行無失真信源編碼，只要N足夠大取適當?shù)木幋a就能與信道匹配。四計算題（共46分，第2題13分，其他每題11分）1、一個馬爾可夫信源有3個符號，轉移概率為321U號穩(wěn)態(tài)概率畫出狀態(tài)圖并求出個符,0,/2,3/3/2,0,/13313212UPUPUPUPU解由題可得馬兒克夫狀態(tài)圖為轉移矩陣為0321P設狀態(tài)穩(wěn)定后的概率分別為321,U321,W由256910132133123112321計算可得得WP2、設二元對稱信道的傳遞矩陣為2/3001/32/31/3U1U2U3/2/23/2/11（1）畫出傳遞函數(shù)矩陣；（2）若P03/4,P11/4,求HX,HX/Y（3）求I（X,Y）；（4）求概率分布為何值時達到信道容量；（5）求信道容量；解（1）由信道轉移圖可得傳遞矩陣為P321（2）已知X的概率則熵的公式可知127341000XYPXYPXY125341001XYPXYPXYX76123400/YPXXYYXX所以71234010/1YPXXYXP5312411/0YPXXYX5213411/YPXXYXP根據(jù)熵和平均互信息的表達式，可計算符號比特/74902018423152LOG3415LOG37LOG6LOGLXYYXYXH（3）因為符號比特06274981/YXHYXI（4）根據(jù)對稱信道的性質可知，當P0P11/2時，信道的傳輸率IXY達到信道容量。（5）對于二元對稱信道，信道容量為符號比特08231PHC3、一個平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號與噪聲的平均功率比值降至5，要達到相同的信道容量，信道通頻帶應為多大（3）若信道通頻帶減小為05MHZ時，要保持相同的信道容量，信道上的信號與噪聲的平均功率比值應等于多大解（1）MBPSSNRWC1930LOG11LOG262（2）MBPS45932所以HZ86L593（3）SS1OG23又因為916504LNR所以計算可得所以SNR1204設有信源兩種符號A、B，它們出現(xiàn)的概率分別是PA03,PB07。當信源輸出符號序列是ABABBA，對其進行算術編碼。解首先按照概率分布將區(qū)間分割成兩個區(qū)間和，分別代表30,1,A、B。由于信源輸出的第一個符號是A，那么取區(qū)間，再對該區(qū)間按照概,率分步進行劃分，得到區(qū)間和09,3,由于信源輸出的第二個符號是B，那么取區(qū)間，再對該區(qū)間按照30,9概率分布進行劃分，得到區(qū)間和15,由于信源輸出的第三個符號是A，那么取區(qū)間，再對該區(qū)間按15照概率分布進行劃分，得到區(qū)間和089,30,由于信源輸出地第四個符號是B,那么取區(qū)間，再對該區(qū)間89按照該概率分布進行劃分，得到區(qū)間和12,15,2由于信源輸出地第五個符號是B,那么取區(qū)間，再對該區(qū)間30按照概率分布進行劃分，得到區(qū)間和390,9由于信源輸出的第六個符號是A，那么取區(qū)間12即為符號序列對應的編碼區(qū)間，在該區(qū)間內任選一實數(shù)1390,2代