徐州工程學(xué)院試卷題號(hào)一二三四五六七總分總分15151615141015100得分2010 — 2011學(xué)年第一學(xué)期試卷類型期末A考試形式閉卷命題人燕善俊2010年11月10日教研室主任年—月—日姓名 班級(jí)課程名稱 信息與編碼考試時(shí)間 100分鐘使用班級(jí) 07信計(jì)1、2教學(xué)院長年—月—日學(xué)號(hào)—一、選擇題（共5小題，每題3分，共計(jì)15分）1、若英文字母“a”出現(xiàn)的概率為0.26，則它的自信息量為： …（C）A-ln0.26比特 Blog20.26比特C-lg0.26哈特萊 D-log20.26奈特、…，一……W11\ 2、設(shè)隨機(jī)變量X概率分布為-,-，則X的信息熵H（X）為：…（D）"22）A4A4比特/符號(hào)C2比特/符號(hào)B3比特/符號(hào)D1比特/符號(hào)3、3、一個(gè)事件七所提供的關(guān)于另外一個(gè)事件X的信息量為AIAI(x>) BI(j/x)CI(j;x)ij ji jiDI（J）—件）4、設(shè)信源X的概率空間為4、設(shè)信源X的概率空間為X2P2?P，則以下說法不正確的是：（A）A H(X)=才p?Iog2— (奈特/符號(hào))TOC\o"1-5"\h\z，T PiB H(pp…p)=H(p p …p)1 2 n n n-1 10<H(pp…p)<logn12 n 2當(dāng)p2=1，則H(p1 p2 ...p)=05、已知某信源X的信源符號(hào)集中含有8個(gè)符號(hào)，且信源熵為H（X）=1比特/符號(hào)，則此信源的剩余度為： …（A）A2/3B3/2C1/6D1/3二、填空題(共5小題，每題3分，共計(jì)15分)1、消息x與J的條件自信息量I(x/y)的定義式為log―1—、 。j ij — 2p(xly)2、 二維隨機(jī)變量X，Y的聯(lián)合概率空間已知時(shí)，可以得到聯(lián)合熵H(XY)，而聯(lián)合熵與信源熵滿足關(guān)系H(XY)=H(X)+H(Y)的條件是X與Y互相獨(dú)立。3、 離散平穩(wěn)多符號(hào)信源用熵率來衡量信源輸出信息量的能力，則熵率H^與平均符號(hào)熵H(X)的關(guān)系為 H=limH7XJ 。N 8NSN4、 設(shè)具有擴(kuò)散性能的無損信道的信道矩陣為(p"m，則該信道的信道容量為—logn比特/符號(hào)。5、 設(shè)二元對(duì)稱信道的錯(cuò)誤傳遞概率為p，則該信道的信道容量為—1-Hp七比特/符號(hào)。三、(共2小題，每題8分，共計(jì)16分)1、計(jì)算熵函數(shù)H(1/3,1/3,1/6,1/6)的值。解：H(1/3,1/3,1/6,1/6)=H(1/3,1/3,1/3)+jH(1/2,1/2)1=log3+-TOC\o"1-5"\h\z2 32、設(shè)隨機(jī)變量X概率分布為p(x)=2-i,i=1,2,3,，求X的信息熵H(X)。i解： H(X)=工p(x).log =工2-/-log2/=工i-2-/=2i2p(x) 2i=1 i i=1 i=1四、（共1小題，每題15分，共計(jì)15分）已知隨機(jī)變量X的概率空間為:'Xi1/3v1/3X311/37，隨機(jī)變量X與Y的條件概率分布如右表所小，求:（1） 信源熵H（X），H（Y）；（2） X與Y的條件熵H（Y/X）；（3） X與Y的平均互信息/（X;Y）。解：(1)H(X)=23p(x)log 1=3-1log3=log3比特/符號(hào)TOC\o"1-5"\h\zi=1 ' P(X) 3 2 2f1 1 116 2 3因?yàn)镻Y=P因?yàn)镻Y=Px'PY/X=(33 3 2 3 6 3 3 3\o"CurrentDocument"3 1 1（5分）所以H(Y)=13p(七)log2-^=3-^log23=log23比特/符號(hào)j=1 JP（5分）H(Y/X)=22p(x)p(y.1x)logi=1j=11112p(V」x)1(1 1 1 1=3-3-?log2log3+；log62,=3+2log23〔2 2 3 2 6~271（5分）I(X;Y)=H(Y)-H(Y/X)（5分）TOC\o"1-5"\h\z、 2 1（5分）=log23-(q+Jo")2 3 2 212=Ilog3-2比特/符號(hào)2 2 3五、（共1小題，每題14分，共計(jì)14分）設(shè)一離散單符號(hào)信道的概率轉(zhuǎn)移圖如下所示，（1）寫出該信道的信道矩陣P；（11 11\⑵判斷輸入概率分布已七，4’°’4,4］是否為該信道的最佳輸入分布，并求該信道的信道容量C。解：(1)信道轉(zhuǎn)移矩陣p為:TOC\o"1-5"\h\z( \1 °（4分）（4分）P=°.5 °.5° 1° 1V J（2）因?yàn)?/p>

TOC\o"1-5"\h\z1 00.5)Py=(0.25,0.25,0,0.25,0.25)-0.50.5=(0.5,0.5)0 1I(x,Y)=1Lp(y/x)-log"'j1X1)=1-log1+0=1月j1 2p(y,) 20.5I(x,Y)=1Lp(y/x)-logp(yj1x2)=1?log史+0=1,]j2 2p(y.) 20.5I(x,Y)=1Lp(y/x)?log"’J/：J=2?0.5?log約=0<1「j3 2p(y) 20.5I(x,Y)=1Lp(y/x)-logp(y//x4)=0+1?log二=1.]j4 2p(y,) 20.5I(x,Y)=1Lp(y/x)-logp(yj'x5)=0+1-log上=1j5 2p(y) 20.5r11 11A由信道容量定理知：輸入概率分布px=V-4,：，°,4,4j是該信道的最佳輸入分布，且信道容量為C=1布，且信道容量為C=1比特/符號(hào)（10分）六、(共1小題，每題10分，共計(jì)10分)設(shè)離散無記憶信源如下：=ss2,S3,P0.05,0.05,0.11,0.12,0.27,0.40通過樹圖構(gòu)造法給出此信源的一個(gè)霍夫曼碼。解：權(quán)序列0.05，0.05，0.11，0.12，0.27，0.40對(duì)應(yīng)的最優(yōu)二元樹為:利用此最優(yōu)二元樹可得霍夫曼碼為C=(00000,00001,0001,001,01,1)其中00000表示s，00001表示s.，0001表示s，001表示s』，01表示s，1表示s<1 2 3 4 5 6

七、(共1小題，每題15分，共計(jì)15分)已知信源符號(hào)序列為；ABCCABCCCCCCAAAA,利用基于字典的編碼方法(LZW)對(duì)該信源序列進(jìn)行壓縮編碼，通過下表給出編碼過程，并給出編碼后的碼符號(hào)序列.步驟讀入字符前綴尾字符查找對(duì)象新單詞輸出碼子0AAA1BABAB1000412CBCBC1010423CCCCC1020434ACACA1030435BABAB6