信息論習(xí)題集一、名詞解釋(25道)4、自信息量(P9)5、離散平穩(wěn)無記憶信源(P39)6、馬爾可夫信源(P46)二、填空(100道)1、在認(rèn)識(shí)論層次上研究信息的時(shí)候，必須同時(shí)考慮到形式、含義和效用三個(gè)方面的因了。10、單符號(hào)離散信源一般用隨機(jī)變量描述，而多符號(hào)離散信源一般用隨機(jī)矢量描述。、一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對(duì)數(shù)12、自信息量的單位一般有比特、奈特和哈特。。15、兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合自信息量等于兩個(gè)自信息量之和。之間的平均互信息量趨于變小。21、平均功率為P的高斯分布的連續(xù)信源，其信源熵，Hc(X)=22。22、對(duì)于限峰值功率的N維連續(xù)信源，當(dāng)概率密度均勻分布時(shí)連續(xù)信源熵具有最大值。大值。信源的熵功率P之比。則編碼長(zhǎng)度至少為3。ii27、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為log26。28、同時(shí)擲兩個(gè)正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時(shí)出現(xiàn)”這件事的自30、一副充分洗亂的撲克牌(52張)，從中任意抽取1張，然后放回，若把這一過程看作離32、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為無記憶信道。34、強(qiáng)對(duì)稱信道的信道容量C=log2n-Hni。35、對(duì)稱信道的信道容量C=log2m-Hmi。36、對(duì)于離散無記憶信道和信源的N次擴(kuò)展，其信道容量CN=NC。xCN立并聯(lián)信道，其信道容量CN=k=1k。38*、多用戶信道的信道容量用多維空間的一個(gè)區(qū)域的界限來表示。。40*、廣播信道是只有一個(gè)輸入端和多個(gè)輸出端的信道。41、當(dāng)信道的噪聲對(duì)輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時(shí)，此信道稱為加性連續(xù)信道。1P1P43、信道編碼定理是一個(gè)理想編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。44、信道矩陣L001」代表的信道的信道容量C=1。「10] 47、對(duì)于具有歸并性能的無燥信道，達(dá)到信道容量的條件是p(yj)=1/m)。48、信道矩陣L01」代表的信道，若每分鐘可以傳遞6*105個(gè)符號(hào)，則該信道的最大信息49、信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。51、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確定性就越大，獲得的信息量就越小。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。的誤差或失真。(0i=j〈54、漢明失真函數(shù)d(xi，yj)=l1i豐j。55、平方誤差失真函數(shù)d(xi，yj)=(yj-xi)2。56、平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d(xi，yj)在X和Y的聯(lián)合概率空間P (XY)中的統(tǒng)計(jì)平均值。57、如果信源和失真度一定，則平均失真度是信道統(tǒng)計(jì)特性的函數(shù)。真度準(zhǔn)則。59、離散無記憶N次擴(kuò)展信源通過離散無記憶N次擴(kuò)展信道的平均失真度是單符號(hào)信源通過單符號(hào)信道的平均失真度的N倍。ji。61、信息率失真函數(shù)，簡(jiǎn)稱為率失真函數(shù)，即：試驗(yàn)信道中的平均互信息量的最小值。62、平均失真度的下限取0的條件是失真矩陣的每一行至少有一個(gè)零元素。64、率失真函數(shù)對(duì)允許的平均失真度是單調(diào)遞減和連續(xù)的。65、對(duì)于離散無記憶信源的率失真函數(shù)的最大值是log2n。22D(D/a)。73、按照不同的編碼目的，編碼可以分為三類：分別是信源編碼、信道編碼和安全編碼。75、一般情況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼。76、連續(xù)信源或模擬信號(hào)的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。，其編碼效率為1。。概率為p[L(0)]=p0L(0)1p1。83、游程序列的熵等于原二元序列的熵。應(yīng)的二元序列的編碼效率為η，則三者的關(guān)系是η0>η>η1。85、在實(shí)際的游程編碼過程中，對(duì)長(zhǎng)碼一般采取截?cái)嗵幚淼姆椒ā?7、在多符號(hào)的消息序列中，大量的重復(fù)出現(xiàn)的，只起占時(shí)作用的符號(hào)稱為冗余位。91、信道編碼的最終目的是提高信號(hào)傳輸?shù)目煽啃浴?5、等重碼可以檢驗(yàn)全部的奇數(shù)位錯(cuò)和部分的偶數(shù)位錯(cuò)。96、任意兩個(gè)碼字之間的最小漢明距離有稱為碼的最小距dmin，則dmin=c豐c'。98、若檢錯(cuò)碼的最小距離為dmin，則可以檢測(cè)出任意小于等于l=d-1min個(gè)差錯(cuò)。99、線性分組碼是同時(shí)具有分組特性和線性特性的糾錯(cuò)碼。碼。錯(cuò)信息量和條件自信息量都是非負(fù)的和單調(diào)遞減的。對(duì)ijijijij對(duì)I(xy)=I(x)+I(y/x)=Iijijijij對(duì)ijiijjji對(duì)I(x;y)=I(x)I(x/y)=I(ijiijjji對(duì)10、信源熵具有嚴(yán)格的下凸性。錯(cuò)11、平均互信息量I(X；Y)對(duì)于信源概率分布p(xi)和條件概率分布p(yj/xi)都具有凸對(duì)20、若對(duì)一離散信源(熵為H(X))進(jìn)行二進(jìn)制無失真編碼，設(shè)定長(zhǎng)碼子長(zhǎng)度為K，變長(zhǎng)21、信道容量C是I(X；Y)關(guān)于p(xi)的條件極大值。對(duì)22、離散無噪信道的信道容量等于log2n，其中n是信源X的消息個(gè)數(shù)。錯(cuò)p(p(y)=23、對(duì)于準(zhǔn)對(duì)稱信道，當(dāng)jm時(shí)，可達(dá)到信道容量C。錯(cuò)27、信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。對(duì)28、最大信息傳輸速率，即：選擇某一信源的概率分布(p(xi))，使信道所能傳送的信息29、對(duì)于具有歸并性能的無燥信道，當(dāng)信源等概率分布時(shí)(p(xi)=1/n)，達(dá)到信道容量。錯(cuò)30、求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的極小值。對(duì)32、當(dāng)p(xi)、p(yj/xi)和d(xi，yj)給定后，平均失真度是一個(gè)隨即變量。錯(cuò)33、率失真函數(shù)對(duì)允許的平均失真度具有上凸性。對(duì)36、率失真函數(shù)的值與信源的輸入概率無關(guān)。錯(cuò)限失真信源編碼定理。錯(cuò)42、游程序列的熵(“0”游程序列的熵與“1”游程序列的熵的和)大于等于原二元序列的對(duì)五、證明(10道)2X全相等時(shí)，上式取等號(hào)。I(X；YZ)=I(X；Y)+I(X；Z/Y)=I(X；Z)+X；Y/Z)Y不相互重合時(shí)，有H(Y)-H(X)=H(Y/X)I(X；Y)=N*I(X；Y)N信源，有RN(D)=NR(D)。其中N為任意正整數(shù)，Dmin。9、試證明離散二元無記憶信源的熵等于對(duì)應(yīng)的游程序列的熵。六、計(jì)算(20道)limH(X) (1)H(X2)(2)H(X3/X1X2)(3)N)w試計(jì)算：H(X)、H(Y)、H(XY)、H(X/Y)、H(Y/X)、H(X；Y)(1)“3和5同時(shí)出現(xiàn)”這事件的自信息量；(3)兩個(gè)點(diǎn)數(shù)的各種組合(無序?qū)?的熵或平均自信息量；(4)兩個(gè)點(diǎn)數(shù)之和(即2、3、…12構(gòu)成的子集)的熵；「p|Lpp(y「p|Lpp(y)=kmC=-xsmp(y)logp(y)-H(q,q,^,q)(2)k=1kk2k12mLOG23≈1.585LOG25≈2.3236LOG211≈3.46)4、某校入學(xué)考試中有1/4考生被錄取，3/4考生未被錄取。被錄取的考生中有50%來自本市，而落榜考生中有10%來自本市。所有本市的考生都學(xué)過英語。而外地落榜考生以(1)當(dāng)已知考生來自本市時(shí)，給出多少關(guān)于考生是否被錄取的信息；(2)當(dāng)已知考生學(xué)過英語時(shí)，給出多少有關(guān)考生是否被錄取的信息；zHXH(Y|X)、H(Z|XY)。xnP(n)Xn=0isafixedvalueA.EvaluatetheresultingH(X).(1)對(duì)該信源編二進(jìn)制費(fèi)諾(Fano)碼；(2)計(jì)算其信息熵、平均碼長(zhǎng)、信息率、編碼效率。7、已知一個(gè)信源包含八個(gè)符號(hào)消息,它們的概率分布如下表,EEGDBHAFC①該信源每秒鐘內(nèi)發(fā)出一個(gè)符號(hào),求該信源的熵及信息傳輸速率。②對(duì)八個(gè)符號(hào)作二進(jìn)制碼元的霍夫曼編碼,寫出各代碼組,并求出編碼效率。③對(duì)八個(gè)符號(hào)作三進(jìn)制碼元的霍夫曼編碼,寫出各代碼組,并求出編碼效率。9、設(shè)二進(jìn)制對(duì)稱無記憶信道，信道矩陣為[P]=試計(jì)算：(1)[P]代表的信道的信道容量C；p]|(2)[P3]代表的信道的信道容量C3。提示：利用如下公式象元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn)并且個(gè)組合之間相互獨(dú)立。(1)計(jì)算每秒傳送25幀圖象所需要的信道容量；(2)如果在加性高斯白噪聲信道上信號(hào)與噪聲平均功率的比值為63，為實(shí)時(shí)傳送彩色 ax (2)率失真函數(shù)R(D)；1 (3)當(dāng)d=p時(shí)的信息率(即R(D))；2(4)粗略地繪制D與R的關(guān)系曲線。 (2)信道傳輸矩陣P(Y/X)1223「1101000]17、設(shè)二元(7,4)線性分組碼的生成矩陣為G=||L1010001」給出該碼的一致校驗(yàn)矩陣并寫出所有的伴隨式和與之相對(duì)應(yīng)的陪集首。若接收矢量18、有一組碼將二位信息位編成五位長(zhǎng)的碼字，其規(guī)則如下：(1)證明此碼是系統(tǒng)一致校驗(yàn)碼；(2)找出其生成矩陣和一致校驗(yàn)矩陣；011 (3)對(duì)于無記憶二元對(duì)稱信道(p<<)，列出其最大似然譯碼的譯碼表；2(4)計(jì)算正確譯碼概率。設(shè)一分組碼具有一致校驗(yàn)矩陣|010101011|(1)求這分組碼n=？k=？，共有多少個(gè)碼字？(2)求此分組碼的生成矩陣；(3)矢量101010是否是碼字？實(shí)際錯(cuò)誤不同？(1)Writedow