(1)1948年，美國數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。(2)必然事件的自信息是0。(3)離散平穩(wěn)無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍。(4)對于離散無記憶信源，當(dāng)信源熵有最大值時，滿足條件為信源符號等概分布。(5)若一離散無記憶信等于2.5,對信源進(jìn)行等長的無失真二進(jìn)制編碼，則編碼 (6)對于香農(nóng)編碼、費諾編碼和霍夫曼編碼，編碼方法惟一的是香農(nóng)編碼。(7)已知某線性分組碼的最小漢明距離為3,那么這組碼最多能檢測出2個碼元錯誤，(8)設(shè)有一離散無記憶平穩(wěn)信道，其信道容量為C,只要待傳送的信息傳輸率R小于C(大于、小于或者等于),則存在一種編碼，當(dāng)輸入序列長度n足夠大，使譯碼錯誤概率任意小。(1)信息就是一種消息。(2)信息論研究的主要問題是在通信系統(tǒng)設(shè)計中如何實現(xiàn)信息傳輸、存儲和處理的有效性和可靠(4)互信息量可正、可負(fù)亦可為零。(5)信源剩余度用來衡量信源的相關(guān)性程度，信源剩余度大說明信源符號間的依賴關(guān)系較小。(8)信源變長編碼的核心問題是尋找緊致碼(或最佳碼),霍夫曼編碼方法構(gòu)造的是最佳碼。(9)信息率失真函數(shù)R(D)是關(guān)于平均失真度D的上凸函數(shù).(x)三、(5')居住在某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量?P(A)=0.25p(B)=0.5p(B|A)=0.75(2分)(2分)(1分)(1分)則因為故即(1分)(1分)1)黑色出現(xiàn)的概率為0.3,白色出現(xiàn)的概率為0.7。給出這個只有兩個符號的信源X的數(shù)學(xué)模型。2)假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為P3)分別求上述兩種信源的冗余度，比較它們的大小并說明其物理意義。解：1)信源模型為(1分)(2分)(2分)2)由題意可知該信源為一階馬爾科夫信源。(2分)由(4分)(2分)(3分)(1分)(1分)映信源符號依賴關(guān)系的強(qiáng)弱，冗余度越大，依賴關(guān)系就越大。(2分),試分別構(gòu)造二元香農(nóng)碼和二元霍夫曼碼，計算其平均碼長和編碼效率(要求有編碼過程)。0 0 信源消息符號a,符號概率(a)率P,度1,4"?as“60 0 信源符號a?概率p(a)碼字W,碼長1,a?a“4“s“6a.a,試分別按七(6').設(shè)有一離散信道，其信道傳遞矩陣為,并設(shè),試分別按1)(3分)最小似然譯碼準(zhǔn)則下，有，2)(3分)最大后驗概率準(zhǔn)則下，有，2)求x?=0解：1)共6分1)求此分組碼n=?,k=?共有多少碼字?2)求此分組碼的生成矩陣G。3)寫出此分組碼的所有碼字。4)若接收到碼字(101001),求出伴隨式并給出翻譯結(jié)果。解：1)n=6,k=3,共有8個碼字。(3分)(3分)(3分)(2分)生成矩陣為(2分)3)所有碼字為000000,001101,010011,011110,100110,101011,110101,111000。(4分)S=(101),(2分)該碼字在第5位發(fā)生錯誤，(101001)糾正為(101011),即譯碼為(101001)(1分)1.在無失真的信源中，信源輸出由H(X)來度量；在有失真的信源中，信源輸出由R(D)2.要使通信系統(tǒng)做到傳輸信息有效、可靠和保密，必須首先，信源編碼，3.帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式，也就是有名的香農(nóng)公式是C=Wlog(1+SNR);當(dāng)歸一化信道容量C/W趨近于零時，也即信道完全喪失了通信4.保密系統(tǒng)的密鑰量越小，密鑰熵H(K)就越小,其密文中含有的關(guān)于5.已知n=7的循環(huán)碼g(x)=x?+x2+x+1,則信息位長度k為3,校驗多項式真函數(shù)為d(0,0)=d(1,1)=DminDminbitsymbol 10.在已知收碼R的條件下找出可能性最大的發(fā)碼C;作為譯碼估計值，這種譯碼方某系統(tǒng)(7,4)碼(1)求對應(yīng)的生成矩陣和校驗矩陣；(2)計算該碼的最小距離；(3)列出可糾差錯圖案和對應(yīng)的伴隨式；(4)若接收碼字R=1110011,求發(fā)碼。解：1.SE接收出錯R+E=C=1110010(發(fā)碼)X0X010101/3H(X)=H(Y)=H(1/3,2/3)=bitsymbolI(X;Y)=H(X)+H(Y)-H(X,Ybitsymbol五、計算題若有一信,每秒鐘發(fā)出2.55個信源符號。將此信源的輸出符號送入某一個二元信道中進(jìn)行傳輸(假設(shè)信道是無噪無損的，容量為1bit/二元符號),而信道每秒鐘只傳遞2個二元符號。(1)試問信源不通過編碼(即x→0,x?→1在信道中傳輸)解：1.不能，此時信源符號通過0,1在信道中傳輸，2.55二元符號/s>2二元符號/s七、計算題(1)寫出信道轉(zhuǎn)移矩陣；(2)求這個信道的信道容量。信息理論與編碼試卷A答案中南大學(xué)考試試卷一填空題(本題20分，每小題2分)1無失真信源編碼的中心任務(wù)是編碼后的信息率壓縮接近到限失真壓縮中心任務(wù)是在給農(nóng)在貝爾雜志上發(fā)表了兩篇有關(guān)的"通信的數(shù)學(xué)理論"文章，該文用熵對信源的4的度量，信道傳輸，接收端收到信息后，對發(fā)送端發(fā)送什么仍然存在一個不確定量，把這兩個不確定量用6來表示，它表現(xiàn)了通信信道流通的7,若把它取最大值，就是通信線路的8,若把它取最小值，就是9。二簡答題(本題20分，每小題4分)1.根據(jù)信息理論當(dāng)前無失真壓宿在壓宿空間和速度兩個方頻電話線上傳輸二進(jìn)制數(shù)據(jù)，并且沒有太高的錯誤率。現(xiàn)在，我們上網(wǎng)用的“貓”的速度已可達(dá)到速度都很低，遠(yuǎn)低于56Kbps(通常音頻電話連接支持的頻率范圍為300Hz到3300Hz,而一般鏈路典型的信噪比是30dB)(摘自中新網(wǎng))3.結(jié)合信息論課程針對”信息"研究對象，說明怎樣研究一個對象.5.新華社電，2008年5月16日下午6時半，離汶川地震發(fā)生整整100個小時。虛弱得已近昏迷的發(fā)現(xiàn)父親左手腕上歪歪扭扭寫著一句話：“我欠王老大3000元?！比嬎憔幋a題(本題60分)1.從大量統(tǒng)計資料知道，男性中紅綠色盲的發(fā)病率為7%,女性發(fā)病率為0.5%。(10分)(1)若問一位女士："你是否是色盲?”他的回答可能是“是”,可能是“否",問這兩個回答中各含多少信息量?從計算的結(jié)果得出一個什么結(jié)論?(2)如果問一位女士，問她回答(是或否)前平均不確定性和回答(是或否)后得到的2.黑白氣象傳真圖的消息只有黑色和白色兩種，即信源K{黑，白}。設(shè)黑色出現(xiàn)的概率為P(黑)=0.5,白色出現(xiàn)的概率為P(白)=0.5。(10分)(1)假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求信源的H熵；(2)假設(shè)消息只前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白)=0.8,P(黑/白)=0.2,P(白/黑)=0.4,P(黑/黑)=0.6,求信源的H熵；(3)比較上面兩個Ma的大小，并說明其物理含義。若P(0)=3/4,P(1)=1/4,求該信道的信物理含義。(10分),求：(10分)(1)收到消息y;(j=1)后，獲得的關(guān)于x;(i=2)的信息量；(2)信源X和信宿Y的信息熵；信道疑義度H(X/Y)和噪聲熵H(Y/X);(3)接收到信息Y后獲得的平均互信息量。6二元(7,4)漢明碼校驗矩陣H為：(10分)(1)寫出系統(tǒng)生成矩陣G,列出錯誤形式和伴隨矢量表，你能發(fā)現(xiàn)他們之間有什么聯(lián)系，若沒有這(2)若收到的矢量0000011,請列出編碼后發(fā)送矢量、差錯矢量、和編碼前信息矢量。???XXX???XXX一、填空題(每空2分，共20分)為為,,P(x?)=.,P(x?)=.二、簡答題(30分)H(X)=1/4log?4+3/4logX?XH(XX)=1/16log?16+3/16log?(16/3)+3/16log?(16/3)+9/1log以及以及I(X:,2.什么是損失熵、噪聲熵?什么是無損信道和確定信道?如輸入輸出為r×s,則它們的分別信道3.信源編碼的和信道編碼的目的是什么?(1)符號變換：使信源的輸出符號與信道的輸入符號相匹配；(2)冗余度壓縮：是編碼之后的新信源概率均勻化，信息含量效率等于或接近于100%。4.什么是香農(nóng)容量公式?為保證足夠大的信道容量，可采用哪兩種方法?由此，為保證足夠大的信道容量，可采用(1)用頻帶換信噪比；(2)用信噪比換頻帶。三、綜合題(20+15+15)(1)計算熵H(X),H(Y),H(Z),H(XZ),H(YZ),以及H(XYZ);(3)計算平均互信息量I(X;Y),I(X:Z),I(Y:ZYIZZIX解：(1)010103/803/800Z01H(Z)=7/8log?(8/7)log00H(XZ)=1/2log?2+3/8log?(8/3logH(YZ)=1/2log?2+3/8log?(8/3logH(XIY)=1/2(1/4log?4+3/4log?(4/3))+1/2(1/4log?4+3logH(YIX)=1/2(1/4log?4+3/4log?(4/3))+1/2(1/4log?4+3log01001H(XIZ)=7/8(4/7log?(7/4)+3/7log?(7/3))+1/8(loglogH(ZIX)=1/2(1log?1+0log?0)+1/2(3/4log?(4/3log01001H(YIZ)=7/8(4/7log?(7/4)+3/7log?(7/3))+1/8(loglogH(ZIY)=1/2(1log?1+0log?0)+1/2(3/4log?(4/3)logH(XIYZ)=1/2(1/4log?4+3/4log?(4/3))+3/8(1log?1+0log?0)+1/8loglogH(YIXZ)=1/2(1/4log?4+3/4log?(4/3))+3/8(1log?1+0log?0)+1/8loglog2.設(shè)二元對稱信道的輸入概率分布分別為[Px]=[3/41/4],轉(zhuǎn)移矩陣為(2)求信道容量和最佳輸入分布；解：(1)信道的輸入熵H(X)=3/4log?(4/3)+1/4log?4;H(Y)=7/12log?(12/7)+5/12log?H(YIX)=3/4H(1/2,1/4)+1/4H(1/1[Rx]=[5],試確定最佳譯碼規(guī)則和極大似然譯碼規(guī)則，并計算出相應(yīng)的平均及及式日期號班級多少信息量。,,由p(wl)=p(rl)p(wl/rl)+p(r2)p(wl/r2)=p(wl/r2)=4要用于解決信息傳輸中的有效性,信道編碼主要用加密編碼主要用于解決信息傳輸中的安全性。n,輸出符號數(shù)為m,信道轉(zhuǎn)移概率矩陣為pj,則該信對的葉節(jié)點，則該碼字為唯一可譯碼。率矩陣為P,穩(wěn)態(tài)分布為W,則W和P滿足的方程為輸出端的熵為H(Y),該信道為無噪有損信道，則該信。為n,則當(dāng)信源符號呈等概分布情況下，信增加，輸入消息和輸出消息之間的平均互信息量趨于分70%是2kQ,30%是5kQ;按功耗分64%是1/8W,%是1/8W,假如得知5kQ電阻的功耗為1/4W,問獲得三、(18分)已知6符號離散信源的出現(xiàn)概率為熵、Huffman編碼和費諾編碼的碼字、平均碼長及編符號概率10.250.25100.12510.031250001四、(14分)在圖片傳輸中，每幀約有2×106個像素，分256個亮度電平，并假設(shè)亮度電平等概分布。試計算1111110元/符號量及達(dá)到信道容量時的輸入,同理可得I(X=a?;Y)=lb2六、(16分)設(shè)離散信v2,v3,v4},失真矩陣為達(dá)到Dmin和Dmx時的編碼器轉(zhuǎn)移概率矩陣P。R(Dmin)=R(0)=H(U)=1-p*logp-(1-p)*log(1-p)=1+H(p)。移概率矩陣可取任意1列為全1,如,此時3.設(shè)信源為X={0,1},P(0)=1/8,則信源的熵為1/8log,8+7/8log,(7/8)比特/符號，如信對其進(jìn)行定長編碼，若所編的碼為{000,001,010,011,100,101},則編碼《信息論與編碼》考試卷(B卷)一、填空題(共20分，每空2分)一、填空題(共20分，每空2分)題號二三四五六七八九十總分總復(fù)查人1.信息的基本概念在于它的不確定性。2.按照信源發(fā)出的消息在時間和幅度上的分布情況，可將信源分成離散信源和連續(xù)信源兩大類。3.一個隨機(jī)事件的自信息量定義為其出現(xiàn)概率對數(shù)的負(fù)值。4.按樹圖法構(gòu)成的碼一定滿足即時碼的定義。5.有擾離散信道編碼定理稱為香農(nóng)第二極限定理。7.信道一般指傳輸信息的物理媒介，分為有線信道和無線信道。8.信源編碼的主要目的是提高通信系統(tǒng)的有效性。二、選擇題(共10分，每題2分)1.給定x;條件下隨機(jī)事件y所包含的不確定度和條件自信息量p(y/x),(D)A.數(shù)量上不等，單位不同B.數(shù)量上不等，單位相同C.數(shù)量上相等，單位不同D.數(shù)量上相等，單位相同A.在樹根上安排碼字C.在中間節(jié)點上安排碼字B.在樹枝上安排碼字D.在終端節(jié)點上安排碼字下列說法正確的是：A.奇異碼是唯一可譯碼C.非奇異碼不一定是唯一可譯碼B.非奇異碼是唯一可譯碼D.非奇異碼不是唯一可譯碼下面哪一項不屬于熵的性質(zhì)：A.非負(fù)性B.完備性C.對稱性D.確定性三、名詞解釋(共15分，每題5分)2.碼距轉(zhuǎn)移概率矩陣的每一列都是第一列的置換(包含同樣元素),則該矩陣稱為輸出對稱矩陣。三、簡答題(共20分，每題10分)②取兩個概率最小的符號分別配以0和1,并將這兩個概率相加作為一個新符號的概率，與未分③對重排后的兩個概率最小符號重復(fù)步驟2的過程。④繼續(xù)上述過程，直到最后兩個符號配以0和1為止。⑤從最后一級開始，向前返回得到各個信源符號所對應(yīng)的碼四、計算題(共35分)p(0/0)=p(1/0)=0.5p(1/1)=0.25p(0/1)=0.75一、填空題1.設(shè)信源X包含4個不同離散消息，當(dāng)且僅當(dāng)X中各個消息出現(xiàn)的概率為1/4時，信源熵達(dá)到最大值，為2,此時各個消息的自信息量為2。2.如某線性分組碼的最小漢明距dmin=4,則該碼最多能檢測出3個隨機(jī)錯，最多能3.克勞夫特不等式是唯一可譯碼存在的充要條件。4.平均互信息量I(X;Y)與信源熵和條件熵之間的關(guān)系是(X;Y)=H(X)-H(X/Y)信的安全性。6.信源編碼的目的是提高通信的有效性,信道編碼的目的是提高通信的可靠性,加密編碼的目的是保證通信的安全性。7.設(shè)信源X包含8個不同離散消息，當(dāng)且僅當(dāng)X中各個消息出現(xiàn)的概率為1/8時，信源熵達(dá)到最大值，為3。8.自信息量表征信源中各個符號的不確定度，信源符號的概率越大，其自信息量越小9.信源的冗余度來自兩個方面，一是信源符號之間的相關(guān)性,二是信源符號分布的不均勻性。10.最大后驗概率譯碼指的是譯碼器要在已知r的條件下找出可能性最大的發(fā)碼作為譯碼估值，即令=maxP(Ir)。11.常用的檢糾錯方法有前向糾錯、反饋重發(fā)和混合糾錯三種。二、單項選擇題1.下面表達(dá)式中正確的是(A)。2.彩色電視顯像管的屏幕上有5×105個像元，設(shè)每個像元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn)，并且各個組合之間相互獨立。每秒傳送25幀圖像所需要的信道容量(C)。3.已知某無記憶三符號信源a,b,c等概分布，接收端為二符號集，其失真矩陣為d-,則信源4.線性分組碼不具有的性質(zhì)是(C)。A.任意多個碼字的線性組合仍是碼字B.最小漢明距離等于最小非0重量C.最小漢明距離為3D.任一碼字和其校驗矩陣的乘積cmHT=05.率失真函數(shù)的下限為(B)。A.H(U)B.0C.I(U;V)D.沒有下限6.糾錯編碼中，下列哪種措施不能減小差錯概率(D)。A.增大信道容量B.增大碼長C.減小碼率D.減小帶寬7.一珍珠養(yǎng)殖場收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相同但重量僅有微小差異的假珠換掉1顆。一人隨手取出3顆，經(jīng)測量恰好找出了假珠，不巧假珠又滑落進(jìn)去，那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結(jié)果確是如此，這一事件給出的信息量。8.下列陳述中，不正確的是(D)。A.離散無記憶信道中，H(Y)是輸入概率向量的凸函數(shù)B.滿足格拉夫特不等式的碼字為惟一可譯碼C.一般地說，線性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯、糾錯能力越強(qiáng)D.滿足格拉夫特不等式的信源是惟一可譯碼9.一個隨即變量x的概率密度函數(shù)P(x)=x/2,0≤x≤2V,則信源的相對熵為(C)。10.下列離散信源，熵最大的是(D)。A.H(1/3,1/3,1/3);B.H(1/A.文字B.信號C.圖像D.語言12.為提高通信系統(tǒng)傳輸消息有效性，信源編碼采用的方法是(A)。A.壓縮信源的冗余度B.在信息比特中適當(dāng)加入冗余比特C.研究碼的生成矩陣D.對多組信息進(jìn)行交織處理13.最大似然譯碼等價于最大后驗概率譯碼的條件是(D)。A.離散無記憶信道B.無錯編碼C.無擾信道D.消息先驗等概14.下列說法正確的是(C)。A.等重碼是線性碼B.碼的生成矩陣唯一C.碼的最小漢明距離等于碼的最小非0重量D.線性分組碼中包含一個全0碼字15.二進(jìn)制通信系統(tǒng)使用符號0和1,由于存在失真，傳輸時會產(chǎn)生誤碼，用符號表示下列事件，u0:一個0發(fā)出ul:一個1發(fā)出v0:一個0收到v1:一個1收到則已知收到的符號，被告知發(fā)出的符號能得到的信息量是(A)。A.-log36bitB.logbitClogbitDlogbit18.已知某(6,3)線性分組碼的生成矩陣,則不用計算就可判斷出下列9.DMC信道轉(zhuǎn)移概率矩陣為,則此信道在其輸入端的信源分布為則該碼最多能檢測出3個隨機(jī)錯誤。其發(fā)生的消息為(202120130213001203210110321010020320011223210),(1)根據(jù)“離散無記憶信源發(fā)出的消息序列的自信息等于消息中各個符號的自信息之(2)在此消息中平均每個符號攜帶的信息量是多少?4.信源X共有6個符號消息，其概率分布為P(X)={0.37,0.25,0.18,0.10,0.07,0.03}。(1)對這6個符號進(jìn)行二進(jìn)制哈夫曼編碼(給出編碼過程),寫出相應(yīng)碼字，并求出平均碼長和編(2)哈夫曼編碼的結(jié)果是否唯一?如果不唯一，請給出原因。5.二進(jìn)制通信系統(tǒng)使用符號0和1,由于存在失真，傳輸時會產(chǎn)生誤碼，用符號表示下列事件。xo:一個0發(fā)出；xi:一個1發(fā)出yo:一個0收到；yi:一個1收到(1)求信源的熵H(X);(2)已知發(fā)出的符號，求收到符號后得到的信息量H(Y/X);(3)已知發(fā)出和收到的符號，求能得到的信息量H(X,Y)。(1)試寫出該信道的轉(zhuǎn)移概率矩陣；(2)求該信道的信道容量。8.設(shè)有離散無記憶信源X共有5個符號消息，其概率分布為P(X)={0.4,0.2,0.2,0.1,0.1}。(1)對這5個符號進(jìn)行二進(jìn)制哈夫曼編碼(給出編碼過程),寫出相應(yīng)碼字，并求出平均碼長和編(2)哈夫曼編碼的結(jié)果是否唯一?如果不唯一，請給出原因。、平均自信息為表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。平均互信息表示從Y獲得的關(guān)于每個X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個系統(tǒng)不確定性減少的量。2、最大離散熵定理為：離散無記憶信源，等概率分布時熵最大。4、通信系統(tǒng)模型如下：信道信源YS5、香農(nóng)公式為保證足夠大的信道容量，可采用(1)用頻帶換信噪比；(2)用信噪比換頻帶。6、只,當(dāng)N足夠長時，定存在種無失真編碼。7、當(dāng)R<C時，只要碼長足夠長，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯誤概8、在認(rèn)識論層次上研究信息的時候，必須同時考慮到形式、含義和效用三個方面的9、1948年，美國數(shù)學(xué)家香農(nóng)發(fā)表了題為"通信的數(shù)學(xué)理論"的長篇論文，從而創(chuàng)立了信息論。按照信息的性質(zhì)，可以把信息分成語法信息、語義信息和語用信息。按照信息的地位，可以把信息分成客觀信息和主觀信息。人們研究信息論的目的是為了高效、可靠、安全地交換和利用各種各樣的信息。信息的可度量性是建立信息論的基礎(chǔ)。統(tǒng)計度量是信息度量最常用的方法。熵是香農(nóng)信息論最基本最重要的概念。事物的不確定度是用時間統(tǒng)計發(fā)生概率的對數(shù)來描述的。10、單符號離散信源一般用隨機(jī)變量描述，而多符號離散信源一般用隨機(jī)矢量描述。11、一個隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數(shù)的負(fù)值。12、自信息量的單位一般有比特、奈特和哈特。13、必然事件的自信息是0。14、不可能事件的自信息量是。15、兩個相互獨立的隨機(jī)變量的聯(lián)合自信息量等于兩個自信息量之和。16、數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。17、離散平穩(wěn)無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍19、對于n元m階馬爾可夫信源，其狀態(tài)空間共有nm個不同的狀態(tài)。20、一維連續(xù)隨即變量X在[a,b]區(qū)間內(nèi)均勻分布時，其信源熵為log2(b-a)21、平均功率為P的高斯分布的連續(xù)信源，其信源熵，22、對于限峰值功率的N維連續(xù)信源，當(dāng)概率密度均勻分布時連續(xù)信源熵具有最大值。23、對于限平均功率的一維連續(xù)信源，當(dāng)概率密度高斯分布時，信源熵有最大值。24、對于均值為0,平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值25、若一離散無記憶信源的信源熵H(X)等于2.5,對信源進(jìn)行等長的無失真二進(jìn)制編碼，則編碼長度至少為327、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為1og26。28、同時擲兩個正常的骰子，各面呈現(xiàn)的概率都為1/6,則“3和5同時出現(xiàn)”這件事29、若一維隨即變量X的取值區(qū)間是[0,…],其概率密度函數(shù)為,其中：30、一副充分洗亂的撲克牌(52張),從中任意抽取1張，然后放回，若把這一過程看31、根據(jù)輸入輸出信號的特點，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信32、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為無記憶信道。33、具有一一對應(yīng)關(guān)系的無噪信道的信道容量C=log2n。34、強(qiáng)對稱信道的信道容量C=log2n-Hni。35、對稱信道的信道容量C=log2m-Hmi。36、對于離散無記憶信道和信源的N次擴(kuò)展，其信道容量CN=NC37、對于N個對立并聯(lián)信道，其信道容量38、多用戶信道的信道容量用多維空間的一個區(qū)域的界限來表示。39、多用戶信道可以分成幾種最基本的類型：多址接入信道、廣播信道和相關(guān)信源信40、廣播信道是只有一個輸入端和多個輸出端的信道。41、當(dāng)信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時，此信道稱為加性連續(xù)信道。42、高斯加性信道的信道容量43、信道編碼定理是一個理想編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。44、信道矩代表的信道的信道容量C=145、信道矩陣代表的信道的信道容量C=1。46、高斯加性噪聲信道中，信道帶寬3kHz,信噪比為7,則該信道的最大信息傳輸速率47、對于具有歸并性能的無燥信道，達(dá)到信道容量的條件是p(yj)=1/m)代表的信道，若每分鐘可以傳遞6*105個符號，則該信道的最大信息傳輸速率Ct=10kHz。49、信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。50、求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的極小值。51、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越大,獲得的信息量就越小。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。53、單符號的失真度或失真函數(shù)d(xi,yj)表示信源發(fā)出一個符號xi,信宿再現(xiàn)yj所引起的誤差或失真。55、平方誤差失真函數(shù)d(xi,yj)=(yj-xi)2。56、平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d(xi,yj)在X和Y的聯(lián)合概率空間P(XY)中的統(tǒng)計平均值。57、如果信源和失真度一定，則平均失真度是信道統(tǒng)計特性的函數(shù)。58、如果規(guī)定平均失真度D不能超過某一限定的值D,即：D≤D。我們把D≤D稱為保真度準(zhǔn)則。59、離散無記憶N次擴(kuò)展信源通過離散無記憶N次擴(kuò)展信道的平均失真度是單符號信源通過單符號信道的平均失真度的N倍。61、信息率失真函數(shù)，簡稱為率失真函數(shù)，即：試驗信道中的平均互信息量的最小值。62、平均失真度的下限取0的條件是失真矩陣的每一行至少有一個零元素。64、率失真函數(shù)對允許的平均失真度是單調(diào)遞減和連續(xù)的。65、對于離散無記憶信源的率失真函數(shù)的最大值是log2n。66、當(dāng)失真度大于平均失真度的上限時Dmax時，率失真函數(shù)R(D)=0。67、連續(xù)信源X的率失真函數(shù)R68、當(dāng)D≤σ2時，高斯信源在均方差失真度下的信息率失真函數(shù)為R(D)=269、保真度準(zhǔn)則下的信源編碼定理的條件是信源的信息率R大于率失真函數(shù)R(D)70、某二元信源其失真矩陣,則該信源的Dmax=a/271、某二元信其失真矩陣,則該信源的Dmin=072、某二元信其失真矩陣,則該信源的R(D)=1H73、按照不同的編碼目的，編碼可以分為三類：分別是信源編碼、信道編碼和安全編74、信源編碼的目的是：提高通信的有效性。75、一般情況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼。76、連續(xù)信源或模擬信號的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。77、在香農(nóng)編碼中，第i個碼字的長度ki和p(xi)之間有-log?p(x;)≤k;<1-log?p(x;)78、對信源進(jìn)行二進(jìn)制費諾編碼，其編碼效率為179、對具有8個消息的單符號離散無記憶信源進(jìn)行4進(jìn)制哈夫曼編碼時，為使平均碼長最短，應(yīng)增加2個概率為0的消息。80、對于香農(nóng)編碼、費諾編碼和哈夫曼編碼，編碼方法惟一的是香農(nóng)編碼。81、對于二元序列0011100000011111001111000001111111,其相應(yīng)的游程序列是82、設(shè)無記憶二元序列中，“0”和“1”的概率分別是p0和pl,則“0”游程長度L(0)的概率為P[L(0)]=p??O-p?83、游程序列的熵等于原二元序列的熵。84、若“0”游程的哈夫嗎編碼效率為η0,"1"游程的哈夫嗎編碼效率為n1,且η0>n1對應(yīng)的二元序列的編碼效率為n,則三者的關(guān)系是η0>η>η185、在實際的游程編碼過程中，對長碼一般采取截斷處理的方法。86、"0"游程和“1”游程可以分別進(jìn)行哈夫曼編碼，兩個碼表中的碼字可以重復(fù)，但C碼必須不同。87、在多符號的消息序列中，大量的重復(fù)出現(xiàn)的，只起占時作用的符號稱為冗余位。88、"冗余變換"即：將一個冗余序列轉(zhuǎn)換成一個二元序列和一個縮短了的多元序列。89、L-D編碼是一種分幀傳送冗余位序列的方法。90、L-D編碼適合于冗余位較多或較少的情況。91、信道編碼的最終目的是提高信號傳輸?shù)目煽啃浴?2、狹義的信道編碼即：檢、糾錯編碼。93、BSC信道即：無記憶二進(jìn)制對稱信道。94、n位重復(fù)碼的編碼效率是1/n95、等重碼可以檢驗全部的奇數(shù)位錯和部分的偶數(shù)位錯。96、任意兩個碼字之間的最小漢明距離有稱為碼的最小距dmin,則97、若糾錯碼的最小距離為dmin,則可以糾正任意小于等于t個差錯。98、若檢錯碼的最小距離為dmin,則可以檢測出任意小于等于1=dmin-1個差錯。99、線性分組碼是同時具有分組特性和線性特性的糾錯碼。100、循環(huán)碼即是采用循環(huán)移位特性界定的一類線性分組碼。三、判斷(每題1分)(50道)必然事件和不可能事件的自信息量都是0。錯單符號離散信源的自信息和信源熵都具有非負(fù)性。對單符號離散信源的自信息和信源熵都是一個確定值。錯單符號離散信源的聯(lián)合自信息量和條件自信息量都是非負(fù)的和單調(diào)遞減的。對自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系：I(x,y;)=1(x;)+I(y;/x;)=I(y;)自信息量、條件自信息量和互信息量之間有如下關(guān)系：I(x;y;)=I(x;)-I(x;/y,)=I(y;)-對對當(dāng)隨即變量X和Y相互獨立時，條件熵等于信源熵。對10、信源熵具有嚴(yán)格的下凸性。錯11、平均互信息量I(X;Y)對于信源概率分布p(xi)和條件概率分布p(yj/xi)都12、m階馬爾可夫信源和消息長度為m的有記憶信源，其所含13、利用狀態(tài)極限概率和狀態(tài)一步轉(zhuǎn)移概率來求m階馬爾可夫信源的極限熵。對14、N維統(tǒng)計獨立均勻分布連續(xù)信源的熵是N維區(qū)域體積的對數(shù)。對15、一維高斯分布的連續(xù)信源，其信源熵只與其均值和方差有關(guān)。錯20、若對一離散信源(熵為H(X))進(jìn)行二進(jìn)制無失真編碼，設(shè)定長碼子長度為K,變22、離散無噪信道的信道容量等于log2n,其中n是信源X的消息個數(shù)。錯23、對于準(zhǔn)對稱信道，當(dāng)時，可達(dá)到信道容量C。錯25、多用戶信道的信道容量不能用一個數(shù)來代表，但信道的信息率可以用一個數(shù)來表示。錯27、信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。對28、最大信息傳輸速率，即：選擇某一信源的概率分布(p(xi)),使信道所能傳送的29、對于具有歸并性能的無燥信道，當(dāng)信源等概率分布時(p(xi)=1/n),達(dá)到信道容30、求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的極小值。對31、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確33、率失真函數(shù)對允許的平均失真度具有上凸性。對35、率失真函數(shù)的最小值是0。對36、率失真函數(shù)的值與信源的輸入概率無關(guān)。錯38、信源編碼通常是通過壓縮信源的冗余度來實現(xiàn)的。對39、離散信源或數(shù)字信號的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。錯40、一般情況下，哈夫曼編碼的效率大于香農(nóng)編碼和費諾編碼。對41、在編m(m>2)進(jìn)制的哈夫曼碼時，要考慮是否需要增加概率為0的碼字，以使平42、游程序列的熵("0”游程序列的熵與“1"游程序列的熵的和)大于等于原二元序43、在游程編碼過程中，“0”游程和“1”游程應(yīng)分別編碼，因此，它們的碼字不能重44、L-D編碼適合于冗余位較多和較少的情況，否則，不但不能壓縮碼率，反而使其擴(kuò)45、狹義的信道編碼既是指：信道的檢、糾錯編碼。對46、對于BSC信道，信道編碼應(yīng)當(dāng)是一對一的編碼，因此，消息m的長度等于碼字c47、等重碼和奇(偶)校驗碼都可以檢出全部的奇數(shù)位錯。對48、漢明碼是一種線性分組