信息論與編碼習(xí)題小桔燈這是十幾年以前的事了。在一個春節(jié)前一天的下午，我到重慶郊外去看一位朋友。她住在那個鄉(xiāng)村的鄉(xiāng)公所樓上。走上一段陰暗的仄仄的樓梯，進到一間有一張方桌和幾張竹凳、墻上裝著一架電話的屋子，再進去就是我的朋友的房間，和外間只隔一幅布簾。她不在家，窗前桌上留著一張條子，說是她臨時有事出去，叫我等著她。我在她桌前坐下，隨手拿起一張報紙來看，忽然聽見外屋板門吱的一聲開了，過了一會兒，又聽見有人在挪動那竹凳子。我掀開簾子，看見一個小姑娘，只有八九歲光景，瘦瘦的蒼白的臉，凍得發(fā)紫的嘴唇，頭發(fā)很短，穿一身很破舊的衣褲，光腳穿一雙草鞋，正在登上竹凳想去摘墻上的聽話器，看見我似乎吃了一驚，把手縮了回來。我問她：“你要打電話嗎？”她一面爬下竹凳，一面點頭說：“我要××醫(yī)院，找胡大夫，我媽媽剛才吐了許多血！”我問：“你知道××醫(yī)院的電話號碼嗎？”她搖了搖頭說：“我正想問電話局……”我趕緊從機旁的電話本子里找到醫(yī)院的號碼，就又問她：“找到了大夫，我請他到誰家去呢？”她說：“你只要說王春林家里病了，她就會來的?！毙畔⒄撆c編碼習(xí)題信息論與編碼習(xí)題小桔燈這是十幾年以前的事了。在一個春節(jié)前一天的下午，我到重慶郊外去看一位朋友。她住在那個鄉(xiāng)村的鄉(xiāng)公所樓上。走上一段陰暗的仄仄的樓梯，進到一間有一張方桌和幾張竹凳、墻上裝著一架電話的屋子，再進去就是我的朋友的房間，和外間只隔一幅布簾。她不在家，窗前桌上留著一張條子，說是她臨時有事出去，叫我等著她。我在她桌前坐下，隨手拿起一張報紙來看，忽然聽見外屋板門吱的一聲開了，過了一會兒，又聽見有人在挪動那竹凳子。我掀開簾子，看見一個小姑娘，只有八九歲光景，瘦瘦的蒼白的臉，凍得發(fā)紫的嘴唇，頭發(fā)很短，穿一身很破舊的衣褲，光腳穿一雙草鞋，正在登上竹凳想去摘墻上的聽話器，看見我似乎吃了一驚，把手縮了回來。我問她：“你要打電話嗎？”她一面爬下竹凳，一面點頭說：“我要××醫(yī)院，找胡大夫，我媽媽剛才吐了許多血！”我問：“你知道××醫(yī)院的電話號碼嗎？”她搖了搖頭說：“我正想問電話局……”我趕緊從機旁的電話本子里找到醫(yī)院的號碼，就又問她：“找到了大夫，我請他到誰家去呢？”她說：“你只要說王春林家里病了，她就會來的?！毙诺廊萘啃诺郎厦總魉鸵粋€符號(每使用一次信道)所能攜帶的比特數(shù)，即比特/信道符號(bits/symbol或bits/channeluse)。如果已知信道符號傳送周期是T秒，此時Ct=C/T，比特/秒(bits/s)22信道容量信道上每傳送一個符號(每使用一次信道)所能攜帶的比特數(shù)，即比特/信道符號(bits/symbol或bits/channeluse)。如果已知信道符號傳送周期是T秒，此時Ct=C/T，比特/秒(bits/s)22DMC信道的容量對稱DMC信道的容量：當信道輸入符號等概分布時，可達到其信道容量BSC信道的容量：m＝2準對稱信道的容量33帶限波形信道的容量條件：信道帶寬W受限噪聲為加性高斯白噪聲（均值為零，功率譜密度為N0）輸入信號平均功率受限PS若輸入信號是平均功率受限的高斯白噪聲信號，可達信道容量香農(nóng)公式：香農(nóng)限：－1.6dB44習(xí)題設(shè)二元對稱信道的傳遞矩陣為(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求該信道的信道容量及其達到信道容量時的輸入概率分布；某信源發(fā)送端有2個符號Xi，i＝1，2；，每秒發(fā)出一個符號。接受端有3種符號yj，j＝1，2，3，轉(zhuǎn)移概率矩陣為（1） 計算接受端的平均不確定度；（2） 計算由于噪聲產(chǎn)生的不確定度；（3） 計算信道容量。其最佳輸入分布為第6章信道編碼復(fù)習(xí)概念：差錯符號、差錯比特差錯圖樣：隨機差錯、突發(fā)差錯

糾錯碼分類：檢和糾錯碼、分組碼和卷積碼、線性碼與非線性碼、糾隨機差錯碼和糾突發(fā)差錯碼

30矢量空間與碼空間n維n重空間有相互正交的n個基底選擇k個基底構(gòu)成k維n重碼空間C選擇另外的(n-k)個基底構(gòu)成空間HC和H是對偶的，正交的

CHT＝0,GHT=031

n維n重空間V

k維k重k維n重n-k維信息組碼空間n重H

空間mC有擾離散信道的編碼定理若傳信率R<C，存在一種信道碼（及解碼器），可實現(xiàn)差錯概率任意小的可靠通信。如果R>C，就不可能有任何一種編碼能使差錯概率任意小。32差錯控制的途徑從公式增大碼長N增大可靠性函數(shù)E(R)：加大信道容量C

減小碼率(傳信率)R。從概念上利用冗余度（增強相關(guān)性）噪聲均化(隨機化)33最優(yōu)譯碼與最大似然譯碼最佳譯碼＝MaxP(ci

/r)，性能優(yōu)，實現(xiàn)難最大似然譯碼＝MaxP(r/ci)，性能次優(yōu)，實現(xiàn)容易最佳譯碼等同最大似然譯碼：碼集的碼字以相同概率發(fā)送接收碼等概分布34線性分組碼線性分組碼基本概念碼元、碼字、碼集重量、重量分布、恒重碼線性碼（封閉性）基底、矢量正交、矢量空間正交、對偶空間、線性相關(guān)、線性無關(guān)35生成矩陣和校驗矩陣生成矩陣G：C＝mG校驗矩陣H：CHT＝0系統(tǒng)形式：G＝[Ik|P]，H＝[PT|In-k]差錯圖案E=R-C，伴隨式S＝RHT＝EHT標準陣列譯碼表36碼距與糾、檢錯能力碼的總體性能取決于碼距的分布特性（重量譜），而糾、檢錯能力取決于其中的最小者dmin

，dmin=min{w(Ci)

檢、糾錯能力：可檢dmin–1個差錯可糾t=INT[(dmin–1)/2]個差錯校驗矩陣H中有（dmin-1)列線性無關(guān)

dmin

(n-k+1)，極大最小距離碼

37特殊的線性分組碼完備碼漢明碼：t=1，(2m-1，2m-1-m)高萊（Golay）碼：二進制（23，12）線性碼，其最小距離dmin＝7，糾錯能力t=3

38循環(huán)碼循環(huán)碼用多項式表示：C(x)=m(x)g(x)生成多項式：xn+1＝g(x)h(x)校驗多項式：C(x)h(x)=0mod(xn+1)g(x)＝x

n-k

+gn-k-1x

n-k-1+…+g1x+1系統(tǒng)循環(huán)碼：C(x)=