概率信息論香農(nóng)信息論提出了基于概率的信息量度方法，定義信息為“不確定性的量度”。若事件A發(fā)生的概率是P(A)，則其自信息量定義為：

bit（比特） (1-1)

碼元的平均自信息量稱為信息熵，它是碼元在不同取值下自信息量的加權(quán)和，定義為

(1-2)1等概時信息熵最大在碼元取值等概時，一個8電平碼的信息熵是

bit即發(fā)送一個等概的8電平碼元可以攜帶3bit信息。但各電平不等概時，攜帶信息量就小于3bit。比如發(fā)生概率{1/4,1/8,1/8,1/8,1/8,1/8,1/16,1/16}時，

bit一般規(guī)律是：當各信號等概出現(xiàn)時，信息熵最大。據(jù)此，我們在編碼時總是希望各碼元等概取值。2狹義與廣義信息論香農(nóng)第一定理：無失真信源編碼定理。香農(nóng)第二定理：有擾離散信道的信道編碼定理。香農(nóng)第三定理：限失真信源編碼定理。香農(nóng)公式：有擾信道容量。以此為基礎產(chǎn)生香農(nóng)信息論，或叫“狹義信息論”。狹義信息論中的信息只與信息的概率有關，而與信息本身無關。從完美的觀點看，信息理論還應該包含語義（信息含義）和語用（對接受者的作用大小）的因素，這種廣義信息論正在蘊釀中。狹義信息論的核心內(nèi)容有三大碼，即信源編碼、信道編碼和保密編碼cryptographic。3信道編碼－線路碼與糾錯碼信道編碼是以信息在信道上的正確傳輸為目標的編碼，它可分為兩個層次上的問題：一是如何正確接收載有信息的信號，二是如何避免少量差錯信號對信息內(nèi)容的影響；前者是《通信原理》的問題，后者是《信息論》的問題。比如在數(shù)字基帶信號中的編碼，主要目的是為了消除直流分量、改造信號頻譜、便于時鐘頻率的提取、實現(xiàn)數(shù)字信號的透明傳輸?shù)?。還有的是為了壓縮占用帶寬、抑制碼間干擾，如部分響應系統(tǒng)。這個層次上的編碼，如曼徹斯特碼、AMI碼、HDB3碼、nBmB碼、部分響應系統(tǒng)中的相關編碼等，一般稱之為線路編碼（linecode）。4從信息論角度來看的信道編碼是指第二層次的編碼，即差錯控制編碼，包括各種形式的糾錯、檢錯碼，統(tǒng)稱為糾錯編碼。糾錯編碼的理論體系屬于信息理論，但糾錯編碼的實現(xiàn)離不開有形載體的信號理論，因此信息的編碼與信號的編碼有天然聯(lián)系。糾錯碼在有形化信號階段的差錯概率是符號(symbol)差錯概率（誤碼元率），而在承載信息方面的差錯概率是比特差錯概率(誤比特率)。本書討論的信道編碼主要指糾錯編碼，而衡量糾錯編碼性能的指標主要是誤比特率的改善程度。5編碼信道輸入、輸出、轉(zhuǎn)移概率矩陣三要素

頻帶傳輸基帶傳輸存儲系統(tǒng)信道模型輸入x

X

信道 調(diào)制器基帶 寫入頭編碼器 調(diào)制器

轉(zhuǎn)移 概率 信道 信道 存儲介質(zhì)矩陣 +噪聲 +噪聲+介質(zhì)缺陷{P(x|y)}

信道 解調(diào)器 基帶 讀出頭

解碼器 解調(diào)器輸出yY6信道模型BSC-BinarySymmetricChannel二進制對稱信道

DMC-DiscreteMemorylessChannel離散無記憶信道BEC-BinaryErasureChannel

二進制刪除信道

1－p

00p輸入輸出

p111－pBSC信道

1－q00q

xq111－qBEC信道

y0

x0

y1

x1 y2

┆

xq-1

yQ-1DMC信道7突發(fā)差錯編碼信道模型雙狀態(tài)一階馬爾柯夫鏈模型，也稱為吉爾伯特模型。

Pgb

1-Pgb

1-Pbg

GB

Pbg

吉爾伯特模型

單錯糾

無錯多錯棄有錯棄

糾檢

無錯

ATM信頭HEC處理模式平均誤碼率8隨機編碼編碼的分析設計有兩條基本途徑。一條是數(shù)學解析途徑，將代數(shù)、幾何、數(shù)論等理論運用到編、解碼中來具體分析設計某種特定的碼如分組碼、卷積碼等。這種方法的對象必須是具體的碼，只有具體碼才能具體分析。另一條途徑是不涉及具體編碼，而是運用概率統(tǒng)計方法在特定信道條件下對編碼信號的性能作出統(tǒng)計分析，求出差錯概率的上下限邊界，其中最優(yōu)碼所能達到的差錯概率上界稱作隨機碼界。用這種方法不能得知最優(yōu)碼是如何具體編出來的，卻能得知最優(yōu)碼可以好到什么程度，并進而推導出有擾離散信道的編碼定理，對指導編碼技術具有特別重要的理論價值。9（N，K）分組碼

q進制信息組m(m1,m2,…，mK)M=qK

種q進制碼字c(c1,c2,…，cN)

共qN

點任取其中qK

點為碼集每一點可隨機對應到qN點，qK點有種組合，每種組合的發(fā)生概率是q–MN。10在qNM個可能的碼集中，有的碼集“好”些（碼字間距離大，差錯概率Pe?。?，有的碼集“差”些。代數(shù)編碼的任務是找出其中的好碼，而隨機編碼的任務是找出統(tǒng)計規(guī)律，求出平均差錯概率及它的上下界碼集點數(shù)M占N維矢量空間總點數(shù)的比例是

F=

qK/qN=q-(N-K) (1-33)顯然，當K和N的差值拉大即富余的空間點數(shù)增加時，平均而言碼字的分布將變得稀疏，碼字間的平均距離將變大，平均差錯概率將變小。我們現(xiàn)在提出這樣一個問題：當F

0即(N-K)

時，能否讓平均差錯概率

0？11Gallager界

全部碼集的平均差錯概率是

Pe({c}m)P({c}m)=q-NM

Pe({c}m)(1-35)

顯然，必定存在某些碼集的差錯概率大于平均值即Pe({c}m)>，也必定存在某些碼集的差錯概率小于平均值。合乎邏輯的結(jié)論是，如果我們算出了的上邊界，必然有一批碼集的Pe({c}m)小于這個的上邊界；如果我們能證明在F

0時

0，就必然存在一批碼集的Pe({c}m)

0，那時我們就可以下結(jié)論說，差錯概率趨于零的好碼一定存在。基于這樣的思路，首先是Gallager算出了Pe({c}m)的上邊界，叫Gallager界，見式(1-39)；接著又計算了，從而導出了編碼定理。12編碼定理對Gallager界求平均，經(jīng)一系列演算，得

<exp{-NE(R)} (1-48)于是有了信道編碼定理

(1-52)用文字敘述信道編碼定理內(nèi)涵，就是：

只要傳信率R小于信道容量C，總存在一種信道碼（及解碼器），可以以所要求的任意小的差錯概率實現(xiàn)可靠的通信。后來Fano從Fano不等式推出了信道編碼逆定理：信道容量是可靠通信系統(tǒng)傳信率R的上邊界，如果R>C，就不可能有任何一種編碼能使差錯概率任意小13差錯控制的途徑

從信道編碼定理的公式出發(fā)，可知減小差錯概率應增大碼長N或增大可靠性函數(shù)E(R)。11.增大信道容量C

擴展帶寬、加大功率、降低噪聲

2.減小碼率R

減小K、增大N、減小Q3.增加碼長N

E(R)

R0R1<R2C1<C2

圖1-11增大E(R)的途徑14糾錯能力的獲?。哂喽取㈦S機化冗余度就是在信息流中插入冗余比特,這些冗余比特與信息比特之間存在著特定的相關性。傳輸冗余比特必然要動用冗余資源，資源可以是①時間。②頻帶。③功率。④設備復雜度。噪聲均化(差錯隨機化)就是設法將集中的噪聲干擾分攤開來。噪聲均化的方法主要有①增加碼長N。②卷積。③交錯（交織）。15最小碼距

圖1-14

碼距、最小距離與糾、檢錯能力關系tC1d=5dmin=3tC2tC3d=716重量譜

重量譜是對碼字分布規(guī)律的描述，不僅是計算各種譯碼差錯概率的主要依據(jù)，也是研究碼結(jié)構(gòu)、改善碼集內(nèi)部關系從而發(fā)現(xiàn)新的好碼的重要工具。重量譜可以用如下的多項式來表示，稱為重量算子A(x)=A0+A1x+A2

x2+A3x3+…An

xn=

(1-53)如(7,4,3)漢明碼的重量算子是A(x)=1+7x3

+7x4

+x7，系數(shù)集是{Ai}={1,0,0,7,7,0,0,1}

正如各符號等概時信息熵最大一樣，當所有碼距相等時碼的性能應該最好；當各碼距相差不大時性能應較好。從重量譜的角度，碼距集中等效于譜線集中，更專業(yè)的說法是具有“窄譜”。

17最佳譯碼和最大似然譯碼已知r，找出可能性最大的發(fā)碼ci作為譯碼估值，＝MaxP(ci/r) (1-57) 這種譯碼方法叫最佳譯碼，也叫最大后驗概率譯碼(MAP-Maximumaposteriori),它是一種通過經(jīng)驗與歸納由收碼推測發(fā)碼的方法，是最優(yōu)的譯碼算法。但實際信道模型如BSC或DMC只告訴我們前向(發(fā)→收)轉(zhuǎn)移概率即先驗概率。在已知r的條件下使先驗概率最大的譯碼算法叫最大似然譯碼(

MLD-MaximumLikelihoodDecoding),即令

＝

MaxP(r/

ci) (1-58) 18先驗概率與后驗概率間的關系利用貝葉斯公式可以建立

(1-59)P(ci)、P(r)分別是發(fā)碼ci、收碼r的概率，P(r/

ci)是先驗概率，P(ci/r)是后驗概率。如果①碼集的2K個碼字同概發(fā)送，滿足P(ci)=1/2K②P(r)對于任何r都有相同的值，滿足P(r)=1/2N。

則P(ci/r)最大等效于P(r/

ci)的最大，19在此前提下最大后驗概率譯碼等效于最大先驗概率譯碼，或者說最佳譯碼等效于最大似然譯碼。

理論上，我們通過信源編碼算法的改進及擾碼、交織的采用可使發(fā)碼ci等概化，令信道對稱均衡而使收碼r也等概化，從而可用最大似然譯碼替代最佳譯碼。20對數(shù)似然函數(shù)對于無記憶信道，碼字的似然函數(shù)P(r/

ci)等于組成該碼字的各碼元的似然函數(shù)之積(聯(lián)合概率)，碼字的最大似然也就是各碼元似然函數(shù)之積的最大化，即若r=(r1,r

2,…，rN)，

ci=(ci1,ci2,…，ciN)，則 MaxP(r/

ci)＝MaxP(rj/

cij) (1-60)為了將乘法運算簡化為加法運算，我們?nèi)∷迫缓瘮?shù)的對數(shù)，稱作對數(shù)似然函數(shù)。由于對數(shù)的單調(diào)性，似然函數(shù)最大時對數(shù)似然函數(shù)也最大。于是，碼字對數(shù)似然函數(shù)最大化等效于各碼元對數(shù)似然函數(shù)之和的最大化，即

MaxlogP(r/

ci)＝MaxP(rj/

cij) (1-61)21

作為一個特例，BSC信道的最大似然譯碼可以簡化為最小漢明距離譯碼。

漢明距離譯碼是一種硬判決譯碼。我們只要在接收端將發(fā)碼r與收碼ci的各碼元逐一作比較，選擇其中漢明距離最小的碼字作為譯碼估值。由于BSC信道是對稱的，只要發(fā)送的碼字獨立、等概，漢明距離譯碼也就是最佳譯碼。

22差錯控制系統(tǒng)分類

１．前向糾錯（FEC—forwarderrorcorrection）２．反饋重發(fā)(ARQ—automaticrepeatrequest)３．混合糾錯（HEC---hybriderroreorrection）23糾錯碼分類①按照對信息序列的處理方法分成分組碼和卷積碼。

②按照校驗位與信息位關系,分為線性碼與非線性碼。

③按照適用的差錯類型，分成糾隨機差錯碼和糾突發(fā)差錯碼兩種，也有介于中間的糾隨機/突發(fā)差錯碼。

④按構(gòu)碼理論,有代數(shù)、幾何、算術、組合碼等。

除了上述分類外，有多少觀察問題的角度，就有多少分類方法。比如，按每個碼元的取值，可以分為二進制碼與多進制碼；按碼字之間的關系，有循環(huán)碼和非循環(huán)碼之分；不同的分類方法只是從不同的角度抓住碼的某一特性加以歸類而已，并不能說明某個碼的為全部特性。比如某線性碼可能同時又是分組碼，循環(huán)碼，糾突發(fā)差錯碼，代數(shù)碼，二進碼。24誤碼率誤碼率指差錯“碼”在總的傳輸“碼”中所占的比例。然而“碼”可以指一個編碼序列(codesequence)、一個碼字(codeword)、一個碼元(symbol)或者一個比特(bit)。為了避免歧意，我們分別用差錯事件概率、誤碼字率、誤碼元率、誤比特率加以區(qū)分。二進制時，誤碼元率就是誤比特率；多進制調(diào)制下，一個碼元可以攜帶多達十幾比特信息。碼字、碼元、比特差錯之間的關系在實踐中難以計算，我們一般從用戶承載角度出發(fā)，采用誤比特率Pb(e)作為衡量傳輸質(zhì)量的標準，而以Pb(e)~Eb/N0曲線來估計糾錯碼的性能。這里，Eb是傳送每比特信息所需能量，N0是單邊噪聲功率譜密度，Eb/N0是信噪比。25香農(nóng)公式香農(nóng)公式等式兩邊同除W，得 (1-67)式中，C/W代表歸一化的信道容量即每Hz單位帶寬的信道容量。將式(1-67)對數(shù)改為指數(shù)形式

(1-68)①第一種情況：當C/W

時，等式右邊分子分母增幅比是指數(shù)，說明隨著信道容量增加，對信噪比Eb

/N0的要求是指數(shù)上升的。②第二種情況：當每赫茲傳1比特(C/W=1bit/Hz)時,Eb

/N0=1即要求的信噪比為0dB。26③第三種情況：當信道容量為零即C/W

0時，利用對數(shù)公式和極限公式x

ln(1+x)|x

0，式(1-67)改寫為

即說明當Eb

/N0為-1.6dB時信道完全喪失了通信能力。我們把-1.6dB稱作香農(nóng)限，其含義是：以碼率等于信道容量的最大速率通信時，通過編碼可降低對信道信噪比的要求，但最低也不可能低于香農(nóng)限。反過來說，只要信道信噪比大于香農(nóng)限，就可以通過碼長N

的編碼實現(xiàn)無差錯的信息傳輸。香農(nóng)限為編碼性能分析提供了一個理論極限。

27香農(nóng)限和編碼增益

Pb(e)10-110-210-310-410-5

10-6-20

2

46810dB

0.4dB硬判決限-1.6dB香農(nóng)限1.4dB序列譯碼理論限未編碼BPSK(23,12)格雷碼編碼增益1.33dBEb/N0編碼增益

2.15dB28幾種常用檢錯碼

1.奇偶校驗碼(parity-checkcode)2.水平垂直冗余校驗碼

(Longitudinal-verticalRedundancycheck)

檢3個差錯與交織相結(jié)合，發(fā)展為乘積碼入

出1

0010110010010101001101001110111100001000129

3.等比碼(constantratiocode)等比碼所有碼字“1”的個數(shù)與“0”的個數(shù)之比相同。“1”的個數(shù)即碼重，故又稱衡重碼、定一碼。我國普通電報采用五單位碼，有25=32種組合。漢字用4位十進數(shù)字的國標碼表示，要求較高可靠性。為此挑出所有3個1、2個0的碼字組成等比碼集來傳送數(shù)字符0～9，符合條件的正好有C53=10個。采用等比碼后，漢字電報的差錯率下降了95%。在國際電報通用的ARQ通信系統(tǒng)中，字母和數(shù)字同等重要，一般采用三個“1”四個“0”的3：4等比碼。這種碼共有C73=35個，用來代表電傳機五單位碼的32種組合。使用實踐證明，應用這類碼后，能使國際電報的誤碼字率降到10-6以下。30加權(quán)碼(weightedcode)加權(quán)碼的典型應用是國際標準書號ISBN（Inter-nationalStandardBookNumber），它由9位數(shù)字信息和1位校驗位組成。比如，漢明(Hamming)著《編碼和信息理論》一書的ISBN號碼是ISBN0-13-139139-9,它的9個信息位分成三部分，分別表示國家碼、出版社編碼及本書書號。國家碼隨國家而定，比如0代表美國，7代表中國。上面ISBN號中的13代表出版商為Prentice-Hall，類似地，中國的每個出版社都有自己的代號，如郵電出版社(115)、人民教育出版社(107)、電子工業(yè)出版社(5053)、東南大學出版社(82050/82023)。由于總長度9位不變，所以國家碼/出版社碼越長，書號就越少。31ISBN碼的碼元結(jié)構(gòu)為

ISBNC8C7C6C5C4C3C2C1C0–C校則正確的書號一定滿足

(1-70)檢驗書號是否有錯，只要核算(1-70)式是否成立。如上面提到的《編碼和信息理論》一書中0×10+1×9+3×8+1×7+3×6+9×5+1×4+3×3+9×2+9=143，求模[143]MOD11=0顯然書號是正確的。書號的各位碼分別乘以一個數(shù)叫做“加權(quán)”，這里的權(quán)值是2～10。32加權(quán)和模值選擇的原則是：①模值應大于字符個數(shù)。統(tǒng)一書號數(shù)字符0～9共10個，模取11，滿足此條件。②模與權(quán)值互素。這里11分別與2~10互素。已知9位統(tǒng)一書號求最后一位檢驗碼可用下式C校＝11－[]mod11(1-71)上例書號中，9×2+3×3+1×4+9×5+3×6+1×7+3×8+1×9+0×10=134