信息“本體論”層次定義：信息是該事物運(yùn)動(dòng)的狀態(tài)和狀態(tài)改變的方式。認(rèn)識(shí)論層次的信息是同時(shí)考慮語法信息、語義信息和語用信息的全信息。全信息：同時(shí)考慮外在形式/語法信息、內(nèi)在含義/語義信息、效用價(jià)值/語用信息，稱為全信息。語法信息：事物運(yùn)動(dòng)狀態(tài)和狀態(tài)改變的方式；語義信息：事物運(yùn)動(dòng)狀態(tài)和方式的具體含義；語用信息：事物運(yùn)動(dòng)狀態(tài)和方式及其含義對(duì)觀察者的效用。研究信息論的目的：主要是提高信息系統(tǒng)的可靠性、有效性和安全性以便達(dá)到系統(tǒng)最優(yōu)化。第一章概論信息第一章概論單符號(hào)離散信源自信息量用概率測度定義信息量設(shè)離散信源X，其概率空間為如果知道事件xi已發(fā)生，則該事件所含有的自信息定義為當(dāng)事件xi發(fā)生以前：表示事件xi發(fā)生的不確定性。當(dāng)事件xi發(fā)生以后：表示事件xi所含有（或所提供）的信息量第二章信源熵單符號(hào)離散信源第二章信源熵聯(lián)合自信息量當(dāng)X和Y相互獨(dú)立時(shí)，p(xiyj)=p(xi)p(yj)第二章信源熵聯(lián)合自信息量第二章信源熵條件自信息量：已知yj的條件下xi仍然存在的不確定度。自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系第二章信源熵條件自信息量：已知yj的條件下xi仍然存在的不確定度互信息量：

yj對(duì)xi的互信息量定義為的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)。第二章信源熵互信息量：yj對(duì)xi的互信息量定義為的后驗(yàn)概率與先觀察者站在輸出端：兩個(gè)不確定度之差是不確定度被消除的部分，即等于自信息量減去條件自信息量。觀察者站在輸入端：觀察者得知輸入端發(fā)出xi前、后對(duì)輸出端出現(xiàn)yj的不確定度的差。觀察者站在通信系統(tǒng)總體立場上：通信后的互信息量，等于前后不確定度的差。第二章信源熵觀察者站在輸出端：兩個(gè)不確定度之差是不確定度被消除的部分，即平均信息量—信源熵：自信息的數(shù)學(xué)期望。也稱為信源的信息熵/信源熵/香農(nóng)熵/無條件熵/熵函數(shù)/熵。信息熵的意義：信源的信息熵H是從整個(gè)信源的統(tǒng)計(jì)特性來考慮的。它是從平均意義上來表征信源的總體特性的。對(duì)于某特定的信源，其信息熵只有一個(gè)。不同的信源因統(tǒng)計(jì)特性不同，其熵也不同。信源熵的三種物理含義信源熵H(X)是表示信源輸出后每個(gè)消息/符號(hào)所提供的平均信息量；信源熵H(X)是表示信源輸出前，信源的平均不確定性；用信源熵H(X)來表征變量X的隨機(jī)性。第二章信源熵平均信息量—信源熵：自信息的數(shù)學(xué)期望。也稱為信源的信息熵/信條件熵：是在聯(lián)合符號(hào)集合XY上的條件自信息的數(shù)學(xué)期望。第二章信源熵條件熵：是在聯(lián)合符號(hào)集合XY上的條件自信息的數(shù)學(xué)期望。第信道疑義度—H(X/Y)：表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。是通過有噪信道傳輸后引起的信息量的損失，故也可稱為損失熵。噪聲熵—H(Y/X)：表示在已知X的條件下，對(duì)于符號(hào)集Y尚存在的不確定性（疑義），這完全是由于信道中噪聲引起的。第二章信源熵信道疑義度—H(X/Y)：表示信宿在收到Y(jié)后，信源X聯(lián)合熵H(XY)：表示輸入隨機(jī)變量X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量Y。即收、發(fā)雙方通信后，整個(gè)系統(tǒng)仍然存在的不確定度。第二章信源熵聯(lián)合熵H(XY)：表示輸入隨機(jī)變量X，經(jīng)信道傳輸?shù)竭_(dá)信宿最大離散熵定理(極值性)：離散無記憶信源輸出n個(gè)不同的信息符號(hào)，當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相等時(shí)(即p(xi)=1/n)，熵最大。H[p(x1),p(x2),…,p(xn)]≤H(1/n,1/n,…,1/n)=log2n

出現(xiàn)任何符號(hào)的可能性相等時(shí)，不確定性最大。第二章信源熵最大離散熵定理(極值性)：離散無記憶信源輸出n個(gè)不同二進(jìn)制信源的熵函數(shù)H(p)為第二章信源熵二進(jìn)制信源的熵函數(shù)H(p)為第二章信源熵平均互信息量定義：互信息量I(xi;yj)在聯(lián)合概率P(XY)中的統(tǒng)計(jì)平均值。1.站在輸出端：I(X;Y)—收到Y(jié)前、后關(guān)于X的不確定度減少的量。從Y獲得的關(guān)于X的平均信息量。2.站在輸入端：I(Y;X)—發(fā)出X前、后關(guān)于Y的先驗(yàn)不確定度減少的量。3.站在總體：I(X;Y)—通信前、后整個(gè)系統(tǒng)不確定度減少量。第二章信源熵平均互信息量定義：互信息量I(xi;yj)在聯(lián)合概率PBSC信道的平均互信息量設(shè)二進(jìn)制對(duì)稱信道的輸入概率空間為

轉(zhuǎn)移概率如圖2.1.8所示。第二章信源熵BSC信道的平均互信息量第二章信源熵平均互信息量當(dāng)q不變(固定信道特性)

時(shí)，可得I(X;Y)隨輸入概率分布p變化的曲線，如圖2.1.9所示；二進(jìn)制對(duì)稱信道特性固定后，輸入呈等概率分布時(shí)，平均而言在接收端可獲得最大信息量。第二章信源熵平均互信息量第二章信源熵當(dāng)固定信源特性

p時(shí)，I(X;Y)就是信道特性q的函數(shù)，如圖2.1.10所示；當(dāng)二進(jìn)制對(duì)稱信道特性q=/q=1/2時(shí)，信道輸出端獲得信息量最小，即等于0。說明信源的全部信息信息都損失在信道中了。這是一種最差的信道。第二章信源熵當(dāng)固定信源特性p時(shí)，I(X;Y)就是信道特性q的函離散無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍，即H(X)=H(XN)=NH(X)離散平穩(wěn)信源：各維聯(lián)合概率均與時(shí)間起點(diǎn)無關(guān)的完全平穩(wěn)信源稱為離散平穩(wěn)信源。1.二維離散平穩(wěn)信源的熵為H(X)=H(X1X2)=H(X1)+H(X2/X1)2.N維離散平穩(wěn)信源的熵為H(X)=H(X1X2…XN-1XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN-1)第二章信源熵離散無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的平均符號(hào)熵：信源平均每發(fā)一個(gè)符號(hào)提供的信息量為離散平穩(wěn)有記憶信源的極限熵：當(dāng)N→∞時(shí)，平均符號(hào)熵取極限值稱之為極限熵或極限信息量。用H∞表示，即極限熵的存在性：當(dāng)離散有記憶信源是平穩(wěn)信源時(shí)，極限熵等于關(guān)聯(lián)長度N→∞時(shí)，條件熵H(XN/X1X2…XN-1)的極限值，即極限熵的含義：代表了一般離散平穩(wěn)有記憶信源平均每發(fā)一個(gè)符號(hào)提供的信息量。第二章信源熵平均符號(hào)熵：信源平均每發(fā)一個(gè)符號(hào)提供的信息量為第二章信源熵的相對(duì)率η：η=H∞/H0信源冗余度ξ：

ξ=1－η=(H0－H∞)/H0信源的冗余度表示信源可壓縮的程度。第二章信源熵信源熵的相對(duì)率η：η=H∞/H0第二章信源熵連續(xù)信源的熵為上式定義的熵在形式上和離散信源相似，也滿足離散熵的主要特性，如可加性，但在概念上與離散熵有差異因?yàn)樗チ穗x散熵的部分含義和性質(zhì)。第二章信源熵連續(xù)信源的熵為第二章信源熵設(shè)信源通過一干擾信道，接收符號(hào)為

Y={y1,y2}，信道傳遞矩陣為

(1)信源X中事件x1和x2分別含有的自信息量。(2)收到消息yj(j=1,2)后，獲得的關(guān)于xi(i=1,2)的信息量。(3)信源X和信宿Y的信息熵。(4)信道疑義度H(X/Y)和噪聲熵H(Y/X)。(5)接收到Y(jié)后獲得的平均互信息量。第二章信源熵第二章信源熵(1)信源X中事件x1和x2分別含有的自信息量。解：I(x1)=－log2p(x1)=－log20.6=0.74(bit)I(x2)=－log2p(x2)=－log20.4=1.32(bit)(2)收到消息yj(j=1,2)后，獲得的關(guān)于xi(i=1,2)的信息量。解：p(y1/x1)=5/6p(y2/x1)=1/6p(y1/x2)=1/4p(y2/x2)=3/4

p(x1y1)=p(x1)p(y1/x1)=0.6×5/6=0.5p(x1y2)=p(x1)p(y2/x1)=0.6×1/6=0.1p(x2y1)=p(x2)p(y1/x2)=0.4×1/4=0.1p(x2y2)=p(x2)p(y2/x2)=0.4×3/4=0.3p(y1)=p(x1y1)+p(x2y1)=0.5+0.1=0.6p(y2)=p(x1y2)+p(x2y2)=0.1+0.3=0.4P.128第二章信源熵(1)信源X中事件x1和x2分別含有的自信息P.128第二章信源熵P.128第二章信源熵(3)信源X和信宿Y的信息熵。解：(4)信道疑義度H(X/Y)和噪聲熵H(Y/X)。(5)接收到Y(jié)后獲得的平均互信息量。P.128第二章信源熵(3)信源X和信宿Y的信息熵。P.128第二章信道容量C：在信道中最大的信息傳輸速率，單位是比特/信道符號(hào)。單位時(shí)間的信道容量Ct：若信道平均傳輸一個(gè)符號(hào)需要t秒鐘，則單位時(shí)間的信道容量為Ct實(shí)際是信道的最大信息傳輸速率。第三章信道容量信道容量C：在信道中最大的信息傳輸速率，單位是比特/信道符求信道容量的方法當(dāng)信道特性p(yj/xi)固定后，I(X;Y)隨信源概率分布p(xi)的變化而變化。調(diào)整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，I(X;Y)是p(xi)的上凸函數(shù)，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。C和Ct都是求平均互信息I(X;Y)的條件極大值問題，當(dāng)輸入信源概率分布p(xi)調(diào)整好以后，C和Ct已與p(xi)無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計(jì)特性有關(guān)；信道容量是完全描述信道特性的參量；信道容量是信道能夠傳送的最大信息量。第三章信道容量求信道容量的方法第三章信道容量當(dāng)n=2時(shí)的強(qiáng)對(duì)稱離散信道就是二進(jìn)制均勻信道。二進(jìn)制均勻信道的信道容量為：二進(jìn)制均勻信道容量曲線如圖3.2.5所示。第三章信道容量當(dāng)n=2時(shí)的強(qiáng)對(duì)稱離散信道就是二進(jìn)制均勻信道。第三章香農(nóng)公式說明當(dāng)信道容量一定時(shí)，增大信道帶寬，可以降低對(duì)信噪功率比的要求；反之，當(dāng)信道頻帶較窄時(shí)，可以通過提高信噪功率比來補(bǔ)償。當(dāng)信道頻帶無限時(shí)，其信道容量與信號(hào)功率成正比。第三章信道容量香農(nóng)公式說明第三章信道容量有一個(gè)二元對(duì)稱信道，其信道矩陣為設(shè)該信源以1500(二元符號(hào)/秒)的速度傳輸輸入符號(hào)?，F(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)p(0)=p(1)=1/2，問從信息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真地傳遞完？解：信源：等概率分布1500符號(hào)/秒×10秒＝15000(個(gè)二元符號(hào))=15000(bit)14000個(gè)二元符號(hào)的信息量為14000(bit)信道：強(qiáng)對(duì)稱型10秒內(nèi)信道可傳遞信息15000×0.86=12900(bit)<14000(bit)答：10秒鐘內(nèi)不能無失真?zhèn)魍辍５谌滦诺廊萘坑幸粋€(gè)二元對(duì)稱信道，其信道矩陣為第三章信道失真度設(shè)離散無記憶信源為第四章信息率失真函數(shù)失真度第四章信息率失真函數(shù)對(duì)每一對(duì)(xi,yj)，指定一個(gè)非負(fù)函數(shù)d(xi,yj)≥0i=1,2,…,n

j=1,2,…,m

稱d(xi,yj)為單個(gè)符號(hào)的失真度/失真函數(shù)。表示信源發(fā)出一個(gè)符號(hào)xi，在接收端再現(xiàn)yj所引起的誤差或失真。第四章信息率失真函數(shù)對(duì)每一對(duì)(xi,yj)，指定一個(gè)非負(fù)函數(shù)第四章信息平均失真度定義d(xi,yj)只能表示兩個(gè)特定的具體符號(hào)xi和yj之間的失真。平均失真度：平均失真度為失真度的數(shù)學(xué)期望，第四章信息率失真函數(shù)平均失真度定義第四章信息率失真函數(shù)平均失真度意義是在平均意義上，從總體上對(duì)整個(gè)系統(tǒng)失真情況的描述。它是信源統(tǒng)計(jì)特性p(xi)、信道統(tǒng)計(jì)特性p(yj/xi)和失真度d(xi,yj)的函數(shù)。當(dāng)p(xi)，p(yj/xi)和d(xi,yj)給定后，平均失真度就不是一個(gè)隨機(jī)變量了，而是一個(gè)確定的量。如果信源和失真度一定，就只是信道統(tǒng)計(jì)特性的函數(shù)。信道傳遞概率不同，平均失真度隨之改變。第四章信息率失真函數(shù)平均失真度意義第四章信息率失真函數(shù)允許平均失真度：率失真函數(shù)中的自變量D，也就是人們規(guī)定的平均失真度的上限值。率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度D的最小和最大值問題。D的選取必須根據(jù)固定信源X的統(tǒng)計(jì)特性P(X)和選定的失真函數(shù)d(xi,yj)，在平均失真度的可能取值范圍內(nèi)。第四章信息率失真函數(shù)允許平均失真度：率失真函數(shù)中的自變量D，也就是人們規(guī)定的平常用的失真函數(shù)第一種當(dāng)a=1時(shí)稱為漢明失真矩陣。第二種/平方誤差失真矩陣：d(xi,yj)=(yj－xi)2第四章信息率失真函數(shù)常用的失真函數(shù)第四章信息率失真函數(shù)單符號(hào)信源和單符號(hào)信道的信息率失真函數(shù)在信源和失真度給定以后，PD是滿足保真度準(zhǔn)則的試驗(yàn)信道集合，平均互信息I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)，所以在PD中一定可以找到某個(gè)試驗(yàn)信道，使I(X;Y)達(dá)到最小，即這個(gè)最小值R(D)稱為信息率失真函數(shù)，簡稱率失真函數(shù)。在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來看，就是在滿足保真度準(zhǔn)則的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值。第四章信息率失真函數(shù)單符號(hào)信源和單符號(hào)信道的信息率失真函數(shù)第四章信息率失設(shè)信源，其失真度為漢明失真度，試問當(dāng)允許平均失真度D=(1/2)p時(shí)，每一信源符號(hào)平均最少需要幾個(gè)二進(jìn)制符號(hào)(碼長)？解：失真矩陣第四章信息率失真函數(shù)設(shè)信源設(shè)一信源分別為0.5，0.4，和0.１。（1）求二進(jìn)制Huffman編碼及效率。（2）求二次擴(kuò)展Huffman編碼及效率。解答見word文檔第五章信源編碼設(shè)一信源分別最佳譯碼準(zhǔn)則（最大似然譯碼）通信是一個(gè)統(tǒng)計(jì)過程，糾、檢錯(cuò)能力最終要反映到差錯(cuò)概率上。對(duì)于FEC方式，采用糾錯(cuò)碼后的碼字差錯(cuò)概率為pwe，p(C)：發(fā)送碼字C的先驗(yàn)概率p(C/R)：后驗(yàn)概率若碼字?jǐn)?shù)為2k，對(duì)充分隨機(jī)的消息源有p(C)=1/2k，所以最小化的pwe等價(jià)為最小化p(C’≠C│R)，又等價(jià)為最大化p(C’=C│R)；第六章信道編碼最佳譯碼準(zhǔn)則（最大似然譯碼）第六章信道編碼對(duì)于BSC信道：最大化的p(C’=C│R)等價(jià)于最大化的p(R│C)，最大化的p(R│C)又等價(jià)于最小化d(R,C)，所以使差錯(cuò)概率最小的譯碼是使接收向量R與輸出碼字C’距離最小的譯碼。第六章信道編碼對(duì)于BSC信道：最大化的p(C’=C│R)等價(jià)于最大伴隨式和錯(cuò)誤檢測①用監(jiān)督矩陣編碼，也用監(jiān)督矩陣譯碼：接收到一個(gè)接收字R后，校驗(yàn)HRT=0T是否成立：若關(guān)系成立，則認(rèn)為R是一個(gè)碼字；否則判為碼字在傳輸中發(fā)生了錯(cuò)誤；HRT的值是否為0是校驗(yàn)碼字出錯(cuò)與否的依據(jù)。②伴隨式/監(jiān)督子/校驗(yàn)子：S=RHT或ST=HRT。③如何糾錯(cuò)？設(shè)發(fā)送碼矢C=(Cn－1,Cn－2,…,C0)信道錯(cuò)誤圖樣為E=(En－1,En－2,…,E0)，其中Ei=0，表示第i位無錯(cuò)；Ei=1，表示第i位有錯(cuò)。i=n－1,n－2,…,0。第六章信道編碼伴隨式和錯(cuò)誤檢測第六章信道編碼接收字R為R=(Rn－1,Rn－2,…,R0)=C+E=(Cn－1+En－1,Cn－2+En－2,…,C0+E0)求接收字的伴隨式（接收字用監(jiān)督矩陣進(jìn)行檢驗(yàn)ST=HRT=H(C+E)T=HCT+HET

由于HCT=0T，所以ST=HET④總結(jié)伴隨式僅與錯(cuò)誤圖樣有關(guān)，而與發(fā)送的具體碼字無關(guān)，即伴隨式僅由錯(cuò)誤圖樣決定；伴隨式是錯(cuò)誤的判別式：若S=0，則判為沒有出錯(cuò)，接收字是一個(gè)碼字；若S≠0，則判為有錯(cuò)。第六章信道編碼接收字R為第六章信道編碼構(gòu)造(7,4)漢明碼的一致監(jiān)督矩陣并設(shè)計(jì)編、譯碼器。解：監(jiān)督矩陣為(3×7)矩陣第六章信道編碼構(gòu)造(7,4)漢明碼的一致監(jiān)督矩陣并設(shè)計(jì)編、譯碼器。第六構(gòu)造(7,4)漢明碼的伴隨式第六章信道編碼構(gòu)造(7,4)漢明碼的伴隨式第六章信道編碼構(gòu)造(7,4)漢明碼的糾錯(cuò)譯碼電路第六章信道編碼構(gòu)造(7,4)漢明碼的糾錯(cuò)譯碼電路第六章信道編碼循環(huán)碼的碼矢的i次循環(huán)移位與碼多項(xiàng)式的關(guān)系上式表明：碼矢循環(huán)一次的碼多項(xiàng)式C(1)(x)是原碼多項(xiàng)式C(x)乘以x除以(xn+1)的余式。寫作因此，

C(x)的i次循環(huán)移位C(i)(x)是C(x)乘以xi除以(xn+1)的余式，即結(jié)論：循環(huán)碼的碼矢的i次循環(huán)移位等效于將碼多項(xiàng)式乘xi后再模(xn+1)。第六章信道編碼循環(huán)碼的碼矢的i次循環(huán)移位與碼多項(xiàng)式的關(guān)系第六章已知(7,3)循環(huán)碼的全部碼字0000000001110101110101101001101001101001111001110(1)寫出該循環(huán)碼的生成多項(xiàng)式g(x)和生成矩陣G；(2)寫出一致監(jiān)督矩陣H；

第六章信道編碼已知(7,3)循環(huán)碼的全部碼字第六章信道編碼x7+1=(x+1)(x3+x2+1)(x3+x+1)g(x)=(x+1)(x3+x+1)=x4+x3+x2+1h(x)=(x3+x2+1)第六章信道編碼x7+1=(x+1)(x3+x2+1)(x3+x+1)第六章卷積碼與分組碼的不同之處在任意給定單元時(shí)刻，編碼器輸出的n個(gè)碼元中，每一個(gè)碼元不僅和此時(shí)刻輸入的k個(gè)信息元有關(guān)，還與前連續(xù)m個(gè)時(shí)刻輸入的信息元有關(guān)。第六章信道編碼卷積碼與分組碼的不同之處第六章信道編碼求(3,2,2)系統(tǒng)卷積碼的編碼電路g(1,1)=[g0(1,1)g1(1,1)g2(1,1)]=[100]g(1,2)=[g0(1,2)g1(1,2)g2(1,2)]=[000]g(1,3)=[g0(1,3)g1(1,3)g2(1,3)]=[101]g(2,1)=[g0(2,1)g1(2,1)g2(2,1)]=[000]g(2,2)=[g0(2,2)g1(2,2)g2(2,2)]=[100]g(2,3)=[g0(2,3)g1(2,3)g2(2,3)]=[110]該碼的任一子碼Cl中前兩位與ml(1)、ml(2)相同，后一位的監(jiān)督元由下式確定，即第六章信道編碼求(3,2,2)系統(tǒng)卷積碼的編碼電路第六章信道編碼串行編碼電路g(1,1)=[g0(1,1)

g1(1,1)g2(1,1)]=[100]g(2,1)=[g0(2,1)

g1(2,1)g2(2,1)]=[000]g(1,2)=[g0(1,2)

g1(1,2)g2(1,2)]=[000]g(2,2)=[g0(2,2)

g1(2,2)g2(2,2)]=[100]g(1,3)=[g0(1,3)

g1(1,3)g2(1,3)]=[101]g(2,3)=[g0(2,3)

g1(2,3)g2(2,3)]=[110]6.4.1卷積碼的基本概念串行編碼電路6.4.1卷積碼的基本概念信息“本體論”層次定義：信息是該事物運(yùn)動(dòng)的狀態(tài)和狀態(tài)改變的方式。認(rèn)識(shí)論層次的信息是同時(shí)考慮語法信息、語義信息和語用信息的全信息。全信息：同時(shí)考慮外在形式/語法信息、內(nèi)在含義/語義信息、效用價(jià)值/語用信息，稱為全信息。語法信息：事物運(yùn)動(dòng)狀態(tài)和狀態(tài)改變的方式；語義信息：事物運(yùn)動(dòng)狀態(tài)和方式的具體含義；語用信息：事物運(yùn)動(dòng)狀態(tài)和方式及其含義對(duì)觀察者的效用。研究信息論的目的：主要是提高信息系統(tǒng)的可靠性、有效性和安全性以便達(dá)到系統(tǒng)最優(yōu)化。第一章概論信息第一章概論單符號(hào)離散信源自信息量用概率測度定義信息量設(shè)離散信源X，其概率空間為如果知道事件xi已發(fā)生，則該事件所含有的自信息定義為當(dāng)事件xi發(fā)生以前：表示事件xi發(fā)生的不確定性。當(dāng)事件xi發(fā)生以后：表示事件xi所含有（或所提供）的信息量第二章信源熵單符號(hào)離散信源第二章信源熵聯(lián)合自信息量當(dāng)X和Y相互獨(dú)立時(shí)，p(xiyj)=p(xi)p(yj)第二章信源熵聯(lián)合自信息量第二章信源熵條件自信息量：已知yj的條件下xi仍然存在的不確定度。自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系第二章信源熵條件自信息量：已知yj的條件下xi仍然存在的不確定度互信息量：

yj對(duì)xi的互信息量定義為的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)。第二章信源熵互信息量：yj對(duì)xi的互信息量定義為的后驗(yàn)概率與先觀察者站在輸出端：兩個(gè)不確定度之差是不確定度被消除的部分，即等于自信息量減去條件自信息量。觀察者站在輸入端：觀察者得知輸入端發(fā)出xi前、后對(duì)輸出端出現(xiàn)yj的不確定度的差。觀察者站在通信系統(tǒng)總體立場上：通信后的互信息量，等于前后不確定度的差。第二章信源熵觀察者站在輸出端：兩個(gè)不確定度之差是不確定度被消除的部分，即平均信息量—信源熵：自信息的數(shù)學(xué)期望。也稱為信源的信息熵/信源熵/香農(nóng)熵/無條件熵/熵函數(shù)/熵。信息熵的意義：信源的信息熵H是從整個(gè)信源的統(tǒng)計(jì)特性來考慮的。它是從平均意義上來表征信源的總體特性的。對(duì)于某特定的信源，其信息熵只有一個(gè)。不同的信源因統(tǒng)計(jì)特性不同，其熵也不同。信源熵的三種物理含義信源熵H(X)是表示信源輸出后每個(gè)消息/符號(hào)所提供的平均信息量；信源熵H(X)是表示信源輸出前，信源的平均不確定性；用信源熵H(X)來表征變量X的隨機(jī)性。第二章信源熵平均信息量—信源熵：自信息的數(shù)學(xué)期望。也稱為信源的信息熵/信條件熵：是在聯(lián)合符號(hào)集合XY上的條件自信息的數(shù)學(xué)期望。第二章信源熵條件熵：是在聯(lián)合符號(hào)集合XY上的條件自信息的數(shù)學(xué)期望。第信道疑義度—H(X/Y)：表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。是通過有噪信道傳輸后引起的信息量的損失，故也可稱為損失熵。噪聲熵—H(Y/X)：表示在已知X的條件下，對(duì)于符號(hào)集Y尚存在的不確定性（疑義），這完全是由于信道中噪聲引起的。第二章信源熵信道疑義度—H(X/Y)：表示信宿在收到Y(jié)后，信源X聯(lián)合熵H(XY)：表示輸入隨機(jī)變量X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量Y。即收、發(fā)雙方通信后，整個(gè)系統(tǒng)仍然存在的不確定度。第二章信源熵聯(lián)合熵H(XY)：表示輸入隨機(jī)變量X，經(jīng)信道傳輸?shù)竭_(dá)信宿最大離散熵定理(極值性)：離散無記憶信源輸出n個(gè)不同的信息符號(hào)，當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相等時(shí)(即p(xi)=1/n)，熵最大。H[p(x1),p(x2),…,p(xn)]≤H(1/n,1/n,…,1/n)=log2n

出現(xiàn)任何符號(hào)的可能性相等時(shí)，不確定性最大。第二章信源熵最大離散熵定理(極值性)：離散無記憶信源輸出n個(gè)不同二進(jìn)制信源的熵函數(shù)H(p)為第二章信源熵二進(jìn)制信源的熵函數(shù)H(p)為第二章信源熵平均互信息量定義：互信息量I(xi;yj)在聯(lián)合概率P(XY)中的統(tǒng)計(jì)平均值。1.站在輸出端：I(X;Y)—收到Y(jié)前、后關(guān)于X的不確定度減少的量。從Y獲得的關(guān)于X的平均信息量。2.站在輸入端：I(Y;X)—發(fā)出X前、后關(guān)于Y的先驗(yàn)不確定度減少的量。3.站在總體：I(X;Y)—通信前、后整個(gè)系統(tǒng)不確定度減少量。第二章信源熵平均互信息量定義：互信息量I(xi;yj)在聯(lián)合概率PBSC信道的平均互信息量設(shè)二進(jìn)制對(duì)稱信道的輸入概率空間為

轉(zhuǎn)移概率如圖2.1.8所示。第二章信源熵BSC信道的平均互信息量第二章信源熵平均互信息量當(dāng)q不變(固定信道特性)

時(shí)，可得I(X;Y)隨輸入概率分布p變化的曲線，如圖2.1.9所示；二進(jìn)制對(duì)稱信道特性固定后，輸入呈等概率分布時(shí)，平均而言在接收端可獲得最大信息量。第二章信源熵平均互信息量第二章信源熵當(dāng)固定信源特性

p時(shí)，I(X;Y)就是信道特性q的函數(shù)，如圖2.1.10所示；當(dāng)二進(jìn)制對(duì)稱信道特性q=/q=1/2時(shí)，信道輸出端獲得信息量最小，即等于0。說明信源的全部信息信息都損失在信道中了。這是一種最差的信道。第二章信源熵當(dāng)固定信源特性p時(shí)，I(X;Y)就是信道特性q的函離散無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍，即H(X)=H(XN)=NH(X)離散平穩(wěn)信源：各維聯(lián)合概率均與時(shí)間起點(diǎn)無關(guān)的完全平穩(wěn)信源稱為離散平穩(wěn)信源。1.二維離散平穩(wěn)信源的熵為H(X)=H(X1X2)=H(X1)+H(X2/X1)2.N維離散平穩(wěn)信源的熵為H(X)=H(X1X2…XN-1XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN-1)第二章信源熵離散無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的平均符號(hào)熵：信源平均每發(fā)一個(gè)符號(hào)提供的信息量為離散平穩(wěn)有記憶信源的極限熵：當(dāng)N→∞時(shí)，平均符號(hào)熵取極限值稱之為極限熵或極限信息量。用H∞表示，即極限熵的存在性：當(dāng)離散有記憶信源是平穩(wěn)信源時(shí)，極限熵等于關(guān)聯(lián)長度N→∞時(shí)，條件熵H(XN/X1X2…XN-1)的極限值，即極限熵的含義：代表了一般離散平穩(wěn)有記憶信源平均每發(fā)一個(gè)符號(hào)提供的信息量。第二章信源熵平均符號(hào)熵：信源平均每發(fā)一個(gè)符號(hào)提供的信息量為第二章信源熵的相對(duì)率η：η=H∞/H0信源冗余度ξ：

ξ=1－η=(H0－H∞)/H0信源的冗余度表示信源可壓縮的程度。第二章信源熵信源熵的相對(duì)率η：η=H∞/H0第二章信源熵連續(xù)信源的熵為上式定義的熵在形式上和離散信源相似，也滿足離散熵的主要特性，如可加性，但在概念上與離散熵有差異因?yàn)樗チ穗x散熵的部分含義和性質(zhì)。第二章信源熵連續(xù)信源的熵為第二章信源熵設(shè)信源通過一干擾信道，接收符號(hào)為

Y={y1,y2}，信道傳遞矩陣為

(1)信源X中事件x1和x2分別含有的自信息量。(2)收到消息yj(j=1,2)后，獲得的關(guān)于xi(i=1,2)的信息量。(3)信源X和信宿Y的信息熵。(4)信道疑義度H(X/Y)和噪聲熵H(Y/X)。(5)接收到Y(jié)后獲得的平均互信息量。第二章信源熵第二章信源熵(1)信源X中事件x1和x2分別含有的自信息量。解：I(x1)=－log2p(x1)=－log20.6=0.74(bit)I(x2)=－log2p(x2)=－log20.4=1.32(bit)(2)收到消息yj(j=1,2)后，獲得的關(guān)于xi(i=1,2)的信息量。解：p(y1/x1)=5/6p(y2/x1)=1/6p(y1/x2)=1/4p(y2/x2)=3/4

p(x1y1)=p(x1)p(y1/x1)=0.6×5/6=0.5p(x1y2)=p(x1)p(y2/x1)=0.6×1/6=0.1p(x2y1)=p(x2)p(y1/x2)=0.4×1/4=0.1p(x2y2)=p(x2)p(y2/x2)=0.4×3/4=0.3p(y1)=p(x1y1)+p(x2y1)=0.5+0.1=0.6p(y2)=p(x1y2)+p(x2y2)=0.1+0.3=0.4P.128第二章信源熵(1)信源X中事件x1和x2分別含有的自信息P.128第二章信源熵P.128第二章信源熵(3)信源X和信宿Y的信息熵。解：(4)信道疑義度H(X/Y)和噪聲熵H(Y/X)。(5)接收到Y(jié)后獲得的平均互信息量。P.128第二章信源熵(3)信源X和信宿Y的信息熵。P.128第二章信道容量C：在信道中最大的信息傳輸速率，單位是比特/信道符號(hào)。單位時(shí)間的信道容量Ct：若信道平均傳輸一個(gè)符號(hào)需要t秒鐘，則單位時(shí)間的信道容量為Ct實(shí)際是信道的最大信息傳輸速率。第三章信道容量信道容量C：在信道中最大的信息傳輸速率，單位是比特/信道符求信道容量的方法當(dāng)信道特性p(yj/xi)固定后，I(X;Y)隨信源概率分布p(xi)的變化而變化。調(diào)整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，I(X;Y)是p(xi)的上凸函數(shù)，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。C和Ct都是求平均互信息I(X;Y)的條件極大值問題，當(dāng)輸入信源概率分布p(xi)調(diào)整好以后，C和Ct已與p(xi)無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計(jì)特性有關(guān)；信道容量是完全描述信道特性的參量；信道容量是信道能夠傳送的最大信息量。第三章信道容量求信道容量的方法第三章信道容量當(dāng)n=2時(shí)的強(qiáng)對(duì)稱離散信道就是二進(jìn)制均勻信道。二進(jìn)制均勻信道的信道容量為：二進(jìn)制均勻信道容量曲線如圖3.2.5所示。第三章信道容量當(dāng)n=2時(shí)的強(qiáng)對(duì)稱離散信道就是二進(jìn)制均勻信道。第三章香農(nóng)公式說明當(dāng)信道容量一定時(shí)，增大信道帶寬，可以降低對(duì)信噪功率比的要求；反之，當(dāng)信道頻帶較窄時(shí)，可以通過提高信噪功率比來補(bǔ)償。當(dāng)信道頻帶無限時(shí)，其信道容量與信號(hào)功率成正比。第三章信道容量香農(nóng)公式說明第三章信道容量有一個(gè)二元對(duì)稱信道，其信道矩陣為設(shè)該信源以1500(二元符號(hào)/秒)的速度傳輸輸入符號(hào)?，F(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)p(0)=p(1)=1/2，問從信息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真地傳遞完？解：信源：等概率分布1500符號(hào)/秒×10秒＝15000(個(gè)二元符號(hào))=15000(bit)14000個(gè)二元符號(hào)的信息量為14000(bit)信道：強(qiáng)對(duì)稱型10秒內(nèi)信道可傳遞信息15000×0.86=12900(bit)<14000(bit)答：10秒鐘內(nèi)不能無失真?zhèn)魍?。第三章信道容量有一個(gè)二元對(duì)稱信道，其信道矩陣為第三章信道失真度設(shè)離散無記憶信源為第四章信息率失真函數(shù)失真度第四章信息率失真函數(shù)對(duì)每一對(duì)(xi,yj)，指定一個(gè)非負(fù)函數(shù)d(xi,yj)≥0i=1,2,…,n

j=1,2,…,m

稱d(xi,yj)為單個(gè)符號(hào)的失真度/失真函數(shù)。表示信源發(fā)出一個(gè)符號(hào)xi，在接收端再現(xiàn)yj所引起的誤差或失真。第四章信息率失真函數(shù)對(duì)每一對(duì)(xi,yj)，指定一個(gè)非負(fù)函數(shù)第四章信息平均失真度定義d(xi,yj)只能表示兩個(gè)特定的具體符號(hào)xi和yj之間的失真。平均失真度：平均失真度為失真度的數(shù)學(xué)期望，第四章信息率失真函數(shù)平均失真度定義第四章信息率失真函數(shù)平均失真度意義是在平均意義上，從總體上對(duì)整個(gè)系統(tǒng)失真情況的描述。它是信源統(tǒng)計(jì)特性p(xi)、信道統(tǒng)計(jì)特性p(yj/xi)和失真度d(xi,yj)的函數(shù)。當(dāng)p(xi)，p(yj/xi)和d(xi,yj)給定后，平均失真度就不是一個(gè)隨機(jī)變量了，而是一個(gè)確定的量。如果信源和失真度一定，就只是信道統(tǒng)計(jì)特性的函數(shù)。信道傳遞概率不同，平均失真度隨之改變。第四章信息率失真函數(shù)平均失真度意義第四章信息率失真函數(shù)允許平均失真度：率失真函數(shù)中的自變量D，也就是人們規(guī)定的平均失真度的上限值。率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度D的最小和最大值問題。D的選取必須根據(jù)固定信源X的統(tǒng)計(jì)特性P(X)和選定的失真函數(shù)d(xi,yj)，在平均失真度的可能取值范圍內(nèi)。第四章信息率失真函數(shù)允許平均失真度：率失真函數(shù)中的自變量D，也就是人們規(guī)定的平常用的失真函數(shù)第一種當(dāng)a=1時(shí)稱為漢明失真矩陣。第二種/平方誤差失真矩陣：d(xi,yj)=(yj－xi)2第四章信息率失真函數(shù)常用的失真函數(shù)第四章信息率失真函數(shù)單符號(hào)信源和單符號(hào)信道的信息率失真函數(shù)在信源和失真度給定以后，PD是滿足保真度準(zhǔn)則的試驗(yàn)信道集合，平均互信息I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)，所以在PD中一定可以找到某個(gè)試驗(yàn)信道，使I(X;Y)達(dá)到最小，即這個(gè)最小值R(D)稱為信息率失真函數(shù)，簡稱率失真函數(shù)。在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來看，就是在滿足保真度準(zhǔn)則的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值。第四章信息率失真函數(shù)單符號(hào)信源和單符號(hào)信道的信息率失真函數(shù)第四章信息率失設(shè)信源，其失真度為漢明失真度，試問當(dāng)允許平均失真度D=(1/2)p時(shí)，每一信源符號(hào)平均最少需要幾個(gè)二進(jìn)制符號(hào)(碼長)？解：失真矩陣第四章信息率失真函數(shù)設(shè)信源設(shè)一信源分別為0.5，0.4，和0.１。（1）求二進(jìn)制Huffman編碼及效率。（2）求二次擴(kuò)展Huffman編碼及效率。解答見word文檔第五章信源編碼設(shè)一信源分別最佳譯碼準(zhǔn)則（最大似然譯碼）通信是一個(gè)統(tǒng)計(jì)過程，糾、檢錯(cuò)能力最終要反映到差錯(cuò)概率上。對(duì)于FEC方式，采用糾錯(cuò)碼后的碼字差錯(cuò)概率為pwe，p(C)：發(fā)送碼字C的先驗(yàn)概率p(C/R)：后驗(yàn)概率若碼字?jǐn)?shù)為2k，對(duì)充分隨機(jī)的消息源有p(C)=1/2k，所以最小化的pwe等價(jià)為最小化p(C’≠C│R)，又等價(jià)為最大化p(C’=C│R)；第六章信道編碼最佳譯碼準(zhǔn)則（最大似然譯碼）第六章信道編碼對(duì)于BSC信道：最大化的p(C’=C│R)等價(jià)于最大化的p(R│C)，最大化的p(R│C)又等價(jià)于最小化d(R,C)，所以使差錯(cuò)概率最小的譯碼是使接收向量R與輸出碼字C’距離最小的譯碼。第六章信道編碼對(duì)于BSC信道：最大化的p(C’=C│R)等價(jià)于最大伴隨式和錯(cuò)誤檢測①用監(jiān)督矩陣編碼，也用監(jiān)督矩陣譯碼：接收到一個(gè)接收字R后，校驗(yàn)HRT=0T是否成立：若關(guān)系成立，則認(rèn)為R是一個(gè)碼字；否則判為碼字在傳輸中發(fā)生了錯(cuò)誤；HRT的值是否為0是校驗(yàn)碼字出錯(cuò)與否的依據(jù)。②伴隨式/監(jiān)督子/校驗(yàn)子：S=RHT或ST=HRT。③如何糾錯(cuò)？設(shè)發(fā)送碼矢C=(Cn－1,Cn－2,…,C0)信道錯(cuò)誤圖樣為E=(En－1,En－2,…,E0)，其中Ei=0，表示第i位無錯(cuò)；Ei=1，表示第i位有錯(cuò)。i=n－1,n－2,…,0。第六章信道編碼伴隨式和錯(cuò)誤檢測第六章信道編碼接收字R為R=(Rn－1,Rn－2,…,R0)=C+E=(Cn－1+En－1,Cn－