1、概論2022-4-52. Algorithms（Chapter 5, 6）： 信源編碼，信道編碼信息信息（information）定義：消除不確定性的東西Theory（Chapter 2,3,4）： 熵，信道容量，率失真函數(shù)Chapter 1概論2022-4-5消息信號信號+噪聲消息消息（message）中用以消除不確定性的成分, 就是信息（information）編碼信道譯碼噪聲信源信宿消息（message）是由圖像、聲音、文字、數(shù)字等符號組成的序列信號（signal）是承載消息的載體，如電信號、光信號等概論3Model of Digita CommunicationnSource Codi

2、ngnCompresses the data to remove redundancynChannel CodingnAdds redundancy/structure to protect against channel errorsCompressDecompressEncodeDecodeNoisyChannelSource CodingChannel CodingInOut概論2022-4-5香農第一定理：信源發(fā)出的消息有冗余，為有效通信，可以進行壓縮冗余的信源編碼，給出無失真復現(xiàn)消息的信源編碼臨界值（下界）信息熵。香農第二定理：噪聲的存在使信道能可靠傳輸信息的能力受到限制，提出信道容

3、量的概念。為可靠通信，增加冗余糾錯的信道編碼，給出無失真復現(xiàn)消息的信道編碼的臨界值（上界）信道容量香農第三定理：給出在允許一定的失真條件下復現(xiàn)消息的信源編碼臨界值（下界）信息律失真函數(shù)概論2022-4-5無條件自信息量)x(Plog)x( IiaiChapter 2 信息熵n1iiin1iiii)x(Plog)x(P)x( I )x(P)x( I E)X(H嚴格上凸性（Concave）非負性最大熵定理離散信源等概率信源具有最大熵，最大熵H(X)max=log(n)，n為信源的消息個數(shù)注意：單位概論2022-4-5二、多符號離散信源及信息熵離散型隨機過程X1X2XN自信息量自信息量的鏈接準則（可

4、從概率乘法公式推導出來）)xx/x( I)x/x( I)x( I)xxx( I1N1N121N21iiiiiiiii)xxx(Plog)xxx( IN21N21iiiiii聯(lián)合熵用H(X1X2XN)表示)XXX/X(H)X/X(H)X(H)XXX(H1N21N121N21概論2022-4-5)X(H)X/X(H)XXX/X(HN1NN1N21N信息熵的界N1kk1N21N121N21)X(H)XXX/X(H)X/X(H)X(H)XXX(H條件熵小于無條件熵熵率)XXX(HN1)XXX(HN21N21N信源每發(fā)出一個消息符號所提供的平均信息量，也叫平均符號熵，用HN(X1X2XN)表示概論202

5、2-4-5N維離散平穩(wěn)信源多符號離散信源對任意兩個不同時間起點k和L，其概率分布及直到N維的各維聯(lián)合概率分布都相同概率分布與時間起點無關)XXX/X(H)X/X(H)X(H)XXX(H)XXX(H1N21N121N211Nk1kk)X(NH)X(HN1kk信息熵概論2022-4-5N維離散平穩(wěn)信源的熵率)XXX/X(H)X/X(H)X(HN1)XXX(HN1)XXX(H)XXX(H1N21N121N21N21N1Nk1kkN)X(H)X(HN1N1kk概論2022-4-5 N維離散平穩(wěn)無記憶無記憶信源各符號相互獨立，條件熵=無條件熵信息熵和熵率)X(H)XXX(H)XXX(HNN211Nk1k

6、k)X(NH)X(HN1kk)X(H)X(NHN1)X(HN1)X(HNNN概論2022-4-5m階馬爾科夫信源階馬爾科夫信源第N個符號只與前m (N-1)個符號相關，無后效性)s /s (P)xxx/xxx(P)xxx/xxx(P)xxx/x(Pijiiijjjiiiiiiiiiim21m21m211m32m211m要會求出狀態(tài)轉移圖m =條件中的x的數(shù)目概論2022-4-5遍歷定理mijn1iijn, 2 , 1j)s /s (P)s (P)s (Pm1)s (P1)s (P0mn1jjj，且根據(jù)狀態(tài)圖，就可以求出所有P(Si)平穩(wěn)時的極限熵H 記為Hm+1 （熵率轉變?yōu)闂l件熵）mmn1i

7、n1jijiji1m)s /s (Plog)s /s (P)s (PHH概論 求求H（X1Xk）馬爾科夫鏈的聯(lián)合熵）馬爾科夫鏈的聯(lián)合熵nH(X1Xk)=H(X1Xm)+H(Xm+1/X1Xm) +H(Xm+2/X2Xm+1)+ ,(km) 鏈接準則 =H(X1Xm)+p H(Xm+1/X1Xm), 平穩(wěn)性2. 聯(lián)合熵3. 條件熵4. 狀態(tài)概率（由遍歷定理）1311111(X/X .X )( ) (/)log (/)mmNNmmmijijiijHHP s P ssP ss 1(X .X )(S)( )log ( )miiiHHP SP S 1( )( ) (/),jmNjijiiP sP s P

8、 ss 1( )1mNjjP sand 概論2022-4-5五、單符號連續(xù)信源及相對熵( )p x概率密度函數(shù)絕對熵0()( )log ( )lim logbanxH Xp xp x dxx 相對熵bacdx)x(plog)x(p)X(H概論2022-4-51. 均勻信源的相對熵bxa ,ab1)x(p()log()cHXba2. 高斯信源的相對熵x,e21)x(p222)x(221()log(2)2cHXe x,0 e1)x(px當3. 指數(shù)信源的相對熵()log()cHXe概論2022-4-52022-4-5最大相對熵定理連續(xù)信源沒有一般意義下的最大相對熵，只有限制條件下的最大相對熵取值范

9、圍受限，= 均勻分布信源平均功率受限，= 高斯分布信源均值受限，= 指數(shù)分布信源概論2022-4-5第3章 信道及信道容量XP(Y/X)Y)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)X/Y(Pnmn2n12m22211m1211維數(shù)： 發(fā)送信號個數(shù)（行）接收信號數(shù)（列）概論2022-4-5第第3章章 信道及信道容量信道及信道容量互信息量：信宿消息yj 所含信源消息xi的信息量)/()()/(log)(log);()/()()/(log)(log)/()(log);(jiijiiijijjijjijjjiyxIxIyxPxPxyI

10、xyIyIxyPyPxyPyPyxI概論2022-4-5平均互信息量11( ; ) ( ;)() ( ;)( )( /)nmijijijijI X YE I x yP x y I x yH YH Y X)/()(YXHXH)()()(XYHYHXH條件熵H(Y/X)噪聲熵或信道散布度條件熵H(X/Y)損失熵或信道疑義度概論2022-4-5)X;Y( I)Y;X( IX與Y一一對應時(無噪聲)，)X(H)Y(H)Y;X( IX與Y相互獨立時(噪聲太大)，0)Y;X( I概論2022-4-5嚴格凸函數(shù)性信道固定時，I(X;Y)是信源概率分布P(X)的嚴格上凸函數(shù)，concave，求最大值信源固定時

11、，I(X;Y)是信道轉移概率分布P(Y/X)的嚴格下凸函數(shù)，convex，求最小值11)/(log)/()()/(ijijijixyPxyPxPXYH概論2022-4-5信道容量信道固定時，平均互信息量是信源概率分布P(X)的嚴格上凸函數(shù)，尋找一種信源概率分布P(X)，使得平均互信息量達到最大)Y;X( ImaxC)X(P概論2022-4-5m=n信道的信道容量11(1)(/)(/)log (/)1,2,mmkikkikikkkP yxP yxP yxkm由P(Y/X)的行求出)2log(C) 2(m1kk求出m, 2 , 1k2)y(P) 3 (Ckk求出1(4)()( ) (/ )( )1

12、,2,nkikiiiP yP x P yxP xin由P(Y/X)的列求出概論2022-4-5二、對稱信道及信道容量1、對稱信道矩陣中每一行都是集合中各元素的不同排列矩陣行可排列；每一列都是集合 中各元素的不同排列矩陣列可排列q,q,qQm21p,p,pPn21既行可排列，又列可排列的信道矩陣所表示的單符號離散信道概論2022-4-51、對稱信道)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxCm21)X(P)X(P)X(P信宿等概時最大m1jjjm21qlogqmlog)q ,q ,q (HmlogCnxPi1)(概論2022-4-5 準對稱信道:行可排列而列不可

13、排列 12111()log ()( ,)()log ()logmjjmjmmjjjjjjCP yP yH q qqP yP yqqnxPxPn1)()(1 達到信道容量的信源概率分布1()* ( /)j 1,jP yP Y Xjmn 矩陣第 列所有元素之和 ，111log),.2,1()/(log)/()()/(噪聲熵iiiijijijiqqqmqqHxyPxyPxPXYH概論2022-4-5 單符號連續(xù)信道單符號連續(xù)信道 )Y;X( ImaxC)x(p連續(xù)信道習慣于考慮信道在單位時間內平均互信息量的最大值最大信息傳輸速率定義單位時間的信道容量，用Ct表示)Y;X( ImaxT1TCC)x(p

14、t概論2022-4-5 高斯加性信道及信道容量高斯加性信道及信道容量高斯加性信道的信道容量1log(1)2XNPCPSNRPPNX為信噪功率比其中222n2e21)n(p)x/y(p概論2022-4-54、高斯加性信道的最大信息傳輸速率信號帶寬為B，采樣時間T=1/（2B）高斯加性信道的最大信息傳輸速率香農公式log(1)XtNPCCBTP的單邊功率譜密度為設WGANBPNN0)BNP1log(BC0Xt0XtBNPelogClim使用Taylor級數(shù)，ln(1+x)x概論2022-4-5香農公式的意義最大信息傳輸速率與所傳輸信號的帶寬成正比，基本與信噪功率比成正比信噪功率比小于1時最大信息傳

15、輸速率仍大于0所傳輸信號的帶寬趨于無窮時，最大信息傳輸速率趨于有限值0XtBNPelogClim最大信息傳輸速率一定時，增大所傳輸信號的帶寬，可以降低對信噪功率比的要求概論2022-4-5第4章 信息率失真理論漢明失真矩陣漢明失真矩陣0.11.1.011.10D平方誤差失真函數(shù)平方誤差失真函數(shù)2)x x()x , x(d概論2022-4-5 單符號離散信源的信息率失真函數(shù))X;X( Imin)D(R)X/X(PD信源固定時信源固定時，平均互信息量是，平均互信息量是信道轉移概率信道轉移概率分布分布的嚴格下凸函數(shù)，總能在實驗信道中找到一種信的嚴格下凸函數(shù)，總能在實驗信道中找到一種信道轉移概率分布，

16、使實驗信道中傳輸?shù)钠骄バ诺擂D移概率分布，使實驗信道中傳輸?shù)钠骄バ畔⒘吭诒Ｕ娑葴蕜t下達到最小息量在保真度準則下達到最小概論二進制信源的信息率失真函數(shù)二進制信源的信息率失真函數(shù)21pp1pxx)X(PX21其中二進制信源0110D失真矩陣概論0)D(H)p(H)D(R0R(p)D(RpDDmaxmax時，R(D)D0.50.25p=0.25p=0.5010.811)p(H) 0 (R)D(R0DDminmin時，當，當0 =D =minp，1-p概論()R D達到的實驗信道11(1)() (/)(1 2 )DDpDP xxpD12() (/)(1)(1 2 )DD pDP xxpD21(1)

17、(/)(1 2 )DDpDP xxpD22(1)(1) (/)(1)(1 2 )DDpDP xxpD概論()R D達到的實驗信道項，共njiD12) 1n(11)x/x (PSijD項，共) 1n(nji1nD2) 1n(12)x/x (PSSijD0)D(H) 1nlog(Dnlog)D(R0)n1nR()D(Rn1nDDmaxmax時，nlog) 0 (R)D(R0DDminmin時，等概率信源的信息率失真函數(shù)等概率信源的信息率失真函數(shù)概論2022-4-5高斯信源的信息率失真函數(shù)高斯信源的信息率失真函數(shù)2x22x2xe21)x(p 高斯信源2)x x()x , x(d 失真函數(shù)概論()R

18、D達到的實驗信道D2nD2eD21)x /x(p方差為方差為D的的反向反向高斯加性信道高斯加性信道0Dln21)D(R2x0)R()D(RDD2xmax2xmax時，) 0 (R)D(R0DDminmin時，2xR(D)D0概論2022-4-5第第5章章 信源編碼信源編碼編碼效率編碼效率1K)X(HHNK)X(H異前置碼異前置碼延時碼延時碼等到對應于下個符號序列的碼字出現(xiàn)時等到對應于下個符號序列的碼字出現(xiàn)時才能譯出才能譯出概論2022-4-5長度為長度為ki i=1,2, ,nN的二進制異前置碼存在的充的二進制異前置碼存在的充分必要條件分必要條件12Nin1ikKraft不等式不等式Niin,

19、 2 , 1i)a (Plogk選取Niiin, 2 , 1i1)a (Plogk)a (PlogN1)X(HNK)X(H概論2022-4-5香農碼香農碼將符號序列將符號序列ai i=1,2,nN按概率降序排列按概率降序排列確定第確定第i個碼字的碼長個碼字的碼長Niin, 2 , 1i)a (Plogk令令P(a0)=0，計算第，計算第i-1個符號序列的累加概率個符號序列的累加概率N1i1ia1i0jjian, 2 , 1i)a (P)a (P)a (P)a (P將將Pa(ai)用二進制表示，取小數(shù)點后用二進制表示，取小數(shù)點后ki位作為符位作為符號序列號序列ai的碼字的碼字ci i=1,2,n

20、N概論42費諾碼(Fano Code)費諾碼算法：費諾碼算法：n符號序列符號序列ai按概率降序排列按概率降序排列n劃分為兩組，每組概率之和盡可能相等劃分為兩組，每組概率之和盡可能相等n為兩組分別分配編碼為兩組分別分配編碼“0”和和“1”1.在每個分組中，重復步驟在每個分組中，重復步驟 2、3，直到不可劃分，直到不可劃分概論2022-4-5將符號序列將符號序列ai i=1,2,nN按概率降序排列按概率降序排列為概率最小的兩個符號序列各自分配一個二進為概率最小的兩個符號序列各自分配一個二進制碼元制碼元將概率最小的兩個符號序列合并成一個新的符將概率最小的兩個符號序列合并成一個新的符號序列，用兩者概率之和作為新符號序列的概率號序列，用兩者概率之和作為新符號序列的概率赫夫曼碼赫夫曼碼重復重復 步驟，直到合并出一個以步驟，直到合并出一個以1為概率的為概率的新符號序列新符號序列