1、2020/8/20,1/39,信息論與編碼,2020/8/20,2/39,學(xué) 時(shí)：36 參考教材： 信息論與編碼,沈連豐,科學(xué)出版社 信息論基礎(chǔ)理論與應(yīng)用,傅祖蕓,電子工業(yè)出版社 糾錯(cuò)碼原理與方法,王新梅,西安電子科技大學(xué)出版 信息論與編碼,陳 運(yùn),電子工業(yè)出版社 “”Digital Modulation and Coding”, S. Wilson, Prentice Hall（“數(shù)字調(diào)制與編碼”影印版，電子工業(yè)出版社） “Elements of Information Theory” ,Thomas M. Cover, Joy A. Thomas. 清華大學(xué)出版社影印版,2020/8/20

2、,3/39,課程概況,目的：了解學(xué)習(xí)信息論與編碼理論的作用與意義，對(duì)信息論與編碼理論的研究方法和成果有廣泛的基本認(rèn)識(shí)，學(xué)會(huì)應(yīng)用，為進(jìn)一步研究打下基礎(chǔ) 特點(diǎn)：以概念和物理意義為主，數(shù)學(xué)推導(dǎo)盡量放到課外 作業(yè)：編寫相關(guān)內(nèi)容的程序或閱讀近兩年內(nèi)的國(guó)外期刊一兩篇，結(jié)合自己的理解，寫一份讀書報(bào)告，內(nèi)容可自選。 考試：,2020/8/20,4/39,課程基本內(nèi)容,一. 信息論 信息論的發(fā)展以及通信系統(tǒng)的模型 離散信源熵，互信息以及冗余度 二. 信源編碼 定長(zhǎng)編碼，變長(zhǎng)編碼以及最佳編碼 離散信源的信息率失真函數(shù)R(D) 限失真信源編碼定理以及常用信源編碼方法 三. 信道編碼 信道模型和容量 線性分組碼 卷積

3、碼 網(wǎng)格編碼調(diào)制與級(jí)聯(lián)碼 Turbo碼及其迭代譯碼原理,2020/8/20,5,1. 信息論研究的中心問(wèn)題和發(fā)展歷史,2020/8/20,6/39,信息論？,信息論是通信的數(shù)學(xué)基礎(chǔ)，它以概率論、隨機(jī)過(guò)程、數(shù)理統(tǒng)計(jì)和代數(shù)學(xué)為主要數(shù)學(xué)工具，詳細(xì)研究了通信中的各個(gè)關(guān)鍵環(huán)節(jié)，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術(shù)提供了理論上的指導(dǎo)。 信息論創(chuàng)立的標(biāo)志:香農(nóng)于1948年發(fā)表的論文： A Mathematical Theory of Communication （通信的數(shù)學(xué)理論）,1948年以前，Nyquist、Hartley、Wiener做了許多有影響的工作。 1948年，

4、香農(nóng)發(fā)表通信的數(shù)學(xué)理論，標(biāo)志著信息論的誕生，同年發(fā)表保密通信的信息理論，用信息論的觀點(diǎn)對(duì)信息保密問(wèn)題作了全面的論述。 1956年，香農(nóng)發(fā)表噪聲信道的零差錯(cuò)容量。 1959年，香農(nóng)發(fā)表保真度準(zhǔn)則下的離散信源編碼定理，提出信息率失真理論，為信源壓縮編碼奠定了理論基礎(chǔ)。 1961年，香農(nóng)發(fā)表雙路通信系統(tǒng)，開拓了多用戶信息理論（網(wǎng)絡(luò)信息論）的研究。,2020/8/20,7/39,信息論的研究范疇,基礎(chǔ)信息論（ shannon經(jīng)典信息論） 研究信息測(cè)度，信道容量以及信源和信道編碼理論 一般信息論（工程信息論） 以工程為背景，主要研究通信系統(tǒng)中各部分的最佳工作規(guī)律，與最佳設(shè)計(jì)原則，以工程上技術(shù)問(wèn)題為主。研

5、究?jī)?nèi)容除經(jīng)典信息論外還包括噪聲理論，信號(hào)濾波和預(yù)測(cè)，統(tǒng)計(jì)檢測(cè)和估值理論，調(diào)制理論，信息處理理論和保密理論 廣義信息論 除上述內(nèi)容外，還包括自然和社會(huì)領(lǐng)域有關(guān)信息的內(nèi)容，如模式識(shí)別，計(jì)算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué),2020/8/20,8/39,研究Shannon信息論的主要目的,設(shè)計(jì)有效，可靠和安全的通信系統(tǒng) 有效性是用盡可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳輸一定信息量的消息 信源編碼（數(shù)據(jù)壓縮）：無(wú)失真信源編碼和限失真信源編碼 可靠性是要使信源發(fā)出的消息經(jīng)過(guò)傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端 信道編碼（可靠傳輸） 安全性 加密編碼,2020/8/20,9/39,shannon信息論

6、研究的主要問(wèn)題,1）什么是信息？如何度量信息？（信息熵） 2）怎樣確定信源輸出信息的速率？（信息傳輸速率） 3）對(duì)于一個(gè)信道，它傳輸信息的最高速率是多少？（信道容量） 4）無(wú)失真信源編碼，所需要的最少碼符號(hào)數(shù)是多少？（香農(nóng)第一定理：如果編碼后信源序列的信息傳輸速率不小于信源熵，那么一定存在一種無(wú)失真信源編碼方法；否則，不存在這種無(wú)失真信源編碼方） 5）在有噪聲信道中，有沒有可能以接近信道容量的速率傳輸信息，而收端的錯(cuò)誤概率幾乎為零？（香農(nóng)第二定理：如果信息傳輸速率小于信道容量，那么總可以找到一種編碼方式，使得當(dāng)編碼序列足夠長(zhǎng)時(shí)傳輸差錯(cuò)任意??；否則，不存在使差錯(cuò)任意小的信道編碼方式） 6）如果信

7、源編碼時(shí)，允許一定的失真，那么信源編碼所需要的最少碼符號(hào)數(shù)又是多少？（香農(nóng)第三定理：對(duì)于任意的失真度 ，只要碼字足夠長(zhǎng)，那么總可以找到一種編碼方法，使編碼后每個(gè)信源符號(hào)的信息傳輸速率 ，而譯碼的平均失真度 ）,2020/8/20,10/39,香農(nóng)和維納理論的區(qū)別,香農(nóng)理論：香農(nóng)研究的對(duì)象是從信源到信宿之間的全過(guò)程，是收、發(fā)端聯(lián)合最優(yōu)化問(wèn)題，其重點(diǎn)是放在編碼。他指出，只要在傳輸前后對(duì)消息進(jìn)行適當(dāng)?shù)木幋a和譯碼，就能保證在干擾的存在下，最佳地傳送和準(zhǔn)確或近似地再現(xiàn)消息。為此發(fā)展了信息測(cè)度理論、信道容量理論和編碼理論。 維納理論：維納研究的重點(diǎn)是在接收端。研究一個(gè)信號(hào)如果在傳輸過(guò)程中被某些因素（如噪聲

8、、非線性失真等）所干擾時(shí)，在接收端怎樣把它恢復(fù)、再現(xiàn)，從干擾中提取出來(lái)。在此基礎(chǔ)上，創(chuàng)立了最佳線性過(guò)濾理論（維納濾波器）、統(tǒng)計(jì)檢測(cè)與估計(jì)理論、噪聲理論。,2020/8/20,11/39,信息論幾個(gè)方面的主要進(jìn)展,信源編碼與數(shù)據(jù)壓縮 信道編碼與差錯(cuò)控制技術(shù) 多用戶信息論與網(wǎng)絡(luò)通信 多媒體與信息論 信息論與密碼學(xué)和數(shù)據(jù)安全 信息論與概率統(tǒng)計(jì) 信息論與經(jīng)濟(jì)學(xué) 信息論與計(jì)算復(fù)雜性 信息論與系統(tǒng)、控制、信號(hào)檢測(cè)和處理 量子信息論 Shannon的其它重要貢獻(xiàn),2020/8/20,12/39,信源編碼與數(shù)據(jù)壓縮理論的進(jìn)展Kieffer 1993,無(wú)擾信源編碼的誕生(1948, C. E. Shannon)

9、。 Huffman算法的發(fā)現(xiàn)(1952, D. A. Huffman)。 建立Shannon-McMillan定理(1953, B. McMillan)。 發(fā)現(xiàn)Lloyd算法(1957, S. P. Lloyd ,1982年發(fā)表)。 率失真理論系統(tǒng)化(1959, C. E. Shannon)。 Kolmogorov Complexity概念誕生(1964, A. N. Kolmogorov)。 通用信源編碼理論系統(tǒng)化(1973, L. D. Davission)。 多端信源編碼理論誕生(1973, D. Slepian和J. K. Wolf)。 第一個(gè)實(shí)際的算術(shù)編碼方案(1976, J. Ri

10、ssannen和R. Pasco 1976博士論文)。 發(fā)現(xiàn)Lempel-Ziv碼(1977, J. Ziv和A. Lempel)。,2020/8/20,16/39,多用戶信息論與網(wǎng)絡(luò)通信理論的進(jìn)展,(1) 理論基礎(chǔ)。兩路通信系統(tǒng)(Shannon 1961)。 (2) 理論進(jìn)展。 Cover, Schalkwijk, Van. der Meulen, Alswede, Slepian, Wolf, Wyner Liao(Universty of Hawaii), Han等。 (3) 技術(shù)成就。 CDMA(Virerbi, Qaulecom)的技術(shù)問(wèn)題：聯(lián)合檢測(cè)和譯碼、均衡、干擾抵消、速率分拆(

11、rate splitting)、功率檢測(cè)控制等(Verdu, Shamai and Rimoldi)。 STC(Space time code) 。 線性網(wǎng)絡(luò)編碼 聯(lián)合編碼技術(shù),2020/8/20,17/39,技術(shù)進(jìn)展：通向Shannon極限的途徑 Shannon極限：白高斯信道下為傳送1比特信息所需的最小Eb/N0值，理論上如表。 在誤碼率為105時(shí)，未編碼二元信號(hào)最佳檢測(cè)下所需的Eb/N0值為9.6 dB。Shannon極限指出,采用編碼可以得到910 dB的功率增益。 表 白高斯信道的Shannon極限 輸 入 輸 出 速 率 最小Eb/N0值 二元信號(hào) 軟判決 0 1.6 dB 二元信

12、號(hào) 軟判決 0.5 0.2 dB 二元信號(hào) 硬判決 0.5 1.8 dB,過(guò)去50年中Shannon信息論已取得巨大、豐富的理論和技術(shù)成果，在未來(lái)的50年中，Shannon信息論將繼續(xù)繁榮還是趨向衰落和消亡? 在過(guò)去50年中也曾幾次出現(xiàn)過(guò)類似的爭(zhēng)論。如果信息論繼續(xù)推動(dòng)技術(shù)的發(fā)展，則在未來(lái)的幾十年中就會(huì)繼續(xù)繁榮下去，否則會(huì)象近30年來(lái)的物理學(xué)所經(jīng)受的蕭條。 當(dāng)前信息論對(duì)無(wú)線通信的重要作用為信息論的發(fā)展提供了契機(jī)，無(wú)線頻帶資源的匱乏更趨嚴(yán)重，高效和高可靠性通信愈加依靠信息論的發(fā)展，同時(shí)需要更多的信息論人才。 Internet通信、移動(dòng)通信、光存儲(chǔ)、生物等領(lǐng)域?qū)⑾蛐畔⒄撎岢鲂碌奶魬?zhàn)。,未來(lái)的趨勢(shì),2

13、020/8/20,19/39,香農(nóng)信息論的深化研究方向,香農(nóng)信息論： 網(wǎng)絡(luò)信息理論和多重相關(guān)信源編碼理論的發(fā)展和應(yīng)用； 通信網(wǎng)的一般信息理論研究； 信息率失真理論的發(fā)展及在數(shù)據(jù)壓縮和圖像處理中的應(yīng)用； 信息論在大規(guī)模集成電路中的應(yīng)用； 糾錯(cuò)碼理論： 在工程方面應(yīng)用 最優(yōu)編碼方法研究。 維納信息論： 量子檢測(cè)和估計(jì)理論 非參數(shù)檢測(cè)和估計(jì)理論，非線性檢測(cè)與估計(jì)理論的研究。 信源，信道和安全編碼之間的結(jié)合 聯(lián)合信源信道編碼 聯(lián)合安全信道編碼,2020/8/20,20/39,如果實(shí)際信源或信道符合所采用的概率模型描述，這種方法是有效的，否則只能是近似的，甚至根本無(wú)效。 語(yǔ)言的熵描述是非常困難的，其是非

14、平穩(wěn)的，除了確定的信息，還有模糊的信息，比如“韻味”，“意境” 不同的接收者對(duì)同一個(gè)東西得到的信息可能是不同的 Shannon信息論適合于能夠定量描述的信息，對(duì)難于定量描述的信息則無(wú)能為力。,Shannon信息論的局限性,Shannon信息論在研究方法上的啟示 1. 理論與實(shí)踐的關(guān)系。五十年信息論發(fā)展的歷史證明，理論必須結(jié)合實(shí)踐才有旺盛的生命力。實(shí)踐可以幫助人們正確地提出問(wèn)題和猜想；實(shí)踐需要理論的指導(dǎo)才能建立更好的系統(tǒng)，才能迅速向前發(fā)展。理論用于不斷變化的實(shí)踐過(guò)程中，又常常提示和激勵(lì)我們探索新的理論問(wèn)題，并以新的方法重新檢驗(yàn)已有的理論結(jié)論。 2簡(jiǎn)化模型。 “簡(jiǎn)單模型勝于繁瑣的現(xiàn)象羅列”， “簡(jiǎn)

15、單化才能顯現(xiàn)出事物的本質(zhì)，它表現(xiàn)了人的洞察力” Gallager 。 3基礎(chǔ)的重要性。切莫近視、急功近利。,2020/8/20,22/39,Shannon對(duì)信息論的貢獻(xiàn),2001年2月24日，Shannon于馬薩諸塞州病逝。著名信息論和編碼學(xué)者Dr. Richard Blahut 在Shannon塑像落成典禮上這樣評(píng)價(jià)Shannon：“在我看來(lái)，兩三百年之后，當(dāng)人們回過(guò)頭來(lái)看我們這個(gè)時(shí)代的時(shí)候，他們可能不會(huì)記得誰(shuí)曾是美國(guó)的總統(tǒng)。他們也不會(huì)記得誰(shuí)曾是影星或搖滾歌星。但是他們會(huì)記得Shannon的名字。學(xué)校里仍然會(huì)講授信息論?！?2020/8/20,23/39,Shannon信息論的應(yīng)用范圍,20

16、20/8/20,24/39,AWGN: Additive White Gaussian Noise LDPC: Low-density Parity-check Codes,Recent progress in FECs for optical communication systems.,2020/8/20,25,2. 通信系統(tǒng)的模型,2020/8/20,26/39,通信系統(tǒng)的通用模型,系統(tǒng)的模型不是不變的，可根據(jù)實(shí)際情況而定，可將圖中的編、譯碼器作更細(xì)致的劃分，目的是使信源編碼的研究主要和信源及信宿發(fā)生關(guān)系，此時(shí)信道編、譯碼器和信道的組合可等效為一個(gè)離散無(wú)擾信道。而信道編碼的研究可和信源、

17、信宿無(wú)關(guān)，而只與信道有關(guān)，此時(shí)信源和信源編碼器組合成一個(gè)對(duì)于信道編碼器來(lái)說(shuō)的等效離散源，它的輸出可近似地看成是無(wú)記憶、等概的數(shù)字序列。這種劃分可使信源編碼集中于解決傳輸有效性問(wèn)題，而信道編碼則集中于解決抗信道干擾和失真問(wèn)題，即解決傳輸可靠性問(wèn)題，從而簡(jiǎn)化了研究。,2020/8/20,27/39,信 道,等效離散信道,信 源,信 源 編碼器,糾 錯(cuò) 編碼器,調(diào)制器,干擾源,信 源 譯碼器,糾 錯(cuò) 譯碼器,信 宿,解調(diào)器,等效信宿,信道編碼器,信道譯碼器,等效離散信源,細(xì)化的通信系統(tǒng)模型,等效離散信道,這樣劃分是否會(huì)對(duì)發(fā)揮通信系統(tǒng)的傳信潛力有根本性的限制呢？研究表明，在很一般的條件下，對(duì)大多數(shù)理論

18、結(jié)果沒有太大限制。但是這樣劃分也不一定總是合理的，有時(shí)將信源編碼和信道編碼統(tǒng)一考慮進(jìn)行設(shè)計(jì)可能更有效些，有人已進(jìn)行了這方面的探討，如信源和信道聯(lián)合編碼、加密與糾錯(cuò)聯(lián)合設(shè)計(jì)的研究。,2020/8/20,28/39,各部件功能,信源 產(chǎn)生消息的源，消息可以是文字，語(yǔ)言，圖像?？梢噪x散，可以連續(xù)。隨機(jī)發(fā)生。 研究的主要問(wèn)題是消息的統(tǒng)計(jì)特性和產(chǎn)生信息的速率 編碼器 信源編碼器：對(duì)信源輸出進(jìn)行變換（消去冗余，壓縮），提高信息傳輸?shù)挠行?信道編碼器：對(duì)信源編碼輸出變換（加入冗余），提高抗干擾能力，提高信息傳輸?shù)目煽啃?調(diào)制器：將信道編碼輸出變成適合信道傳輸?shù)姆绞?2020/8/20,29/39,各部件功能,信道 信號(hào)從發(fā)端傳到收端的介質(zhì) 信道的中心問(wèn)題是研究信道的統(tǒng)計(jì)特性和傳信能力，即信道容量 干擾源 系統(tǒng)各部分引入的干擾，包括衰落，多徑，碼間干擾，非線性失真，加性噪聲，主要是統(tǒng)計(jì)特性,2020/8/20,30/39,各部件功能,譯碼器 編碼器的逆變換 中心問(wèn)題是研究各種可實(shí)現(xiàn)的解調(diào)和譯碼方法 信宿 信息的接收者,2020/8/20,31/39,信息、消息和信號(hào),信息 一個(gè)抽象的概念，可以定量的描述。信息、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素 消息 是信息的