1、第1章 緒 論1.1信息論的形成和發(fā)展1.2信息論的研究?jī)?nèi)容1.3信息的基本概念1.4通信系統(tǒng)模型簡(jiǎn)介8/21/202211.1信息論的形成和發(fā)展信息論的早期醞釀（19世紀(jì)到20世紀(jì)40年代）編碼技術(shù)產(chǎn)生：莫爾斯碼、波多碼早期通信中發(fā)現(xiàn)的問(wèn)題信號(hào)的頻帶寬度和信噪比影響信道的通信容量。通信的數(shù)量與質(zhì)量相互制約：有效性和可靠性抗干擾碼的出現(xiàn)。香農(nóng)熵的產(chǎn)生維納、費(fèi)希爾、香農(nóng)幾乎同時(shí)提出信息的度量形式1948年，香農(nóng)發(fā)表論文通信的數(shù)學(xué)理論，奠定了現(xiàn)代信息論的基礎(chǔ)8/21/202221.1信息論的形成和發(fā)展Claude Shannon (1916-2019)8/21/202231.1信息論的形成和發(fā)展信

2、息論的建立與發(fā)展（19481980S）對(duì)香農(nóng)信息理論進(jìn)行嚴(yán)格的數(shù)學(xué)描述與論證（19481960S）香農(nóng)信息論的發(fā)展（1970S1980S）率失真理論的發(fā)展多用戶(hù)信息論（網(wǎng)絡(luò)信息論）的發(fā)展代數(shù)編碼理論的發(fā)展8/21/202241.1信息論的形成和發(fā)展信息論近期發(fā)展（20世紀(jì)90年代后）無(wú)失真編碼的應(yīng)用有失真信源數(shù)據(jù)壓縮編碼的應(yīng)用調(diào)制解調(diào)碼問(wèn)題漢字信息編碼圖形碼與存儲(chǔ)介質(zhì)碼8/21/202251.2信息論的研究?jī)?nèi)容狹義信息論（經(jīng)典信息論）主要研究信息的測(cè)度、信道容量及信源和信道編碼理論等問(wèn)題，又稱(chēng)香農(nóng)基本理論一般信息論（工程信息論）主要研究信息傳輸和處理問(wèn)題。除香農(nóng)理論以外，還包括編碼理論、噪聲理

3、論、信號(hào)濾波和預(yù)測(cè)、統(tǒng)計(jì)檢測(cè)和估計(jì)、調(diào)制理論、信息處理理論以及保密理論等廣義信息論不僅包括上述兩方面內(nèi)容，而且包括所有與信息有關(guān)的自然和社會(huì)領(lǐng)域，如模式識(shí)別、計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語(yǔ)言學(xué)、語(yǔ)義學(xué)甚至包括社會(huì)學(xué)中有關(guān)信息的問(wèn)題8/21/20226香農(nóng)信息論壓縮理論限失真信源編碼無(wú)失真信源編碼率失真理論壓縮編碼定長(zhǎng)編碼定理變長(zhǎng)編碼定理最優(yōu)碼構(gòu)成Huffman碼Fano碼傳輸理論有噪聲信道編碼理論碼構(gòu)成糾錯(cuò)碼代數(shù)編碼卷積碼網(wǎng)絡(luò)信道網(wǎng)絡(luò)信息理論網(wǎng)絡(luò)最佳碼保密理論保密系統(tǒng)的信息理論保密碼香農(nóng)信息論的科學(xué)體系8/21/202271.3信息的基本概念物質(zhì)世界的三大支柱：物質(zhì)、能量和信息Wi

4、thout materials, there is nothing.沒(méi)有物質(zhì)的世界是虛無(wú)的世界Without energy, nothing happens.沒(méi)有能源的世界是死寂的世界Without information, nothing makes sense.沒(méi)有信息的世界是混亂的世界8/21/20228信息的定義從日常生活知識(shí)來(lái)理解有關(guān)科學(xué)家的論述香農(nóng)：信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述艾什比：把信息定義為“差異度”維納：把信息定義為一種“組織性”的度量有關(guān)哲學(xué)家的論述信息是一切物質(zhì)的屬性信息就是信息，不是物質(zhì)也不是能量英國(guó)牛津字典：信息是談?wù)摰氖虑?、新聞和知識(shí)韋氏字典：在觀(guān)

5、察研究過(guò)程中獲得的數(shù)據(jù)情報(bào)、新聞和知識(shí)日本廣辭苑：信息是所觀(guān)察事物的知識(shí)8/21/20229消息、信號(hào)和信息消息（Message）： 信源發(fā)出的語(yǔ)言、文字、公式、數(shù)據(jù)、聲音、圖像等等。每個(gè)消息都是具體的，其內(nèi)容千千萬(wàn)萬(wàn)，形式多種多樣。信號(hào)（Signal）：替代消息并適合于在信道中傳輸?shù)氖沁B續(xù)或脈沖的電壓、電流、電磁波及光波。信源信道信宿消息(發(fā)送者)(收信者)干擾或噪聲8/21/202210消息、信號(hào)和信息信息（Information）：信息是消息的內(nèi)涵，是信號(hào)的價(jià)值，信息是能使信宿得以獲知解惑的東西。它應(yīng)當(dāng)是從千千萬(wàn)萬(wàn)不同形式不同內(nèi)容的消息中抽象出來(lái)的、具有共性的、可定量測(cè)度的一個(gè)量，應(yīng)該有

6、它的單位和數(shù)學(xué)表達(dá)。8/21/202211消息、信號(hào)和信息例一：扔硬幣正反面不確定例二：天氣預(yù)報(bào)晴、多云、雨、雪、風(fēng)：不確定例三：足球比賽勝負(fù)關(guān)系不確定8/21/202212消息、信號(hào)和信息信號(hào)最具體，它是一物理量，可測(cè)量、可顯示、可描述，同時(shí)它又是載荷信息的實(shí)體消息是具體的、非物理的，可描述為語(yǔ)言文字、符號(hào)、數(shù)據(jù)、圖片，能夠被感覺(jué)到，同時(shí)它是信息的載荷體，是信息論中主要描述形式信息是抽象的、非物理的哲學(xué)層表達(dá)信息的物理層表達(dá)信息的數(shù)學(xué)層表達(dá)8/21/202213信息的特征信息的基本概念在于它的不確定性，任何已確定的事物都不含信息。接收者在收到信息之前，對(duì)它的內(nèi)容是不知道的，所以信息是新知識(shí)、

7、新內(nèi)容信息是能使認(rèn)識(shí)主體對(duì)某一事物的未知性或不確定性減少的有用知識(shí)信息可以產(chǎn)生，也可以消失，同時(shí)信息可以被攜帶、貯存及處理信息是可以量度的，信息量有多少的差別8/21/202214信息的特征信息的客觀(guān)性信息與載體的不可分割性信息的價(jià)值性信息的時(shí)效性信息的可分享性信息的可傳遞性信息的可擴(kuò)散性信息論導(dǎo)引. 李立萍等編著，電子科技大學(xué)出版社，2019.8/21/202215信息的特征信息的可加工性信息的可再現(xiàn)性信息的可存儲(chǔ)性信息的積累性信息的延續(xù)性和繼承性信息的可開(kāi)發(fā)性信息的可再生性和可增值性8/21/202216信息的性質(zhì)性質(zhì)一：普遍性信息是普遍存在的。性質(zhì)二：無(wú)限性在整個(gè)宇宙時(shí)空中，信息是無(wú)限的

8、。性質(zhì)三：相對(duì)性對(duì)于同一事物，不同觀(guān)察者所獲得的信息量可能不同。性質(zhì)四：轉(zhuǎn)移性信息可以在時(shí)間上或空間中從一點(diǎn)轉(zhuǎn)移到另一點(diǎn)。性質(zhì)五：變換性信息是可變換的，可由不同的載體和不同的方法來(lái)載荷。8/21/2022171.4通信系統(tǒng)模型簡(jiǎn)介編碼器信道譯碼器信宿噪聲源信源消息信號(hào)干擾信號(hào)+干擾消息8/21/202218數(shù)字通信系統(tǒng)模型信道信源信源編碼加密信道編碼干擾源信宿信源解碼解密信道解碼加密密鑰解密密鑰8/21/202219信源、信宿和信道 信源：發(fā)送消息的源離散信源和連續(xù)信源信源是信息論的主要研究對(duì)象之一，但在信息論中并不探討信源的內(nèi)結(jié)構(gòu)和物理機(jī)理，而把注意力放在信源的輸出上，重點(diǎn)討論信源輸出的描述

9、方法及性質(zhì)。信宿：信息歸宿之意，亦即收信者或用戶(hù)，是信息傳送的終點(diǎn)或目的地。信道：傳輸信息的物理媒介 8/21/202220信源編碼器與譯碼器 信源編碼器的作用把信源發(fā)出的消息變換成由二進(jìn)制碼元(或多進(jìn)制碼元)組成的代碼組，這種代碼組就是基帶信號(hào)。 同時(shí)通過(guò)信源編碼可以壓縮信源的冗余度，以提高通信系統(tǒng)傳輸消息的效率。 信源譯碼器的作用把信道譯碼器輸出的代碼組變換成信宿所需要的消息形式，它的作用相當(dāng)于信源編碼器的逆過(guò)程。母病愈，勿念8/21/202221信道編碼器與譯碼器信道編碼器的作用在信源編碼器輸出的代碼組上有目的地增加一些監(jiān)督碼元，使之具有檢錯(cuò)或糾錯(cuò)的能力。信道譯碼器的作用具有檢錯(cuò)或糾錯(cuò)的功能，它能將落在其檢錯(cuò)或糾錯(cuò)范圍內(nèi)的錯(cuò)傳碼元檢出或糾正，以提高傳輸消息的可靠性。 信道編碼的主要作用是提高信息傳送的可靠性母病，勿念8/21/202222三碼合一密碼學(xué)研究的內(nèi)容如何隱蔽消息中的信息內(nèi)容，使它在傳輸過(guò)程中不被竊聽(tīng)，提高通信系統(tǒng)的安全性。 從理論方面來(lái)說(shuō)，若能把三種碼合并成