信息科學(xué)第一章第1頁，課件共27頁，創(chuàng)作于2023年2月課程計劃1、計劃學(xué)時54，全部為講課學(xué)時2、每周結(jié)束交一次作業(yè)，每次交一個班3、總成績由兩部分組成，平時成績占20％，考試成績占80％4、平時成績滿分20分，少交作業(yè)一次扣一分，無故缺課一次扣一分5、計劃講授教材的一至七章第2頁，課件共27頁，創(chuàng)作于2023年2月注意事項1、實行嚴(yán)格的請假制度，請假必須有請假條且必須加蓋團總支公章或有輔導(dǎo)員老師簽字2、保持課堂紀(jì)律，有問題可舉手示意3、歡迎大家及時提出反饋意見，以便更好的進(jìn)行互動教學(xué)。辦公室：院辦公樓7層第3頁，課件共27頁，創(chuàng)作于2023年2月課程概述當(dāng)今的時代是一個信息的時代，信息處理技術(shù)的不斷進(jìn)步極大的影響了我們的生活，使我們的生活質(zhì)量得到很大提高。本課程將介紹信息科學(xué)的基礎(chǔ)理論和基本方法，課程將基于一個通訊系統(tǒng)的抽象數(shù)學(xué)模型進(jìn)行展開，課程的數(shù)學(xué)基礎(chǔ)為概率論。整個課程可分為基礎(chǔ)理論和編碼理論兩部分組成第4頁，課件共27頁，創(chuàng)作于2023年2月學(xué)習(xí)方法

本課程以概率論為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)習(xí)時主要把注意力集中到概念的理解上，不過分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。學(xué)習(xí)時一定要從始至終注意基本概念的理解，不斷加深概念的把握。學(xué)習(xí)時注意理解各個概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來學(xué)習(xí)，提倡獨立思考，注重思考在學(xué)習(xí)中的重要性。第5頁，課件共27頁，創(chuàng)作于2023年2月第一章緒論

第一節(jié)信息的概念第二節(jié)信息論研究的對象、目的和內(nèi)容第三節(jié)信息論的發(fā)展簡史與現(xiàn)狀第6頁，課件共27頁，創(chuàng)作于2023年2月第一節(jié)信息的概念從哲學(xué)的角度上講，信息是構(gòu)成物質(zhì)世界的三大支柱之一，其他兩個是物質(zhì)和能量?？梢哉f我們生活在信息的海洋之中，沒有信息就沒有世界，當(dāng)然也就沒有我們?nèi)祟惿鐣?。人類利用信息利用信息的歷史非常悠久，而且隨著人類社會的發(fā)展而發(fā)展。到了現(xiàn)代，信息的利用已經(jīng)非常重要，以至于我們當(dāng)今生活的社會被稱作信息社會。可見信息的重要。但是有史以來，人們都沒有對信息下過一個確切的定義。就像對于物質(zhì)和能量一樣。第7頁，課件共27頁，創(chuàng)作于2023年2月

信息雖無確切定義，但是卻具有兩個明顯的特征：廣泛性與抽象性。

廣泛性客觀世界充滿著信息

人類離不開信息

知識、書本是有用信息的積累

抽象性三大要素是：物質(zhì)、能量與信息。三要素中物質(zhì)是基礎(chǔ)，是實體。能量是物質(zhì)運動的形式，E=mc2，物質(zhì)可轉(zhuǎn)換成能量，而能量又是改造客觀世界的主要動力。第8頁，課件共27頁，創(chuàng)作于2023年2月信息：它依附于物質(zhì)和能量，但又不同于物質(zhì)和能量。沒有信息就不能更好地利用物質(zhì)和能量，人類利用信息和知識改造物質(zhì)，創(chuàng)造新物質(zhì)，提高能量利用效率，發(fā)現(xiàn)新能量形式。信息也是客觀存在的，它是人類認(rèn)識、改造客觀世界的主要動力，是人類認(rèn)識客觀世界的更高層次。就狹義而言，在通信中對信息的表達(dá)分為三個層次：信號、消息、信息。

第9頁，課件共27頁，創(chuàng)作于2023年2月信號：是信息的物理表達(dá)層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。如電信號、光信號等。消息：(或稱為符號)是信息的數(shù)學(xué)表達(dá)層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進(jìn)一步數(shù)學(xué)抽象。第10頁，課件共27頁，創(chuàng)作于2023年2月信息：信息是指各個事物運動的狀態(tài)及狀態(tài)變化的方式。人們從來自對周圍世界的觀察得到的數(shù)據(jù)中獲得信息。信息是抽象的意識或知識，它是看不見、摸不到的。人腦的思維活動產(chǎn)生的一種想法，當(dāng)它仍儲存在腦子中的時候就是一種信息。信息是信號與消息的更高表達(dá)層次。三個層次中，信號最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。

第11頁，課件共27頁，創(chuàng)作于2023年2月信息的主要特征信息來源于物質(zhì)，又不是物質(zhì)本身；它從物質(zhì)的運動中產(chǎn)生出來，又可以脫離源物質(zhì)而相對獨立地存在；信息來源于精神世界，但又不局限于精神領(lǐng)域；信息與能量息息相關(guān)，但又與能量有本質(zhì)的區(qū)別；信息具有知識的本性，但又比知識的內(nèi)涵更廣泛；信息可以被主體獲取和利用。第12頁，課件共27頁，創(chuàng)作于2023年2月信息論基礎(chǔ)的重要性信息論是信息科學(xué)和技術(shù)的基本理論,信息科學(xué)大廈的地基;

沒有信息論的基礎(chǔ)，從事通信與信息領(lǐng)域的研究和創(chuàng)新是不可能的事情;總之,信息論是高層次信息技術(shù)人才必不可少的基礎(chǔ)知識。第13頁，課件共27頁，創(chuàng)作于2023年2月信源編碼器信道譯碼器信宿噪聲源

信息論研究的對象、目的和內(nèi)容通信系統(tǒng)模型第14頁，課件共27頁，創(chuàng)作于2023年2月信息論研究的對象、目的和內(nèi)容信源：消息的來源編碼器：把消息變換成信號信道：傳遞信號的媒介譯碼器：把信道輸出的信號反變換信宿：信息的接受端噪聲：信道中的干擾第15頁，課件共27頁，創(chuàng)作于2023年2月信息論所要解決的問題可靠性有效性保密性認(rèn)證性第16頁，課件共27頁，創(chuàng)作于2023年2月信息論的理解狹義信息論（香農(nóng)信息論）信息的測度、信道容量、信源和信道編碼理論一般信息論噪聲、濾波與預(yù)測、估計、保密等廣義信息論所有與信息相關(guān)的鄰域第17頁，課件共27頁，創(chuàng)作于2023年2月信息論的發(fā)展歷史1924年，Nyquist提出信息傳輸理論；1928年，Hartly提出信息量關(guān)系；1932年，Morse發(fā)明電報編碼；1946年，柯切尼柯夫提出信號檢測理論；1948年，Shannon提出信息論，“通信中的數(shù)學(xué)理論

第18頁，課件共27頁，創(chuàng)作于2023年2月1.3信息論的形成和發(fā)展

1948年，香農(nóng)在《通信的數(shù)學(xué)理論》的論文中，用概率測度和數(shù)理統(tǒng)計的方法系統(tǒng)地討論了通信的基本問題，得出了幾個重要而帶有普遍意義的結(jié)論。香農(nóng)理論的核心是：在通信系統(tǒng)中采用適當(dāng)?shù)木幋a后能夠?qū)崿F(xiàn)高效率和高可靠性的信息傳輸，并得出了信源編碼定理和信道編碼定理。第19頁，課件共27頁，創(chuàng)作于2023年2月

從數(shù)學(xué)觀點看，這些定理是最優(yōu)編碼的存在定理。但從工程觀點看，這些定理不是結(jié)構(gòu)性的，不能從定理的結(jié)果直接得出實現(xiàn)最優(yōu)編碼的具體途徑。然而，它們給出了編碼的性能極限，在理論上闡明了通信系統(tǒng)中各種因素的相互關(guān)系，為人們尋找最佳通信系統(tǒng)提供了重要的理論依據(jù)。

第20頁，課件共27頁，創(chuàng)作于2023年2月對于確定概率分布的新源編碼

1948年，香農(nóng)在論文中提出并給出了簡單的編碼方法(香農(nóng)編碼)，1952年,費諾(Fano)提出了一種費諾碼，同年霍夫曼(D．A．Huffman)構(gòu)造了一種霍夫曼編碼方法，并證明了它是最佳碼。

第21頁，課件共27頁，創(chuàng)作于2023年2月算術(shù)碼就是一種非塊碼，它是從整個序列的概率的匹配來進(jìn)行編碼的。其實此概念也是香農(nóng)首先提出的，后經(jīng)許多學(xué)者改進(jìn)，已進(jìn)入實用階段。1968年前后，埃利斯(P．Elias)發(fā)展了香農(nóng)―費諾碼，提出了算術(shù)編碼的初步思路。而里斯桑內(nèi)(J．Rissanen)在1976年給出和發(fā)展了算術(shù)編碼，1982年他和蘭登(G．G．Langdon)一起將算術(shù)編碼系統(tǒng)化，并省去了乘法運算，使其更為簡化、易于實現(xiàn)。第22頁，課件共27頁，創(chuàng)作于2023年2月

在研究信源編碼的同時，另外一部分科學(xué)家從事信道編碼(糾錯碼)的研究工作。這一工作已取得了很大的進(jìn)展，并已經(jīng)形成一門獨立的分支——糾錯碼理論。1950年漢明(R．W．Hamming)發(fā)表的論文《檢錯碼與糾錯碼》是開拓編碼理論研究的第一篇論文。這篇論文主要考慮在大型計算機中如何糾正所出現(xiàn)的單個錯誤。

第23頁，課件共27頁，創(chuàng)作于2023年2月密碼編碼學(xué)是信息安全技術(shù)的核心，密碼編碼學(xué)的主要任務(wù)是尋求產(chǎn)生安全性高的有效密碼算法和協(xié)議，以滿足對消息進(jìn)行加密或認(rèn)證的要求。密碼分析學(xué)的主要任務(wù)是破譯密碼或偽造認(rèn)證信息，實現(xiàn)竊取機密信息或進(jìn)行詐騙破壞活動。這兩個分支既相互對立又相互依存，正是由于這種對立統(tǒng)一關(guān)系，才推動了密碼學(xué)自身的發(fā)展。香農(nóng)在1949年發(fā)表的《保密通信的信息理論》論文中，首先用信息論的觀點對信息保密問題作了全面的論述。第24頁，課件共27頁，創(chuàng)作于2023年2月

由于保密問題的特殊性，直至1976年迪弗(Diffe)和海爾曼(Hellman)發(fā)表了《密碼學(xué)的新方向》一文，提出了公開密鑰密碼體制后，保密通信問題才得到廣泛研究。尤其當(dāng)今，信息的安全和保密問題更加突出和重要。人們把線性代數(shù)、初等數(shù)論、矩陣等引入保密問題的研究，已形成了獨樹一幟的分支——密碼學(xué)理論。第25頁，課件共27頁，創(chuàng)作于2023年2月1.4信息論研究的內(nèi)容和目的

研究通信系統(tǒng)的目的就是要找到信息傳輸過程的共同規(guī)律，以提高信息傳輸?shù)目煽啃?、有效性、保密性和認(rèn)證性，以達(dá)到信息傳輸系統(tǒng)最優(yōu)化。所謂可靠性高，就是要使信源發(fā)出的消息經(jīng)過信道傳輸以后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端。而所謂有效性高，就