課程信息,教材及主要參考書：信息論基礎(chǔ)與應(yīng)用李梅電子工業(yè)出版社，2016年6月信息論-基礎(chǔ)理論與應(yīng)用，傅祖蕓電子工業(yè)出版社，2001年8月考核：平時成績20（作業(yè)、考勤、實(shí)驗(yàn)）期末考試80（閉卷）答疑：,實(shí)踐性教學(xué)內(nèi)容、要求及學(xué)時分配,實(shí)驗(yàn)一：信道容量的迭代算法2學(xué)時實(shí)驗(yàn)二：Huffman編碼2學(xué)時實(shí)驗(yàn)三：通信系統(tǒng)仿真4學(xué)時（備選題目：LZW壓縮編碼）,國外參考教材,T.M.Cover,FundamentalofInformationTheory最為流行的英文教材，為Stanford、MIT等學(xué)校的研究生課程選用數(shù)學(xué)推導(dǎo)適中，強(qiáng)調(diào)概念，作為參考教材R.G.Gallager,InformationTheoryandReliableCommunication數(shù)學(xué)推導(dǎo)較為艱深作為提高教材,第一章：緒論,一、什么是信息,二、通信系統(tǒng)模型,三、信息論的研究內(nèi)容,四、信息論的形成和發(fā)展,第一章：緒論,一、什么是信息,二、通信系統(tǒng)模型,三、信息論的研究內(nèi)容,四、信息論的形成和發(fā)展,1.概述2.信息的通俗概念3.信息的狹義概念（香農(nóng)信息）4.信息的廣義概念,組成客觀世界的三大基本要素：物質(zhì)能量信息沒有物質(zhì)什么都不存在，沒有能量什么都不會發(fā)生，沒有信息什么都沒有意義。美國學(xué)者歐廷格,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,第一章：緒論,1.概述,2.信息的通俗概念,信息的通俗概念：消息就是信息。,用文字、符號、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動和主觀思維活動的狀態(tài)表達(dá)出來，就稱為消息。,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,第一章：緒論,消息中包含信息，消息是信息的載體。,2.信息的通俗概念（續(xù)1）,信號是表示消息的物理量，包括電信號、光信號等。信號中攜帶著消息，信號是消息的載體。,信息,信號,消息,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,第一章：緒論,3.信息的狹義概念（香農(nóng)信息）,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,香農(nóng)信息：信息是對事物運(yùn)動狀態(tài)或存在方式的不確定性的描述。,通信的基本問題是在一點(diǎn)(信宿）精確或近似恢復(fù)另一點(diǎn)（信源）所選擇的消息。香農(nóng),通信的過程就是消除不確定性的過程。,3.信息的狹義概念（香農(nóng)信息）（續(xù)1）,第一章：緒論,例1：甲袋紅、白球各50個，乙袋紅、白、藍(lán)、黑球各25個。比較從甲袋中取出一個球是紅球的事件和從乙袋中取出一個球是紅球的事件發(fā)生的難易程度，也就是事件發(fā)生的不確定性。,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,3.信息的狹義概念（香農(nóng)信息）（續(xù)2）,第一章：緒論,例2：北京地區(qū)十月份可能出現(xiàn)的天氣包括：晴、陰、雨、雪。比較天氣預(yù)報為“晴”和天氣預(yù)報為“雪”，給人們帶來的信息量。,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,結(jié)論：不確定性的大小與事件發(fā)生的概率有關(guān)。,3.信息的狹義概念（香農(nóng)信息）（續(xù)3）,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,不確定性的大小與事件發(fā)生的概率有關(guān),因此，信息量可以表示為概率的函數(shù)。,不確定性是概率的函數(shù),3.信息的狹義概念（香農(nóng)信息）（續(xù)4）,信息與概率的關(guān)系：事件發(fā)生的概率越大，該事件包含的信息量越??；如果一個事件發(fā)生的概率為1，那么它包含的信息量為0；兩個相互獨(dú)立事件所提供的信息量應(yīng)等于它們各自提供的信息量之和。,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,3.信息的狹義概念（香農(nóng)信息）（續(xù)5）,某個消息的不確定性（含有的信息量）可以表示為：,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,信源的平均不確定性：,3.信息的狹義概念（香農(nóng)信息）（續(xù)6）,第一章：緒論,香農(nóng)信息的優(yōu)點(diǎn)：有明確的數(shù)學(xué)表達(dá)式，定量化與人們直觀理解的信息含義一致不考慮收信者主觀感受的不同，認(rèn)為同一消息對任何收信者，所得信息量相同。,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,3.信息的狹義概念（香農(nóng)信息）（續(xù)7）,第一章：緒論,香農(nóng)信息的局限：沒有考慮收信者的主觀特性和主觀意義,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,4.信息的廣義概念,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,信息是認(rèn)識主體（人、生物、機(jī)器）所感受的和表達(dá)的事物運(yùn)動的狀態(tài)和運(yùn)動狀態(tài)變化的方式。語法信息語義信息語用信息,第一章：緒論,第一章：緒論,一、什么是信息,二、通信系統(tǒng)模型,三、信息論的研究內(nèi)容,四、信息論的形成和發(fā)展,1.通信系統(tǒng)模型2.提高通信系統(tǒng)的性能指標(biāo)的措施,1.通信系統(tǒng)模型,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,第一章：緒論,圖1通信系統(tǒng)模型,1.通信系統(tǒng)模型（續(xù)1）,信源編碼器信道譯碼器信宿,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,1）信源,研究內(nèi)容：信源發(fā)出的消息的統(tǒng)計(jì)特性離散信源、連續(xù)信源、波形信源有記憶信源和無記憶信源平穩(wěn)信源和非平穩(wěn)信源信源產(chǎn)生信息的速率熵率,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,1.通信系統(tǒng)模型（續(xù)2）,2）編碼器,編碼器的功能：將消息變成適合信道傳輸?shù)男盘柧幋a器包括：信源編碼器信道編碼器調(diào)制器,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,1.通信系統(tǒng)模型（續(xù)3）,第一章：緒論,圖2編碼器的組成,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,1.通信系統(tǒng)模型（續(xù)4）,信源編碼器：去除信源消息中的冗余度，提高傳輸?shù)挠行浴?第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,1.通信系統(tǒng)模型（續(xù)5）,信道編碼器：將信源編碼后的符號加上冗余符號，提高傳輸?shù)目煽啃浴?第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,圖3信道編碼示例,1.通信系統(tǒng)模型（續(xù)6）,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,思考題：信源編碼去除冗余度，信道編碼卻加上冗余度，為什么要這么做？,1.通信系統(tǒng)模型（續(xù)7）,調(diào)制器：功能：將信道編碼后的符號變成適合信道傳輸?shù)男盘柲康模禾岣邆鬏斝?第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,1.通信系統(tǒng)模型（續(xù)8）,3）信道,狹義信道廣義信道,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,1.通信系統(tǒng)模型（續(xù)9）,研究內(nèi)容：信道的統(tǒng)計(jì)特性無噪聲信道、有噪聲信道離散信道、連續(xù)信道、波形信道有記憶信道和無記憶信道恒參信道（平穩(wěn)信道）和隨參信道（非平穩(wěn)信道）單用戶信道和多用戶信道信道傳輸信息的最高速率信道容量,1.通信系統(tǒng)模型（續(xù)10）,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,4）譯碼器,譯碼器的功能：從接收到的信號中恢復(fù)消息。包括：解調(diào)器信道譯碼器信源譯碼器,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,1.通信系統(tǒng)模型（續(xù)11）,第一章：緒論,圖4譯碼器的組成,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,1.通信系統(tǒng)模型（續(xù)12）,5）信宿,信宿是消息傳送的對象（人或機(jī)器）。香農(nóng)信息論不研究信宿。,第一章：緒論,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,1.通信系統(tǒng)模型（續(xù)13）,第一章：緒論,提高有效性：（數(shù)據(jù)壓縮）信源編碼：無失真信源編碼和限失真信源編碼提高可靠性：（可靠傳輸）信道編碼,2.提高通信系統(tǒng)性能指標(biāo)的措施,研究內(nèi)容,形成和發(fā)展,什么是信息,通信系統(tǒng)模型,第一章：緒論,一、什么是信息,二、通信系統(tǒng)模型,三、信息論的研究內(nèi)容,四、信息論的形成和發(fā)展,1.信息論研究的主要問題2.什么是信息論3.信息論的應(yīng)用,1.信息論研究的主要問題,第一章：緒論,通信系統(tǒng)模型,形成和發(fā)展,什么是信息,研究內(nèi)容,狹義信息論：又稱香農(nóng)信息論。一般信息論：也叫工程信息論。廣義信息論,1.信息論研究的主要問題（續(xù)1）,1）什么是信息？如何度量信息？,第一章：緒論,通信系統(tǒng)模型,形成和發(fā)展,什么是信息,研究內(nèi)容,2）怎樣確定信源輸出信息的速率？,3）對于一個信道，它傳輸信息的最高速率（信道容量）是多少？,1.信息論研究的主要問題（續(xù)2）,4）無失真信源編碼，所需要的最少碼符號數(shù)是多少？,第一章：緒論,香農(nóng)第一定理：如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存在一種無失真信源編碼方法；否則，不存在這樣的一種無失真信源編碼方法。,通信系統(tǒng)模型,形成和發(fā)展,什么是信息,研究內(nèi)容,1.信息論研究的主要問題（續(xù)3）,5）在有噪聲信道中，有沒有可能實(shí)現(xiàn)幾乎無差錯的傳輸信息？,第一章：緒論,香農(nóng)第二定理：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得當(dāng)編碼序列足夠長時傳輸差錯任意?。环駝t，不存在使差錯任意小的信道編碼方式。,通信系統(tǒng)模型,形成和發(fā)展,什么是信息,研究內(nèi)容,1.信息論研究的主要問題（續(xù)4）,6）如果信源編碼時，允許一定的失真，那么信源編碼所需要的最少碼符號數(shù)又是多少？,第一章：緒論,香農(nóng)第三定理：對于任意的失真度，只要碼字足夠長，那么總可以找到一種編碼方法，使編碼后的編碼信息率，而碼的平均失真度。,通信系統(tǒng)模型,形成和發(fā)展,什么是信息,研究內(nèi)容,信息論是通信的數(shù)學(xué)基礎(chǔ)，它以概率論為主要數(shù)學(xué)工具，詳細(xì)研究了通信中的各個關(guān)鍵環(huán)節(jié)，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術(shù)提供了理論上的指導(dǎo)。信息論創(chuàng)立的標(biāo)志:香農(nóng)于1948年發(fā)表的論文：AMathematicalTheoryofCommunication（通信的數(shù)學(xué)理論）,2.什么是信息論,通信系統(tǒng)模型,形成和發(fā)展,什么是信息,研究內(nèi)容,第一章：緒論,2.什么是信息論（續(xù)1）,以概率論、隨機(jī)過程為基本研究工具。,第一章：緒論,通信系統(tǒng)模型,形成和發(fā)展,什么是信息,研究內(nèi)容,研究的是通信系統(tǒng)的整個過程，而不是單個環(huán)節(jié)，并以編、譯碼器為重點(diǎn)。,關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個性能（并不具體設(shè)計(jì)系統(tǒng)）。,要求信源為隨機(jī)過程，不研究信宿。,信息論的特點(diǎn),信息論幫助通信工程師從全局的觀點(diǎn)觀察和設(shè)計(jì)通信系統(tǒng)。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識。香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫助人們理解信息含義。香農(nóng)信息論有它的局限性。,2.信息論的應(yīng)用,第一章：緒論,通信系統(tǒng)模型,形成和發(fā)展,什么是信息,研究內(nèi)容,2.信息論的應(yīng)用（續(xù)1）,通信的基本問題是在一點(diǎn)精確地或近似地恢復(fù)另一點(diǎn)（信源）所選擇的消息。通常，這些消息是有含義的，但是這些語義方面的問題與通信問題無關(guān)，而重要的方面是實(shí)際消息是從一個可能的消息集合中選擇出的一條消息。香農(nóng),第一章：緒論,通信系統(tǒng)模型,形成和發(fā)展,什么是信息,研究內(nèi)容,2.信息論的應(yīng)用（續(xù)2）,信息論的應(yīng)用舉例語音信號壓縮（G.711,GSM,Vocoder）計(jì)算機(jī)文件壓縮模擬話路中數(shù)據(jù)傳輸速率的提高其他（音頻信號壓縮MP3、圖象信號的壓縮JPEG,MPEG等）,第一章：緒論,通信系統(tǒng)模型,形成和發(fā)展,什么是信息,研究內(nèi)容,第一章：緒論,一、什么是信息,二、通信系統(tǒng)模型,三、信息論的研究內(nèi)容,四、信息論的形成和發(fā)展,1.技術(shù)背景2.理論背景3.香農(nóng)的主要工作,1.技術(shù)背景,當(dāng)時通信理論與技術(shù)已有較大的發(fā)展，存在的通信技術(shù)包括：電報（Morse，1838）、電話（Bell，1876）、無線電報(Marconi,1887)、調(diào)幅廣播（1900s早期）、單邊帶調(diào)制（Carson，1922）、電視（1925-1927）、調(diào)頻廣播（Armstrong，1936）、脈沖編碼調(diào)制（Reeves，1937-1939）、聲碼器（Dudley，1939）、擴(kuò)頻通信（1940s）等。,第一章：緒論,通信系統(tǒng)模型,研究內(nèi)容,什么是信息,形成和發(fā)展,2.理論背景,1948年以前，Nyquist、Hartley、Wiener做