基礎(chǔ)信息論電子與信息工程系王懌email:ywang@南一樓東南角5樓通軟中心基礎(chǔ)信息論電子與信息工程系王懌課程說明課程類型：專業(yè)必修課學時：32教材：陳運等，信息論與編碼（第2版），電子工業(yè)出版社，2007.9參考教材傅祖蕓，信息論-基礎(chǔ)理論與應(yīng)用，電子工業(yè)出版社。2001年8月（細致）ThomasM.Cover著ElementsofInformationTheory清華大學出版社2003年11月考核：平時成績30％（作業(yè)、考勤）期末考試70％（閉卷）2課程說明課程類型：專業(yè)必修課2課程說明本課程將介紹信息科學的基礎(chǔ)理論和基本方法，課程將基于一個通訊系統(tǒng)的抽象數(shù)學模型進行展開，課程的數(shù)學基礎(chǔ)為概率論。本課程以概率論為基礎(chǔ)，數(shù)學推導較多，教學時主要把注意力集中到概念的理解上，不過分追求數(shù)學細節(jié)的推導。學習時一定要從始至終注意基本概念的理解，不斷加深概念的把握。學習時注意理解各個概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當作數(shù)學課來學習，提倡獨立思考，注重思考在學習中的重要性。課程說明本課程將介紹信息科學的基礎(chǔ)理論和基本方法，課程將基于課程地位重要的專業(yè)基礎(chǔ)課概率論與數(shù)理統(tǒng)計高等數(shù)學線性代數(shù)通信原理信息論與編碼計算機網(wǎng)絡(luò)移動通信糾錯編碼數(shù)據(jù)壓縮信息安全…信號與系統(tǒng)數(shù)字信號處理4課程地位重要的專業(yè)基礎(chǔ)課概率論與數(shù)理統(tǒng)計高等數(shù)學線性代數(shù)通信第1章緒論第1章緒論感性認識：信息論與編碼的用途JPG、GIF，與BMP有什么不同？WinRar,WinZip軟件有什么用途？MP3，MP4格式有什么特點？圖片壓縮數(shù)據(jù)壓縮音頻、視頻壓縮例1：一分鐘CD音質(zhì)壓縮前：11Mbyte壓縮后：1Mbyte例2：聯(lián)通3G，號稱網(wǎng)速21M，用戶實際體驗，速度快慢不等客服解釋：信道條件不同？Byte指的什么，到底是一個怎樣單位？為什么可以壓縮，最多能壓縮多少？“網(wǎng)速”和信道有什么關(guān)系？無線信道極限能傳多快？信息論：信息相關(guān)領(lǐng)域的基礎(chǔ)理論，定義信息領(lǐng)域中的相關(guān)概念、數(shù)學模型和方法，為高效、可靠、安全、經(jīng)濟并且隨心所欲地交換和利用各種信息提供理論基礎(chǔ)。6感性認識：信息論與編碼的用途JPG、GIF，與BMP有什么不第1章緒論1.1信息的一般概念信息的定義信息、信號與消息信息的特征與性質(zhì)1.2信息論的研究對象、目的和內(nèi)容1.3信息論的形成和發(fā)展應(yīng)用7第1章緒論1.1信息的一般概念7信息的定義到底什么是信息？有沒有嚴格的、公認的書面定義?信息就是信息，既不是物質(zhì)也不是能量。（1948年，維納）信息是事物之間的差異。（1975年，朗格G.Longe）信息是物質(zhì)和能量在時間和空間的不均勻性。信息是物質(zhì)的普遍屬性。信息是集合的變異度。信息是一種場。信息是系統(tǒng)的復雜性。信息是事物相互作用的表現(xiàn)形式。信息是事物聯(lián)系的普遍形式。信息是收信者事先所不知道的報導。信息是用以消除隨機不定性的東西?！壳?，在世界范圍內(nèi)，還沒有這樣一個準確、嚴格而統(tǒng)一的定義。8什么是信息?信息時代信息社會信息高速公路

信息化建設(shè)…電子與信息工程系

接下來給出香農(nóng)所做出的定義，也就是本課程所使用的定義信息的定義到底什么是信息？有沒有嚴格的、公認的書面定義?目生活中的信息：

花朵開放時的鮮艷的色彩，可以引來昆蟲為其授粉；色彩是一種信息成熟的水果會產(chǎn)生香味，誘來動物，動物食后為其傳播種子，果香也是一種信息；藥有苦味，讓人難以吞咽，藥味是一種信息；聽老師講課可以得到許多知識，知識也是信息……。

可見，信息處處存在，人的眼、耳、鼻、舌、身都能感知信息。

視覺嗅覺味覺聽覺對信息概念的感性認識生活中的信息：可見，信息處處存在，人對信息概念的感性認識收到一封電報，接到一個電話，或早晨從收音機里聽到了天氣預報，或看到了電視之后：但到底我們得到了多少“信息”呢？如何衡量？例：第二次聽天氣預報說今天會是陰天，得到多少信息？電視里報道中國男子足球隊戰(zhàn)勝了巴西隊，和中國男子兵乓球隊戰(zhàn)勝了巴西隊，分別得到多少信息？一位專業(yè)人士和一位普通人同時聽一位學者的學術(shù)講座，分別得到多少信息？兩位專業(yè)人士同時聽剛才那位學者的學術(shù)講座，誰得到的信息量更多？一位漁民和一個工人同時收聽天氣預報中的海浪預報，誰得到了更有價值的信息？價值多出多少？我們收到了“信息”。10對信息概念的感性認識收到一封電報，接到一個電話，或早晨從收音對信息概念的感性認識第二次聽到天氣預報說今天會是陰天，得到多少信息？感覺上信息量應(yīng)為零，因為該事件已經(jīng)被獲知，是確定性的事件。但又似乎不完全是，因為對該事件又得到了一次新的確認，對信息的真實性更加有把握。電視里報道中國男子足球隊戰(zhàn)勝了巴西隊，和中國男子兵乓球隊戰(zhàn)勝了巴西隊，分別得到多少信息？說不太清分別得到多少信息。但感覺上似乎前者信息量更大些，因為這種幾率非常小，人們感覺很驚訝。不過對于不懂體育的人，似乎又沒多大區(qū)別。一位專業(yè)人士和一位普通人同時聽一位學者的學術(shù)講座，分別得到多少信息？說不太清分別得到多少信息。但感覺上似乎前者得到的信息量更大些，因為他懂得很多專業(yè)知識。11對信息概念的感性認識第二次聽到天氣預報說今天會是陰天，得到多對信息概念的感性認識兩位專業(yè)人士同時聽剛才那位學者的學術(shù)講座，誰得到的信息量更多？說不太清誰得到的信息多。似乎應(yīng)該是業(yè)務(wù)能力更強、專業(yè)知識更豐富的那個人得到的信息多，但很難對這兩個人的能力和知識進行定量地衡量。一位漁民和一個工人同時收聽天氣預報中的海浪預報，誰得到了更有價值的信息？價值多出多少？感覺是漁民，但價值多出多少無法回答。12對信息概念的感性認識兩位專業(yè)人士同時聽剛才那位學者的學術(shù)講座結(jié)論一般而言，信息既有其客觀性，又有其主觀性，與接收人所具有的專業(yè)知識、興趣、職業(yè)等都有關(guān)系。1.客觀性：所有人所聽到的消息都是一樣的。天氣預報說今天會下雨。電視報道說中國足球隊戰(zhàn)勝了巴西足球隊。

2.主觀性：與接收人的知識、興趣、職業(yè)等主觀因素有關(guān)。知識：兩個專業(yè)人士聽學術(shù)講座的例子。興趣：聽到體育新聞的人是否愛好體育的例子。職業(yè)：漁民和工人聽海浪預報的例子。13結(jié)論一般而言，信息既有其客觀性，又有其主觀性，與接收人所具有總結(jié)信息具有三方面特征：語法（反映客觀性）語義（既有客觀性、又有主觀性）語用（反映主觀性）信息的主觀屬性（語用、語義）是影響對信息進行度量的主要因素，這些屬性與人的主觀性有關(guān)，很難準確地進行量化表達?；谝陨峡紤]，香農(nóng)大膽地去掉了信息在語義和語用方面的因素，只保留消息的語法屬性，從而使得使用數(shù)學工具定量度量信息成為可能。C.E.Shannon香農(nóng)信息分類方法的一種14總結(jié)信息具有三方面特征：C.E.Shannon香農(nóng)信息分香農(nóng)信息1948年，香農(nóng)在《AMathematicalTheoryofCommunication》中提出了三種假設(shè)：形式化假說通信的任務(wù)只是在接收端把發(fā)送端發(fā)出的消息從形式上復制出來，并不需要對消息的語義作處理和判斷。形式化假說大膽去掉了消息主觀方面的語義、語用因素，只保留了能用數(shù)學描述的客觀方面的形式因素，使用數(shù)學工具定量度量信息成為可能非決定論觀點根據(jù)通信問題研究對象的特點，按照非決定論的觀點，采用概率統(tǒng)計的方法，作為分析通信問題的數(shù)學工具，因而比以往的研究更加科學。不確定性信息是對事物運動狀態(tài)或存在方式不確定性的描述。當收到一條消息后，所獲得的信息量可以用不確定度的消除量來進行度量?！戕r(nóng)信息15香農(nóng)信息1948年，香農(nóng)在《AMathematicalT香農(nóng)信息——不確定性的消除量香農(nóng)認為通信無外乎兩種原因：自己有某種形式的消息要告訴對方，而估計對方“不知道”這個消息。自己有某種“疑問”要尋問對方，而估計對方能做出一定的解答?！安恢馈?、“疑問”就是通信前對可能發(fā)生事件的若干種結(jié)果不能做出明確判斷，存在某種“不確定性”。通信后，將完全或部分消除通信前的不確定性。即：通信的作用就是通過消息的傳遞，使接收者從收到的消息中獲取一定的信息，從而消除原先存在的某些不確定性。例：地區(qū)A每天通過信道，向地區(qū)B發(fā)送地區(qū)A當天的天氣情況。通信前，問地區(qū)B的某人：地區(qū)A明天會是陰天嗎？回答：不確定。假設(shè)地區(qū)A第二天果然是陰天，并將此消息通過信道發(fā)送到地區(qū)B。但通信過程中受干擾因素的影響，消息變?yōu)椤安皇乔缣臁蓖ㄐ藕螅瑔柕貐^(qū)B的某人：地區(qū)A今天會是陰天嗎？回答：還是不確定，但不確定的程度降低了。16香農(nóng)信息——不確定性的消除量香農(nóng)認為通信無外乎兩種原因：16根據(jù)香農(nóng)信息的定義，重新回答之前的問題。2.電視里報道中國男子足球隊戰(zhàn)勝了巴西隊，和中國男子兵乓球隊戰(zhàn)勝了巴西隊，分別得到多少信息？收看之前的不確定度

–

收看之后的不確定度

0根據(jù)歷史統(tǒng)計規(guī)律得出的概率進行計算。1.別人給你打電話告訴了你一件不知道的事情，得到多少信息？告訴了一件你已經(jīng)知道的事情呢？聽到之前的不確定度–聽到之后的不確定度之前不知道的事情根據(jù)概率計算。0之前已知道的事情0017根據(jù)香農(nóng)信息的定義，重新回答之前的問題。2.電視里報道中國3.一位專業(yè)人士和一位普通人同時聽一位學者的學術(shù)講座，分別得到多少信息？聽到之前的不確定度–聽到之后的不確定度專業(yè)人士和普通人的得到的信息相同。4.兩位專業(yè)人士同時聽剛才那位學者的學術(shù)講座，誰得到的信息量更多？兩位專業(yè)人士得到的信息相同。5.一位漁民和一個工人同時收聽天氣預報中的海浪預報，誰得到了更有價值的信息？得到的信息相同?？梢姡合戕r(nóng)信息只考慮信息量的多少,不考慮對人的作用或價值。根據(jù)香農(nóng)信息的定義，重新回答之前的問題。183.一位專業(yè)人士和一位普通人同時聽一位學者的學術(shù)講座，分別香農(nóng)信息的優(yōu)缺點香農(nóng)信息的優(yōu)點：有明確的數(shù)學表達式，定量化與人們直觀理解的信息含義一致不考慮收信者主觀感受的不同，認為同一消息對任何收信者，所得信息量相同。香農(nóng)信息的局限：沒有考慮收信者的主觀特性和主觀意義只是對現(xiàn)實世界信息的一種抽象和簡化，在很多方面還不能完全滿足人們的需要19香農(nóng)信息的優(yōu)缺點香農(nóng)信息的優(yōu)點：有明確的數(shù)學表達式，定量化與其他信息定義哈特萊：信息是通信過程中符號選擇的自由度。例：英文發(fā)報系統(tǒng)，自由度取決于符號的數(shù)目，與符號的具體內(nèi)容無關(guān)。字母越多，自由度越大，信息量越大。選擇的自由度與字母概率無關(guān)。單詞受構(gòu)詞法的限制越強，信息量越小。維納：信息既不是物質(zhì)，也不是能量，信息就是信息正是維納首次將信息放在與物質(zhì)和能量等同的位置上，將信息作為獨立于物質(zhì)和能量之外存在于客觀世界的第三要素。本課程后續(xù)討論內(nèi)容中將只使用香農(nóng)先生的定義。20其他信息定義哈特萊：信息是通信過程中符號選擇的自由度。例：英第1章緒論1.1信息的一般概念信息的定義信息、信號與消息信息的特征與性質(zhì)1.2信息論的研究對象、目的和內(nèi)容1.3信息論的形成和發(fā)展應(yīng)用21第1章緒論1.1信息的一般概念21信息與消息、信號間的區(qū)別與關(guān)系信號在實際通信系統(tǒng)中，通常需要把消息變換成適合信道傳輸?shù)奈锢砹?，這種物理量即為信號。包括電信號（隨時間而變化的電壓或電流）、光信號（如光強度）、聲波動、光強度、機械運動的位移或速度等等消息信息的載體用文字、符號、數(shù)據(jù)、語言、圖片、圖像等能被人們感覺器官所感知的形式，把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來就成為消息。信息信息是對事物運動狀態(tài)或存在方式不確定性的描述。當收到一條消息后，所獲得的信息量可以用不確定度的消除量來進行度量。22信息與消息、信號間的區(qū)別與關(guān)系信號在實際通信系統(tǒng)中，通常需要例：(莫爾斯碼)23例：(莫爾斯碼)23分析分析1：上述通信活動中，信息、消息、信號分別是：高頻電脈沖是“母病愈”這三個漢字是對母親健康狀況不確定性的消除，是其中，消息與信息的概念較為容易混淆。消息通常是具體的文字，數(shù)據(jù)、聲音、圖像等形式，而信息較為抽象。分析2：第二天哥哥又發(fā)了一封“母病愈”的電報。收到消息但信息為0通信前后的不確定度：00第一份電報，傳輸過程中變成亂碼。收到消息但信息為0通信前后的不確定度：f(p)f(p)信息消息信號24分析分析1：上述通信活動中，信息、消息、信號分別是：信息消息第1章緒論1.1信息的一般概念信息的定義信息、信號與消息信息的特征與性質(zhì)1.2信息論的研究對象、目的和內(nèi)容1.3信息論的形成和發(fā)展應(yīng)用25第1章緒論1.1信息的一般概念25信息的特征信息是無形的與物質(zhì)和能量不同，信息看不見，摸不著，沒有顏色、沒有氣味、沒有形狀、沒有大小，沒有重量……非常抽象。信息是“活”的信息來源于客觀事物，人們能夠直接或間接感知它，它是人腦思維活動的反映，可以說，人腦是信息的主要載體。它是動態(tài)的，有很強的時間性，如：股票市場信息，瞬息萬變，只有及時把握有效的信息才能獲得信息的最佳價值。信息是可分享的甲傳遞一件東西給乙，乙得到的同時甲便失去。信息持有者將信息傳遞出去后，自己的信息并不喪失。26信息的特征信息是無形的26信息的特征信息是能產(chǎn)生實效的信息是可以處理的人們得到信息之后，往往要對信息進行整理、歸納和再加工，使信息更加精練。如：信息的壓縮是信息論的主要研究內(nèi)容之一。信息是可以快速傳播并擴散的信息可以在短時間內(nèi)通過電視、廣播、網(wǎng)絡(luò)等渠道迅速傳播開來，頃刻之間即可傳遍全球。.........…27信息的特征信息是能產(chǎn)生實效的27第1章緒論1.1信息的一般概念1.2信息論的研究對象、目的和內(nèi)容通信系統(tǒng)模型信息論的內(nèi)容和目的1.3信息論的形成和發(fā)展應(yīng)用28第1章緒論1.1信息的一般概念28信息運動過程對應(yīng)人的部位信息運動過程使用的工具對應(yīng)的信息科學與技術(shù)傳感器技術(shù)遙感技術(shù)雷達技術(shù)通信理論技術(shù)信息壓縮技術(shù)編碼理論網(wǎng)絡(luò)技術(shù)計算機科學與技術(shù)人工智能信號處理、圖像處理模式識別控制理論、系統(tǒng)論傳感器雷達探測遙感、遙測電話、廣播、電視、數(shù)據(jù)通信計算機網(wǎng)絡(luò)計算機、光盤...執(zhí)行機構(gòu)、控制系統(tǒng)、機器人等外部世界(自然環(huán)境人類社會)信息獲取初步處理信息傳遞與分配信息處理與存儲信息施效(控制)視、聽、嗅、觸摸傳導神經(jīng)大腦四肢存儲29信息運動過程對應(yīng)人信息使用對應(yīng)的傳感器技術(shù)通信理論技術(shù)計算機通信系統(tǒng)模型香農(nóng)在創(chuàng)立信息論時，主要是考慮在通信領(lǐng)域中的應(yīng)用。隨著信息論的不斷發(fā)展，其已逐漸滲透到計算機、雷達、導航、自動控制等領(lǐng)域，甚至已滲透到經(jīng)濟學、社會學等領(lǐng)域。但本課程只研究在通信領(lǐng)域中的應(yīng)用。信源信源編碼信源譯碼信宿信道編碼信道信道譯碼++加密編碼解密譯碼噪聲源SUCXY?VSn通信系統(tǒng)基本模型30通信系統(tǒng)模型香農(nóng)在創(chuàng)立信息論時，主要是考慮在通信領(lǐng)域中的應(yīng)用通信系統(tǒng)模型-信源和信宿信源:產(chǎn)生消息的源?？墒侨?、生物、機器或其它事物，是信息的表達者，但不是信息本身。是事物各種運動狀態(tài)或存在狀態(tài)的集合，對應(yīng)一個概率空間。信源的輸出是消息，消息可以是文字、語言、圖像等。信宿：信息傳送過程中的接收者，即接收消息的人或物。信宿和信源可處于不同的地點或存在于不同時刻。信源編碼器信道譯碼器信宿干擾源消息信號干擾消息31通信系統(tǒng)模型-信源和信宿信源:產(chǎn)生消息的源。信源編碼器信通信系統(tǒng)模型-編碼部分編碼部分：（發(fā)射機）1、信源編碼器：對信源消息進行變換和處理，提高傳輸效率2、糾錯編碼器：用以提高對于信道干擾的抗擊能力，提高傳輸可靠性。3、調(diào)制器：變成適合于信道要求的信號形式例如：電話機：人的語言轉(zhuǎn)換成與聲音信號成正比的電信號。

發(fā)報機：將語言文字轉(zhuǎn)換成高頻電脈沖。信源信源編碼器調(diào)制器信道信道編碼器糾錯編碼器信宿信源譯碼器解調(diào)器糾錯譯碼器干擾源信道譯碼器32通信系統(tǒng)模型-編碼部分編碼部分：（發(fā)射機）信源信源編碼器通信系統(tǒng)模型-信道信道：把載荷消息的信號從發(fā)射端傳到接收端的媒質(zhì)或通道在狹義的通信系統(tǒng)中，實際信道有架空明線、電纜、波導、光纖、無線電波傳播空間等。廣義的通信系統(tǒng)，信道還可以是其他傳輸媒介。信源信源編碼器調(diào)制器信道信道編碼器糾錯編碼器信宿信源譯碼器解調(diào)器糾錯譯碼器干擾源信道譯碼器33通信系統(tǒng)模型-信道信道：把載荷消息的信號從發(fā)射端傳到接收端的通信系統(tǒng)模型-干擾源干擾源：在信道中引入噪聲和干擾這是一種等效的表達方式：為分析方便，把系統(tǒng)中各部分產(chǎn)生的噪聲和干擾都等效成信道干擾，集中作用于信道。實際干擾可以分成以下兩大類。1、加性干擾。外界引入的隨機干擾，如設(shè)備內(nèi)部噪聲，它們與信道的輸入信號統(tǒng)計無關(guān)。信道的輸出是輸入信號和干擾的和。2、乘性干擾。信號在傳播過程中由于物理條件的變化引起信號參量的隨機變化而構(gòu)成的干擾。此時信道的輸出信號是輸入信號與某些隨機參量相乘的結(jié)果。34通信系統(tǒng)模型-干擾源干擾源：在信道中引入噪聲和干擾34通信系統(tǒng)模型-譯碼部分譯碼部分：編碼的逆變換。它要從受干擾的信號中最大限度地提取出有關(guān)信源輸出消息的信息，并盡可能地復現(xiàn)信源的輸出?？煞譃樾旁醋g碼器和信道譯碼器；信道譯碼器包括糾錯譯碼器和解調(diào)器。信源信源編碼器調(diào)制器信道信道編碼器糾錯編碼器信宿信源譯碼器解調(diào)器糾錯譯碼器干擾源信道譯碼器35通信系統(tǒng)模型-譯碼部分譯碼部分：編碼的逆變換。信源信源編碼說明：1.上述模型只是一種最基本的通信系統(tǒng)，只實現(xiàn)了點對點的單向通信，而實際系統(tǒng)都應(yīng)是雙向的。2.在網(wǎng)絡(luò)通信情況下，可能有很多分開的信源、信道和信宿進行信息交換，應(yīng)支持多個輸入、多個輸出和多向傳輸。例如，廣播通信是一個輸入、多個輸出的單向傳輸通信，而衛(wèi)星通信網(wǎng)則是多個輸入、多個輸出和多向傳輸?shù)耐ㄐ拧?.要研究這些通信系統(tǒng)中的信息傳輸和處理問題，需要對兩端單向通信系統(tǒng)模型作適當修正36說明：1.上述模型只是一種最基本的通信系統(tǒng)，只實現(xiàn)了點對點不編碼：每個字符需要5個二進制碼元。編碼后：每個字符可能無需5個二進制碼元。例：信源符合集合(32個符號){AB…Z,.?...}信源信源編碼器調(diào)制器信道糾錯編碼器消息：TOMISSICK37不編碼：每個字符需要5個二進制碼元。例：信源符合集合(32個信源編碼的作用——提高有效性不編碼：每個字符需要5個二進制碼元。平均碼元長度：5編碼后：A：1個碼元其他：6個碼元平均碼元長度：3.50101010101010101010101010101010101010101010101010101010101010101信源符合集合(32個符號){AB…Z,.?...}假設(shè)：p(A)=1/2

p(其他)=1/6238信源編碼的作用——提高有效性不編碼：010101010101不編碼：接收方無法發(fā)現(xiàn)錯誤。編碼后：接收方可發(fā)現(xiàn)或糾正錯誤。信源編碼的作用——提升可靠性信源信道編碼器調(diào)制器信道信源編碼器信息碼元信息碼元監(jiān)督碼元有確定性的關(guān)系（如奇偶校驗或CRC）通信的有效性依靠盡可能較少地發(fā)送碼元數(shù)來完成，而可靠性又需要在真正要傳輸?shù)拇a元后附加一些冗余的監(jiān)督碼元。因此，從某種意義上講，二者存在一定的矛盾，需要統(tǒng)籌兼顧。39不編碼：接收方無法發(fā)現(xiàn)錯誤。信源編碼的作用——提升可靠性信第1章緒論1.1信息的一般概念1.2信息論的研究對象、目的和內(nèi)容通信系統(tǒng)模型信息論的內(nèi)容和目的1.3信息論的形成和發(fā)展應(yīng)用40第1章緒論1.1信息的一般概念40信息論的研究內(nèi)容1.狹義信息論（香農(nóng)基本理論）也稱為經(jīng)典信息論。主要研究信息的測度、信道容量及信源和信道編碼理論等問題。2.一般信息論（通信理論），主要研究信息傳輸和處理問題。除香農(nóng)理論外，還包括噪聲理論、信號濾波和預測、統(tǒng)計檢測和估計理論、調(diào)制理論、抗干擾理論、信號處理理論以及保密理論。3.廣義信息論（信息科學），不僅包含上述內(nèi)容，而且包括所有與信息有關(guān)的自然和社會領(lǐng)域，具有更廣泛的研究內(nèi)容。香農(nóng)信息論信源熵信道容量無失真信源編碼定理率失真函數(shù)信源編碼信道編碼限失真信源編碼定理

信道編碼定理密碼41信息論的研究內(nèi)容1.狹義信息論（香農(nóng)基本理論）也稱為經(jīng)典信息課程的研究內(nèi)容(1)什么是信息？如何度量信息？

自信息量互信息量(2)如何計算信源輸出中，平均含有多少信息量？

熵(3)對于一個給定的信道，它傳輸信息量的最高極限如何計算？

信道容量(4)為了能夠無失真地傳輸信源信息，對信源編碼時所需最少的碼符號數(shù)如何計算？

香農(nóng)第一定理(5)在有噪信道中，有沒有可能以接近信道容量的信息傳輸率傳輸信息而錯誤概率幾乎為零？

香農(nóng)第二定理(6)如果對信源編碼時允許一定量的失真，所需最少的碼符號數(shù)如何計算？

香農(nóng)第三定理(7)編碼的基本思路？常見的一些基本編碼方法的編碼步驟42課程的研究內(nèi)容(1)什么是信息？如何度量信息？信息論的研究目的可靠性：信源發(fā)出消息經(jīng)信道傳輸后，盡可能準確、不失真地再現(xiàn)在接收端。有效性：用盡可能短的時間、盡可能少的設(shè)備來傳送一定數(shù)量的信息。保密性：隱蔽和保護傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。認證性：接收者能正確判斷所接收的消息的正確性，驗證消息的完整性，而不是偽造和被竄改的。建立傳輸系統(tǒng)模型，找到信息傳輸過程的共同規(guī)律，以提高信息傳輸?shù)目煽啃?、有效性、保密性和認證性，這四者構(gòu)成現(xiàn)代信息系統(tǒng)對信息傳輸?shù)娜嬉蟆?3信息論的研究目的可靠性：信源發(fā)出消息經(jīng)信道傳輸后，盡可能準確課程后續(xù)安排1緒論（2個學時）2信源熵（13-14個學時）2.0信源的數(shù)學模型及其分類（1學時）2.1信息的度量與信源熵（5-6學時）2.2多符號離散平穩(wěn)信源（2-3個學時）2.3連續(xù)信源（2個學時）2.4離散無失真信源編碼定理（2個學時）3信道容量（6個學時）3.1信道模型信道容量（2個學時）3.2多符號離散信道

（2個學時）3.3連續(xù)信道

（2個學時）4信息率失真函數(shù)（2個學時）5信源編碼（4個學時）6信道編碼定理

（2個學時）44課程后續(xù)安排1緒論（2個學時）44第1章緒論1.1信息的一般概念1.2信息論的研究對象、目的和內(nèi)容1.3信息論的形成和發(fā)展應(yīng)用45第1章緒論1.1信息的一般概念45信息論是信息科學的主要理論基礎(chǔ)之一，它是在長期通信工程實踐和理論基礎(chǔ)上發(fā)展起來的。信息論自誕生到現(xiàn)在不過60年，在人類科學史上是相當短暫的。但它的發(fā)展和對學術(shù)界及人類社會的影響是相當廣泛和深刻的?，F(xiàn)在它已成為一門獨立的理論學科。信息論的形成和發(fā)展46信息論是信息科學的主要理論基礎(chǔ)之一，它是在長期通信工程實踐和發(fā)展簡史1832年莫爾斯電報系統(tǒng)中高效率的編碼方法對后來香農(nóng)的編碼理論是有很大啟發(fā)的。1885年凱爾文曾研究過一條電纜的極限傳信率。1924年奈斯特（H.Nyquist）解釋了信號帶寬和信息率之間的關(guān)系。指出如果以一個確定的速度來傳輸電報信號，就需要一定的帶寬。證明了信號傳輸速率與信道帶寬成正比。1928年哈特萊（R.V.Harteley）引入了非統(tǒng)計（等概率事件）信息量概念。提出信息量等于可能消息數(shù)的對數(shù)。1936年阿姆斯特朗提出增加信號帶寬可以使抑制噪聲干擾的能力增加，并給出了調(diào)制指數(shù)大的調(diào)頻方式，使調(diào)頻實用化，出現(xiàn)了調(diào)頻通信裝置。1939年達德利發(fā)明了聲碼器，他指出通信帶寬應(yīng)至少同待傳送消息的帶寬一樣。1948年6月香農(nóng)在貝爾實驗室出版的著名的貝爾系統(tǒng)技術(shù)雜志》上連載發(fā)表了信息論學科的奠基性著作《通信的數(shù)學理論》。在論文中，他用概率測度和數(shù)理統(tǒng)計的方法系統(tǒng)地討論了通信的基本問題，首先嚴格定義了信息的度量——熵的概念，又定義了信道容量的概念，得出了幾個重要而又帶有普遍意義的結(jié)論，由此奠定了現(xiàn)代信息論的基礎(chǔ)。1949年~1959年香農(nóng)又陸續(xù)發(fā)表了《噪聲下的通信》以及《保密通信的信息理論》兩篇重要論文，又發(fā)表了《保真度準則下的離散信源編碼定理》，首先提出了率失真函數(shù)及率失真信源編碼定理，從此，發(fā)展成為限失真編碼理論。20世紀60-70年代麥克米倫于1956年證明了唯一可譯變長碼的克拉夫特不等式。1952年，費諾提出費諾碼。同年，哈夫曼提出哈夫曼碼。20世紀70年代后又陸續(xù)出現(xiàn)了游程、字典、算術(shù)編碼。20世紀70年代先后提出級聯(lián)碼、乘積碼以及交織碼等新的方法。近年來，又提出了Turbo碼和LDPC碼，這兩種碼與香農(nóng)提出的性能極限已非常接近。47發(fā)展簡史1832年莫爾斯電報系統(tǒng)中高效率的編碼方法對后來香農(nóng)1948年，香農(nóng)在貝爾系統(tǒng)技術(shù)雜志上發(fā)表了兩篇有關(guān)“AMathematicalTheoryofCommunication”（“通信的數(shù)學理論”）的文章。在這兩篇論文中，他用概率測度和數(shù)理統(tǒng)計的方法，系統(tǒng)地討論了通信的基本問題，得出了幾個重要的而帶有普遍意義的結(jié)論，并由此奠定了現(xiàn)代信息論的基礎(chǔ)。發(fā)展歷史信息論創(chuàng)立的標志近年來，除應(yīng)用于電子領(lǐng)域外，信息論還滲透到生物學、醫(yī)學、甚至經(jīng)濟學、社會學等多個領(lǐng)域，已發(fā)展成為一門綜合性的新興學科——信息科學。481948年，香農(nóng)在貝爾系統(tǒng)技術(shù)雜志上發(fā)表了兩篇有關(guān)“AMa總結(jié)信息論是一門應(yīng)用概率論、隨機過程、數(shù)理統(tǒng)計和近代代數(shù)的方法，來研究信息的傳輸、提取和處理系統(tǒng)中一般規(guī)律的學科。主要內(nèi)容包括香農(nóng)理論、編碼理論、維納理論、隨機噪聲理論、信號濾波和預測、統(tǒng)計檢測和估計理論、調(diào)制理論、抗干擾理論、信號處理理論以及保密理論。信息論內(nèi)容廣泛，各分支相對獨立，本課程主要講信息論的基礎(chǔ)理論，即香農(nóng)理論。研究信息論的主要目的就是為了高效、可靠、安全并且隨心所欲地交換和利用各種各樣的信息。49總結(jié)信息論是一門應(yīng)用概率論、隨機過程、數(shù)理統(tǒng)計和近代代數(shù)的方本章結(jié)束本章結(jié)束基礎(chǔ)信息論電子與信息工程系王懌email:ywang@南一樓東南角5樓通軟中心基礎(chǔ)信息論電子與信息工程系王懌課程說明課程類型：專業(yè)必修課學時：32教材：陳運等，信息論與編碼（第2版），電子工業(yè)出版社，2007.9參考教材傅祖蕓，信息論-基礎(chǔ)理論與應(yīng)用，電子工業(yè)出版社。2001年8月（細致）ThomasM.Cover著ElementsofInformationTheory清華大學出版社2003年11月考核：平時成績30％（作業(yè)、考勤）期末考試70％（閉卷）52課程說明課程類型：專業(yè)必修課2課程說明本課程將介紹信息科學的基礎(chǔ)理論和基本方法，課程將基于一個通訊系統(tǒng)的抽象數(shù)學模型進行展開，課程的數(shù)學基礎(chǔ)為概率論。本課程以概率論為基礎(chǔ)，數(shù)學推導較多，教學時主要把注意力集中到概念的理解上，不過分追求數(shù)學細節(jié)的推導。學習時一定要從始至終注意基本概念的理解，不斷加深概念的把握。學習時注意理解各個概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當作數(shù)學課來學習，提倡獨立思考，注重思考在學習中的重要性。課程說明本課程將介紹信息科學的基礎(chǔ)理論和基本方法，課程將基于課程地位重要的專業(yè)基礎(chǔ)課概率論與數(shù)理統(tǒng)計高等數(shù)學線性代數(shù)通信原理信息論與編碼計算機網(wǎng)絡(luò)移動通信糾錯編碼數(shù)據(jù)壓縮信息安全…信號與系統(tǒng)數(shù)字信號處理54課程地位重要的專業(yè)基礎(chǔ)課概率論與數(shù)理統(tǒng)計高等數(shù)學線性代數(shù)通信第1章緒論第1章緒論感性認識：信息論與編碼的用途JPG、GIF，與BMP有什么不同？WinRar,WinZip軟件有什么用途？MP3，MP4格式有什么特點？圖片壓縮數(shù)據(jù)壓縮音頻、視頻壓縮例1：一分鐘CD音質(zhì)壓縮前：11Mbyte壓縮后：1Mbyte例2：聯(lián)通3G，號稱網(wǎng)速21M，用戶實際體驗，速度快慢不等客服解釋：信道條件不同？Byte指的什么，到底是一個怎樣單位？為什么可以壓縮，最多能壓縮多少？“網(wǎng)速”和信道有什么關(guān)系？無線信道極限能傳多快？信息論：信息相關(guān)領(lǐng)域的基礎(chǔ)理論，定義信息領(lǐng)域中的相關(guān)概念、數(shù)學模型和方法，為高效、可靠、安全、經(jīng)濟并且隨心所欲地交換和利用各種信息提供理論基礎(chǔ)。56感性認識：信息論與編碼的用途JPG、GIF，與BMP有什么不第1章緒論1.1信息的一般概念信息的定義信息、信號與消息信息的特征與性質(zhì)1.2信息論的研究對象、目的和內(nèi)容1.3信息論的形成和發(fā)展應(yīng)用57第1章緒論1.1信息的一般概念7信息的定義到底什么是信息？有沒有嚴格的、公認的書面定義?信息就是信息，既不是物質(zhì)也不是能量。（1948年，維納）信息是事物之間的差異。（1975年，朗格G.Longe）信息是物質(zhì)和能量在時間和空間的不均勻性。信息是物質(zhì)的普遍屬性。信息是集合的變異度。信息是一種場。信息是系統(tǒng)的復雜性。信息是事物相互作用的表現(xiàn)形式。信息是事物聯(lián)系的普遍形式。信息是收信者事先所不知道的報導。信息是用以消除隨機不定性的東西?！壳埃谑澜绶秶鷥?nèi)，還沒有這樣一個準確、嚴格而統(tǒng)一的定義。58什么是信息?信息時代信息社會信息高速公路

信息化建設(shè)…電子與信息工程系

接下來給出香農(nóng)所做出的定義，也就是本課程所使用的定義信息的定義到底什么是信息？有沒有嚴格的、公認的書面定義?目生活中的信息：

花朵開放時的鮮艷的色彩，可以引來昆蟲為其授粉；色彩是一種信息成熟的水果會產(chǎn)生香味，誘來動物，動物食后為其傳播種子，果香也是一種信息；藥有苦味，讓人難以吞咽，藥味是一種信息；聽老師講課可以得到許多知識，知識也是信息……。

可見，信息處處存在，人的眼、耳、鼻、舌、身都能感知信息。

視覺嗅覺味覺聽覺對信息概念的感性認識生活中的信息：可見，信息處處存在，人對信息概念的感性認識收到一封電報，接到一個電話，或早晨從收音機里聽到了天氣預報，或看到了電視之后：但到底我們得到了多少“信息”呢？如何衡量？例：第二次聽天氣預報說今天會是陰天，得到多少信息？電視里報道中國男子足球隊戰(zhàn)勝了巴西隊，和中國男子兵乓球隊戰(zhàn)勝了巴西隊，分別得到多少信息？一位專業(yè)人士和一位普通人同時聽一位學者的學術(shù)講座，分別得到多少信息？兩位專業(yè)人士同時聽剛才那位學者的學術(shù)講座，誰得到的信息量更多？一位漁民和一個工人同時收聽天氣預報中的海浪預報，誰得到了更有價值的信息？價值多出多少？我們收到了“信息”。60對信息概念的感性認識收到一封電報，接到一個電話，或早晨從收音對信息概念的感性認識第二次聽到天氣預報說今天會是陰天，得到多少信息？感覺上信息量應(yīng)為零，因為該事件已經(jīng)被獲知，是確定性的事件。但又似乎不完全是，因為對該事件又得到了一次新的確認，對信息的真實性更加有把握。電視里報道中國男子足球隊戰(zhàn)勝了巴西隊，和中國男子兵乓球隊戰(zhàn)勝了巴西隊，分別得到多少信息？說不太清分別得到多少信息。但感覺上似乎前者信息量更大些，因為這種幾率非常小，人們感覺很驚訝。不過對于不懂體育的人，似乎又沒多大區(qū)別。一位專業(yè)人士和一位普通人同時聽一位學者的學術(shù)講座，分別得到多少信息？說不太清分別得到多少信息。但感覺上似乎前者得到的信息量更大些，因為他懂得很多專業(yè)知識。61對信息概念的感性認識第二次聽到天氣預報說今天會是陰天，得到多對信息概念的感性認識兩位專業(yè)人士同時聽剛才那位學者的學術(shù)講座，誰得到的信息量更多？說不太清誰得到的信息多。似乎應(yīng)該是業(yè)務(wù)能力更強、專業(yè)知識更豐富的那個人得到的信息多，但很難對這兩個人的能力和知識進行定量地衡量。一位漁民和一個工人同時收聽天氣預報中的海浪預報，誰得到了更有價值的信息？價值多出多少？感覺是漁民，但價值多出多少無法回答。62對信息概念的感性認識兩位專業(yè)人士同時聽剛才那位學者的學術(shù)講座結(jié)論一般而言，信息既有其客觀性，又有其主觀性，與接收人所具有的專業(yè)知識、興趣、職業(yè)等都有關(guān)系。1.客觀性：所有人所聽到的消息都是一樣的。天氣預報說今天會下雨。電視報道說中國足球隊戰(zhàn)勝了巴西足球隊。

2.主觀性：與接收人的知識、興趣、職業(yè)等主觀因素有關(guān)。知識：兩個專業(yè)人士聽學術(shù)講座的例子。興趣：聽到體育新聞的人是否愛好體育的例子。職業(yè)：漁民和工人聽海浪預報的例子。63結(jié)論一般而言，信息既有其客觀性，又有其主觀性，與接收人所具有總結(jié)信息具有三方面特征：語法（反映客觀性）語義（既有客觀性、又有主觀性）語用（反映主觀性）信息的主觀屬性（語用、語義）是影響對信息進行度量的主要因素，這些屬性與人的主觀性有關(guān)，很難準確地進行量化表達?；谝陨峡紤]，香農(nóng)大膽地去掉了信息在語義和語用方面的因素，只保留消息的語法屬性，從而使得使用數(shù)學工具定量度量信息成為可能。C.E.Shannon香農(nóng)信息分類方法的一種64總結(jié)信息具有三方面特征：C.E.Shannon香農(nóng)信息分香農(nóng)信息1948年，香農(nóng)在《AMathematicalTheoryofCommunication》中提出了三種假設(shè)：形式化假說通信的任務(wù)只是在接收端把發(fā)送端發(fā)出的消息從形式上復制出來，并不需要對消息的語義作處理和判斷。形式化假說大膽去掉了消息主觀方面的語義、語用因素，只保留了能用數(shù)學描述的客觀方面的形式因素，使用數(shù)學工具定量度量信息成為可能非決定論觀點根據(jù)通信問題研究對象的特點，按照非決定論的觀點，采用概率統(tǒng)計的方法，作為分析通信問題的數(shù)學工具，因而比以往的研究更加科學。不確定性信息是對事物運動狀態(tài)或存在方式不確定性的描述。當收到一條消息后，所獲得的信息量可以用不確定度的消除量來進行度量?！戕r(nóng)信息65香農(nóng)信息1948年，香農(nóng)在《AMathematicalT香農(nóng)信息——不確定性的消除量香農(nóng)認為通信無外乎兩種原因：自己有某種形式的消息要告訴對方，而估計對方“不知道”這個消息。自己有某種“疑問”要尋問對方，而估計對方能做出一定的解答?！安恢馈?、“疑問”就是通信前對可能發(fā)生事件的若干種結(jié)果不能做出明確判斷，存在某種“不確定性”。通信后，將完全或部分消除通信前的不確定性。即：通信的作用就是通過消息的傳遞，使接收者從收到的消息中獲取一定的信息，從而消除原先存在的某些不確定性。例：地區(qū)A每天通過信道，向地區(qū)B發(fā)送地區(qū)A當天的天氣情況。通信前，問地區(qū)B的某人：地區(qū)A明天會是陰天嗎？回答：不確定。假設(shè)地區(qū)A第二天果然是陰天，并將此消息通過信道發(fā)送到地區(qū)B。但通信過程中受干擾因素的影響，消息變?yōu)椤安皇乔缣臁蓖ㄐ藕?，問地區(qū)B的某人：地區(qū)A今天會是陰天嗎？回答：還是不確定，但不確定的程度降低了。66香農(nóng)信息——不確定性的消除量香農(nóng)認為通信無外乎兩種原因：16根據(jù)香農(nóng)信息的定義，重新回答之前的問題。2.電視里報道中國男子足球隊戰(zhàn)勝了巴西隊，和中國男子兵乓球隊戰(zhàn)勝了巴西隊，分別得到多少信息？收看之前的不確定度

–

收看之后的不確定度

0根據(jù)歷史統(tǒng)計規(guī)律得出的概率進行計算。1.別人給你打電話告訴了你一件不知道的事情，得到多少信息？告訴了一件你已經(jīng)知道的事情呢？聽到之前的不確定度–聽到之后的不確定度之前不知道的事情根據(jù)概率計算。0之前已知道的事情0067根據(jù)香農(nóng)信息的定義，重新回答之前的問題。2.電視里報道中國3.一位專業(yè)人士和一位普通人同時聽一位學者的學術(shù)講座，分別得到多少信息？聽到之前的不確定度–聽到之后的不確定度專業(yè)人士和普通人的得到的信息相同。4.兩位專業(yè)人士同時聽剛才那位學者的學術(shù)講座，誰得到的信息量更多？兩位專業(yè)人士得到的信息相同。5.一位漁民和一個工人同時收聽天氣預報中的海浪預報，誰得到了更有價值的信息？得到的信息相同?？梢姡合戕r(nóng)信息只考慮信息量的多少,不考慮對人的作用或價值。根據(jù)香農(nóng)信息的定義，重新回答之前的問題。683.一位專業(yè)人士和一位普通人同時聽一位學者的學術(shù)講座，分別香農(nóng)信息的優(yōu)缺點香農(nóng)信息的優(yōu)點：有明確的數(shù)學表達式，定量化與人們直觀理解的信息含義一致不考慮收信者主觀感受的不同，認為同一消息對任何收信者，所得信息量相同。香農(nóng)信息的局限：沒有考慮收信者的主觀特性和主觀意義只是對現(xiàn)實世界信息的一種抽象和簡化，在很多方面還不能完全滿足人們的需要69香農(nóng)信息的優(yōu)缺點香農(nóng)信息的優(yōu)點：有明確的數(shù)學表達式，定量化與其他信息定義哈特萊：信息是通信過程中符號選擇的自由度。例：英文發(fā)報系統(tǒng)，自由度取決于符號的數(shù)目，與符號的具體內(nèi)容無關(guān)。字母越多，自由度越大，信息量越大。選擇的自由度與字母概率無關(guān)。單詞受構(gòu)詞法的限制越強，信息量越小。維納：信息既不是物質(zhì)，也不是能量，信息就是信息正是維納首次將信息放在與物質(zhì)和能量等同的位置上，將信息作為獨立于物質(zhì)和能量之外存在于客觀世界的第三要素。本課程后續(xù)討論內(nèi)容中將只使用香農(nóng)先生的定義。70其他信息定義哈特萊：信息是通信過程中符號選擇的自由度。例：英第1章緒論1.1信息的一般概念信息的定義信息、信號與消息信息的特征與性質(zhì)1.2信息論的研究對象、目的和內(nèi)容1.3信息論的形成和發(fā)展應(yīng)用71第1章緒論1.1信息的一般概念21信息與消息、信號間的區(qū)別與關(guān)系信號在實際通信系統(tǒng)中，通常需要把消息變換成適合信道傳輸?shù)奈锢砹?，這種物理量即為信號。包括電信號（隨時間而變化的電壓或電流）、光信號（如光強度）、聲波動、光強度、機械運動的位移或速度等等消息信息的載體用文字、符號、數(shù)據(jù)、語言、圖片、圖像等能被人們感覺器官所感知的形式，把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來就成為消息。信息信息是對事物運動狀態(tài)或存在方式不確定性的描述。當收到一條消息后，所獲得的信息量可以用不確定度的消除量來進行度量。72信息與消息、信號間的區(qū)別與關(guān)系信號在實際通信系統(tǒng)中，通常需要例：(莫爾斯碼)73例：(莫爾斯碼)23分析分析1：上述通信活動中，信息、消息、信號分別是：高頻電脈沖是“母病愈”這三個漢字是對母親健康狀況不確定性的消除，是其中，消息與信息的概念較為容易混淆。消息通常是具體的文字，數(shù)據(jù)、聲音、圖像等形式，而信息較為抽象。分析2：第二天哥哥又發(fā)了一封“母病愈”的電報。收到消息但信息為0通信前后的不確定度：00第一份電報，傳輸過程中變成亂碼。收到消息但信息為0通信前后的不確定度：f(p)f(p)信息消息信號74分析分析1：上述通信活動中，信息、消息、信號分別是：信息消息第1章緒論1.1信息的一般概念信息的定義信息、信號與消息信息的特征與性質(zhì)1.2信息論的研究對象、目的和內(nèi)容1.3信息論的形成和發(fā)展應(yīng)用75第1章緒論1.1信息的一般概念25信息的特征信息是無形的與物質(zhì)和能量不同，信息看不見，摸不著，沒有顏色、沒有氣味、沒有形狀、沒有大小，沒有重量……非常抽象。信息是“活”的信息來源于客觀事物，人們能夠直接或間接感知它，它是人腦思維活動的反映，可以說，人腦是信息的主要載體。它是動態(tài)的，有很強的時間性，如：股票市場信息，瞬息萬變，只有及時把握有效的信息才能獲得信息的最佳價值。信息是可分享的甲傳遞一件東西給乙，乙得到的同時甲便失去。信息持有者將信息傳遞出去后，自己的信息并不喪失。76信息的特征信息是無形的26信息的特征信息是能產(chǎn)生實效的信息是可以處理的人們得到信息之后，往往要對信息進行整理、歸納和再加工，使信息更加精練。如：信息的壓縮是信息論的主要研究內(nèi)容之一。信息是可以快速傳播并擴散的信息可以在短時間內(nèi)通過電視、廣播、網(wǎng)絡(luò)等渠道迅速傳播開來，頃刻之間即可傳遍全球。.........…77信息的特征信息是能產(chǎn)生實效的27第1章緒論1.1信息的一般概念1.2信息論的研究對象、目的和內(nèi)容通信系統(tǒng)模型信息論的內(nèi)容和目的1.3信息論的形成和發(fā)展應(yīng)用78第1章緒論1.1信息的一般概念28信息運動過程對應(yīng)人的部位信息運動過程使用的工具對應(yīng)的信息科學與技術(shù)傳感器技術(shù)遙感技術(shù)雷達技術(shù)通信理論技術(shù)信息壓縮技術(shù)編碼理論網(wǎng)絡(luò)技術(shù)計算機科學與技術(shù)人工智能信號處理、圖像處理模式識別控制理論、系統(tǒng)論傳感器雷達探測遙感、遙測電話、廣播、電視、數(shù)據(jù)通信計算機網(wǎng)絡(luò)計算機、光盤...執(zhí)行機構(gòu)、控制系統(tǒng)、機器人等外部世界(自然環(huán)境人類社會)信息獲取初步處理信息傳遞與分配信息處理與存儲信息施效(控制)視、聽、嗅、觸摸傳導神經(jīng)大腦四肢存儲79信息運動過程對應(yīng)人信息使用對應(yīng)的傳感器技術(shù)通信理論技術(shù)計算機通信系統(tǒng)模型香農(nóng)在創(chuàng)立信息論時，主要是考慮在通信領(lǐng)域中的應(yīng)用。隨著信息論的不斷發(fā)展，其已逐漸滲透到計算機、雷達、導航、自動控制等領(lǐng)域，甚至已滲透到經(jīng)濟學、社會學等領(lǐng)域。但本課程只研究在通信領(lǐng)域中的應(yīng)用。信源信源編碼信源譯碼信宿信道編碼信道信道譯碼++加密編碼解密譯碼噪聲源SUCXY?VSn通信系統(tǒng)基本模型80通信系統(tǒng)模型香農(nóng)在創(chuàng)立信息論時，主要是考慮在通信領(lǐng)域中的應(yīng)用通信系統(tǒng)模型-信源和信宿信源:產(chǎn)生消息的源。可是人、生物、機器或其它事物，是信息的表達者，但不是信息本身。是事物各種運動狀態(tài)或存在狀態(tài)的集合，對應(yīng)一個概率空間。信源的輸出是消息，消息可以是文字、語言、圖像等。信宿：信息傳送過程中的接收者，即接收消息的人或物。信宿和信源可處于不同的地點或存在于不同時刻。信源編碼器信道譯碼器信宿干擾源消息信號干擾消息81通信系統(tǒng)模型-信源和信宿信源:產(chǎn)生消息的源。信源編碼器信通信系統(tǒng)模型-編碼部分編碼部分：（發(fā)射機）1、信源編碼器：對信源消息進行變換和處理，提高傳輸效率2、糾錯編碼器：用以提高對于信道干擾的抗擊能力，提高傳輸可靠性。3、調(diào)制器：變成適合于信道要求的信號形式例如：電話機：人的語言轉(zhuǎn)換成與聲音信號成正比的電信號。

發(fā)報機：將語言文字轉(zhuǎn)換成高頻電脈沖。信源信源編碼器調(diào)制器信道信道編碼器糾錯編碼器信宿信源譯碼器解調(diào)器糾錯譯碼器干擾源信道譯碼器82通信系統(tǒng)模型-編碼部分編碼部分：（發(fā)射機）信源信源編碼器通信系統(tǒng)模型-信道信道：把載荷消息的信號從發(fā)射端傳到接收端的媒質(zhì)或通道在狹義的通信系統(tǒng)中，實際信道有架空明線、電纜、波導、光纖、無線電波傳播空間等。廣義的通信系統(tǒng)，信道還可以是其他傳輸媒介。信源信源編碼器調(diào)制器信道信道編碼器糾錯編碼器信宿信源譯碼器解調(diào)器糾錯譯碼器干擾源信道譯碼器83通信系統(tǒng)模型-信道信道：把載荷消息的信號從發(fā)射端傳到接收端的通信系統(tǒng)模型-干擾源干擾源：在信道中引入噪聲和干擾這是一種等效的表達方式：為分析方便，把系統(tǒng)中各部分產(chǎn)生的噪聲和干擾都等效成信道干擾，集中作用于信道。實際干擾可以分成以下兩大類。1、加性干擾。外界引入的隨機干擾，如設(shè)備內(nèi)部噪聲，它們與信道的輸入信號統(tǒng)計無關(guān)。信道的輸出是輸入信號和干擾的和。2、乘性干擾。信號在傳播過程中由于物理條件的變化引起信號參量的隨機變化而構(gòu)成的干擾。此時信道的輸出信號是輸入信號與某些隨機參量相乘的結(jié)果。84通信系統(tǒng)模型-干擾源干擾源：在信道中引入噪聲和干擾34通信系統(tǒng)模型-譯碼部分譯碼部分：編碼的逆變換。它要從受干擾的信號中最大限度地提取出有關(guān)信源輸出消息的信息，并盡可能地復現(xiàn)信源的輸出?？煞譃樾旁醋g碼器和信道譯碼器；信道譯碼器包括糾錯譯碼器和解調(diào)器。信源信源編碼器調(diào)制器信道信道編碼器糾錯編碼器信宿信源譯碼器解調(diào)器糾錯譯碼器干擾源信道譯碼器85通信系統(tǒng)模型-譯碼部分譯碼部分：編碼的逆變換。信源信源編碼說明：1.上述模型只是一種最基本的通信系統(tǒng)，只實現(xiàn)了點對點的單向通信，而實際系統(tǒng)都應(yīng)是雙向的。2.在網(wǎng)絡(luò)通信情況下，可能有很多分開的信源、信道和信宿進行信息交換，應(yīng)支持多個輸入、多個輸出和多向傳輸。例如，廣播通信是一個輸入、多個輸出的單向傳輸通信，而衛(wèi)星通信網(wǎng)則是多個輸入、多個輸出和多向傳輸?shù)耐ㄐ拧?.要研究這些通信系統(tǒng)中的信息傳輸和處理問題，需要對兩端單向通信系統(tǒng)模型作適當修正86說明：1.上述模型只是一種最基本的通信系統(tǒng)，只實現(xiàn)了點對點不編碼：每個字符需要5個二進制碼元。編碼后：每個字符可能無需5個二進制碼元。例：信源符合集合(32個符號){AB…Z,.?...}信源信源編碼器調(diào)制器信道糾錯編碼器消息：TOMISSICK87不編碼：每個字符需要5個二進制碼元。例：信源符合集合(32個信源編碼的作用——提高有效性不編碼：每個字符需要5個二進制碼元。平均碼元長度：5編碼后：A：1個碼元其他：6個碼元平均碼元長度：3.50101010101010101010101010101010101010101010101010101010101010101信源符合集合(32個符號){AB…Z,.?...}假設(shè)：p(A)=1/2

p(其他)=1/6288信源編碼的作用——提高有效性不編碼：010101010101不編碼：接收方無法發(fā)現(xiàn)錯誤。編碼后：接收方可發(fā)現(xiàn)或糾正錯誤。信源編碼的作用——提升可靠性信源信道編碼器調(diào)制器信道信源編碼器信息碼元信息碼元監(jiān)督碼元有確定性的關(guān)系（如奇偶校驗或CRC）通信的有效性依靠盡可能較少地發(fā)送碼元數(shù)來完成，而可靠性又需要在真正要傳輸?shù)拇a元后附加一些冗余的監(jiān)督碼元。因此，從某種意義上講，二者存在一定的矛盾，需要統(tǒng)籌兼顧。89不編碼：接收方無法發(fā)現(xiàn)錯誤。信源編碼的作用——提升可靠性信第1章緒論1.1信息的一般概念1.2信息論的研究對象、目的和內(nèi)容通信系統(tǒng)模型信息論的內(nèi)容和目的1.3信息論的形成和發(fā)展應(yīng)用90第1章緒論1.1信息的一般概念40信息論的研究內(nèi)容1.狹義信息論（香農(nóng)基本理論）也稱為經(jīng)典信息論。主要研究信息的測度、信道容量及信源和信道編碼理論等問題。2.一般信息論（通信理論），主要研究信息傳輸和處理問題。除香農(nóng)理論外，還包括噪聲理論、信號濾波和預測、統(tǒng)計檢測和估計理論、調(diào)制理論、抗干擾理論、信號處理理論以及保密理論。3.廣義信息論（信息科學），不僅包含上述內(nèi)容，而且包括所有與信息有關(guān)的自然和社會領(lǐng)域，具有更廣泛的研究內(nèi)容。香農(nóng)信息論信源熵信道容量無失真信源編碼定理率失真函數(shù)信源編碼信道編碼限失真信源編碼定理

信道編碼定理密碼91信息論的研究內(nèi)容1.狹義信息論（香農(nóng)基本理論）也稱為經(jīng)典信息課程的研究內(nèi)容(1)什么是信息？如何度量信息？

自信息量互信息量(2)如何計算信源輸出中，平均含有多少信息量？

熵(3)對于一個給定的信道，它傳輸信息量的最高極限如何計算？

信道容量(4)為了能夠無失真地傳輸信源信息，對信源編碼時所需最少的碼符號數(shù)如何計算？

香農(nóng)第一定理(5)在有噪信道中，有沒有可能以接近信道容量的信息傳輸率傳輸信息而錯誤概率幾乎為零？