SWUN1信息論與編碼教師：向強(qiáng)手機(jī)_mail:xqiang_0426@163.com西南民族大學(xué)電信學(xué)院主要參考文獻(xiàn)2《信息理論與編碼》姜丹、錢玉美編著 中國科技大學(xué)出版社1992版《信息論—基礎(chǔ)理論與應(yīng)用》傅祖蕓編 著電子工業(yè)出版社2001年版《信息論與編碼方法》西南交通大學(xué)勒 蕃教授著《信息論與編碼》陳運(yùn)、周亮、陳新編 著電子工業(yè)出版社需具備的相關(guān)數(shù)學(xué)知識：概率與統(tǒng)計理論矩陣?yán)碚撔枇私獾南嚓P(guān)通信方面知識：通信原理3第一章引言4第一節(jié)信息的一般含義信息的重要性：當(dāng)代文明的“三大支柱” 信息科學(xué)、材料科學(xué)、能源科學(xué)信息的認(rèn)識1928年美國數(shù)學(xué)家哈特萊（Hartley）在《貝爾系統(tǒng)電話雜志》發(fā)表題為“信息

傳輸”的論文，認(rèn)為“信息是選擇的自由度”。1948年，美國數(shù)學(xué)家香農(nóng)（C.E.Shannon）在《貝爾系統(tǒng)電話雜

志》發(fā)表題為“通信的數(shù)學(xué)理論”的長篇論文，認(rèn)為“信息就是一種消息”。美國數(shù)學(xué)家、控制論的主要奠基人維納 (Winner)在1950年出版的《控制論與社會 》一書中認(rèn)為“信息是人與外界相互作用 的過程中所交換的內(nèi)容的名稱》。以上對信息的認(rèn)識都不夠準(zhǔn)確，具有局限性。信息的含義：“信息”是作為通信的消息來理解的5信源6信道信宿圖1.1通信的簡化模型2.信息是作為運(yùn)算內(nèi)容而明確起來的7輸入信息 輸出信息計算機(jī)補(bǔ)充信息某種過程圖1.2計算機(jī)的運(yùn)算或控制機(jī)理3.信息是作為人類感知的來源存在的第二節(jié)信息論的基本思路信息論的建立作為人類活動中最為普遍的現(xiàn)象之一，人們希望信息的傳遞與交換能夠又多、又快、又好、又經(jīng)濟(jì)，希望對信息進(jìn)行定量分析。1924年奈奎斯特在著手進(jìn)行影響電報傳 遞速度時，就察覺到信息傳輸速度與頻 帶寬度有關(guān)系。81928年，哈特萊用概率的觀點來分析信 息傳輸問題，他指出，如果用D個不同 符號構(gòu)成字，每個字?jǐn)?shù)包括N個符號時， 共可以組成個不同的字，則信息的數(shù)量。1948年，仙農(nóng)發(fā)表了一篇《通信的數(shù)學(xué) 理論》，標(biāo)志著信息論的正式誕生。第 一次提出了信息量的定義，并在離散信 道的信息傳輸容量的研究方面做出了卓 越的貢獻(xiàn)維納提出的統(tǒng)計理論、濾波理論成為信 息論的一個重要分支。92.狹義信息論（香農(nóng)信息論）101948年C.E.Shannon香農(nóng)（信息論奠基人）發(fā)表了題為“通信的數(shù)學(xué)理論”的論文。運(yùn)用通信技術(shù)與概率論、隨機(jī)過程、數(shù)理統(tǒng)計的方法系統(tǒng)討論了通信的基本問題，得出了幾個重要而帶有普遍意義的結(jié)論：闡明通信系統(tǒng)傳遞的對象就是信息對信息給予科學(xué)的定量描述提出了信息熵的概念1.形式化假說11“消息”與“信息”消息：以文字、語言、圖象、圖表等形式，對客觀物質(zhì)運(yùn)動狀態(tài)、人的思維狀態(tài)的表述。形式、語義、語用通信的功能：精確表述信息—“通信的消息”—形式2.非決定論觀點12通信對象的一般特性概率論與數(shù)理統(tǒng)計統(tǒng)計特性數(shù)學(xué)工具3.不確定性通信的原因：①對方不知道②本人有疑問“不知道”、“有疑問”→知識上的“不確定性”信息：數(shù)量上等于通信前后“不確定性”的消除量（減少量）?！安淮_定性”→“多種結(jié)果的可能性→”用概率來度量“不確定性”是概率的某一函數(shù)f(p(x))13“狹義信息量”（I(x)“不確定性”的消除量）也一定可以用概率的某一形式表示：I(x)=f(p(x))第三節(jié)信息論研究的對象、目的和內(nèi)容141.通信系統(tǒng)的一般模型信號+干擾信道譯碼器信號信源編碼器信源干擾噪聲源圖1.3通信系統(tǒng)模型由于互聯(lián)網(wǎng)的建立和發(fā)展，對安全和保密的要求15信源信源編碼信道編碼 信道譯碼信源譯碼信

信道

宿加密編碼加密譯碼噪聲源圖1.4信息傳輸系統(tǒng)模型實際上數(shù)字信息傳輸系統(tǒng)或存儲系統(tǒng)的模型

P3-圖1—3及其各部分的作用和特點（P3—P5有各個部分的解釋）16信息論的研究目的可靠性有效性保密性信息論的研究內(nèi)容狹義信息論：主要研究信息的測度、信道容量以及信源和信道編碼理論等問題。17香農(nóng)信息論傳輸理論壓縮理論保密理論有噪聲網(wǎng)絡(luò)信道有失真信源編碼率失真理論無失真信源編碼保密系統(tǒng)的信息理論信道編碼理論網(wǎng)絡(luò)信息理論變長編碼定理等長編碼定理最優(yōu)碼構(gòu)成Huffman碼Fano碼碼構(gòu)成糾錯碼網(wǎng)絡(luò)最佳碼壓縮編碼保密碼卷積碼代數(shù)編碼圖1.5香農(nóng)信息論的科學(xué)體系18一般信息論：主要也是研究信息傳輸和處理問題，除香農(nóng)信息論，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測和估計、調(diào)制理論、信息處理理論以及保密理論等。廣義信息論：不僅包括上述兩方面內(nèi)容，而且包括所有與信息有關(guān)的自然和社會領(lǐng)域，如模式識別、計算機(jī)翻譯、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)甚至包括社會學(xué)中有關(guān)信息的問題。194.信息論與編碼理論的關(guān)系信息論的發(fā)展和編碼理論的發(fā)展始終是相互依賴、相互促進(jìn)的，實際上，在信息技術(shù)的各個環(huán)節(jié)----提取，采集，發(fā)送，傳遞，接收，檢測，量度，變換，存儲，顯示和處理中，都有不同形式和不同用途的編碼方法。20第四節(jié)模擬信號的數(shù)字化以及數(shù)字信號的類型21模擬信號：又稱連續(xù)信號，其特點是信號電壓（電流）的取值是連續(xù)的時間函數(shù)。如話音信號，攝像管發(fā)出的圖象信號等，不適合于在數(shù)字式計算機(jī)系統(tǒng)中進(jìn)行處理和存儲。數(shù)字信號：只能有有限個離散上的取值，如電報符號和遙控指令。模擬信號轉(zhuǎn)化數(shù)字化的方法：脈沖編碼調(diào)制

pcm,增量調(diào)制△m，差分脈碼調(diào)制△cm等。模擬信號數(shù)字化的基本原理及步驟：以應(yīng)用很廣的PCM方式為例：P5圖1-4（包括抽樣、量化和編碼三個過程）奈奎斯特抽樣定理：當(dāng)抽樣周期ts=1/2w 時，抽樣的樣值脈沖序列包含有連續(xù)信號f（t）的全部信息，Ts-----奈奎斯特抽樣間隔。例：CCITT規(guī)定，語音信號包括保護(hù)頻 帶在內(nèi)共4000HZ，所以語音抽樣頻率定 為8000HZ

。如：彩色電視機(jī)信號帶寬

6MHZ，采樣頻率為13.3MHZ224、數(shù)字信號的類型（P8圖1-5，P9圖1-6）不回零（NRZ）信號L型：1=高電平，0=低電平M型：1=間隔開始處有躍變，0=無躍變

S型：1=無躍變，0=間隔開始處有躍變

特點：容易實現(xiàn)，帶寬利用好，M和S型是差分碼；有直流成分，無同步能力?；亓悖≧Z）信號1=間隔的前一半有脈沖；0=無脈沖特點：信號簡單，易于實現(xiàn)；存在直流成分，對帶寬要求高。233)雙相信號L型（Manchester碼）：1=間隔中點有從高電平向低電平的躍變，0=間隔中點有從低電平向高電平的躍變。M型：1=間隔中點有躍變，0=間隔中點無躍變；此外，間隔開始處總有躍變。S型：1=間隔中點無躍變，0=間隔中點有躍變；此外，間隔開始處總有躍變。差分曼徹斯特型：1=間隔開始處無躍變，0=間隔開始處有躍變；此外，間隔中點處總有躍變特點：無直流成分，有利于差錯檢測24延遲調(diào)制信號雙極性回零信號多電平信號波形5.信息傳輸速率每秒鐘傳遞的信息量碼元數(shù)目，單位為比特/秒。如：帶寬為6MHZ？電視信

號，抽樣頻率為13.3MHZ，每個量化樣值按9bit編碼，則編成二進(jìn)制碼的傳輸速率為：13.3*9=11