信息論基礎(chǔ)課程教學(xué)大綱課程英文名稱：FundamentalsofInformationTheory課程編號(hào)：050729 課程類型：專業(yè)核心課總學(xué)時(shí)：6學(xué)分：3.5適用對(duì)象：信息與計(jì)算科學(xué)專業(yè)周學(xué)時(shí)：4開設(shè)學(xué)期：第六學(xué)期開課單位：數(shù)學(xué)與系統(tǒng)科學(xué)學(xué)院先修課程：數(shù)學(xué)分析、高等代數(shù)、概率論與數(shù)理統(tǒng)計(jì)、計(jì)算機(jī)文化基礎(chǔ)編寫依據(jù)：2017年版本科培養(yǎng)方案使用教材及參考書編寫時(shí)間：2017年7月（3參考書：1.（第二版（信息與計(jì)算科學(xué)專業(yè)系列教材武漢大學(xué)出版社，2008年1月2.（，21，20088一、課程教學(xué)目的和任務(wù)通過本課程教學(xué)，使學(xué)生了解香農(nóng)狹義信息論的基本思想與原理，理解通信系統(tǒng)模型，熟悉常用信源和信道編碼方法，培養(yǎng)學(xué)生利用信息論的基本原理分析和解決通信系統(tǒng)相關(guān)的實(shí)際問題的能力，從而提高學(xué)生的綜合素質(zhì)，為今后進(jìn)行信息科學(xué)方面的學(xué)習(xí)和研究奠定良好的理論基礎(chǔ)。二、課程教學(xué)基本要求1及信道編碼的基本概念和編譯碼方法。2能力放在重要位置。布置一些課后作業(yè)。3CMatlab程實(shí)現(xiàn)一些編碼方法，讓學(xué)生鞏固課程內(nèi)容。三、課程教學(xué)重點(diǎn)和難點(diǎn)第1章緒論重點(diǎn)：信息論的基本內(nèi)容，研究對(duì)象和目的。難點(diǎn):信息論的基本內(nèi)容。第2章信息的度量重點(diǎn)：信源熵，聯(lián)合熵，條件熵。難點(diǎn):熵函數(shù)的性質(zhì)。第3章信源及信源熵重點(diǎn)：信源、信源的數(shù)學(xué)建模問題、定量描述信源輸出信息的能力、信源編碼問題。難點(diǎn)：信源編碼問題。第4章信道及信道容量重點(diǎn)：信道容量，信道編碼定理。難點(diǎn)：信道容量的性質(zhì)和計(jì)算，信道編碼定理。第5章無失真信源編碼Huffman編碼，F(xiàn)eno難點(diǎn):變長(zhǎng)信源編碼定理。第6章有噪信道編碼的關(guān)系，有噪信道編碼定理。難點(diǎn)：有噪信道編碼定理。7重點(diǎn)：率失真函數(shù)，限失真信源編碼定理。難點(diǎn)：率失真函數(shù)的性質(zhì)和迭代算法。四、課程教學(xué)內(nèi)容第1[教學(xué)目的]通過本章教學(xué)，使學(xué)生了解對(duì)香農(nóng)的信息理論，了解信息論的基本內(nèi)容，研究對(duì)象和目的。[教學(xué)要求]要求學(xué)生了解信息論的研究?jī)?nèi)容。[重點(diǎn)難點(diǎn)]重點(diǎn)：信息理論的基本內(nèi)容，研究對(duì)象和目的。難點(diǎn):信息理論的基本內(nèi)容。[教學(xué)內(nèi)容]信息的概念信息論的研究對(duì)象、目的和內(nèi)容2[教學(xué)目的]通過本章教學(xué)，使學(xué)生掌握如何度量信息。[教學(xué)要求]理解信源熵、離散信源的最大熵、聯(lián)合熵、條件熵的定義和計(jì)算，理解各類熵之間的關(guān)系及性質(zhì)、理解數(shù)據(jù)處理定理。[重點(diǎn)難點(diǎn)]重點(diǎn)：信源熵，聯(lián)合熵，條件熵。難點(diǎn):熵函數(shù)的性質(zhì)。[教學(xué)內(nèi)容]自信息和互信息平均自信息平均互信息第3章信源及信源熵[教學(xué)目的]通過本章教學(xué)，使學(xué)生掌握不同信源的信源熵的計(jì)算。[教學(xué)要求]了解信源的分類，理解離散單符號(hào)信源和多符號(hào)信源之間的關(guān)系，了解離散平穩(wěn)無記憶信源和有記憶信源之間的不同之處，掌握馬爾科夫信源，了解連續(xù)信源的微分熵。[重點(diǎn)難點(diǎn)]重點(diǎn)：信源、信源的數(shù)學(xué)建模問題、定量描述信源輸出信息的能力。難點(diǎn)：信源編碼問題。[教學(xué)內(nèi)容]信源的分類及其數(shù)學(xué)模型連續(xù)信源第4章信道及信道容量[教學(xué)目的]通過本章教學(xué)，使學(xué)生了解通信系統(tǒng)中的信道，以及信道容量的含義。[教學(xué)要求]掌握信道容量的定義、性質(zhì)和計(jì)算，理解信道編碼、信道編碼定理，理解級(jí)聯(lián)信道和并聯(lián)信道的信道容量。[重點(diǎn)難點(diǎn)]重點(diǎn)：信道容量，信道編碼定理。難點(diǎn)：信道容量的性質(zhì)和計(jì)算，信道編碼定理。[教學(xué)內(nèi)容]信道的分類組合信道及其信道容量5章無失真信源編碼[教學(xué)目的]通過本章教學(xué)，使學(xué)生掌握常用的無失真信源編碼的編碼方法。理解香農(nóng)的無失真信源編碼定理的含義和意義。[教學(xué)要求]HuffmanShannonFeno編碼，了解算術(shù)編碼。[重點(diǎn)難點(diǎn)]Huffman編碼，F(xiàn)ano難點(diǎn):變長(zhǎng)信源編碼定理。[教學(xué)內(nèi)容]信源編碼的相關(guān)概念變長(zhǎng)碼的編碼方法實(shí)用的無失真信源編碼方法6章有噪信道編碼[教學(xué)目的]通過本章教學(xué)，使學(xué)生理解香農(nóng)的有噪信道編碼定理的含義和意義。[教學(xué)要求]理解錯(cuò)誤概率、譯碼規(guī)則，理解錯(cuò)誤概率與譯碼規(guī)則之間的關(guān)系，理解錯(cuò)誤概率與編碼方法之間的關(guān)系，理解有噪信道編碼定理，了解線性分組碼。[重點(diǎn)難點(diǎn)]重點(diǎn)：錯(cuò)誤概率，譯碼規(guī)則，錯(cuò)誤概率與譯碼規(guī)則之間的關(guān)系，錯(cuò)誤概率與編碼方法之間的關(guān)系，有噪信道編碼定理。難點(diǎn)：有噪信道編碼定理。[教學(xué)內(nèi)容]信道編碼的相關(guān)概念有噪信道編碼定理錯(cuò)誤概率的上界糾錯(cuò)編碼第7章限失真信源編碼[教學(xué)目的]通過本章教學(xué)，使學(xué)生理解香農(nóng)的限失真信源編碼定理的含義和意義。[教學(xué)要求]了解率失真函數(shù)的定義和保真度準(zhǔn)則下的信源編碼定理的物理意義，理解離散信源率失真函數(shù)的基本計(jì)算方法。[重點(diǎn)難點(diǎn)]重點(diǎn)：率失真函數(shù)，限失真信源編碼定理。難點(diǎn)：率失真函數(shù)的性質(zhì)和迭代算法。[教學(xué)內(nèi)容]失真測(cè)度信息率失真函數(shù)限失真信源編碼定理五、實(shí)踐環(huán)節(jié)（實(shí)驗(yàn)總學(xué)時(shí)：16學(xué)時(shí)）實(shí)驗(yàn)?zāi)康模和ㄟ^具有代表性的編碼設(shè)計(jì)方法，啟發(fā)學(xué)生的獨(dú)立思維能力，使學(xué)生提高解決問題的能力。獨(dú)立完成常用的算法的編程。并且把它應(yīng)用到實(shí)際問題中。實(shí)驗(yàn)要求：驗(yàn)報(bào)告作為最終成績(jī)的考核依據(jù)。目進(jìn)行認(rèn)真的分析，給出算法的運(yùn)行框圖，準(zhǔn)備實(shí)驗(yàn)數(shù)例。實(shí)驗(yàn)內(nèi)容及要求一覽表：章目實(shí)驗(yàn)項(xiàng)目名稱實(shí)驗(yàn)內(nèi)容實(shí)驗(yàn)類型學(xué)時(shí)分配演示驗(yàn)證綜合…熟悉編程環(huán)境熟悉C,C++編程環(huán)境VC(熟悉MATLAB編程環(huán)境)√2第二章信源熵計(jì)算編程實(shí)現(xiàn)以下算法信源熵的計(jì)算信源加權(quán)熵的計(jì)算聯(lián)合熵的計(jì)算條件熵的計(jì)算√2第四章信道容量的計(jì)算根據(jù)信道轉(zhuǎn)移概率矩陣，信源符號(hào)個(gè)數(shù)，算出最佳信源分布，信道容量√4第五章唯一可譯碼判決判斷給定的碼是否唯一可譯碼√2第五章Huffman編碼利用最優(yōu)編碼原理編制Huffuman編碼√2第五章Shannon編碼編程實(shí)現(xiàn)shannon編碼√2第五章LZW編碼編程實(shí)現(xiàn)LZW編碼√2六、學(xué)時(shí)分配（宋體，四號(hào)加粗）總學(xué)時(shí)：64學(xué)時(shí)其中課堂教學(xué)：48學(xué)時(shí)；實(shí)踐教學(xué)：16學(xué)時(shí)課堂教學(xué)學(xué)時(shí)分配一覽表：章目教學(xué)內(nèi)容教學(xué)時(shí)數(shù)第1章緒論2第2章信息的度量6第3章信源及信源熵6第4章信道及信道容量12第5章無失真信源編碼1