《信息論基礎》教學大綱一、課程基本信息課程名稱信息論基礎FoundationofInformationTheory課程編碼SCC262411030開課院部理學院課程團隊信息論基礎學分3.0課內(nèi)學時48講授48實驗0上機0實踐0課外學時48適用專業(yè)信息與計算科學授課語言中文先修課程數(shù)學分析（3-1）、高等代數(shù)（2-1）、數(shù)學分析（3-2）、高等代數(shù)（2-2）、數(shù)學分析（3-3）、概率論課程簡介（必修）信息論基礎是各高等院校內(nèi)信息科學相關(guān)專業(yè)的重要基礎課。信息論，又稱為通信的數(shù)學理論，以信息論的奠基人、當代偉大的數(shù)學家和美國杰出的科學家香農(nóng)的著名論文《通信的數(shù)學理論》為理論基礎，以數(shù)理統(tǒng)計為主要工具來研究信息的度量、傳輸和處理。在很多情況下，由于信息量巨大，信源消息是不可能完全發(fā)送出去的，因而需要對消息進行有效的壓縮處理；另一方面，在很多信道中往往存在干擾，因而導致消息在傳輸過程中會出現(xiàn)差錯，因而需要對消息進行檢錯和糾錯處理，以使得在接收方能夠收到可靠消息。這就構(gòu)成信息論的中心問題：即為設計有效而可靠的通信系統(tǒng)提供理論依據(jù)。本課程的目的是使學生深刻理解與信息度量相關(guān)的基本概念，牢固掌握描述通信系統(tǒng)極限性能的三個基本定理，了解這三個基本定理在傳輸、處理一些實際系統(tǒng)的基本應用。為學生進一步學習后續(xù)專業(yè)課程打下堅實的基礎。通過本課程的學習，使學生掌握一套系統(tǒng)地分析通信系統(tǒng)基本問題的理論，提高學生解決實際問題的能力。Elementsofinformationtheoryisanimportantbasiccourseforspecialtiesofinformationscienceinallkindsofuniversitiesorcolleges.Theoreticallybasedon“Amathematicaltheoryofcommunication”,onefamousarticlebyShannon,whoisacontemporarygreatmathematiciansandanAmericanfamousscientistandcalledthefounderofinformationtheory,informationtheoryconcernsaboutthemeasures,transmissionsandprocessingofinformationbymeansofprobabilitiesandstatistics.Inmanycases,duetothehugeamountofinformationandtheconstraintsofphysicalcondition,itisimpossibletotransmitthecompletesourcemessage.Thusitisnecessarytoefficientlycompresstheoriginalsourcemessage.Ontheotherhand,thereoftenexistssignalinterferenceinchannels,whichwillresultinsomeerrorsinthemessagetransmittedbythesechannels.Therefore,itisnecessarytocheckandcorrecterrorsbypreprocessinginformation.Theabovetwoproblemsconsistofthemaincontentsofinformationtheory,i.e.,providingatheoreticalbasisforthedesignofaneffectiveandreliablecommunicationsystem.Thegoalofthiscourseistomakestudentsdeeplyunderstandthebasicconceptsrelevanttoinformationmeasures,firmlygraspthethreefundamentalTheoremswhichdescribetheultimateperformanceofcommunicationsystems,andlearntheirbasicapplicationsofthethreeTheoremsintransmittingandprocessingsomerealsystems.Andlearningthiscoursecanalsoprovideasolidfoundationforthestudentstostudysubsequently.Additionally,throughlearningthiscourse,thestudentswillgraspaseriesoftheoriesofsystematicallyanalyzingthebasicproblemsofcommunicationsystemsandtheirabilitiesofsolvingrealproblemswillalsobeimproved.負責人大綱執(zhí)筆人審核人二、課程目標序號代號課程目標OBE畢業(yè)要求指標點任務自選1M1目標1：培養(yǎng)學生的信息思維，并掌握對信息的基本研究方法是3.23.22M2目標2：通過本課程的學習，使學生掌握信息數(shù)據(jù)處理的基本方法，具備較強的數(shù)據(jù)處理能力是3.23.2三、課程內(nèi)容序號章節(jié)號標題課程內(nèi)容/重難點支撐課程目標課內(nèi)學時教學方式課外學時課外環(huán)節(jié)1111.1信息的概念和發(fā)展歷史信息論的誕生，信息論的作用，信息的定義。M11講授1自學21.21.2信息論的研究對象及主要內(nèi)容通信系統(tǒng)模型，香農(nóng)信息論的中心問題、局限性，信息定義的廣義性。M11講授1自學32.12.1離散變量的非平均互信息非平均互信息，自信息，條件互信息和聯(lián)合互信息。M1,M24講授6作業(yè)，自學42.22.2熵的概念和性質(zhì)熵，條件熵，熵的性質(zhì)；離散集平均互信息，信息處理定理。M1,M24講授4作業(yè)，自學52.32.3連續(xù)型隨機變量的熵連續(xù)隨機變量的互信息、熵和聯(lián)合熵。M1,M21講授1作業(yè)，自學63.13.1信源及其分類記憶信源，無記憶信源；簡單信源，馬爾科夫信源。M1,M21講授1作業(yè)，自學73.23.2離散無記憶信源的等長編碼典型序列集，信源劃分定理，可達速率，編碼效率。M1,M21講授2作業(yè)，自學83.33.3信源的不等長編碼定理。Kraft不等式，不等長編碼定理。M1,M24講授3作業(yè)，自學93.43.4最佳不等長編碼Huffman編碼，Shannon-Fano編碼，算術(shù)編碼，LZ編碼。M1,M23講授4作業(yè)，自學104.14.1信道分類離散信道，連續(xù)信道，恒參信道，隨參信道，無記憶和有記憶信道M1,M22講授3作業(yè)，自學114.24.2離散無記憶信道及信道容量DMC的信道容量定理，最佳分布；對稱DMC容量的計算，一般DMC容量的計算M1,M24講授6作業(yè)，自學124.34.3信道的組合積信道，和信道。M1,M22講授2作業(yè)，自學135.15.1信道編碼的相關(guān)問題信道編碼的分類，編碼和譯碼準則，離散信道的譯碼M1,M21講授1作業(yè)，自學145.25.2信道編碼定理信道編碼定理的內(nèi)容M1,M21講授2作業(yè)，自學156.16.1線性分組碼線性分組碼的定義，生成矩陣，校驗矩陣，碼的擴展和縮短。M1,M22講授3作業(yè)，自學166.26.2漢明碼漢明碼定義，編碼和譯碼方法。M1,M22講授2作業(yè)，自學176.36.3Hadamard碼Hadamard碼定義，編碼和譯碼方法。M1,M22講授3作業(yè)，自學186.46.4循環(huán)碼循環(huán)碼的定義、編碼方法和糾錯性能。M1,M22講授3作業(yè)，自學196.56.5BCH碼和Reed-Solomon碼BCH碼和Reed-Solomon碼的編碼和譯碼方法M1,M22講授3作業(yè)，自學207.17.1網(wǎng)絡信息論與網(wǎng)絡編碼概述網(wǎng)絡信息論主要研究內(nèi)容及發(fā)展歷程，網(wǎng)絡編碼簡介及優(yōu)缺點M1,M22講授2作業(yè)，自學217.27.2線性網(wǎng)絡編碼局部編碼核、全局編碼核，四類線性網(wǎng)絡編碼，線性多播的譯碼矩陣M1,M22講授2作業(yè)，自學227.37.3量子糾錯碼量子位、量子態(tài)和量子碼，量子錯誤群，量子糾錯M1,M22講授2作業(yè)，自學237.47.4量子碼的構(gòu)造量子碼的界，由經(jīng)典碼構(gòu)造量子碼，量子MDS碼M1,M22講授2作業(yè)，自學四、考核方式序號考核環(huán)節(jié)操作細節(jié)總評占比1考勤與課堂表現(xiàn)1.通過刷卡點名、隨機點名等方式進行考勤；2.通過隨機檢查學生上課的精神狀態(tài)及回答問題的積極性和準確性等考察課堂表現(xiàn)；3.采用等級制，分為A,B,C,D四個等級。10%2平時作業(yè)1.每周布置3-4道題目，平均每次課1道題以上。2.成績采用等級制，分為A,B,C,D四個等級，根據(jù)作業(yè)完成準確性、是否按時上交、是否獨立完成評分。3.考核學生對信息論基礎的基本知識的掌握能力，學生綜合運用所學知識分析問題、解決問題的能力，作業(yè)題型主要有證明、分析和計算題。20%3大作業(yè)1.本課程要求學生以課程學習總結(jié)的方式，對信息論基礎課程總體理解進行學習心得體會總結(jié)，進行一定的應用拓展思考，并給出利用信息論解決實際問題的具體案例。2.成績采用等級制，分為A,B,C,D四個等級，根據(jù)學生對課程的學習態(tài)度，總體理解深度，對知識的具體應用環(huán)境的理解深度給出評分標準。3.考核學生對信息論基礎這門課程的整體理解程度，學生對信息論具體應用的理解和實踐能力。25%4期末考試1.閉卷考試，成績采用百分制，卷面成績總分100分。2.主要考查學生對信息論基礎的基本知識的掌握程度，學生綜合運用所學知識分析問題、解決問題的能力，題型主要有選擇題、填空題、證明題、計算提，應用題等。45%五、評分細則序號課程目標考核環(huán)節(jié)大致占比評分等級1M1考勤與課堂表現(xiàn)20%A-無遲到早退現(xiàn)象，上課精神飽滿，回答問題積極。B-偶有遲到早退現(xiàn)象，上課精神狀態(tài)尚可。C-經(jīng)常遲到或早退，上課不積極。D-經(jīng)常遲到或早退，上課不積極，并且曠課6次以上2M1平時作業(yè)40%A-作業(yè)完成準確，按時上交，獨立完成B-作業(yè)基本正確，按時上交，獨立完成C-作業(yè)完成錯誤，不按時上交，或者有抄襲現(xiàn)象D-作業(yè)完成錯誤很多，不按時上交，并不交作業(yè)3次以上。3M1大作業(yè)40%A-無拷貝現(xiàn)象，對課程總體能形成自己的在邏輯上的理解，且理解有一定見解和深度，并對課程的應用背景有一定了解和認識。B-無拷貝現(xiàn)象，對課程總體能形成自己的在邏輯上的理解，但理解不深，對課程的應用背景有一定了解。C-有少量拷貝現(xiàn)象，對課程總體不能形成自己的在邏輯上的理解。D-拷貝很多，對課程基本上一無所知。4M2平時作業(yè)25%A-作業(yè)完成準確，按時上交，獨立完成B-作業(yè)基本正確，按時上交，獨立完成C-作業(yè)完成錯誤，不按時上交，或者有抄襲現(xiàn)象D-作業(yè)完成錯誤很多，不按時上交，并不交作業(yè)3次以上。5M2大作業(yè)25%A-無拷貝現(xiàn)象，對課程總體能形成自己的在邏輯上的理解，且理解有一定見解和深