信息論根底劉昌紅第一章緒論1、信息的概念2、信息論爭(zhēng)論的對(duì)象、目的和內(nèi)容3、信息論進(jìn)展簡(jiǎn)史與信息科學(xué)信息的概念1、信息論的定義：信息論是人們?cè)陂L(zhǎng)期通信工程的實(shí)踐中，由通信技術(shù)與概率論、隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)相結(jié)合而逐步進(jìn)展起來(lái)的一門科學(xué)。2、信息論的奠基人：是美國(guó)科學(xué)家香農(nóng)，他在1948年發(fā)表了著名的論文《通信的數(shù)學(xué)理論》，為信息論奠定了理論根底。3、香農(nóng)信息的定義：信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述,這就是香農(nóng)信息的定義。4、信息、情報(bào)、學(xué)問(wèn)、消息及信號(hào)間的區(qū)分與聯(lián)系。信息論爭(zhēng)論的對(duì)象、目的和內(nèi)容信源編碼器信道譯碼器信宿噪聲源消息信號(hào)信號(hào)+干擾消息通信系統(tǒng)模型圖信息論爭(zhēng)論的對(duì)象、目的和內(nèi)容信息論爭(zhēng)論的對(duì)象:正是這種統(tǒng)一的通信系統(tǒng)模型,人們通過(guò)系統(tǒng)中消息的傳輸和處理來(lái)爭(zhēng)論信息傳輸和處理的共同規(guī)律.這個(gè)模型主要分成以下五個(gè)局部:1、信息源〔簡(jiǎn)稱信源〕顧名思義，信源是產(chǎn)生消息和消息序列的源。它可以是人，生物，機(jī)器或其他事物。它是事物各種運(yùn)動(dòng)狀態(tài)或存在狀態(tài)的集合。如前所述，“母親的身體狀況”，“各種氣象狀態(tài)”等客觀存在是信源。人的大腦思維活動(dòng)也是一種信源。信源的輸出是消息，消息是具體的，但它不是信息本身。消息攜帶著信息，消息是信息的表達(dá)者。信息論爭(zhēng)論的對(duì)象、目的和內(nèi)容2、編碼器編碼是把消息變換成信號(hào)的措施，而譯碼就是編碼的反變換。編碼器輸出的是適合信道傳輸?shù)男盘?hào)，信號(hào)攜帶著消息，它是消息的載荷者。編碼器可分為二種：信源編碼器和信道編碼器。信源編碼是對(duì)信源輸出的消息進(jìn)展適當(dāng)?shù)淖儞Q和處理，目的是為了提高信息傳輸?shù)男?。信道編碼是為了提高信息傳輸?shù)睦慰啃远鴮?duì)消息進(jìn)展的變換和處理。固然，對(duì)于各種實(shí)際的通信系統(tǒng)，編碼器還應(yīng)包括換能、調(diào)制、放射等等各種變換處理。信息論爭(zhēng)論的對(duì)象、目的和內(nèi)容3、信道信道是指通信系統(tǒng)把載荷消息的信號(hào)從甲地傳輸?shù)揭业氐拿浇?。在狹義的通信系統(tǒng)中實(shí)際信道有明線、電纜、波導(dǎo)、光纖、無(wú)線電波傳播空間等，這些都是屬于傳輸電磁波能量的信道。固然，對(duì)廣義的通信系統(tǒng)來(lái)說(shuō)，信道還可以是其他的傳輸媒介。信道除了傳送信號(hào)以外，還有存儲(chǔ)信號(hào)的作用。信息論爭(zhēng)論的對(duì)象、目的和內(nèi)容4、譯碼器譯碼就是把信道輸出的編碼信號(hào)(已迭加了干擾)進(jìn)展反變換,一般認(rèn)為這種變換是可逆的。譯碼器也可分成信源譯碼器和信道譯碼器。信息論爭(zhēng)論的對(duì)象、目的和內(nèi)容5、信宿信宿是消息傳送的對(duì)象，即接收消息的人或機(jī)器。圖1.3給出的模型只適用于收發(fā)兩端單向通信的狀況。它只有一個(gè)信源和一個(gè)信宿，信息傳輸也是單向的。更一般的狀況是：信源和信宿各有假設(shè)干個(gè)，即信道有多個(gè)輸入和多個(gè)輔出，另外信息傳輸方向也可以雙向進(jìn)展。例如播送通信是一個(gè)輸入，多個(gè)輸出的單向傳輸?shù)耐ㄐ?；而衛(wèi)星通信網(wǎng)則是多個(gè)輸入，多個(gè)輸出和多向傳輸?shù)耐ㄐ?。要?zhēng)論這些通信系統(tǒng)，我們只需對(duì)兩端單向通信系統(tǒng)模型作些適當(dāng)修正，就可引出網(wǎng)絡(luò)通信系統(tǒng)模型信息論爭(zhēng)論的目的爭(zhēng)論這樣一個(gè)概括性很強(qiáng)的通信系統(tǒng)，其目的就是要找到信息傳輸過(guò)程的共同規(guī)律高信息傳輸?shù)睦慰啃?、有效性、保密性、認(rèn)證性，使到達(dá)信息傳輸系統(tǒng)最優(yōu)化。牢靠性：就是要使信源發(fā)出的消息經(jīng)過(guò)信道傳輸以后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端。有效性：就是經(jīng)濟(jì)效果好，即用完可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳送肯定數(shù)量的信息。信息論爭(zhēng)論的目的保密性：就是隱蔽和愛(ài)護(hù)通信系統(tǒng)中傳送的消息，使它只能被受權(quán)接收者獵取，而不能被未受權(quán)者接收和理解。認(rèn)證性：是指接收者能正確推斷所接收的消息的正確性，驗(yàn)證消息的完整性，而不是偽造的和被竄改的。有效性、牢靠性、保密性和認(rèn)證性四者才構(gòu)成現(xiàn)代通信系統(tǒng)對(duì)信息傳輸?shù)娜嬉蟆Ｐ畔⒄摖?zhēng)論的內(nèi)容信息論爭(zhēng)論的內(nèi)容一般有以下三種理解：1、狹義信息論：也稱經(jīng)典信息論。它主要爭(zhēng)論信息的測(cè)度、信道容量以及信源和信道編碼理論等問(wèn)題。這局部?jī)?nèi)容是信息論的根底理論，又稱香農(nóng)根本理論。2、一般信息論：主要也是爭(zhēng)論信息傳輸和處理問(wèn)題。除了香農(nóng)理論以外，還包括噪聲理論、信號(hào)濾波和猜測(cè)、統(tǒng)計(jì)檢測(cè)與估量理論、調(diào)制理論、信息處理理論以及保密理論等。后一局部?jī)?nèi)容是以美國(guó)科學(xué)家維納(N.Wiener)為代表，其中最有奉獻(xiàn)的是維納和蘇聯(lián)科學(xué)家柯?tīng)柲缏宸?A.KOnMOropoB)。信息論爭(zhēng)論的內(nèi)容3、廣義信息論：它不僅包括上述二方面的內(nèi)容，而且包括全部與信息有關(guān)的自然和社會(huì)領(lǐng)域，如模式識(shí)別、計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語(yǔ)言學(xué)、語(yǔ)義學(xué)甚至包括社會(huì)學(xué)中有關(guān)信息的問(wèn)題。它也就是新興的信息科學(xué)理論。由于信息論爭(zhēng)論的內(nèi)容極為廣泛，而各分支又有肯定的相對(duì)獨(dú)立性，因此本書僅論述信息論的根底理論即香農(nóng)信息理論。信息論進(jìn)展簡(jiǎn)史與現(xiàn)狀目前，在香農(nóng)信息論方面，值得留意的爭(zhēng)論動(dòng)向是信息概念的深化；網(wǎng)絡(luò)信息理論和多重相關(guān)信源編碼理論的進(jìn)展和應(yīng)用；通信網(wǎng)的一般信息理論爭(zhēng)論；磁記錄信道的爭(zhēng)論；信息率失真理論的進(jìn)展及其在數(shù)據(jù)壓縮和圖像處理中的應(yīng)用；以及信息論在大規(guī)模集成電路中的應(yīng)用等問(wèn)題。這些領(lǐng)域都是與當(dāng)前信息工程的前景——光通信、空間通信、計(jì)算機(jī)網(wǎng)、語(yǔ)音和圖像的信息處理等親密相關(guān)的。信息論進(jìn)展簡(jiǎn)史與現(xiàn)狀現(xiàn)在，信息理論與技術(shù)不僅在通信、計(jì)算機(jī)以及自動(dòng)掌握等電子學(xué)領(lǐng)域中得到直接的應(yīng)用，而且還廣泛地滲透到生物學(xué)、醫(yī)學(xué)、生理學(xué)、語(yǔ)言學(xué)、社會(huì)學(xué)和經(jīng)濟(jì)學(xué)等各領(lǐng)域。在信息論與自動(dòng)掌握、系統(tǒng)工程、人工智能、仿生學(xué)、電子計(jì)算機(jī)等學(xué)科相互滲透，相互結(jié)合的根底上，形成了一門綜合性的新興學(xué)科——信息科學(xué)。信息論進(jìn)展簡(jiǎn)史與現(xiàn)狀信息科學(xué)，是以信息作為主要爭(zhēng)論對(duì)象，以信息的