第1章緒論1.1信息的一般含義1.2信息論的基本思路1.3信息論研究的對(duì)象和內(nèi)容1.4保密通信的基本理論及其應(yīng)用1.5信息論的劃分范疇1.6信息論的發(fā)展簡(jiǎn)史

1.1信息的一般含義

1.信息是作為通信的消息來理解的

從這個(gè)意義上講，信息是人們?cè)谕ㄐ艜r(shí)所要告訴對(duì)方的“某種內(nèi)容”。例如，你給朋友寫一封信，你所告訴他的是關(guān)于你的學(xué)習(xí)、工作和生活等方面的信息;醫(yī)生從聽診器中聽到關(guān)于心臟病患者的信息;等等。

一般而言，我們可以把任意兩點(diǎn)間的通信或信息在其間的流通情況，歸納為圖1-1所示的簡(jiǎn)化模型。發(fā)出信息的通信者稱為“信源”，接收信息者稱為“信宿”，信息流通的通道稱為“信道”。只要發(fā)生了信息的流通過程，我們就說進(jìn)行了某種形式的通信；反之，只要進(jìn)行了通信，就必定有信息的流通與交換。圖1-1通信的簡(jiǎn)化模型

2.信息是作為運(yùn)算的內(nèi)容而明確起來的

在這種情況下，信息是人們進(jìn)行運(yùn)算和處理所需要的條件、內(nèi)容和結(jié)果，常常表現(xiàn)為數(shù)字、數(shù)據(jù)、圖表、內(nèi)容和結(jié)果，并以數(shù)字、數(shù)據(jù)、圖表和曲線等形式出現(xiàn)。

例如，商品價(jià)格表上的數(shù)字是告訴顧客商品價(jià)格的信息，出租汽車的計(jì)程表上的數(shù)字是顯示汽車行駛路程的信息，等等。信息已廣泛應(yīng)用于計(jì)算機(jī)科學(xué)技術(shù)領(lǐng)域中。圖1-2是計(jì)算機(jī)的一般功能示意圖。用作計(jì)算用的計(jì)算機(jī)，根據(jù)計(jì)算的方法和條件(原始輸入信息)，編制出計(jì)算程序，經(jīng)過運(yùn)算之后(一般稱做處理)得到相應(yīng)的解答，并以數(shù)字或圖形的形式送至用戶(輸出信息)。稍為復(fù)雜的計(jì)算過程往往不是一次完成的，它需要把中間的運(yùn)算結(jié)果作為補(bǔ)充的輸入信息，反饋到適當(dāng)?shù)沫h(huán)節(jié)，再進(jìn)行演算。作控制用的計(jì)算機(jī)，首先要將理想的控制目標(biāo)和被控對(duì)象的實(shí)際原始狀態(tài)(輸入信息)送給計(jì)算機(jī)，經(jīng)過處理得到相應(yīng)的輸出信息，并根據(jù)這個(gè)信息去控制被控對(duì)象，然后將理想控制目標(biāo)與實(shí)際控制的誤差作為補(bǔ)充信息反饋回去，修正和調(diào)整相應(yīng)的控制程序，直至控制的誤差在允許的范圍內(nèi)，達(dá)到控制的目的。圖1-2計(jì)算機(jī)的一般功能示意圖

3.信息是作為人類感知的來源而存在的

信息也是人類自身進(jìn)化的一個(gè)基本條件。人類在與外部世界的聯(lián)系中產(chǎn)生了感知信息和利用信息的需求，因而逐漸形成和發(fā)展了自己的信息器官，如眼、耳、口、腦等。形成和發(fā)展這些器官，正是為了從自然界獲取信息和利用信息來強(qiáng)化自己，戰(zhàn)勝自然。

任何一種生物，如果完全不能從外部世界獲得必要的信息，它就無法感知外部世界的變化，當(dāng)然也就不可能實(shí)時(shí)地調(diào)整自己的狀態(tài)，改善與外部環(huán)境的關(guān)系來適應(yīng)這種變化。這樣的生物必然受到自然的淘汰而無法生存，更無從談到改造外部世界了。今天能夠存在的一切生物，不論它們多么簡(jiǎn)單和低級(jí)，都必然有它獨(dú)特的從外界獲取信息的本領(lǐng)。在這種意義上，我們可以說，具備從外部世界獲取信息和利用信息的能力，是一切生物得以生存的必要條件。生物越高級(jí)，它獲取和利用信息的本領(lǐng)也就越高強(qiáng)。

4.國(guó)內(nèi)外字、詞典中有關(guān)信息的定義

我們可以在國(guó)內(nèi)外字、詞典中找到有關(guān)信息的定義。我國(guó)的《辭?！分袑?duì)信息一詞的注釋是：“信息是指對(duì)消息接受者來說預(yù)先不知道的報(bào)道。”美國(guó)的《韋伯字典》把信息解釋為“用來通信的事實(shí)，從觀察中得到的數(shù)據(jù)、新聞和知識(shí)”。英國(guó)的《牛津字典》認(rèn)為“信息就是談?wù)摰氖虑椤⑿侣労椭R(shí)”。日本的《廣辭苑》認(rèn)為“信息是所觀察事物的知識(shí)”。的確，消息、報(bào)道、事實(shí)、數(shù)據(jù)、新聞、知識(shí)，所有這些都是活躍在人類身邊的信息。但僅僅列舉這些注釋，似乎還不能完全揭示信息的本質(zhì)。

5.從信息論與控制論的角度來定義信息

信息論與控制論的創(chuàng)始人之一、美國(guó)著名數(shù)學(xué)家維納曾經(jīng)說過：“信息就是我們?cè)谶m應(yīng)外部世界和控制外部世界的過程中，同外部世界進(jìn)行交換的內(nèi)容的名稱。”人類在與外部世界發(fā)生聯(lián)系的過程中，交換的內(nèi)容極其復(fù)雜多樣。例如，人類可以把自然界的物質(zhì)(如糧食)轉(zhuǎn)化為自身的物質(zhì)(如肌肉、體質(zhì))，把自然界的能量(如食物中某種形式的能量)轉(zhuǎn)化為自身的能量(力量、體力)。但是，維納又說：“信息就是信息，既不是物質(zhì)，也不是能量?！庇谑侨藗冏⒁獾饺祟悘耐獠渴澜缢@取的另一類內(nèi)容，而且是十分重要的內(nèi)容，就是外部世界各種事物運(yùn)動(dòng)變化的“狀態(tài)及其規(guī)律”，或者叫“知識(shí)”。這種關(guān)于事物的運(yùn)動(dòng)狀態(tài)及規(guī)律的知識(shí)不是物質(zhì)和能量本身，但和物質(zhì)、能量有著密切的聯(lián)系。因此，我們可以給信息下這樣的定義：“信息是關(guān)于事物運(yùn)動(dòng)的狀態(tài)和規(guī)律，或者說，信息是關(guān)于事物運(yùn)動(dòng)的知識(shí)?！憋@然，前面提到的消息、報(bào)道、事實(shí)、新聞、數(shù)據(jù)等等，確實(shí)都是關(guān)于某種事物運(yùn)動(dòng)的狀態(tài)和規(guī)律，都是關(guān)于某種事物運(yùn)動(dòng)的知識(shí)?？梢?，這個(gè)定義概括了信息的一般含義。

這個(gè)定義給我們指明了信息是事物的運(yùn)動(dòng)狀態(tài)及規(guī)律，而世界上萬物都在不停地運(yùn)動(dòng)變化，生生不息。因此，信息的存在是普遍的，無所不有，無處不在。這個(gè)定義還明確告訴我們，信息是一種知識(shí)，因此，它對(duì)人類的生存和發(fā)展至關(guān)重要。

1.2信息論的基本思路

1.非決定論觀點(diǎn)

非決定論觀點(diǎn)主要解決了用概率論和統(tǒng)計(jì)方法來研究信息論的問題。我們知道，在科學(xué)史上，直到20世紀(jì)初，拉普拉斯的決定論觀點(diǎn)始終處于統(tǒng)治地位。這種觀點(diǎn)認(rèn)為，世界上一切事物的運(yùn)動(dòng)都嚴(yán)格地遵從一定的機(jī)械規(guī)律。因此，只要知道了它的原因，就可以唯一地決定它的結(jié)果；反過來，只要知道了它的結(jié)果，也就可以唯一地決定它的原因?；蛘?，只要知道了某個(gè)事物的初始條件和運(yùn)動(dòng)規(guī)律，就可以唯一地確定它在各個(gè)時(shí)刻的運(yùn)動(dòng)狀態(tài)。這種觀點(diǎn)只承認(rèn)必然性，排斥、否認(rèn)偶然性。非決定論的觀點(diǎn)承認(rèn)偶然性，同時(shí)也承認(rèn)必然性，認(rèn)為必然性寓于偶然性之中，大量的偶然事件中蘊(yùn)含著某種必然的規(guī)律，這就是概率研究的統(tǒng)計(jì)規(guī)律。有了這種規(guī)律，我們就可以對(duì)大量隨機(jī)實(shí)驗(yàn)統(tǒng)計(jì)特性做出估計(jì)。從統(tǒng)計(jì)上來說，這種估計(jì)可以做到十分準(zhǔn)確。既然是一種統(tǒng)計(jì)規(guī)律，我們就不應(yīng)當(dāng)企圖根據(jù)它來對(duì)每個(gè)個(gè)別的事件做出完全精確的預(yù)言。例如，你在一個(gè)水平面上拋擲一個(gè)均勻的硬幣，一般來說，它有兩種可能的結(jié)果：出現(xiàn)“正面”或出現(xiàn)“反面”。對(duì)于每次實(shí)驗(yàn)，只可能出現(xiàn)兩種結(jié)果中的一種，二者必居其一。概率論告訴我們，當(dāng)你在相同試驗(yàn)條件下重復(fù)拋擲的次數(shù)N足夠大時(shí)，出現(xiàn)“正面”和“反面”的次數(shù)將各為N/2,而且N越大，這個(gè)結(jié)果越精確?？墒菍?duì)于每次具體拋擲的結(jié)果，我們只能說以1/2的可能性出現(xiàn)“正面”，1/2的可能性出現(xiàn)“反面”，而不可能對(duì)每次具體拋擲是出現(xiàn)“正面”或“反面”給出精確的結(jié)果。經(jīng)過對(duì)通信過程的詳細(xì)觀察，我們看到，一切信息的發(fā)生都帶有偶然性和隨機(jī)性。例如，某個(gè)通信者所要講的話和所要寫的文字，都是通信之前事先不知道而且也無法預(yù)料的。通信過程中出現(xiàn)的噪聲和干擾的具體形式也是隨機(jī)的、偶然的，是難以精確預(yù)料的。正因?yàn)槿绱?，根?jù)通信問題研究對(duì)象的特點(diǎn)，信息理論按照非決定論的觀點(diǎn)，采用了概率統(tǒng)計(jì)的方法來作為分析通信問題的數(shù)學(xué)工具。由于受決定論觀點(diǎn)的影響和支配，在信息理論出現(xiàn)之前，人們往往將通信過程看做一個(gè)確定性的過程(即決定論的觀點(diǎn))，盡管那時(shí)的通信技術(shù)已經(jīng)比較發(fā)達(dá)，但在認(rèn)識(shí)通信的本質(zhì)問題上卻存在著根本性的錯(cuò)誤。信息論的建立，首先從根本上糾正了這種認(rèn)識(shí)上的錯(cuò)誤觀點(diǎn)，這也是信息論的一個(gè)重大貢獻(xiàn)。從信息理論的觀點(diǎn)來看，通信過程是典型的隨機(jī)過程，是一個(gè)從不知到知，或者從知之甚少到知之甚多的過程。假如說通信過程是一個(gè)確定性的過程，收信者也就不可能由它獲得任何新的消息，這樣也就失去了通信的意義。

2.形式化假設(shè)

形式化假設(shè)主要指信息論研究的是狹義信息(形式化的信息)，而不是廣義信息(包括形式化、語(yǔ)義和語(yǔ)用，前者為“形式”，后兩者為“內(nèi)容”)。我們知道，作為事物運(yùn)動(dòng)狀態(tài)表現(xiàn)的廣義信息，既具有一定的形式，又具有一定的內(nèi)容。數(shù)學(xué)是刻畫運(yùn)動(dòng)形式的工具，但是如何從數(shù)學(xué)上定量地刻畫內(nèi)容，至今仍是一個(gè)巨大的難題。通過對(duì)通信的觀察，我們可以發(fā)現(xiàn)，通信只不過是信息的傳輸，在通信的一端精確地或近似地復(fù)制出另一端所傳送的信息。也就是說，通信的任務(wù)只是單純地復(fù)制消息，并不需要對(duì)消息的語(yǔ)義或語(yǔ)用做出任何處理和判斷。只要在通信的接收端把接收到的消息從形式上復(fù)制出來，也就同時(shí)復(fù)現(xiàn)了它的語(yǔ)義內(nèi)容。例如，我們傳送這樣一條消息:“我國(guó)第一顆人造衛(wèi)星今日發(fā)射成功?！睆男问缴峡矗@里沒有什么嚴(yán)重的困難，我們可以把這條消息描寫為“從漢字表中選出15個(gè)字的一種選擇”。從工程上看，只要把這15個(gè)字的聲音波形傳送給對(duì)方就可以了。如果從語(yǔ)義方面來考慮這條消息的信息量，就變得十分復(fù)雜了。每一個(gè)詞都有復(fù)雜的情形需要刻畫。

3.不確定性

形式化假設(shè)給我們提供了用數(shù)學(xué)方法描述和度量信息的可能性，非決定論觀點(diǎn)決定了采用概率統(tǒng)計(jì)的數(shù)學(xué)方法。但只有這兩條還不足以完成信息的度量問題，還必須在此基礎(chǔ)上，明確規(guī)定作為“通信的消息”來理解的狹義信息的具體含義，才有可能最后完成信息的度量問題。對(duì)通信過程作進(jìn)一步分析就可發(fā)現(xiàn)，人們要進(jìn)行通信，不外有兩種可能的情形：一是自己有某種形式的信息要告訴對(duì)方，同時(shí)也估計(jì)對(duì)方會(huì)對(duì)這種信息感興趣，但又不知道這個(gè)信息，也就是說，對(duì)方在關(guān)于這個(gè)信息的知識(shí)上存在著不確定性；另一種情形是，自己有某種疑問要向?qū)Ψ皆儐?，而且估?jì)對(duì)方能夠解答自己的疑問。在前一種情況下，如果估計(jì)對(duì)方已經(jīng)了解了所欲告之的消息，自然就沒有必要通信了；在后一種情況下，如果自己沒有任何疑問，當(dāng)然就不必詢問了。這里所謂的“疑問”、“不知道”，就是一種知識(shí)上的不確定性，即對(duì)某個(gè)事情的若干種可能的結(jié)果，或?qū)δ硞€(gè)問題的若干種可能的答案，不能作出明確判斷。因?yàn)樾畔⑹鞘挛镞\(yùn)動(dòng)狀態(tài)的表現(xiàn)，它可以脫離實(shí)際事物而被傳送和處理。那么，它當(dāng)然就可以被傳送給對(duì)方，作為一種消除接收者知識(shí)上的某種“不確定性”的東西。所以，我們可以把作為“通信的消息”來理解的“狹義信息”，看做一種用來消除通信對(duì)方知識(shí)上的“不確定性”的東西。由此，我們可以引申出一個(gè)十分重要的結(jié)論：接收者收到某一消息后所獲得的信息，可以用接收者在前后“不確定性”的消除量來度量。簡(jiǎn)言之，接收者所得到的信息量，在數(shù)量上等于通信前后“不確定性”的消除量，這就是信息理論中度量信息的一個(gè)基本觀點(diǎn)。那么，很自然接著要問這樣兩個(gè)問題：“不確定性”本身是否可以度量？是否可用數(shù)學(xué)方法來表示呢？我們知道，不確定性是與“多種結(jié)果的可能性”相聯(lián)系的，而在數(shù)學(xué)上，這些“可能性”正好是以概率來度量的。概率大，即“可能性”大；概率小，則“可能性”小。顯然，“可能性大”即意味著“不確定性小”，“可能性小”即意味著“不確定性大”。由此可見，“不確定性”應(yīng)該是概率的某一函數(shù)。那么，“不確定性”的消除量也就是狹義信息量，也一定可由概率的某一函數(shù)來表示。這樣就完全解決了作為“通信的消息”來理解的“狹義信息”的度量問題。

1.3信息論研究的對(duì)象和內(nèi)容

從1.2節(jié)關(guān)于信息概念的討論中可以看到，各種通信系統(tǒng)如電報(bào)、電話、電視、廣播、遙測(cè)、遙控、雷達(dá)和導(dǎo)航等，雖然它們的形式和用途各不相同，但本質(zhì)是相同的，都是信息的傳輸系統(tǒng)。為了便于研究信息傳輸和處理的共同規(guī)律，我們將各種通信系統(tǒng)中具有共同特性的部分抽取出來，概括成統(tǒng)一的理論模型，如圖1-3所示。圖1-3通信系統(tǒng)理論模型

1.信源

顧名思義，信源是產(chǎn)生消息和消息序列的源。它可以是人、生物、機(jī)器或其他事物。它是事物各種運(yùn)動(dòng)狀態(tài)或存在狀態(tài)的集合。信源的輸出是消息，消息是具體的，但它不是信息本身。消息攜帶著信息，消息是信息的表達(dá)者。

2.編碼器

編碼是把消息變換成信號(hào)的措施，而譯碼就是編碼的反變換。編碼器輸出的是適合信道傳輸?shù)男盘?hào)，信號(hào)攜帶著消息，它是消息的載荷者。

編碼器可分為兩種，即信源編碼器和信道編碼器。信源編碼是對(duì)信源輸出的消息進(jìn)行適當(dāng)?shù)淖儞Q和處理，目的是提高信息傳輸?shù)男?。而信道編碼是為了提高信息傳輸?shù)目煽啃远鴮?duì)消息進(jìn)行的變換和處理。當(dāng)然，對(duì)于各種實(shí)際的通信系統(tǒng)，編碼器還應(yīng)包括換能、調(diào)制、發(fā)射等各種變換處理。

3.信道

信道是指通信系統(tǒng)把載荷消息的信號(hào)從甲地傳輸?shù)揭业氐拿浇?。在狹義的通信系統(tǒng)中實(shí)際信道有明線、電纜、波導(dǎo)、光纖、無線電波傳播空間等，這些都屬于傳輸電磁波能量的信道。當(dāng)然，對(duì)廣義的通信系統(tǒng)來說，信道還可以是其他的傳輸媒介。

4.譯碼器

譯碼就是把信道輸出的編碼信號(hào)(已疊加了干擾)進(jìn)行反變換。通常要從受干擾的編碼信號(hào)中最大限度地提取出有關(guān)信源輸出的信息。譯碼器也可分成信源譯碼器和信道譯碼器。

5.信宿

信宿是消息傳送的對(duì)象，即接收消息的人或機(jī)器。信源和信宿可以處于不同地點(diǎn)或不同時(shí)刻。

在上述基礎(chǔ)上，我們把圖1-3所示的通信系統(tǒng)模型中的編碼器分成信源編碼和信道編碼，把譯碼器分成信源譯碼和信道譯碼。這樣就將信息傳輸系統(tǒng)的基本模型擴(kuò)展成如圖1-4所示的通信系統(tǒng)模型。圖1-4通信系統(tǒng)的擴(kuò)展模型近年來，以計(jì)算機(jī)為核心的大規(guī)模信息網(wǎng)絡(luò)，尤其是互聯(lián)網(wǎng)的建立和發(fā)展，對(duì)信息傳輸?shù)馁|(zhì)量要求更高了。不但要求既快速有效又能可靠地傳遞信息，而且還要求信息傳遞過程中保證信息的安全保密，不被偽造和篡改。因此，在編碼器這一環(huán)節(jié)中還需加入加密編碼。與之相應(yīng)，在譯碼器中加入解密譯碼。這樣，一個(gè)完整的通信系統(tǒng)模型如圖1-5所示。圖1-5完整的通信系統(tǒng)模型

6.可靠性和有效性

所謂可靠性高，是指盡可能低的誤碼率，就是要使信源發(fā)出的消息經(jīng)過信道傳輸以后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端。而所謂有效性高，是指信號(hào)的傳輸速率盡可能快。提高可靠性和提高有效性常常會(huì)發(fā)生矛盾，兩者不可兼得，這就需要統(tǒng)籌兼顧。例如，為了兼顧有效性，有時(shí)就不一定要求絕對(duì)準(zhǔn)確地在接收端再現(xiàn)原來的消息，而是可以允許一定的誤差或一定的失真，或者說允許近似地再現(xiàn)原來的消息。

7.保密性和認(rèn)證性

所謂保密性，是指隱蔽和保護(hù)通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。

所謂認(rèn)證性，是指接收者能正確判斷所接收的消息的正確性，驗(yàn)證消息的完整性，而不是偽造的和被篡改的。

有效性、可靠性、保密性和認(rèn)證性四者體現(xiàn)了現(xiàn)代通信系統(tǒng)對(duì)信息傳輸?shù)娜嬉蟆?/p>

1.4保密通信的基本理論及其應(yīng)用

保密通信的研究起源于20世紀(jì)50年代。1949年，Shannon發(fā)表了劃時(shí)代的論文《保密體制的通信理論》，奠定了現(xiàn)代保密通信的數(shù)學(xué)理論基礎(chǔ)，使現(xiàn)代保密通信理論的研究走上了科學(xué)的軌道。將信息論應(yīng)用于密碼學(xué)研究，產(chǎn)生了許多新的概念，其中主要有多余度、熵和唯一解距離等。保密通信系統(tǒng)的一般模型如圖1-6所示。圖1-6保密通信系統(tǒng)的一般模型

Shannon通過對(duì)保密性理論的研究，提出了理論上不可破譯的密碼體制有完全保密與理想保密兩種體制，即無論密碼分析者有多少時(shí)間和人力，無論其能截獲多大的密文量，他都破譯不了這兩種密碼體制，當(dāng)然其前提條件是密碼分析者僅有截獲的密文。

所謂完全保密體制，是指在這種密碼體制中明文數(shù)、密鑰數(shù)和密文數(shù)相等，即將每個(gè)明文變換成每個(gè)密文都恰好有一個(gè)密鑰，所有的密鑰都是等可能的。在完全保密體制下，沒有給密碼分析任何額外的可用于破譯的信息。因此，密碼分析者無法破譯這種體制。所謂理想保密體制，是指唯一解距離U趨于無窮大的密碼體制。此時(shí)，無論密碼分析者截獲了多少密文都無助于破譯該密碼體制。U趨向于無窮大意味著語(yǔ)言的多余度趨向于零，事實(shí)上要消除語(yǔ)言中的全部多余度是不可能的，所以這種體制實(shí)際上是不存在的。但是，這一結(jié)論告訴我們，在設(shè)計(jì)密碼體制時(shí)，應(yīng)盡量減小多余度。

在理論保密體制思想的指導(dǎo)下，Shannon提出了理論上安全的密碼系統(tǒng)(即理論上不可破譯的密碼系統(tǒng))是一次一密鑰系統(tǒng)。其主要思想是，密鑰是一個(gè)隨機(jī)序列，密鑰序列的長(zhǎng)度要大于或等于明文序列的長(zhǎng)度，每一個(gè)密鑰僅使用一次。一次一密鑰系統(tǒng)在消息空間較小時(shí)還可以實(shí)現(xiàn)，當(dāng)消息空間較大時(shí)，密鑰管理就成了大問題。所以，在實(shí)際應(yīng)用中，一次一密鑰系統(tǒng)是不可能存在的。首先，分發(fā)和存放與明文等長(zhǎng)的隨機(jī)密鑰是很困難的。其次，如何生成真正的隨機(jī)序列也是一個(gè)問題，特別是在當(dāng)前使用計(jì)算機(jī)傳輸大量信息的情況下，可能無法采用一次一密鑰系統(tǒng)。盡管如此，這種設(shè)計(jì)思想仍然是當(dāng)代密碼算法設(shè)計(jì)者遵從的一個(gè)指導(dǎo)思想。

1.5信息論的劃分范疇

關(guān)于信息論研究的具體內(nèi)容在國(guó)際上是有過爭(zhēng)議的。某些數(shù)學(xué)家認(rèn)為信息論只不過是概率論的一個(gè)分支。當(dāng)然，這種看法是有一定根據(jù)的，因?yàn)橄戕r(nóng)信息論確實(shí)為概率論開拓了一個(gè)新的分支。但如果把信息論限制在數(shù)學(xué)范圍內(nèi)，就顯得比較狹義了。也有些物理學(xué)家認(rèn)為信息論只是熵的理論，當(dāng)然，熵的概念確實(shí)是香農(nóng)信息論的基本概念之一，但從本質(zhì)上講，信息論的全部?jī)?nèi)容要比熵的概念廣泛得多。目前，對(duì)信息論研究的內(nèi)容一般有狹義信息論、工程信息論和廣義信息論三種不同的劃分范疇，如圖1-7所示。圖1-7信息論的劃分范疇

1.狹義信息論

狹義信息論又稱香農(nóng)信息論或經(jīng)典信息論，主要研究信息測(cè)度(即信息熵)、信道容量及信源和信道編碼理論等問題。這部分內(nèi)容是信息論的基礎(chǔ)理論，又稱香農(nóng)基本理論，其中研究的內(nèi)容可用圖1-7虛框中的部分來描述。本書前面五章的內(nèi)容屬于香農(nóng)狹義信息論的范疇，后面兩章的內(nèi)容則屬于工程信息論的范疇。

2.工程信息論

工程信息論又稱為一般信息論，它主要也是研究信息傳輸和處理問題。它包括噪聲理論、信號(hào)濾波和預(yù)測(cè)理論、統(tǒng)計(jì)檢測(cè)與估計(jì)理論、調(diào)制理論、信息處理理論及保密理論等。這些內(nèi)容是以美國(guó)科學(xué)家維納為代表的，其中最有貢獻(xiàn)的是維納和蘇聯(lián)科學(xué)家柯爾莫哥洛夫等一批世界著名科學(xué)家。雖然維納和香農(nóng)等人都是運(yùn)用概率和統(tǒng)計(jì)數(shù)學(xué)的方法來研究準(zhǔn)確地或近似地再現(xiàn)消息的問題，都是為了使消息傳送和接收最優(yōu)化，但他們之間卻有一個(gè)重要的區(qū)別。維納研究的重點(diǎn)是在接收端，即研究一個(gè)信號(hào)如果在傳輸過程中被某些因素(如噪聲、非線性失真等)干擾后，在接收端怎樣把它恢復(fù)、再現(xiàn)，從干擾中提取出來。在此基礎(chǔ)上，他創(chuàng)立了最佳線性濾波理論(維納濾波器)、統(tǒng)計(jì)檢測(cè)與估計(jì)理論、噪聲理論等。而香農(nóng)研究的對(duì)象則是從信源到信宿之間的全過程，是收、發(fā)端聯(lián)合最優(yōu)化問題，其重點(diǎn)放在編碼。他指出，只要在傳輸前后對(duì)消息進(jìn)行適當(dāng)?shù)木幋a和譯碼，就能保證在干擾的存在下，最佳地傳送和準(zhǔn)確或近似地再現(xiàn)消息。為此發(fā)展了信息測(cè)度理論、信道容量理論和編碼理論等。

3.廣義信息論

廣義信息論是一門綜合性的新興學(xué)科，它包括所有與信息有關(guān)的自然和社會(huì)領(lǐng)域，如模式識(shí)別、計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、生物學(xué)、神經(jīng)生理學(xué)、語(yǔ)言學(xué)、語(yǔ)義學(xué)甚至包括社會(huì)學(xué)、人文學(xué)和經(jīng)濟(jì)學(xué)中有關(guān)信息的問題。它也就是新興的信息科學(xué)理論。

1.6信息論的發(fā)展簡(jiǎn)史

信息論從誕生到今天，已有半個(gè)多世紀(jì)?；仡櫵陌l(fā)展歷史，我們可以了解信息論是如何從實(shí)踐中經(jīng)過抽象、概括、提高而逐步形成的。

信息論是在長(zhǎng)期的通信工程實(shí)踐和理論研究的基礎(chǔ)上發(fā)展起來的。以下是信息論具有里程碑意義的大事記。

·1820—1830年，法拉第發(fā)現(xiàn)了電磁感應(yīng)定律。

·1832—1835年，莫爾斯建立起電報(bào)系統(tǒng)。

·1876年，