信息論與編碼

李軒、李玉峰編著第1章概述信息論基礎(chǔ)與工程應(yīng)用第1章概述1.1信息的概念1.2信息傳輸系統(tǒng)1.3信息論的研究內(nèi)容1.4信息論的發(fā)展進(jìn)程香農(nóng)簡介1.51.1信息的概念

1.1.1什么是信息

信息是消息或信號(hào)中的內(nèi)容和意義，消息或信號(hào)是信息的載體。通信的本質(zhì)在于傳輸信息。最簡單的通信系統(tǒng)包括信源、信道和信宿三個(gè)部分，如右下角圖所示。信源產(chǎn)生能夠被感覺器官所感知的消息，比如文字、符號(hào)、數(shù)據(jù)、語音、圖像等，這些消息進(jìn)一步轉(zhuǎn)變成適于電子系統(tǒng)傳輸和處理的信號(hào)。狹義信道從表面山看是將載荷消息的物理信號(hào)從發(fā)送端傳送到接收端的傳輸媒質(zhì)，從信息論角度看是信息傳輸通道，往往用符號(hào)的轉(zhuǎn)移概率來表征信道。信宿是消息傳送的目的地，即接收消息的人或機(jī)器。通信系統(tǒng)中形式上傳輸?shù)氖窍ⅲ珜?shí)質(zhì)上傳輸?shù)氖切畔?。通信過程是對(duì)消息不確定性消除或部分消除的過程。不確定性消除的越多，獲得的信息越多。1.1信息的概念1.1.2如何度量信息事件信息量與不確定性消除程度有關(guān)，而事件的不確定度又可用其出現(xiàn)的概率來描述。要使得信息的定義符合人們的常識(shí)性認(rèn)知，則消息事件發(fā)生所提供的信息量與事件發(fā)生概率應(yīng)具有如下規(guī)律：引進(jìn)對(duì)數(shù)函數(shù)定義自信息量，可滿足上述三項(xiàng)要求：事件中所含信息量是該事件出現(xiàn)概率的函數(shù)。事件出現(xiàn)概率大小與該事件所含信息量多少成反比關(guān)系。即概率小，信息量大；概率大，信息量小。信息具有可加性，即彼此統(tǒng)計(jì)獨(dú)立的消息提供的總信息量等于各消息提供的信息量之和。這就是香農(nóng)關(guān)于自信息的定義，單位與對(duì)數(shù)的底有關(guān)?？梢员磉_(dá)兩種含義：信源輸出消息前，該消息客觀存在的不確定度。信源輸出消息后，該消息提供的信息量。1.1信息的概念

通信系統(tǒng)接收端收到一個(gè)消息后，獲得關(guān)于信源某個(gè)消息的信息量是多少呢？由此引入互信息的概念。通信前代表事件的先驗(yàn)不確定度，通信后代表事件的后驗(yàn)不確定度。通信前后關(guān)于事件不確定度的消除量定義為互信息。即為信宿獲得的信息量。1.2信息傳輸系統(tǒng)該簡化的信息傳輸系統(tǒng)模型可以概括為以下幾部分：信源：產(chǎn)生消息的源，可以是人、機(jī)器或者其他事物，消息可以是文字、語言、圖像等。信源可以用隨機(jī)變量、隨機(jī)矢量以及隨機(jī)過程加以描述。

信息傳輸系統(tǒng)模型1.2信息傳輸系統(tǒng)編碼信源編碼：將信源輸出的消息進(jìn)行適當(dāng)?shù)淖儞Q和處理，提高信息傳輸?shù)挠行浴Ｐ诺谰幋a：對(duì)消息進(jìn)行變換和處理，提高信息傳輸?shù)目煽啃?。加密編碼：確保消息只能被授權(quán)者接收，且接收到的消息是真實(shí)的，提高信息傳輸?shù)谋Ｃ苄院驼J(rèn)證性。信道：將調(diào)制和解調(diào)擴(kuò)展為物理信道的一部分，只關(guān)注編碼器輸出符號(hào)和譯碼器輸入符號(hào)的統(tǒng)計(jì)依賴關(guān)系，新的等效信道稱為編碼信道。譯碼：和編碼相對(duì)應(yīng)，是發(fā)端編碼部分的逆變換，包括信源譯碼、解密譯碼、信道譯碼，最大可能正確地恢復(fù)出原始消息序列。信宿：信息傳送的對(duì)象，即接收信息的人、機(jī)器或其他事物。1.3信息論的研究內(nèi)容

1.3.2一般信息論（工程信息論）主要研究信息傳輸和處理問題，除了香農(nóng)理論外，還包括編碼理論、噪聲理論、信號(hào)濾波和預(yù)測、統(tǒng)計(jì)檢測和估計(jì)理論、調(diào)制理論、信息處理理論、保密理論等。維納和前蘇聯(lián)的柯爾莫哥洛夫(AndreyNikolaevichKolmogorov)在最佳線形濾波理論、統(tǒng)計(jì)檢測和估計(jì)理論、噪聲理論等領(lǐng)域做出了重要貢獻(xiàn)。1.3.1狹義信息論（經(jīng)典信息論）主要研究信息的測度、信道容量以及信源和信道編碼理論等問題。這部分內(nèi)容是信息論的基礎(chǔ)理論，又稱為香農(nóng)信息論。香農(nóng)理論的核心是：在通信系統(tǒng)中，采用適當(dāng)?shù)木幋a后，能夠?qū)崿F(xiàn)高效率和高可靠地傳輸信息，并給出了信源編碼定理和信道編碼定理。從數(shù)學(xué)觀點(diǎn)看，這些定理是最優(yōu)編碼的存在定理。但從工程的觀點(diǎn)看，這些定理不是結(jié)構(gòu)性的，即不能從定理的結(jié)果直接得到實(shí)現(xiàn)最優(yōu)編碼的具體途徑。然而，它們給出了編碼的性能極限，在理論上闡明了通信系統(tǒng)中各種因素之間的相互關(guān)系，為人們尋找最佳通信系統(tǒng)提供了重要的理論依據(jù)。1.3信息論的研究內(nèi)容1.3.3廣義信息論廣義信息論是現(xiàn)代信息科學(xué)理論，它是一門新興的綜合性學(xué)科，不僅包括上述兩方面的內(nèi)容，而且包括所有與信息有關(guān)的領(lǐng)域，如模式識(shí)別、計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、生物學(xué)、神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)等，甚至包括了社會(huì)、人文、經(jīng)濟(jì)等學(xué)科中有關(guān)信息的問題。1.4信息論的發(fā)展進(jìn)程信息論從誕生到今天，已有60多年歷史，它在長期的通信工程實(shí)踐和理論研究的基礎(chǔ)上逐漸發(fā)展，已成為一門獨(dú)立的理論科學(xué)。通信系統(tǒng)是人類社會(huì)的神經(jīng)系統(tǒng)。縱觀100多年電通信系統(tǒng)(電信系統(tǒng))的發(fā)展歷史，一個(gè)很有意義的事實(shí)是：一旦物理學(xué)中的電磁理論以及電子學(xué)理論有某些進(jìn)展，很快就會(huì)促進(jìn)電信系統(tǒng)的創(chuàng)造發(fā)明或改進(jìn)。1820年-1830年期間法拉第(M.Faraday)發(fā)現(xiàn)電磁感應(yīng)的基本規(guī)律后，不久莫爾斯(F.B.Morse)就建立起電報(bào)系統(tǒng)。(1832-1835)1876年，貝爾(A.G.Bell)又發(fā)明了電話系統(tǒng)。1864年麥克斯韋(Maxell)預(yù)言了電磁波的存在，1888年赫茲(H.Hertz)用實(shí)驗(yàn)證明了這一預(yù)言。接著1895年英國的馬可尼(G.Marconi)和俄國的波波夫(A.C.Popov)發(fā)明了無線電通信系統(tǒng)。1907年福雷斯特(LeedeForest)發(fā)明能把電磁波進(jìn)行放大的電子管之后，出現(xiàn)了遠(yuǎn)距離無線電通信系統(tǒng)。大功率超高頻電子管的發(fā)明則促成了電視廣播系統(tǒng)的建立(1925-1927)。之后，隨著微波電子管的出現(xiàn)，在30年代末和40年代的二次世界大戰(zhàn)初期，微波通信系統(tǒng)、微波雷達(dá)等得到迅速發(fā)展。50年代后期發(fā)明的量子放大器，60年代初發(fā)明的光技術(shù)，使人類進(jìn)入了光纖通信的時(shí)代。1.4信息論的發(fā)展進(jìn)程現(xiàn)代信息論的理論研究可以認(rèn)為開始于20世紀(jì)20年代奈奎斯特和哈特萊的工作。1832年莫爾斯電報(bào)系統(tǒng)中的高效率編碼方法對(duì)后來香農(nóng)的編碼理論是有啟發(fā)的。1885年凱爾文(L.Kelvin)曾經(jīng)研究過一條電纜上的極限傳信問題。1922年卡遜(J.R.Carson)對(duì)調(diào)幅信號(hào)的頻譜結(jié)構(gòu)作了研究，并明確了邊帶的概念。1924年奈奎斯特(H.Nyquist)的“影響電報(bào)速率因素的確定”一文，1928年哈特萊(R.V.Hartley)的“信息傳輸”一文研究了通信系統(tǒng)傳輸信息的能力，并給出了信息度量的初步方法。1936年阿姆斯特朗(E.H.Armstrong)提出增加信號(hào)帶寬可以增強(qiáng)系統(tǒng)抑制噪聲干擾的能力，推動(dòng)了調(diào)頻通信的發(fā)展。1939年達(dá)德利(H.Dudley)發(fā)明了聲碼器。他指出：通信所需要的帶寬至少應(yīng)與所傳送的消息的帶寬相同。1.4信息論的發(fā)展進(jìn)程40年代初期，維納把隨機(jī)過程和數(shù)理統(tǒng)計(jì)的觀點(diǎn)引入到通信和控制系統(tǒng)中，揭示了信息傳輸和處理過程的統(tǒng)計(jì)本質(zhì)。他還利用自己在30年代提出的廣義諧波分析理論對(duì)信息系統(tǒng)中的諧波過程進(jìn)行譜分析。1936年阿姆斯特朗(E.H.Armstrong)提出增加信號(hào)帶寬可以增強(qiáng)系統(tǒng)抑制噪聲干擾的能力，推動(dòng)了調(diào)頻通信的發(fā)展。1939年達(dá)德利(H.Dudley)發(fā)明了聲碼器。他指出：通信所需要的帶寬至少應(yīng)與所傳送的消息的帶寬相同。40年代初期，維納把隨機(jī)過程和數(shù)理統(tǒng)計(jì)的觀點(diǎn)引入到通信和控制系統(tǒng)中，揭示了信息傳輸和處理過程的統(tǒng)計(jì)本質(zhì)。他還利用自己在30年代提出的廣義諧波分析理論對(duì)信息系統(tǒng)中的諧波過程進(jìn)行譜分析。信息論產(chǎn)生后的重要發(fā)展：信道編碼定理：1952年費(fèi)諾(R.M.Fano)給出并證明了費(fèi)諾不等式，并給出了關(guān)于香農(nóng)信道編碼逆定理的證明。1961年費(fèi)諾描述了分組碼的碼率、碼長和錯(cuò)誤概率的關(guān)系，并提供了香農(nóng)信道編碼定理的充要性證明。1965年格拉格爾(R.G.Gallager)提供了更為簡明的證明方法。1972年阿莫托(S.Arimoto)和布萊哈特(R.Blahut)分別發(fā)展了信道容量的迭代算法。信道容量：1964年霍爾辛格(J.L.Holsinger)繼續(xù)香農(nóng)的工作，開展對(duì)有色高斯噪聲信道容量的研究。1969年平斯克(M.S.Pinsker)提出了具有反饋的非白噪聲高斯信道容量問題，并由科弗爾(T.M.Cover)在1989年證明。無失真信源編碼：1952年費(fèi)諾提出了一種費(fèi)諾碼，同年霍夫曼(D.A.Huffman)構(gòu)造了一種Huffman編碼方法，并證明了它是一種最優(yōu)碼。1956年麥克米倫(B.Mcmillan)首先證明了唯一可譯變長碼的Kraft不等式。1968年艾利斯(P.Elias)在香農(nóng)-費(fèi)諾碼的基礎(chǔ)上提出了算術(shù)編碼的初步思路。1976年瑞斯桑尼(J.Rissanen)給出了算術(shù)編碼方案，并于1982年和蘭登(G.G.langdon)合作將算術(shù)編碼系統(tǒng)化，省去了乘法運(yùn)算。1977年齊弗(J.Ziv)和蘭佩爾(A.Lempel)提出LZ碼，并證明此方法可以達(dá)到信源的熵值。1990年貝爾(T.C.Bell)對(duì)LZ算法作了一系列的改進(jìn)，現(xiàn)已廣泛用于文本的數(shù)據(jù)壓縮中。1.4信息論的發(fā)展進(jìn)程1.4信息論的發(fā)展進(jìn)程

糾錯(cuò)碼理論：1950年漢明(R.W.Hamming)為使貝爾實(shí)驗(yàn)室的計(jì)算機(jī)具備有檢測錯(cuò)誤能力的運(yùn)行程序，首先提出了糾正一位錯(cuò)誤的編碼方法，建立了線性分組碼的基本思想。隨后格雷(MarcelJ.E.Golay)提出了糾正二位和三位錯(cuò)誤的格雷碼。1954年Reed和Muller提出新的分組碼RM碼。(在1969年到1977年之間，RM碼在火星探測方面得到了極為廣泛的應(yīng)用。即使在今天，RM碼也具有很大的研究價(jià)值，其快速的譯碼算法非常適合于光纖通信系統(tǒng))。1957年E.Prange提出循環(huán)碼，代數(shù)編碼理論成型。循環(huán)碼的一個(gè)非常重要的子集就是分別由Hocquenghem在1959年、Bose和Ray-Chaudhuri研究組在1960年幾乎同時(shí)提出的BCH碼(Bose-Chaudhuri-Hocquenghem)。1960年Reed和Solomon將BCH碼擴(kuò)展到非二元的情況，得到了RS(Reed-Solomon)碼。1967年，Berlekamp給出了一個(gè)非常有效的譯碼算法后，RS碼得到了廣泛的應(yīng)用。此后，RS碼在CD播放器、DVD播放器中得到了很好的應(yīng)用。雖然分組碼在理論分析和數(shù)學(xué)描述方面已經(jīng)非常成熟，并且在實(shí)際的通信系統(tǒng)中也已經(jīng)得到了廣泛的應(yīng)用，但分組碼固有的缺陷大大限制了它的進(jìn)一步發(fā)展。首先，由于分組碼是面向數(shù)據(jù)塊的，因此，在譯碼過程中必須等待整個(gè)碼字全部接收到之后才能開始進(jìn)行譯碼。在數(shù)據(jù)塊長度較大時(shí)，引入的系統(tǒng)延時(shí)是非常大的。分組碼的第二個(gè)缺陷是它要求精確的幀同步，即需要對(duì)接收碼字或幀的起始符號(hào)時(shí)間和相位精確同步。1.4信息論的發(fā)展進(jìn)程1955年Elias等人提出卷積碼以改善分組碼所存在的固有缺點(diǎn)。卷積碼充分利用了各個(gè)信息塊之間的相關(guān)性，編碼過程連續(xù)進(jìn)行。同樣，在卷積碼的譯碼過程中，不僅要從本碼中提取譯碼信息，還要充分利用以前和以后時(shí)刻收到的碼組，從這些碼組中提取譯碼相關(guān)信息，而且譯碼也是可以連續(xù)進(jìn)行的，這樣可以保證卷積碼的譯碼延時(shí)相對(duì)比較小。通常，在系統(tǒng)條件相同的條件下，在達(dá)到相同譯碼性能時(shí)，卷積碼的信息塊長度和碼字長度都要比分組碼的信息塊長度和碼字長度小，相應(yīng)譯碼復(fù)雜性也小一些。1961年由Wozencraft和Reiffen提出，F(xiàn)ano和Jelinek分別在1963年和1969年進(jìn)行改進(jìn)了卷積碼的序貫譯碼算法，是基于碼字樹圖結(jié)構(gòu)的一種次最優(yōu)概率譯碼算法。1963年Massey提出門限譯碼算法，利用碼字的代數(shù)結(jié)構(gòu)進(jìn)行代數(shù)譯碼。1967年Viterbi提出Viterbi最優(yōu)算法，是基于碼字格圖結(jié)構(gòu)的一種最大似然譯碼算法。在Viterbi譯碼算法提出之后，卷積碼在通信系統(tǒng)中得到了極為廣泛的應(yīng)用，如GSM、3G、商業(yè)衛(wèi)星通信系統(tǒng)等。(A.J.Viterbi也是高通公司Qualcomm的創(chuàng)始人之一。高通是最早實(shí)現(xiàn)商用CDMA蜂窩移動(dòng)系統(tǒng)的公司，因此Viterbi被世界公認(rèn)為CDMA之父)1.4信息論的發(fā)展進(jìn)程

近年來，在信道編碼定理的指引下，人們一直致力于尋找能滿足現(xiàn)代通信業(yè)務(wù)要求，結(jié)構(gòu)簡單、性能優(yōu)越的優(yōu)秀編碼方案，并在分組碼、卷積碼等基本編碼方法和最大似然譯碼算法的基礎(chǔ)上提出了許多構(gòu)造優(yōu)秀編碼及簡化譯碼復(fù)雜性的方法，提出了乘積碼、代數(shù)幾何碼、低密度校驗(yàn)碼(LDPC，LowDensityParityCheck)、分組-卷積級(jí)聯(lián)碼等編碼方法和逐組最佳譯碼、軟判決譯碼等譯碼方法以及編碼與調(diào)制相結(jié)合的網(wǎng)格編碼調(diào)制(TCM，TrellisCodedModulation)技術(shù)。其中級(jí)聯(lián)碼、軟判決譯碼和TCM技術(shù)對(duì)糾錯(cuò)碼的發(fā)展有較大影響。1993年C.Berrou、A.Glavieux和P.Thitimajshima首次提出了一種新型信道編碼方案-Turbo碼。它很好地應(yīng)用了Shannon信道編碼定理中的隨機(jī)性編譯碼條件，獲得了幾乎接近Shannon理論極限的譯碼性能。1997年Host、Johannesson、Ablov提出了編織卷級(jí)碼(WCC,WovenConvolutionalCode)的概念。它是一種組合碼，其系統(tǒng)結(jié)構(gòu)可完全包容傳統(tǒng)分組碼、卷級(jí)碼以及各類Turbo碼，結(jié)構(gòu)綜合了并行級(jí)聯(lián)卷級(jí)碼（Turbo碼）和串行級(jí)聯(lián)卷級(jí)碼的結(jié)構(gòu)特點(diǎn)，當(dāng)外編碼器個(gè)數(shù)足夠多時(shí)，該碼型完全擁有了Shannon編碼定理中隨機(jī)長碼的特性，因此，其糾錯(cuò)性能理論上比Turbo碼要優(yōu)異。1.4信息論的發(fā)展進(jìn)程最佳噪聲通信系統(tǒng)模型：在香農(nóng)理論基礎(chǔ)上給出的最佳噪聲通信系統(tǒng)模型近年來正在成為現(xiàn)實(shí)。信號(hào)檢測理論：在噪聲中信號(hào)過濾與檢測基礎(chǔ)上發(fā)展起來的信號(hào)檢測理論和抗干擾編碼基礎(chǔ)上發(fā)展起來的編碼理論已成為現(xiàn)代信息論的兩個(gè)重要分支。網(wǎng)絡(luò)信息論：1961年Shannon的論文“網(wǎng)絡(luò)通信通道”開拓了網(wǎng)絡(luò)信息論的研究。從70年代開始這一領(lǐng)域的研究十分活躍，理論日益完善。保密理論：1976年Diffe和Hellman提出公開密鑰密碼體系后，保密通信問題得到廣泛研究，形成綜合線形代數(shù)、初等數(shù)論、矩陣、近世代數(shù)等相關(guān)內(nèi)容的密碼學(xué)理論分支。新興信息工程領(lǐng)域：光通信、空間通信、計(jì)算機(jī)互聯(lián)網(wǎng)、移動(dòng)通信、多媒體通信等領(lǐng)域的應(yīng)用與理論研究。信息科學(xué)：信息論與自動(dòng)控制、系統(tǒng)工程、人工智能、仿生學(xué)、電子計(jì)算機(jī)等學(xué)科相互滲透結(jié)合形成的一門獨(dú)立的新興學(xué)科。信息科學(xué)以信息為主要研究對(duì)象，以信息的運(yùn)動(dòng)規(guī)律和利用信息的原理作為主要的研究內(nèi)容，以信息科學(xué)方法論作為主要的研究手段，以擴(kuò)大人類的信息功能為主要的研究目標(biāo)。由于其研究對(duì)象(信息)特征，信息科學(xué)區(qū)別于傳統(tǒng)自然科學(xué)而具有獨(dú)立存在性和廣闊的發(fā)展前景。1.4信息論的發(fā)展進(jìn)程信息科學(xué)由信息科學(xué)理論、信息應(yīng)用技術(shù)和信息科學(xué)方法三者組成。信息科學(xué)理論主要包含信息定性理論、信息定量理論和信息應(yīng)用理論。信息應(yīng)用技術(shù)包括信息的獲取、傳遞、加工處理、存儲(chǔ)等代替和延伸人的感官及大腦的信息功能的技術(shù)，可以細(xì)分為信息獲取技術(shù)（感測技術(shù)）、信息傳遞技術(shù)（電信技術(shù)）、信息加工處理技術(shù)（計(jì)算機(jī)技術(shù)）及信息控制技術(shù)（自動(dòng)智能控制技術(shù)）。信息科學(xué)方法包括信息分析方法和信息加工方法，指導(dǎo)人類通過信息窗口去認(rèn)識(shí)世界、改造世界。此外，模糊信息處理、相對(duì)信息處理、主觀信息處理、智能信息處理、自動(dòng)化信息控制等大量嶄新課題的研究相繼展開。1.5香農(nóng)簡介克勞德·香農(nóng)(ClaudeElwoodShannon，1916-2001)1916年4月30日誕生于美國密西根州的Petoskey。在Gaylord小鎮(zhèn)長大，當(dāng)時(shí)鎮(zhèn)里只有三千居民。父親是該鎮(zhèn)的法官，他們父子的姓名完全相同，都是ClaudeElwoodShannon。母親是鎮(zhèn)里的中學(xué)校長，姓名是MabelWolfShannon。他生長在一個(gè)有良好教育的環(huán)境，不過父母給他的科學(xué)影響好像還不如祖父的影響大。香農(nóng)的祖父是一位農(nóng)場主兼發(fā)明家，發(fā)明過洗衣機(jī)和許多農(nóng)業(yè)機(jī)械，這對(duì)香農(nóng)的影響比較直接。此外，香農(nóng)的家庭與大發(fā)明家愛迪生(ThomasAlvaEdison，1847-1931)還有遠(yuǎn)親關(guān)系。香農(nóng)的大部分時(shí)間是在貝爾實(shí)驗(yàn)室和MIT(麻省理工學(xué)院)度過的。在“功成名就”后，香農(nóng)與瑪麗(MaryElizabethMoore)1949年3月27日結(jié)婚，他們是在貝爾實(shí)驗(yàn)室相識(shí)的，瑪麗當(dāng)時(shí)是數(shù)據(jù)分析員。他們共有四個(gè)孩子：三個(gè)兒子Robert、James、AndrewMoore和一個(gè)女兒MargaritaCatherine。后來身邊還有兩個(gè)可愛的孫女。1.5香農(nóng)簡介2001年2月24日，香農(nóng)在馬薩諸塞州Medford辭世，享年85歲。貝爾實(shí)驗(yàn)室和MIT發(fā)表的訃告都尊崇香農(nóng)為信息論及數(shù)字通信時(shí)代的奠基人。1936年香農(nóng)在密西根大學(xué)獲得數(shù)學(xué)與電氣工程學(xué)士學(xué)位，然后進(jìn)入MIT念研究生。1938年香農(nóng)在MIT獲得電氣工程碩士學(xué)位，碩士論文題目是《ASymbolicAnalysisofRelayandSwitchingCircuits》(繼電器與開關(guān)電路的符號(hào)分析)。當(dāng)時(shí)他已經(jīng)注意到電話交換電路與布爾代數(shù)之間的類似性，即把布爾代數(shù)的“真”與“假”和電路系統(tǒng)的“開”與“關(guān)”對(duì)應(yīng)起來，并用1和0表示。于是他用布爾代數(shù)分析并優(yōu)化開關(guān)電路，這就奠定了數(shù)字電路的理論基礎(chǔ)。哈佛大學(xué)的HowardGardner教授說，“這可能是本世紀(jì)最重要、最著名的一篇碩士論文?！?.5香農(nóng)簡介1940年香農(nóng)在MIT獲得數(shù)學(xué)博士學(xué)位，而他的博士論文卻是關(guān)于人類遺傳學(xué)的，題目是《AnAlgebraforTheoreticalGenetics》(理論遺傳學(xué)的代數(shù)學(xué))。這說明香農(nóng)的科學(xué)興趣十分廣泛，后來他在不同的學(xué)科方面發(fā)表過許多有影響的文章。在讀學(xué)位的同時(shí)，他還用部分時(shí)間跟溫尼法·布什(VannevarBush)教授進(jìn)行微分分析器的研究。這種分析器是早期的機(jī)械模擬計(jì)算機(jī)，用于獲得常微分方程的數(shù)值解。1941年香農(nóng)發(fā)表了《Mathematicaltheoryofthedifferentialanalyzer》(微分分析器的數(shù)學(xué)理論)，他寫道：“大多數(shù)結(jié)果通過證明的定理形式給出。最重要的是處理了一些條件，有些條件可以生成一個(gè)或多個(gè)變量的函數(shù)，有些條件可使常微分方程得到解。還給出了一些注意事項(xiàng)，給出求函數(shù)的近似值(不能產(chǎn)生精確值)、求調(diào)整率的近似值以及自動(dòng)控制速率的方法。”1.5香農(nóng)簡介1941年香農(nóng)以數(shù)學(xué)研究員的身份進(jìn)入新澤西州的AT&T貝爾電話公司，并在貝爾實(shí)驗(yàn)室工作到1972年，從24歲到55歲，整整31年。1956年他當(dāng)了MIT的訪問教授，1958年成為正式教授，1978年退休。人們描述香農(nóng)的生活，白天他總是關(guān)起門來工作，晚上則騎著他的獨(dú)輪車來到貝爾實(shí)驗(yàn)室。他的同事D.Slepian寫到：“我們大家都帶著午飯來上班，飯后在黑板上玩玩數(shù)學(xué)游戲，但克勞德很少過來。他總是關(guān)起門來工作。但是，如果你要找他，他會(huì)非常耐心地幫助你。他能立刻抓住問題的本質(zhì)。他真是一位天才，在我認(rèn)識(shí)的人中，我只對(duì)他一人使用這個(gè)詞?！毕戕r(nóng)與JohnRiordan一起工作，1942年發(fā)表了一篇關(guān)于串并聯(lián)網(wǎng)絡(luò)的雙終端數(shù)的論文。這篇論文擴(kuò)展了麥克馬洪(PercyA.MacMahon，1854-1929)1892年在Electrician上發(fā)表的論文理論。1948年則創(chuàng)立了信息論(informationtheory)。1.5香農(nóng)簡介在漫長的歲月，他思考過許多問題。除在普林斯頓高等研究院工作過一年外，主要都在MIT和BellLab度過。需要說明的是，在二次世界大戰(zhàn)時(shí)，香農(nóng)博士也是一位著名的密碼破譯者(這使人聯(lián)想到比他大4歲的圖靈博士)。他在BellLab的破譯團(tuán)隊(duì)主要是追蹤德國飛機(jī)和火箭，尤其是在德國火箭對(duì)英國進(jìn)行閃電戰(zhàn)時(shí)起了很大作用。1949年香農(nóng)發(fā)表了另外一篇重要論文《CommunicationTheoryofSecrecySystems》(保密系統(tǒng)的通信理論)，正是基于這種工作實(shí)踐，它的意義是使保密通信由藝術(shù)變成科學(xué)。1948年香農(nóng)在BellSystemTechnicalJournal上發(fā)表了《AMathematicalTheoryofCommunication》。論文由香農(nóng)和威沃共同署名。前輩威沃(WarrenWeaver，1894-1978)當(dāng)時(shí)是洛克菲勒基金會(huì)自然科學(xué)部的主任，他為文章寫了序言。后來，香農(nóng)仍然從事技術(shù)工作，而威沃則研究信息論的哲學(xué)問題。順便提一句，該論文剛發(fā)表時(shí)，使用的是不定冠詞A，收入論文集時(shí)改為定冠詞The。1.5香農(nóng)簡介熵的概念香農(nóng)理論的重要特征是熵(entropy)的概念，它證明熵與信息內(nèi)容的不確定程度有等價(jià)關(guān)系。熵曾經(jīng)是波爾茲曼在熱力學(xué)第二定律引入的概念，我們可以把它理解為分子運(yùn)動(dòng)的混亂度。信息熵也有類似意義，例如在中文信息處理時(shí)，漢字的靜態(tài)平均信息熵比較大，中文是9.65比特，英文是4.03比特。這表明中文的復(fù)雜程度高于英文，反映了中文詞義豐富、行文簡練，但處理難度也大。信息熵大，意味著不確定性也大。因此我們應(yīng)該深入研究，以尋求中文信息處理的深層突破。不能盲目認(rèn)為漢字是世界上最優(yōu)美的文字，從而引申出漢字最容易處理的錯(cuò)誤結(jié)論。眾所周知，質(zhì)量、能量和信息量是三個(gè)非常重要的量。人們很早就知道用秤或者天平計(jì)量物質(zhì)的質(zhì)量，而熱量和功的關(guān)系則是到了19世紀(jì)中葉，隨著熱功當(dāng)量的明確和能量守恒定律的建立才逐漸清楚。能量一詞就是它們的總稱，而能量的計(jì)量則通過“卡、焦耳”等新單位的出現(xiàn)而得到解決。1.5香農(nóng)簡介然而，關(guān)于文字、數(shù)字、圖畫、聲音的知識(shí)已有幾千年歷史了。但是它們的總稱是什么，它們?nèi)绾谓y(tǒng)一地計(jì)量，直到19世紀(jì)末還沒有被正確地提出來，更談不上如何去解決了。20世紀(jì)初期，隨著電報(bào)、電話、照片、電視、無線電、雷達(dá)等的發(fā)展，如何計(jì)量信號(hào)中信息量的問題被隱約地提上日程。1928年哈特利(R.V.H.Harley)考慮到從D個(gè)彼此不同的符號(hào)中取出N個(gè)符號(hào)并且組成一個(gè)“詞”的問題。如果各個(gè)符號(hào)出現(xiàn)的概率相同，而且是