1、精選優(yōu)質(zhì)文檔-傾情為你奉上精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)通信的數(shù)學(xué)理論C.E.香農(nóng)引言各種調(diào)制方法的最新發(fā)展方向，都將其重點(diǎn)都放在一般的通信理論方面上，例如PCM和PPM都是以帶寬來(lái)?yè)Q取信噪比的改善。在Nyquist 和 Hartley的重要論文中對(duì)此學(xué)科的基本理論有所介紹。在現(xiàn)在的論文中，我們拓展了該理論，提出了影響通信的一些新因素，尤其是噪聲對(duì)信道的影響，根據(jù)初始消息的統(tǒng)計(jì)特性和信息終端的特性來(lái)盡可能恢復(fù)出信息。通信的基本問(wèn)題就是在一個(gè)點(diǎn)上能精確地或近似地再現(xiàn)出另外一個(gè)特定點(diǎn)上的消息。消息常常是有含義的。根據(jù)系統(tǒng)的物理特

2、征或概念本質(zhì)，它們都是有所指或者互相相關(guān)的。通信的語(yǔ)義學(xué)方面與工程問(wèn)題是不相干的。最要意義是，實(shí)際消息是從一組可能的消息中選取的。由于設(shè)計(jì)之時(shí)并不知道選擇是哪個(gè)消息，因此設(shè)計(jì)系統(tǒng)必須要能針對(duì)每一個(gè)可能的選擇來(lái)操作，而不是僅僅只針對(duì)一個(gè)實(shí)際選擇的消息。如果在這個(gè)集合中的消息的數(shù)字是有限的，那么這個(gè)數(shù)字或者這個(gè)數(shù)字的單調(diào)函數(shù)可以視為是一個(gè)信息的度量，這個(gè)是信息是等概率地從集合中選取一個(gè)信息時(shí)而產(chǎn)生的。Hartley指出了最自然地選擇是對(duì)數(shù)函數(shù)。雖然這個(gè)定義是非常概括的，當(dāng)我們考慮消息的統(tǒng)計(jì)特性影響和一個(gè)連續(xù)范圍的消息時(shí)，在所有的情況下，我都將基本上使用這個(gè)對(duì)數(shù)測(cè)量方法。采用對(duì)數(shù)測(cè)量方法更加便利，這

3、是因?yàn)椋?.非常實(shí)用。一些重要的工程參數(shù)，例如時(shí)間，帶寬，中繼次數(shù)等等?？傏厔?shì)與可能的數(shù)字對(duì)數(shù)值是線性的。例如，增加一次中繼到一組使得中繼的可能狀態(tài)的數(shù)量翻倍。增加1到這個(gè)數(shù)的底數(shù)為2對(duì)數(shù)。雙倍時(shí)間大概使可能的消息數(shù)量平方，或?qū)?shù)的兩倍等2.我們憑直覺(jué)認(rèn)為這是比較合理的測(cè)方法。由于我們憑直覺(jué)測(cè)量方法與通用標(biāo)準(zhǔn)進(jìn)行線性比較，這是與第（1）密切相關(guān)的。例如，我們覺(jué)得兩個(gè)鑿孔卡;應(yīng)該是一個(gè)卡信息存儲(chǔ)容量的兩倍, 兩個(gè)相同信道是一個(gè)信道發(fā)射信息容量的兩倍。3.數(shù)學(xué)上來(lái)講比較合適。使用對(duì)數(shù)進(jìn)行很多極限運(yùn)算比較簡(jiǎn)單，但是使用可能的數(shù)字的話，可能會(huì)要求繁瑣地重述。對(duì)數(shù)基數(shù)的選擇必須要與測(cè)量信息的單位選擇匹配

4、。如果基數(shù)2用于結(jié)果單位，那么被稱為二進(jìn)制數(shù), 或者簡(jiǎn)稱bits, 這個(gè)詞是 J. W. Tukey建議的。具有兩個(gè)穩(wěn)定狀態(tài)的設(shè)備（如中繼器或觸發(fā)電路）可以存儲(chǔ)一個(gè)bit的信息。N 狀態(tài)的設(shè)備可以存儲(chǔ)N個(gè)bits，那是因?yàn)榭赡軤顟B(tài)全部數(shù)量為 2N 和 log2 2N = N。如果單位使用底數(shù)10應(yīng)當(dāng)被稱為十進(jìn)制。因?yàn)椋簂og 2 M = log 10 M/ log 10 2= 3.321og10 M圖1 通用通信系統(tǒng)原理框圖一個(gè)十進(jìn)制數(shù)大于等于個(gè)比特。桌面計(jì)算機(jī)的數(shù)字輪有十個(gè)固定狀態(tài)，因此一個(gè)數(shù)字輪有一個(gè)十進(jìn)制數(shù)的存儲(chǔ)容量。在積分和微分的分析工作中牽涉到基數(shù)e有時(shí)是非常有用的。信息的結(jié)果單位將

5、被稱之自然單位。從底數(shù)a變化到底數(shù)僅僅要求成為logba。按照?qǐng)D1所指的那種類型系統(tǒng)，我們可以了解一個(gè)通信系統(tǒng)。它的基本組成有五個(gè)部分：信號(hào)源 產(chǎn)生一個(gè)消息或一系列消息來(lái)與接收端進(jìn)行通信。消息可能是不同類型：（a）作為電報(bào)機(jī)系統(tǒng)所發(fā)一封電報(bào)中的一系列字母；（b）無(wú)線電或電話中的一個(gè)f(t)簡(jiǎn)單的時(shí)間函數(shù)；（c）黑白電視中的時(shí)間函數(shù)或其他變量函數(shù)，這里的信息被認(rèn)為是兩個(gè)空間坐標(biāo)和時(shí)間的函數(shù)f(x,y,t),這代表的是在顯像管平面上t時(shí)刻的點(diǎn)（x,y）的光強(qiáng)度；（d）兩個(gè)及以上的時(shí)間函數(shù)，如f(t)，g(t)，h(t)，這種情況存在于“三維”聲音傳輸中，或者系統(tǒng)打算要服務(wù)于多路復(fù)用的多個(gè)通道；（e

6、）多個(gè)變量的多個(gè)函數(shù)，在彩色電視系統(tǒng)中，消息由三種函數(shù)所組成如f(x,y,t),g(x,y,t),h(x,y,t)，這些函數(shù)定義域是三維連續(xù)體。我們可以認(rèn)為這三個(gè)函數(shù)在其定義域上組成了一個(gè)向量場(chǎng)。類似的，黑白電視的信號(hào)源產(chǎn)生的消息由這些三個(gè)變量函數(shù)所組成。（f）不同的組合形式也出現(xiàn)，例如電視伴隨聲道。發(fā)射機(jī) 以某種方式進(jìn)行處理消息，以產(chǎn)生一個(gè)合適其發(fā)射通道的信號(hào)。在電話系統(tǒng)中這個(gè)處理僅僅是將聲壓變化為成比例的電流。在電報(bào)系統(tǒng)中，我們可進(jìn)行編碼處理，可以產(chǎn)生一系列點(diǎn)、破折號(hào)和空，在其信道中進(jìn)行消息傳送。在多分復(fù)用的PCM系統(tǒng)中，不同語(yǔ)音函數(shù)被采樣、壓縮、量化和編碼。最后，合適地轉(zhuǎn)化建構(gòu)出信號(hào)。另

7、外例子是，語(yǔ)音編碼譯碼系統(tǒng)、電視和頻率調(diào)制采用復(fù)雜的處理從消息變?yōu)樾盘?hào)。信道 僅僅是用來(lái)傳輸信號(hào)從發(fā)射到接受及的媒介。它可能是雙平行線、同軸電纜、無(wú)線電頻率的帶寬，光束等等。接收機(jī) 通常的是接收機(jī)處理過(guò)程逆向，從信號(hào)中重構(gòu)消息。終端 這可能是人（或物），這個(gè)消息是他（它）所需要的。我們希望討論一下通信系統(tǒng)的一些普遍問(wèn)題。為了實(shí)現(xiàn)這一點(diǎn)，我們第一需要做的對(duì)其相應(yīng)物理實(shí)體進(jìn)行理想化，是用數(shù)學(xué)實(shí)體來(lái)代表其不同因素。我們可以粗略地將通信系統(tǒng)劃分為三個(gè)主要門(mén)類：離散型、連續(xù)型和混合型的。對(duì)于一個(gè)離散系統(tǒng)，我們指出其消息與信號(hào)都是一系列離散的符號(hào)。典型例子就是電報(bào)，它的消息是一連串的字母，信號(hào)是一連串的點(diǎn)

8、、破折號(hào)和空格。連續(xù)系統(tǒng)的消息和信號(hào)都被看做為連續(xù)函數(shù)，例如無(wú)限廣播與電視。混合系統(tǒng)則是離散和連續(xù)變量同時(shí)出現(xiàn)，例如語(yǔ)音的PCM傳輸。我們首先討論是離散的類型。這種類型不但應(yīng)用于通信理論，還應(yīng)用計(jì)算機(jī)理論，電話交換機(jī)的設(shè)計(jì)和其他領(lǐng)域中。此外，離散型為連續(xù)型和混合型構(gòu)筑起了基礎(chǔ)，連續(xù)型和混合型將在論文下半部分進(jìn)行討論。1離散無(wú)噪聲系統(tǒng)1.1離散無(wú)噪聲信道電傳與電報(bào)是兩個(gè)發(fā)送信息的離散信道的簡(jiǎn)單例子。一般而言，離散信道意味著系統(tǒng)從有限元素的碼元S1Sn中選擇出一組序列，從一點(diǎn)發(fā)送到另一個(gè)點(diǎn)。假設(shè)每個(gè)碼元Si的持續(xù)時(shí)間為ti(不同的Si的持續(xù)時(shí)間沒(méi)有必要相同，如電報(bào)中的點(diǎn)和破折號(hào))。并不是要把系統(tǒng)中

9、的全部可能的Si序列進(jìn)行發(fā)送。僅僅要求特定序列進(jìn)行傳輸。這些將都成為信道中的信號(hào)。因此，假設(shè)電報(bào)系統(tǒng)的碼元為：（1）一個(gè)點(diǎn)，由一個(gè)時(shí)間單位的閉合線和一個(gè)時(shí)間單位的斷開(kāi)線所組成。（2）一個(gè)破折號(hào)，由三個(gè)時(shí)間單位的閉合線和一個(gè)單位斷開(kāi)線組成。（3）一個(gè)字母的空由三個(gè)單位的斷開(kāi)線組成。（4）一個(gè)字的空有6個(gè)單位的斷開(kāi)線所組成。我們對(duì)于一些允許的序列可以設(shè)置一些規(guī)定，這些空沒(méi)有必要相互一樣（如果兩個(gè)字的空是相鄰的，那么一個(gè)字的空是一樣的）。我們需要討論的問(wèn)題是怎樣測(cè)量一個(gè)發(fā)射信息的信道的容量。在電傳的例子中，全部的碼元持續(xù)時(shí)間都是一樣的。32個(gè)碼元的任一序列要求應(yīng)答是比較簡(jiǎn)單的。每一個(gè)碼元代表了信息的

10、五個(gè)bit。如果一個(gè)系統(tǒng)每秒鐘發(fā)送n個(gè)碼元，那么很自然，這個(gè)信道擁有5n個(gè)bit每秒的容量。這個(gè)并不意味著電傳信道總是以這個(gè)速率發(fā)送信息。最大可能速率或是實(shí)際所能達(dá)到最大速率都有信源是否能滿足信道的情況而決定，這些稍后一些會(huì)出現(xiàn)。在那些更廣泛的實(shí)例中，這些允許序列的碼元長(zhǎng)度和限制不一致。我們定義如下。定義：設(shè)離散信道容量C為這里的N(T)是持續(xù)時(shí)間為T(mén)允許信號(hào)的數(shù)量。顯而易見(jiàn)，電傳的N(T)減少至先前的結(jié)果水平?？梢钥闯?，在大多數(shù)的感興趣實(shí)例中公式中的極限是作為有限數(shù)存在的。假設(shè)許可使用碼元S1Sn的全部序列，這些碼元的持續(xù)時(shí)間為t1 , . . . , tn。信道容量是什么？如果N(t) 代

11、表持續(xù)時(shí)間t的序列的數(shù)量。N(t) = N(t - t1) + N(t - t2) +. + N(t - tn)總數(shù)等于結(jié)束于S1Sn的序列數(shù)量之和，各自的總數(shù)為N(t -t1),N(t- t2),. ,N(t- tn)。根據(jù)眾所周知的有限差分的結(jié)論，N(t) 漸進(jìn)t取大值時(shí)等于Xot，這里的Xo是特征方程最大實(shí)數(shù)解因此：C = logX0在這個(gè)例子中，允許序列有一些限制，我們?nèi)匀豢梢缘玫酱祟愐粋€(gè)差分方程，得到從特征方程得到C。電報(bào)例子通過(guò)上面指出：N(t) = N(t- 2) + N(t-4) + N(t- 5) + N(t- 7) + N(t- 8) + N(t- 10)根據(jù)最后一個(gè)或者下

12、個(gè)最后一個(gè)碼元出現(xiàn)，通過(guò)計(jì)算碼元的序列可以看出。因此，C是-log0，0是1=2+4+5+7+8+10的正解。解這方程，得出C=0.539。很多對(duì)于允許序列的通用限制如下：我們可以虛構(gòu)出了很多可能的狀態(tài)a1,a2,am。從S1Sn集合總對(duì)于每個(gè)轉(zhuǎn)臺(tái)僅有一個(gè)特定碼元用來(lái)發(fā)送。當(dāng)其中一個(gè)被發(fā)送時(shí)，依據(jù)舊狀態(tài)和特定被發(fā)送的碼元的狀況，狀態(tài)變化為一個(gè)新的狀態(tài)。電報(bào)就是這種情況簡(jiǎn)單的例子。根據(jù)是否有一個(gè)空來(lái)決定兩種狀態(tài)，這是最后一個(gè)發(fā)送的碼元。假如這樣的話，下一次僅發(fā)送有一個(gè)點(diǎn)或者破折號(hào)，那么這個(gè)狀態(tài)是總是變化的。如果不是這樣的話，發(fā)送任何一個(gè)碼元，如果發(fā)送一個(gè)空的話，狀態(tài)是變化的，否則狀態(tài)保持不變。如

13、圖1.2所示為通過(guò)一個(gè)點(diǎn)線圖來(lái)表示狀態(tài)。接連點(diǎn)表示狀態(tài)，連線表示碼元從一個(gè)狀態(tài)到一個(gè)結(jié)果狀態(tài)。圖2 電報(bào)碼元限制描述圖在附錄1中所知，如果一個(gè)允許序列的狀態(tài)可以用這個(gè)C形式來(lái)描述將是存在，可以聯(lián)系下面結(jié)論來(lái)進(jìn)行進(jìn)行計(jì)算。定理1：設(shè)bij(s)為第從狀態(tài)i轉(zhuǎn)移至狀態(tài)j第S個(gè)碼元的持續(xù)時(shí)間。那么信道容量C等于logW,W是行列式方程最大實(shí)數(shù)解。如果i=j,這里的ij=1，否則ij=0。例如，如圖2的電報(bào)的例子。行列式為：由上面的情況，在信號(hào)恢復(fù)狀態(tài)下推導(dǎo)出這個(gè)方程。1.2 信息的離散源我們可以看出在一般狀態(tài)下，在一個(gè)離散信道中可能存在信號(hào)數(shù)量的對(duì)數(shù)隨著時(shí)間線性增加。發(fā)送信息的容量可以用給定增長(zhǎng)速率

14、進(jìn)行描述，比特/秒的數(shù)量可以描述所使用的特定信號(hào)。我們現(xiàn)在考慮一下信號(hào)源。一個(gè)信息源怎么通過(guò)數(shù)學(xué)的方式來(lái)描述，一個(gè)假設(shè)源能產(chǎn)生多少比特/秒的信息？比較有爭(zhēng)議的主要觀點(diǎn)是關(guān)于減少信道容量要求的信息源的統(tǒng)計(jì)學(xué)方面作用，可以使用合適信息編碼技術(shù)。例如，在電報(bào)中的發(fā)送的消息時(shí)有字母組成的。但是這些序完全不是隨機(jī)的。一般而言，字母可以形成段落，他們的組成具有統(tǒng)計(jì)學(xué)方面特征。字母E比Q出現(xiàn)概率要大，TH序列出現(xiàn)概率比XP要大等等。由于存在這種結(jié)構(gòu)采用合適的編碼是消息序列變?yōu)樾盘?hào)序列可以節(jié)約時(shí)間（或者信道容量）?？梢圆捎米疃绦诺来a元來(lái)有限的擴(kuò)容電報(bào)，一個(gè)點(diǎn)可以代替最常見(jiàn)英文字母E。而那些不太頻繁出現(xiàn)的字母Q

15、，X，Z可以用點(diǎn)和破折號(hào)的較長(zhǎng)序列還表示。我們可以這么認(rèn)為一個(gè)離散源產(chǎn)生消息，用符號(hào)表征碼元。我們可以根據(jù)先前的選擇和問(wèn)題中特定碼元特定概率來(lái)進(jìn)行選擇。一個(gè)物理系統(tǒng)或者一個(gè)系統(tǒng)的數(shù)學(xué)模型由一個(gè)概率集合所約束產(chǎn)生如此一個(gè)系列碼元序列，這就是眾所周知的隨機(jī)過(guò)程。因此，我們可以認(rèn)為離散源可用一個(gè)隨機(jī)過(guò)程來(lái)描述。反過(guò)來(lái)，任何一個(gè)從有限集合中選擇產(chǎn)生的碼元離散序列的隨機(jī)過(guò)程都可以產(chǎn)生一個(gè)離散源。這將包含如下情況：一些自然書(shū)寫(xiě)語(yǔ)言如英語(yǔ)，德語(yǔ)，中文等。連續(xù)信息源通過(guò)量化處理方法表達(dá)為離散的。例如有PCM發(fā)射機(jī)量化后語(yǔ)音，或者量化電視信號(hào)。數(shù)學(xué)情況下，我們僅僅抽象地定義了隨機(jī)過(guò)程可以產(chǎn)生一個(gè)序列的碼元。下面

16、是最新的一種信息源的例子。假設(shè)我們有5個(gè)字母A，B，C，D，E，以相同的概率0.2從中選擇出一個(gè)。連續(xù)的選擇是獨(dú)立的。下面是一個(gè)典型例子，這產(chǎn)生了一個(gè)序列。BDCBCECCCADCBDDAAECEEAABBDAEECACEEB AEECBCEAD這個(gè)使用了隨機(jī)數(shù)表進(jìn)行構(gòu)造。（B）使用相同五個(gè)字母，設(shè)各自的概率為0.4,0.1,0.2,0.2,0.1，連續(xù)選擇是獨(dú)立的。從這源所產(chǎn)生典型的消息為： AAACDCBDCEAADADACEDAEADCABEDADDCECAAAAAD（C）如果連續(xù)的碼元選擇不是獨(dú)立的，而且它們的概率依據(jù)前一個(gè)字母，那么得到這個(gè)結(jié)構(gòu)將是更加復(fù)雜的。在最簡(jiǎn)單的情況下，選擇僅

17、僅基于前一個(gè)字母而不是后面的。這樣統(tǒng)計(jì)結(jié)構(gòu)可以用轉(zhuǎn)移概率Pi(j)來(lái)描述，這是字母i伴隨字母j之后出現(xiàn)的概率。指標(biāo)i和j覆蓋整個(gè)可能出現(xiàn)概率。第二種表述這種結(jié)構(gòu)等效方向是給出這個(gè)“兩個(gè)字母組”概率P(i,j)。例如ij兩字母組的相關(guān)頻率。字母頻率P(i)(字母i的概率)。轉(zhuǎn)移概率Pi(j)和兩字母組概率P(i,j)依照如下公式相關(guān)起來(lái)。pi(i,j)jABCiA04/151/15B8/278/270 C1/274/1351/135ip(i)A9/27B16/27C2/27舉一個(gè)典型的例子，假設(shè)有三個(gè)字母A，B，C依照表中概率pi(j)jABCiA04/51/5B1/21/20 C1/22/51

18、/10從這個(gè)源產(chǎn)生一組典型的消息為：ABBABABABABABABBBABBBBBABABABABABBBACACABBABBBBABBABACBBBABA.下來(lái)為了增加復(fù)雜程度，僅牽扯進(jìn)三字母組頻率。一個(gè)字母的選擇依據(jù)前兩個(gè)字母但不是這個(gè)點(diǎn)之前信息。這里規(guī)定三字母組頻率P(i,j,k)的集合或者等效的轉(zhuǎn)移概率組合pij(k)。使用這種方法連續(xù)產(chǎn)生序列獲得連續(xù)的更加復(fù)雜的隨機(jī)過(guò)程。在一般的n個(gè)字母組的情況下的n個(gè)字母組概率p(i1,i2,.,in)或者轉(zhuǎn)移概率Pi1,i2,.in-1(in)要求來(lái)描述統(tǒng)計(jì)學(xué)結(jié)構(gòu)。（D）隨機(jī)過(guò)程也可以這樣來(lái)定義，產(chǎn)生一個(gè)文本由一系列“詞”所組成。假設(shè)有五個(gè)字母A

19、,B,C,D,E和一種語(yǔ)言的16個(gè)“詞”相關(guān)的概率為0.01 A 0.16 BEBE 0.11CABED 0.04DEB0.04ABEB 0.04BED 0.05CEED 0.15DEED0.05ADEE 0.02BEED 0.08DAB 0.01EAB0.01BADD 0.05CA 0.04DAD 0.05EE假設(shè)獨(dú)立地連續(xù)選擇“詞” ，用一個(gè)空來(lái)分開(kāi)。一個(gè)典型的消息可能是：DAB EE A BEBE DEB ADEE ADEE EE DEB BEBE BEBE BEBE ADEE BED DEED DEED CEED ADEE A DEED DEED BEBE CABED BEBE BED

20、 DAB DEED ADEB.如果全部的單詞是有限的長(zhǎng)度，這過(guò)程等效于先前的一個(gè)類型。但是依據(jù)單詞結(jié)構(gòu)和概率，這種描述方式更加簡(jiǎn)單。我們也可能歸納出這些，引入單詞之間的轉(zhuǎn)移概率。使用人工語(yǔ)言來(lái)構(gòu)建出一個(gè)小問(wèn)題和小例子是非常有用的，可以說(shuō)明各種可能性。我們也可以用一系列的簡(jiǎn)單人工語(yǔ)言來(lái)逼近一個(gè)自然語(yǔ)言。以相同的概率獨(dú)立選擇所有的字母可以獲得零階逼近。連續(xù)獨(dú)立地選擇字母可以獲得一階逼近，但是這些字母在自然語(yǔ)言方面有相同的概率。因此，用一階逼近于英語(yǔ)。選擇E的概率為0.12（在普通的英語(yǔ)用的頻率），W的概率為0.02，但是相鄰字母之間沒(méi)有影響，沒(méi)有形成優(yōu)選兩字母組合的趨勢(shì)（例如TH，ED）等。在二階

21、逼近中，介紹二字母組合的結(jié)構(gòu)。選擇一個(gè)字母以后，選擇下一個(gè)的相關(guān)頻率與第一個(gè)字母后面不同的字母有關(guān)系。這滿足一個(gè)二字母組頻率表格。在三階逼近中，介紹三字母組合機(jī)構(gòu)。選擇每個(gè)字母的概率依據(jù)的前兩個(gè)字母。1.3 英語(yǔ)逼近的系列為了能給出這一系列如何逼近一種語(yǔ)言的視覺(jué)想法，逼近英語(yǔ)的典型序列已經(jīng)構(gòu)建成，在下面給出。在所有情況下，我們假設(shè)一個(gè)27個(gè)符號(hào)“阿爾法，”、26個(gè)字母和一個(gè)空。零階逼近（符號(hào)都是獨(dú)立和等概率的）XFOML RXKHRJFFJUJ ZLPWCFWKCYJ FFJEYVKCQSGHYDQPAAMKBZAACIBZLHJQD.一階逼近（符號(hào)都是獨(dú)立的，但是具有英文文本的概率）二階逼近

22、（雙字母組合如同英文）ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN D ILONASIVE TUCOOWE AT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE.4.三階逼近（三字母組合如同英文）IN NO IST LAT WHEY CRATICT FROURE BIRS GROCID PONDENOME OF DEMONSTURES OF THE REPTAGIN IS REGOACTIONA OF CRE.一階詞語(yǔ)逼近。而不是繼續(xù)四個(gè)字母組合，n個(gè)字母組合這是很容易的，更好的從這個(gè)點(diǎn)跳到詞的單

23、位。這里的單詞是獨(dú)立地挑出來(lái)的，但是具有它們合理的頻率。REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NATURALHERE HE THE A IN CAME THE TO OF TO EXPERT GRAY COME TO FURNISHES THE LINE MESSAGE HAD BE THESE.二階詞語(yǔ)逼近。詞語(yǔ)的轉(zhuǎn)移概率是正確。但是進(jìn)一步的結(jié)構(gòu)沒(méi)有包括。THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF TH

24、IS POINT IS THEREFORE ANOTHER METHOD FOR THE LETTERS THAT THE TIME OF WHO EVER TOLD THE PROBLEM FOR AN UNEXPECTED.在上述步驟中，普通英文文本的相似性逐漸明顯。值得注意的是，這些樣本具有想當(dāng)不錯(cuò)的的結(jié)構(gòu)，關(guān)于兩倍跨度應(yīng)該被考慮到結(jié)構(gòu)中。因此在（3）中統(tǒng)計(jì)保證合理的文本符合兩個(gè)字母的序列,但是從樣本中挑選的四個(gè)字母序列通常與較好的段落相配。在（6）中，只要不是不常見(jiàn)或口語(yǔ)結(jié)構(gòu)中，四個(gè)或更多詞語(yǔ)序列可以很容易放置在段落中。十個(gè)單詞的特殊序列attack on an English wri

25、ter that the character of this 是合理的。這表明，一個(gè)足夠復(fù)雜的隨機(jī)過(guò)程可以給出一個(gè)離散源好的滿意的表達(dá)。前兩個(gè)樣本是通過(guò)使用一本隨機(jī)數(shù)字與一個(gè)字母頻率表一起構(gòu)成的（如例2）。由于使用兩字母組、三字母中和詞語(yǔ)的概率表，在（3）、（4）和（5）中續(xù)使用這種方法，但是使用更加簡(jiǎn)單等效方法。為了構(gòu)建例（3），一個(gè)人隨機(jī)打開(kāi)一本書(shū)，從這一頁(yè)速記挑出一個(gè)字母。記錄這個(gè)字母。打開(kāi)這本書(shū)另外一頁(yè)，只到再次讀到這個(gè)字母為止。然后記錄下來(lái)這個(gè)字母。在轉(zhuǎn)到另外一頁(yè)找到一個(gè)單詞，記錄下次這個(gè)字母，等等。在（4）、（5）和（6）中使用這個(gè)類似過(guò)程。感興趣的是否可以構(gòu)建進(jìn)一步的逼近，但是在

26、下一個(gè)階段的介入的工作將變得更加繁重。1.3 馬爾科夫過(guò)程的圖形化表示上述描述這種隨機(jī)過(guò)程就是數(shù)學(xué)上眾所周知的離散馬爾科夫過(guò)程，在文獻(xiàn)6中有比較深入的研究。大致的情況可以這樣描述，如下：一個(gè)系統(tǒng)的可能存在有有限個(gè)數(shù)量的“狀態(tài)”；S1，S2，.,Sn。此外，還有一個(gè)轉(zhuǎn)移概率子集；Pi(j)是假如系統(tǒng)中的一個(gè)狀態(tài)Si下一步將要轉(zhuǎn)移到狀態(tài)Sj的可能性。為了使這個(gè)馬爾科夫過(guò)程進(jìn)入一個(gè)源，我們僅僅需要假設(shè)對(duì)于從狀態(tài)到另外一個(gè)轉(zhuǎn)移轉(zhuǎn)移而產(chǎn)生一個(gè)字母。這個(gè)狀態(tài)表達(dá)出的“殘余影響”來(lái)源于前一個(gè)字母。這位置可以用如圖3,4和5來(lái)圖像化表示?！盃顟B(tài)”是圖中的交匯點(diǎn)。在對(duì)應(yīng)的線旁邊給出了轉(zhuǎn)移概率和產(chǎn)生的字母。圖3是

27、在第2節(jié)中的例B，而圖4對(duì)應(yīng)于例C 。在圖3中只有一個(gè)狀態(tài)，因?yàn)檫B續(xù)的字母是獨(dú)立的。在圖4中有與狀態(tài)同樣多的字母。如果構(gòu)建一個(gè)三字母例子，這將有最多n2 狀態(tài)，可能對(duì)應(yīng)前一個(gè)選擇了一對(duì)字母。圖5是例D中構(gòu)建一個(gè)詞語(yǔ)的情況。這里的S對(duì)應(yīng)的“空間”的符號(hào)。圖3 例B中對(duì)應(yīng)源的圖圖4 例C中對(duì)應(yīng)源的圖1.4 遍歷混合源 我們?cè)谏鲜鏊枋鲞@一個(gè)離散源的目的是為了其被認(rèn)為可以代表一個(gè)馬爾科夫過(guò)程。在可能的李三聯(lián)馬爾科夫過(guò)程。在有可能的離散馬爾科夫過(guò)程中，存在一個(gè)組通信原理中具有特殊意義的組。這個(gè)特殊種類有“遍歷”過(guò)程組成，我們將要調(diào)用對(duì)應(yīng)的遍歷源。雖然一個(gè)遍歷過(guò)程的嚴(yán)格定義有些復(fù)雜，但是大意上還是比較簡(jiǎn)

28、單。每一個(gè)由遍歷源所產(chǎn)生的序列在統(tǒng)計(jì)特征上都是相同的。因此，從特定序列中獲得的字母頻率、兩字母組，將隨著序列長(zhǎng)度的正解，接近特定序列獨(dú)的定義的極限。實(shí)際上，每個(gè)序列都是錯(cuò)的，但是都是錯(cuò)誤概率為0的集合。遍歷特征大致上意味著概率上的均勻性。上述給出的人工語(yǔ)言的全部例子都是遍歷的。這個(gè)特性與圖中結(jié)構(gòu)是相關(guān)的。如果圖中有用一下的兩個(gè)特征，那么這個(gè)過(guò)程就是遍歷的。圖形不是由兩個(gè)孤立部分A和B組成的，如此圖形中的沿著箭頭方向從A部分的交點(diǎn)到B部分的交點(diǎn)的連線是不可能存在，從B部分的交點(diǎn)到A部分的交點(diǎn)也是不可能存在的。圖形中擁有相同方向箭頭閉環(huán)連線系列被稱之為“環(huán)”。這個(gè)環(huán)的“長(zhǎng)度”就是圖中線的數(shù)量。因此

29、，圖5中的系列BEBES是長(zhǎng)度為5的環(huán)。第二個(gè)特征要求，圖中全部的環(huán)的長(zhǎng)度最大公約數(shù)是1。如果滿足第一個(gè)條件，但是由于最大公約數(shù)d1違反了第二個(gè)條件，這個(gè)有特殊類型的周期結(jié)構(gòu)。不同序列歸類于除過(guò)從統(tǒng)計(jì)上相同的原點(diǎn)位移的d不同的類型。（例如序列中的字母被稱之字母1）。通過(guò)從0到d-1的位移任何序列在統(tǒng)計(jì)學(xué)上等于其他序列。一個(gè)d=2簡(jiǎn)單的例子如下：字母a,b,c有三種可能。字母a后面是b或者c隨后發(fā)生的概率分別是1/3和2/3。b或c后面跟隨的總是a。因此，一個(gè)典型序列是abacacacabacababacac這種情況對(duì)于我們的工作來(lái)說(shuō)不是太重要的。如果違反了第一種條件，圖形可能被分成每個(gè)都滿足第

30、一種條件的子圖像的集合。我們也假設(shè)每個(gè)子圖形也滿足第二種條件。圖5 例D中圖形所對(duì)應(yīng)的源在這個(gè)情況下，我們有一個(gè)一些純?cè)厮M成的被稱之為“混合”源。元素對(duì)應(yīng)的是不同的子圖。如果L1，L2，L3，.是元素的元。我們可以這么寫(xiě)L=p1L1+p1L1+p1L1+.這里的pi是元素源Li的可能性。物理上，這種代表情況是這樣的：有很多不同的源L1，L2，L3，.這些源的具有均勻的統(tǒng)計(jì)特性（例如它們是遍歷的）。我們不知道先用那一個(gè)，但是一旦序列從假設(shè)純?cè)﨤i開(kāi)始的話，那就會(huì)按照元素統(tǒng)計(jì)特性無(wú)限地繼續(xù)下去。舉一個(gè)例，采用如上定義的兩個(gè)過(guò)程。假設(shè)P1=0.2和P2=0.8。從混合源取得一個(gè)序列L=0.2L

31、1+0.8L2首先以0.2概率首先選擇L1或者以0.8概率選擇L2，不管首先選擇哪一個(gè)，這個(gè)選擇都會(huì)產(chǎn)生一個(gè)序列。除了當(dāng)相反的狀態(tài)，我們將假設(shè)一個(gè)源是遍歷的。這個(gè)假設(shè)可以使讓確認(rèn)這個(gè)序列的平均值，這個(gè)序列擁有全部可能的序列總的平均值。（偏差的概率為0）。例如，在一個(gè)特殊有限序列中的字母A的相關(guān)頻率等于序列集合的相關(guān)頻率（概率為0）。如果Pi是狀態(tài)i的概率，Pi(j)是到狀態(tài)j轉(zhuǎn)移概率,然后由于過(guò)程是固定的。很顯然Pi必須滿足均衡條件：在遍歷的情況下，可以證明任何開(kāi)始狀態(tài)j概率Pj(N),經(jīng)過(guò)N個(gè)碼元后，接近于均衡值N的值。1.5 選擇，不確定性與熵我們用一個(gè)離散信息源來(lái)代表一個(gè)馬爾科夫過(guò)程。在

32、某種以上將講，我們能定義一個(gè)將要被測(cè)量的量嗎？有多少信息是由這個(gè)過(guò)程“產(chǎn)生”的？或者更好能知道信息是以多少速率產(chǎn)生的？假設(shè)有一組可能事件，其發(fā)生概率為p1,p2,pn。這些概率都是已知的，但是我們都想知道那些時(shí)間是將要發(fā)生的。我們找到一種可以測(cè)量在事件的選擇中有多少種“選擇”數(shù)量方法或者我們選擇的結(jié)果的不確定性有多少？如果有一種測(cè)量，稱之為H(p1,p2,pn),符合以下屬性是合理的： H應(yīng)該在Pi上是連續(xù)的；如果所有的Pi都是相等的，那么H就是n單調(diào)遞增函數(shù)。黨有更多可能事件時(shí)，同樣有可能的事件會(huì)有更多的選擇，或不確定性。如果一個(gè)選擇可以分成兩個(gè)連續(xù)的選擇，原先的H應(yīng)該是單個(gè)H值得權(quán)重之和。

33、這個(gè)意思通過(guò)圖6所示。在左邊有個(gè)三個(gè)可能性：圖6 一種選擇分解為三種可能性。在右邊我看第一個(gè)選擇各有兩個(gè)概率為1/2的可能性，如果第二個(gè)發(fā)生使另外選擇有2/3,1/3選擇性。最后的結(jié)果與以前一樣的相同概率。在這種特殊情況下，我要求：系數(shù)1/2是因?yàn)榈谌N選擇僅僅有一半時(shí)間。在附錄2中，建立一下的結(jié)果：定理2：存在唯一的H滿足以上三種假設(shè)的形式：這里的K是一個(gè)正的常數(shù)。這個(gè)定理，及其證明所需要的假設(shè)，對(duì)應(yīng)當(dāng)前的理論是沒(méi)有必要的。它主要是為了給我們以后的定義提供一定的合理性。但是，這些定義的真正的證明，包含在其定義中。形式的數(shù)量（常數(shù)K僅僅等于一個(gè)測(cè)量單位的選擇）在諸如信息的測(cè)量，選擇和不確定度等

34、信息理論方面起到到核心作用。H的形式被認(rèn)為是熵一樣，定義為統(tǒng)計(jì)力學(xué)特殊的公式。這里的pi是一個(gè)系統(tǒng)在相空間里的晶格i發(fā)生概率。例如，H則是著名的玻爾茲曼 H 定理中的H。我們將稱之為一個(gè)可能性p1,pn集合的熵。如果x是一個(gè)概率的變量，可以將H(x)寫(xiě)成熵的形式。因此x不是函數(shù)的一個(gè)參數(shù)，而是一個(gè)數(shù)字的標(biāo)號(hào)，為了和H(y)區(qū)別，概率變量y的熵。兩種概率是p和q=1-p的情況的熵，可以這樣命名作為p的函數(shù)繪制在圖7中。量H擁有一些比較關(guān)注的特定，可以進(jìn)一步確認(rèn)其作為選擇性或信息的一種合理測(cè)量方法。H=0，當(dāng)且僅當(dāng)全部的Pi中只有一個(gè)是0，這一個(gè)有值的一致性。因此僅僅當(dāng)我們可以確認(rèn)結(jié)果時(shí)，H才會(huì)消

35、失。否則H是負(fù)數(shù)。對(duì)應(yīng)給定的n，當(dāng)全部的pi相等（例如，1/n）H是最大值且等于logn.從直覺(jué)上將，這是最不確定的情況。圖7 概率是p和(1-p)情況下的熵3.假設(shè)有兩個(gè)事件，x和y，討論第一個(gè)m概率和第二個(gè)n概率的問(wèn)題。設(shè)P(i,j)為第一個(gè)i和第二個(gè)j聯(lián)合發(fā)生概率。這個(gè)聯(lián)合時(shí)間的熵為當(dāng)很顯然只有當(dāng)事件都是獨(dú)立時(shí)才是相等的(例如P(i,j)=P(i)P(j)。一個(gè)聯(lián)合時(shí)間的不確定度小于等于單個(gè)不確定度的和任何使得概率P1,P2,. ,Pn均等的變化都會(huì)增加H。因此，如果P1P2，我們?cè)黾覲1，減小P2一個(gè)相等的數(shù)量，會(huì)使P1和P2更加接近，則會(huì)使H增大。更普遍的是， 如果我們以這樣一個(gè)形式

36、對(duì)pi進(jìn)行一個(gè)“平均化”的操作：這里的，所有的aij0，那么H會(huì)增大（除了一種特殊情，這里的轉(zhuǎn)換數(shù)量不超過(guò)為了保持不變H的pj的轉(zhuǎn)置）假設(shè)在第3中有兩個(gè)可能時(shí)間，不一定是獨(dú)立的。對(duì)于任何特殊值i，x可以建設(shè)有一個(gè)條件概率pi(j)，y對(duì)應(yīng)的是值j。給出一個(gè)我們可以定義y的條件熵，作為對(duì)于每個(gè)x值的y的熵的平均。根據(jù)得到特定x的概率加權(quán)?？傻茫寒?dāng)我們知道x的時(shí)候，我們可用過(guò)其平均值來(lái)獲取y的不確定性量得測(cè)量值。代替Pi(j)的值，可以得到：或者當(dāng)x已知，聯(lián)合時(shí)間x,y的不確定度（熵）是x不確定度和y不確定度的和。從第3到第5，我們可以得到因此通過(guò)知道x,不會(huì)使y的不確定性增加。在這種情下，那么一

37、定會(huì)使y不確定度減小，除非x和y不是獨(dú)立的事件1.6一個(gè)信息源的熵考慮以上的一個(gè)有限狀態(tài)樂(lè)行的離散源。對(duì)于每種可能的狀態(tài)i,擁有產(chǎn)生各種可能碼元j的可能性pi(j)的集合。這個(gè)源的熵可以定義為依照問(wèn)題中狀態(tài)發(fā)生可能性而決定的Hi的加權(quán)的平均值。這是文檔中每個(gè)符號(hào)的熵。如果馬爾科夫過(guò)程以一個(gè)明確的時(shí)間速率而產(chǎn)生，這也是一個(gè)熵/符號(hào)這里的fi是狀態(tài)i的平均頻率（發(fā)生次數(shù)/秒）。顯然，這里的m是每秒鐘產(chǎn)生的碼元的平均數(shù)。H或H通過(guò)每碼元或每秒由源產(chǎn)生的信息數(shù)量。如果對(duì)數(shù)的底是2，他們將代表比特每碼元或每秒。如果連續(xù)的符號(hào)是獨(dú)立的，那么H是簡(jiǎn)化的，這里的Pi是符號(hào)i的可能性。假設(shè)在這種狀態(tài)下，我們討論

38、一個(gè)N個(gè)符號(hào)的長(zhǎng)信息。包含了一些較高概率關(guān)于第一個(gè)符號(hào)的p1N發(fā)生次數(shù)，第二個(gè)符號(hào)的p2N發(fā)生次數(shù)，等等。因此，這個(gè)特殊信息的可能性可以粗略表示為或者H近似是一個(gè)被分為一系列符號(hào)的典型長(zhǎng)序列的可能性的倒數(shù)的對(duì)數(shù)值。對(duì)于任何源，結(jié)果都是一致的。狀態(tài)更加精密的話，我們可以這樣做（見(jiàn)附錄3）：定理3：假設(shè)任何0和0，我們可以找到一個(gè)No以至于任何長(zhǎng)度NNo分為兩類：總概率小于的集合；其余的，所有的成員有概率滿足不等式 換句話說(shuō)，當(dāng)N很大時(shí)，我們幾乎可以肯定接近于N。一個(gè)密切相關(guān)結(jié)果處理各種概率的序列的數(shù)目。再次考慮長(zhǎng)度為N的序列，讓它們按遞減的概率排列。我們定義n(q)為這樣數(shù)字，我們必須從這個(gè)集合

39、中最大一個(gè)概率開(kāi)始，為了累計(jì)總概率q而采取這些措施。定理4：當(dāng)q不等于0或1時(shí)當(dāng)我們僅僅考慮總概率q的最大可能性的序列，我們可以解釋logn(q)作為滿足指標(biāo)序列的比特?cái)?shù)。那么滿足指標(biāo)的比特/碼元的數(shù)目。定理闡述對(duì)于大N值，這個(gè)是q獨(dú)立的且等于H。不管我們對(duì)“合理的可能性”如何解釋，合理的可能序列的數(shù)目的對(duì)數(shù)的增長(zhǎng)率是由H給出。對(duì)于這些結(jié)果，在附錄3中有證明。處理長(zhǎng)序列最有可能方法是，他們有2HN種可能性，每一種可能性為2-HN。下面兩個(gè)定理說(shuō)明了H和H可以通過(guò)直接從消息序列的統(tǒng)計(jì)中限制操作來(lái)確定， 不需要參考狀態(tài)和兩個(gè)轉(zhuǎn)臺(tái)間的轉(zhuǎn)移概率。定理5：設(shè)p(Bi)為從源發(fā)出的一個(gè)序列Bi的可能性。設(shè)

40、：這里總和是包含N個(gè)碼元的全部序列Bi。那么GN是一個(gè)N的單調(diào)遞增函數(shù)，定理6：設(shè)為跟隨碼元Sj之后的序列Bi的可能性，pBi(Sj)=p(Bi,Sj)/p(Bi)是一個(gè)Bi后的Sj的條件概率。設(shè)這里是N-1個(gè)碼元的全部碼塊Bi和全部碼元Sj的和。那么FN是N的單調(diào)遞增函數(shù)，而且這些結(jié)果來(lái)自于附錄3.這個(gè)表明一系列H近似值可以通過(guò)僅僅考慮拓展覆蓋1,2,N的碼元序列的統(tǒng)計(jì)結(jié)構(gòu)來(lái)獲得。FN是最好的近似值。實(shí)際上，F(xiàn)N是上述被討論這種類型源的第N階近似值。如果統(tǒng)計(jì)影響沒(méi)有超過(guò)N個(gè)碼元，那么也就是說(shuō)，如果知道下一個(gè)符號(hào)的條件概率，通過(guò)之前的不變的先驗(yàn)知識(shí)就會(huì)知道就知道前面的（n-1）個(gè)概率，那么FN

41、=H。當(dāng)知道前面（N-1）個(gè)先驗(yàn)知識(shí)，源的FN就是下一個(gè)碼元的條件概率，而GN是N個(gè)碼元塊的熵/碼元。將被限制在同一個(gè)碼元的一個(gè)源熵與其最大值的比，這個(gè)被稱之為“相對(duì)熵”。當(dāng)我們編碼成同一個(gè)字母時(shí)，這個(gè)壓縮可能是最大的。1減去相對(duì)熵就是冗余。不考慮統(tǒng)計(jì)結(jié)構(gòu)覆蓋超過(guò)八個(gè)字母的距離，普通的影響冗余度大約是50%。這意味當(dāng)你寫(xiě)英語(yǔ)的時(shí)候，所寫(xiě)的內(nèi)容一般是有語(yǔ)言結(jié)構(gòu)所決定的，一半是自由地。數(shù)字50%可用通過(guò)三種獨(dú)立的算法獲得，而且給出結(jié)果都在這個(gè)值附近。第一種是用英語(yǔ)的近似值的熵來(lái)計(jì)算的。第二種方法是從一些英語(yǔ)文檔中樣本中刪去一些字母特定部分并且試圖恢復(fù)它們。如當(dāng)50%被刪掉的冗余可以被恢復(fù)，這個(gè)肯定

42、超過(guò)50%。第三種方法依據(jù)于密碼學(xué)中的某些已知結(jié)論。英文散文中的兩個(gè)極端冗余的代表是基本英語(yǔ)和james joyce的書(shū)芬尼根守靈夜?；A(chǔ)英語(yǔ)詞匯限制在850個(gè)單詞，冗余很高。這反映在當(dāng)段落被翻譯成基本英語(yǔ)時(shí)發(fā)生的擴(kuò)展。另一方面，喬伊斯擴(kuò)大詞匯量，并聲稱實(shí)現(xiàn)了語(yǔ)義內(nèi)容的壓縮。語(yǔ)言的冗余與縱橫字謎的存在有關(guān)。如果冗余為零，任何字母序列都是語(yǔ)言中的合理文本，任何二維字母數(shù)組都構(gòu)成一個(gè)縱橫字謎。如果冗余太高，語(yǔ)言限制太多的大型填字游戲是有可能的。一個(gè)更詳細(xì)的分析表明，如果我們假設(shè)語(yǔ)言的約束是一個(gè)相當(dāng)混亂和隨機(jī)的性質(zhì)，當(dāng)冗余為50%時(shí)，大型的填字游戲是有可能的。如果冗余是30%，三維縱橫字謎也是有可能

43、的，等。1.7解碼和編碼操作陳述我們可以用數(shù)學(xué)來(lái)表征發(fā)射機(jī)對(duì)信息的編碼和接收機(jī)對(duì)信息的解碼的操作性能。他們中任一個(gè)都被稱之為離散傳感器。傳輸器的輸入是輸入一個(gè)輸入碼元的序列，它的數(shù)學(xué)是輸出碼元的序列。傳感器擁有一個(gè)內(nèi)部記憶存儲(chǔ)器，以至于輸出不但依據(jù)當(dāng)前的輸入碼元，還依據(jù)過(guò)去的歷史。我們假設(shè)內(nèi)部記憶存儲(chǔ)器是有限的，例如，傳輸器存在有有限個(gè)數(shù)目m個(gè)可能狀態(tài)。它的輸出是一個(gè)當(dāng)前狀態(tài)和過(guò)去輸入碼元的函數(shù)。下一個(gè)狀態(tài)將是第二個(gè)這么兩個(gè)量的函數(shù)。因此，一個(gè)傳輸器可以用兩個(gè)函數(shù)來(lái)描述：yn=f(xn,n)n=g(xn,n)這里的xn是第n個(gè)輸入碼元；n是當(dāng)?shù)趎個(gè)碼元輸入是，傳輸器的狀態(tài)；yn是當(dāng)xn輸入時(shí)，

44、如果狀態(tài)為n所所產(chǎn)生的輸出碼元（輸出碼元序列）。如果一個(gè)傳輸器的輸出符號(hào)可以用第二個(gè)輸入符號(hào)來(lái)描述，它們可以串聯(lián)連接，其結(jié)果也是一個(gè)傳輸器。如果存在第二個(gè)傳輸器，其工作在第一個(gè)輸出端并恢復(fù)原始輸入。第一個(gè)傳輸器將被稱為非奇異的，第二個(gè)將被稱為它的逆。 定理7：由有限狀態(tài)統(tǒng)計(jì)源驅(qū)使的有限狀態(tài)傳輸器的輸出是一個(gè)有限狀態(tài)統(tǒng)計(jì)源，熵（每單位時(shí)間）小于或等于輸入。如果傳感器是非奇異的，它們是相等的。設(shè)代表源的狀態(tài)，源才生碼元xi的序列；設(shè)代表傳輸器的狀態(tài)，產(chǎn)生輸出的是碼元yi塊。聯(lián)合系統(tǒng)代表（，）對(duì)的“積狀態(tài)空間”。空間（1，1）和（2，2）的點(diǎn)通過(guò)一條線鏈接，如果1產(chǎn)生一個(gè)x設(shè)1轉(zhuǎn)化為2。這種情況下，

45、這條線給出了x的概率。這條線標(biāo)識(shí)為傳輸器產(chǎn)生碼元yi塊。輸出的熵可以用全部狀態(tài)加權(quán)和來(lái)計(jì)算。如果我們首先在上求每個(gè)所得項(xiàng)小于或等于相應(yīng)的項(xiàng)，因此熵不增加。如果傳輸器是非奇異的，設(shè)其輸出鏈接到逆的傳輸器。如果H1，H2和H3是源輸出的熵，第一和第二傳輸器各自的，那么H1H2H3=H1，因此H1=H2。假設(shè)我們有約束一個(gè)關(guān)于可能的序列類型的系統(tǒng)，可以用圖2所示的線性圖來(lái)表示。如果概率pij(S)被分配到不同的線路連接狀態(tài)i和狀態(tài)j，這將變成一個(gè)源。有一個(gè)特定的任務(wù)就是最大化產(chǎn)生的熵（見(jiàn)附錄4）。定理8：設(shè)約束的系統(tǒng)考慮作為一個(gè)擁有一個(gè)容量C =log的通道。如果我們指派這里的l(s)ij是第S個(gè)碼

46、元從狀態(tài)i到狀態(tài)j的持續(xù)時(shí)間，Bi滿足那么H是最大的，且等于C。通過(guò)適當(dāng)分配的轉(zhuǎn)移概率，在一個(gè)信道的碼元的熵的信道容量最大的。1.8無(wú)噪聲信道的基礎(chǔ)理論現(xiàn)在，我們將證明我們的關(guān)于H的解釋是信息產(chǎn)生率的，證明H需要最有效的編碼決定了信道容量。定理9：設(shè)一個(gè)源擁有熵H（比特每碼元），一個(gè)信道擁有容量C（比特每秒）。然后，可以以這樣的方式對(duì)信源的輸出進(jìn)行編碼，在通道里以C/H-平均速率傳輸，這里的是任意小。以大于C/H的平均速率發(fā)射是不可能的。定理的相反部分，不會(huì)超過(guò)C/H?？梢宰C明，每秒鐘的信道輸入熵H等于信源的熵H，因?yàn)榘l(fā)射必須是非奇異的。這個(gè)熵也不能超過(guò)信道容量。因此，HC，碼元數(shù)量每秒=H/

47、HC/H.定理的第一部分可用兩種不同方法來(lái)證明。第一種方法考慮的是這個(gè)源產(chǎn)生N個(gè)碼元的全部序列的集合。對(duì)于N，我們可以將這些分為兩組，一個(gè)包含小于2（H+）N元素，第二包含小于2（H+）N元素（這里的R是不同碼元數(shù)量的對(duì)數(shù)），總概率小于。當(dāng)N增加時(shí)，和接近于0。信道中持續(xù)時(shí)間T的信號(hào)數(shù)量超過(guò)2(C-)T 伴隨著當(dāng)T大時(shí)而小。如果我們選擇當(dāng)N和T足夠大時(shí)（但?。┣疫€有一些附加條件，那么對(duì)于高概率的組來(lái)說(shuō)信道碼元序列的數(shù)量將是足夠的。高概率的組將隨意地被一對(duì)一的方式編碼成到這個(gè)集合。剩余的序列可以較大數(shù)列來(lái)表示。對(duì)于高概率的組，不會(huì)使用開(kāi)始和結(jié)尾的序列。對(duì)于不同編碼，這個(gè)特殊序扮演著開(kāi)始和結(jié)束。對(duì)

48、于所有低概率消息，充足的時(shí)間可以給予給足夠的不同的序列。這里要求：這里的很小。以碼元每秒發(fā)射的平均速射可以更大一些隨著N的增加，和接近如0，速率接近于C/H。執(zhí)行此編碼另外一種方法，并由此證明定理可以如下描述：以逐步概率的次序來(lái)排列碼長(zhǎng)為N的消息，想要它們的概率是P1P2P3Pn。設(shè)，Ps是概率累加到到最大，但是不包括Ps。我們首先編碼成一個(gè)二進(jìn)制系統(tǒng)。通過(guò)將Ps擴(kuò)展為二進(jìn)制數(shù)，得到了消息s的二進(jìn)制碼。擴(kuò)展到mS的位，其中mS是整數(shù)滿足:因此，高概率的消息可以用短編碼來(lái)表示，低概率的消息可以用長(zhǎng)編碼來(lái)表示。從這些不等式，我們可得到：PS的代碼將不同于所有后續(xù)的一個(gè)或多個(gè)mS的位。由于所有剩余的

49、Pi是至少比大，因此它們的二進(jìn)制展開(kāi)不同的第一個(gè)mS位。因此，所有的代碼是不同的，它有可能從它的代碼恢復(fù)消息。如果信道序列不是二進(jìn)制數(shù)字的序列，它們可以以任意的方式被描述成二進(jìn)制數(shù)，因此二進(jìn)制代碼被譯成適合于信道的信號(hào)。每個(gè)原始符號(hào)的二進(jìn)制數(shù)字的平均數(shù)H是很容易估計(jì)的。我們可以得到：隨著N增加，GN接近于H，源的熵和H接近于H。我們從這個(gè)里可以看出，當(dāng)僅使用N符號(hào)的有限延遲，是效率低編碼。不需要大于1/N,加上真正的熵H和計(jì)算出的長(zhǎng)度為N序列的熵GN之間的差。因此，超過(guò)理想所需的多余時(shí)間百分比少于 這種編碼方式本質(zhì)上與R.M.Fano獨(dú)立創(chuàng)建編碼方式是一樣的。他的方法是按照概率遞減次序排列碼長(zhǎng)

50、N的消息。這些序列分成概率盡可能相同的兩組。如果第一組的消息，它的二進(jìn)制數(shù)是0，否者為1.類似的，這些組再分成概率盡可能相等兩個(gè)子集合，特定的子集合決定與第二個(gè)的二進(jìn)制數(shù)字。這個(gè)過(guò)程一直持續(xù)到每個(gè)子集合只包含一個(gè)消息。很容易看出，除了細(xì)微的差別（通常在最后一個(gè)數(shù)字），這與上面描述的算術(shù)過(guò)程相同。1.9討論與例子為了獲得從發(fā)電機(jī)到負(fù)載的最大功率傳輸，一般隱去一個(gè)變壓器以致于發(fā)電機(jī)從負(fù)載角度來(lái)是負(fù)載阻抗。這里的情況大致類似。編碼的傳輸器應(yīng)該在統(tǒng)計(jì)意義上源應(yīng)該與信道匹配。 從傳輸器穿過(guò)來(lái)看，應(yīng)具有相同的統(tǒng)計(jì)結(jié)構(gòu)的作為源，最大限度地提高信道中的熵。定理9的內(nèi)容是，雖然一個(gè)確切的匹配是不可能的，我們可以

51、近似它盡可能逼近。 實(shí)際的發(fā)送速率與信道容量C的比值被稱之為編碼系統(tǒng)的效率。當(dāng)然，這等于信道符號(hào)的實(shí)際熵與最大可能熵的比率。在一般情況下，理想或接近理想的編碼需要在發(fā)射機(jī)和接收機(jī)之間有個(gè)一個(gè)長(zhǎng)延遲。我們一直考慮的是無(wú)噪聲情況，這個(gè)延遲的主要功能是是允許合適的概率匹配到相應(yīng)長(zhǎng)度的序列。一個(gè)好的代碼，長(zhǎng)消息的倒數(shù)概率的對(duì)數(shù)必須與相應(yīng)的信號(hào)的持續(xù)時(shí)間成正比。實(shí)際上，除了一小部分長(zhǎng)消息來(lái)說(shuō)，全部都是很小的。如果一個(gè)源只能產(chǎn)生一個(gè)特定的消息，它的熵為零，并且不需要信道。例如，計(jì)算機(jī)進(jìn)行計(jì)算，產(chǎn)生一個(gè)定義沒(méi)有可能的元素的序列的連續(xù)數(shù)字。信道不要“發(fā)送”這個(gè)到另外一個(gè)點(diǎn)。但是，這個(gè)可能不切實(shí)際。在這種情況下

52、，我們可以選擇忽略一些或所有的我們已經(jīng)掌握的統(tǒng)計(jì)知識(shí)。因?yàn)槲覀儤?gòu)建一個(gè)可以發(fā)送任何數(shù)字序列的系統(tǒng)，我們考慮是隨機(jī)序列的數(shù)字。以類似的方式，我們可以選擇使用我們的一些英語(yǔ)的統(tǒng)計(jì)知識(shí)構(gòu)造代碼，但不是所有的。在這種情況下，我們考慮最大熵的源，服從我們希望保留統(tǒng)計(jì)條件。源的熵決定信號(hào)的容量，這是十分必要的。在例子中，僅僅保留的信息是從0,1，.9集合的全部數(shù)字中選擇的。在英語(yǔ)的情況下，可能希望根據(jù)字母頻率使用的統(tǒng)計(jì)知識(shí)來(lái)減小可能性，但沒(méi)有其他。然后，最大熵源的第一個(gè)逼近英語(yǔ)，它的熵決定所需的信道容量。作為一個(gè)簡(jiǎn)單的例子，考慮一些結(jié)果源產(chǎn)生一個(gè)字母序列，選擇從擁有1/2，1/4，1/8，1/8的概率的A

53、，B，C，D中選擇字母的序列，獨(dú)立地選擇連續(xù)碼元。我們有因此，我們可以近似編碼系統(tǒng)，這個(gè)信源以平均7/4比特/碼元進(jìn)行二進(jìn)制編碼。這種情況，我們實(shí)際上可以通過(guò)以下代碼實(shí)現(xiàn)限制值(通過(guò)定理9的第二證明的方法得到):用于編碼N個(gè)碼元的序列的二進(jìn)制數(shù)的平均數(shù)目是比較容易看出，0,1二進(jìn)制擁有1/2，1/2的概率，因此，對(duì)于編碼序列，H是1bite/碼元。因此，平均來(lái)說(shuō)，我們擁有7/4二級(jí)制碼元每原始字母，時(shí)間基礎(chǔ)上的熵是相同的。當(dāng)A，B，C，D擁有概率1/4，1/4，1/4，1/4時(shí)，對(duì)于初始集合的最大可能熵是log4=2。因此，相對(duì)熵是7/8。我們可以將二進(jìn)制序列翻譯成以一個(gè)2到1基礎(chǔ)的碼元的初始

54、集合，如下表所示：這兩個(gè)過(guò)程，沒(méi)有以平均壓縮率7/8將原始信息編碼成相同的碼元。作為第二個(gè)例子，考慮一個(gè)源，其產(chǎn)生概率p的A和以概率q的B序列。如果pq，我們可得到在這在情況下，可以在一個(gè)0,1信道上構(gòu)建一個(gè)消息良好的編碼來(lái)發(fā)送一個(gè)特殊序列。比如說(shuō)0000，用于低頻率碼元A，這個(gè)序列表明跟蹤其后B的數(shù)量。這個(gè)可以用包含有已經(jīng)刪除特殊序列全部數(shù)字的二進(jìn)制數(shù)來(lái)表示。全部數(shù)字高達(dá)16依然可以代表。16可用下一個(gè)二進(jìn)制數(shù)來(lái)代表，后面16進(jìn)制數(shù)不能包含4個(gè)零，也就說(shuō)17=10001，等。這個(gè)可以表明如果特殊序列的長(zhǎng)度能適當(dāng)調(diào)整的，p0編碼接近于理想條件。2離散噪聲系統(tǒng)2.1噪聲離散信號(hào)的表述我們現(xiàn)在考慮

55、一下在傳輸過(guò)程中或者其他終端中存在有噪聲干擾信號(hào)的情況。這意味著傳輸信號(hào)并不一定與發(fā)射機(jī)發(fā)出的信號(hào)一樣。這兩個(gè)情況是有差異的。如果一個(gè)特殊發(fā)射信號(hào)總是產(chǎn)生相同的接收信號(hào)，例如，接收信號(hào)是發(fā)射信號(hào)的明確函數(shù)，這種影響被稱之為失真。至少上從原理上來(lái)講，失真只能通過(guò)對(duì)接收信號(hào)進(jìn)行逆函數(shù)運(yùn)算來(lái)校正。感興趣的情況是，在傳輸現(xiàn)在中的信號(hào)的變化并不總是一樣的。這種情況，我們可以假設(shè)接收信號(hào)E是發(fā)射信號(hào)S和噪聲N的函數(shù)。正如上面的信號(hào)，噪聲被認(rèn)為是一種隨機(jī)變量。一般來(lái)說(shuō)，它可以用一個(gè)合適的隨機(jī)過(guò)程來(lái)描述。大多數(shù)噪聲離散信道的種類，我們可以認(rèn)為是先前描述的有限狀態(tài)無(wú)噪聲信道的總結(jié)。我們假設(shè)有限數(shù)量的狀態(tài)和概率集

56、合這是概率，如果信道是狀態(tài)是且發(fā)射的碼元i，接收碼元是j且信道狀態(tài)是左邊的。因此，和覆蓋可能狀態(tài)，i覆蓋可能發(fā)射信號(hào)且j覆蓋可能接收信號(hào)。在這種情況下，僅僅在一種狀態(tài)下，連續(xù)碼元獨(dú)立地被噪聲干擾。信道用轉(zhuǎn)移概率pi(j)的集合來(lái)描述，發(fā)送碼元概率是i，接收碼元概率為j。如果一個(gè)源注入一個(gè)噪聲信道，那么在這個(gè)過(guò)程中有兩個(gè)統(tǒng)計(jì)過(guò)程：源和噪聲。因此，我們可以計(jì)算出一些熵。首先，存在有源的熵H(x)或者輸入給信道的熵（如果發(fā)射機(jī)不是奇異的，那么這些商是相等的）。例如，信道輸出的熵，接收信號(hào)可以用H(y)來(lái)標(biāo)注。在無(wú)噪聲情況下，H(y)=H(x)。輸入與輸出的聯(lián)合熵是H(xy)。最后。有兩個(gè)條件熵Hx(

57、y)和Hy(x)，當(dāng)輸入是已知的且可逆的，輸出的熵。在這些量匯總，我們可以獲得以下關(guān)系：所有的熵都以每秒或每碼元為基礎(chǔ)上可以測(cè)量到。2.2疑義度和信道容量如果信道存在有噪聲，一般不可能重構(gòu)消息或在接收信號(hào)上的任何操作都能確定地傳輸信號(hào)。然而，存在有對(duì)付噪聲最優(yōu)化的信息發(fā)送方法。我們現(xiàn)在考慮這個(gè)問(wèn)題。假設(shè)有兩種可能的碼元0和1，我們可以為p0=p1=1/2的概率，1000碼元每秒的速率發(fā)送信息。因此，我們的源以1000比特每秒速率產(chǎn)生信息。在發(fā)送期間，噪聲產(chǎn)生誤差，以致于，平均上發(fā)送100接收有1個(gè)錯(cuò)誤（0當(dāng)做1,或1當(dāng)做0）。信息發(fā)送速率多少多少？由于接收碼元1%是錯(cuò)誤的，可以確定小于1000

58、比特每秒。我們的第一個(gè)沖動(dòng)可能是說(shuō)，速率是990比特每秒，僅僅減去預(yù)期的錯(cuò)誤數(shù)。這是不令人滿意的，因?yàn)樗鼪](méi)有考慮到缺乏接收的錯(cuò)誤發(fā)生的先驗(yàn)知識(shí)。我們可以把進(jìn)到一個(gè)極端的情況，假設(shè)噪音很大，所接收的碼元是完全獨(dú)立于傳輸碼元。無(wú)論發(fā)送什么，接收1的概率是1/2，發(fā)送情況類似。由于可能性是獨(dú)立的，那么有一半的接收碼元是正確的。我們將給予系統(tǒng)的傳輸500比特每秒，而實(shí)際上根本沒(méi)有信息傳輸。獲得同樣“好的”傳輸，可以通過(guò)完全分配信道，且在接收點(diǎn)翻轉(zhuǎn)。顯然，在接收到的信號(hào)中丟失的這些信息的量，或者當(dāng)我們接收到實(shí)際發(fā)送的信號(hào)的不確定性時(shí)，可以采用適用于傳輸?shù)男畔⒘康倪m當(dāng)?shù)男Ｕ?。從我們以前的討論熵作為衡量的?/p>

59、確定性，它似乎是合理的使用條件熵的消息，知道接收到的信號(hào)，作為衡量這個(gè)丟失的信息。這確實(shí)是正確的定義，正如我們將看到的。按照這個(gè)想法的實(shí)際傳輸速率，R，將通過(guò)以下方式，產(chǎn)生（例如，熵的源）速率減去條件熵的平均速率。為方便起見(jiàn)，條件熵Hy(x)可稱為疑義度。這個(gè)可以測(cè)量接收信號(hào)的平均模糊。在上面考慮的例子中，如果一個(gè)0被接收的后驗(yàn)概率為一個(gè)0被發(fā)送是0.99，和一個(gè)1被發(fā)送是0.01。如果收到一個(gè)1，這些數(shù)字是顛倒的，因此或者81比特每秒。我們可以說(shuō)系統(tǒng)以1000-81=919比特每秒的速率來(lái)發(fā)送。極端情況下，一個(gè)0是同樣有可能被接受為0或1，1 類似。后驗(yàn)概率是1/2,1/2或者1000比特每

60、秒。傳輸速率應(yīng)該是0。下面的定理給出了一個(gè)直觀的疑義度的解釋，也有理由證明它作為唯一適當(dāng)?shù)拇胧?。我們考慮一個(gè)通信系統(tǒng)，一個(gè)觀察者（或輔助設(shè)備），能夠看到所發(fā)送的和被恢復(fù)的（由于噪聲引起的錯(cuò)誤）。該觀察者注意到在恢復(fù)的消息中的錯(cuò)誤，并發(fā)送數(shù)據(jù)到接收點(diǎn)在“校正通道”，設(shè)接收器糾正錯(cuò)誤。 這種情況在圖8示意性地表示。 圖8 校正系統(tǒng)示意圖定理10：如果校正信道容量等于Hy(x), 編碼校正數(shù)據(jù)以致于發(fā)送他們覆蓋信道并校正，差不多使誤差的部分任意小，這是可能的。如果信道容量小于Hy(x)，這是不可能的。粗略地講，Hy(x)是一定數(shù)量的額外信息，這些信息在每秒鐘必須在接收點(diǎn)來(lái)提供給校正接收信息。為了證明