信息論基礎(chǔ)知識(shí)第一頁(yè)，共三十九頁(yè)，2022年，8月28日第三章信息論基礎(chǔ)知識(shí)信息與信息技術(shù)信息論與廣義通信系統(tǒng)信息的定量描述連續(xù)信源及最大熵定理信息與熵的守恒定律思考題（作業(yè)）第二頁(yè)，共三十九頁(yè)，2022年，8月28日§3-1信息與信息技術(shù)一、信息的定義信息就是信息，不是物質(zhì)，也不是能量。信息是人和外界互相作用的過(guò)程中互相交換的內(nèi)容的名稱。（美國(guó)：維納）能夠用來(lái)消除不定性的東西。（美國(guó)：山農(nóng)）信息是事物之間的差異，而不是事物本身。

（意大利：朗格）凡是能從過(guò)去的事件中提取出來(lái)用以指導(dǎo)未來(lái)的，便是信息。信息就是事物運(yùn)動(dòng)的狀態(tài)和方式。第三頁(yè)，共三十九頁(yè)，2022年，8月28日§3-1信息與信息技術(shù)二、信息的作用1、信息是一種資源正像物質(zhì)和能量是人類生存和發(fā)展所必須的資源一樣，信息也是一種不可缺少的資源。物質(zhì)提供各種各樣有用的材料；能源提供各種形式的動(dòng)力；而信息向人類所提供的則是無(wú)窮無(wú)盡的知識(shí)和智慧。2、物質(zhì)、能量、信息三者的關(guān)系現(xiàn)代科學(xué)認(rèn)為，物質(zhì)、能量、信息是物質(zhì)世界的三大支柱，是科學(xué)史上三個(gè)最重要的概念，而這三者之間存在著密切的聯(lián)系。物質(zhì)運(yùn)動(dòng)的動(dòng)力是能量，而信息是關(guān)于物質(zhì)運(yùn)動(dòng)狀態(tài)的特征，只要有運(yùn)動(dòng)的事物，就需要有能量，也就會(huì)存在信息。信息是普遍的，因此也可以說(shuō)，信息描述了客觀事物變化的時(shí)空特性，即無(wú)時(shí)不有，無(wú)地不存。第四頁(yè)，共三十九頁(yè)，2022年，8月28日§3-1信息與信息技術(shù)第五頁(yè)，共三十九頁(yè)，2022年，8月28日§3-1信息與信息技術(shù)3．信息的基本性質(zhì)(1)可以識(shí)別：信息可以通過(guò)人的感官直接識(shí)別，也可以通過(guò)各種探測(cè)器間接識(shí)別。(2)可以轉(zhuǎn)換：信息可以從一種形態(tài)轉(zhuǎn)換成另一種形態(tài)，如語(yǔ)言、文字、圖像、圖表等信號(hào)形式；也可以轉(zhuǎn)換成計(jì)算機(jī)代碼及廣播、電視等電信號(hào)，而電信號(hào)和代碼又可以轉(zhuǎn)換成語(yǔ)言、文字、圖像等。(3)可以存貯：人用腦神經(jīng)細(xì)胞存貯信息(稱作記憶)；計(jì)算機(jī)用內(nèi)存貯器和外存貯器存貯信息；錄音機(jī)、錄相機(jī)用磁帶等介質(zhì)存貯信息等。(4)可以傳輸：人與人之間的信息傳遞依靠語(yǔ)言、表情、動(dòng)作；社會(huì)信息的傳輸借助報(bào)紙、雜志、廣播；工程中的信息則可以借助機(jī)械、光、聲、電等傳輸。第六頁(yè)，共三十九頁(yè)，2022年，8月28日§3-1信息與信息技術(shù)三、信息科學(xué)1．信息科學(xué)信息科學(xué)是研究信息現(xiàn)象及其規(guī)律的科學(xué)。包括：信息本身有關(guān)的規(guī)律；有關(guān)利用信息方面的規(guī)律。因此，也可以說(shuō)，信息科學(xué)是關(guān)于如何認(rèn)識(shí)信息以及如何利用信息的科學(xué)。在認(rèn)識(shí)信息方面：建立信息問(wèn)題的完整的數(shù)學(xué)描述方法和定量度量方法；探明信息是怎樣產(chǎn)生的，怎樣識(shí)別、提取、變換、傳遞、檢測(cè)、存貯、檢索、處理和分析信息，研究這些過(guò)程中的基本規(guī)律和關(guān)系。在利用信息方面：主要研究利用信息來(lái)進(jìn)行有效控制和組織最優(yōu)系統(tǒng)的一般原理和方法。認(rèn)識(shí)是基礎(chǔ)，是前提；而利用是結(jié)果，是目的。認(rèn)識(shí)和利用，兩者密切關(guān)聯(lián)，是一個(gè)統(tǒng)一的有機(jī)體。信息科學(xué)的主體結(jié)構(gòu)應(yīng)是信息論、控制論、系統(tǒng)論三者的結(jié)合，而人工智能則是三者的綜合利用。第七頁(yè)，共三十九頁(yè)，2022年，8月28日§3-1信息與信息技術(shù)2．信息科學(xué)的目的和任務(wù)以擴(kuò)展人的信息功能作為主要的研究目標(biāo)，這是信息科學(xué)區(qū)別于其他現(xiàn)代的和傳統(tǒng)的科學(xué)的又一個(gè)根本特點(diǎn)。信息科學(xué)的目的和任務(wù)：在分析、探索和掌握人的信息器官功能的機(jī)制基礎(chǔ)上，運(yùn)用信息科學(xué)提供的原理和方法以及各種技術(shù)(包括機(jī)械、電子、激光、生物等)，綜合出新的人工系統(tǒng)，來(lái)延長(zhǎng)、增強(qiáng)、補(bǔ)充和擴(kuò)展人的信息器官的功能。第八頁(yè)，共三十九頁(yè)，2022年，8月28日§3-1信息與信息技術(shù)四、信息技術(shù)1．信息技術(shù)——凡是可以擴(kuò)展人的信息功能的技術(shù)，都是信息技術(shù)。信息技術(shù)的主體內(nèi)容包括傳感技術(shù)、通信技術(shù)和計(jì)算機(jī)技術(shù)。傳感技術(shù)：主要包括信息的識(shí)別、檢測(cè)、提取、變換以及某些信息處理技術(shù)，它是人的感官功能的擴(kuò)展和延伸。通信技術(shù)：包含信息的變換、傳遞存貯、處理以及某些控制與調(diào)節(jié)技術(shù)，它是人的信息傳輸系統(tǒng)(神經(jīng)系統(tǒng))功能的擴(kuò)展和延長(zhǎng)。計(jì)算機(jī)技術(shù)：主要包括信息的存貯、檢索、處理、分析、產(chǎn)生(決策或稱指令信息)、以及控制等，它是人的信息處理器官(大腦)功能的延長(zhǎng)。第九頁(yè)，共三十九頁(yè)，2022年，8月28日§3-1信息與信息技術(shù)2、信息技術(shù)與新技術(shù)革命——信息技術(shù)、新材料技術(shù)和新能源技術(shù)構(gòu)成了科學(xué)技術(shù)和諧的鼎足結(jié)構(gòu)。微電子技術(shù)是由新材料和信息技術(shù)派生出來(lái)的一門新技術(shù)激光技術(shù)是新能源和信息技術(shù)派生出來(lái)的新技術(shù)生物、海洋和空間技術(shù)是新材料、新能源和信息技術(shù)派生出來(lái)的三門新技術(shù)光導(dǎo)纖維通信和計(jì)算機(jī)技術(shù)是信息技術(shù)的分支。第十頁(yè)，共三十九頁(yè)，2022年，8月28日§3-1信息與信息技術(shù)3、信息技術(shù)與傳統(tǒng)技術(shù)——信息技術(shù)在當(dāng)代整個(gè)技術(shù)體系中，擔(dān)負(fù)著對(duì)傳統(tǒng)技術(shù)進(jìn)行補(bǔ)充、改造和更新的使命。信息技術(shù)在改造傳統(tǒng)工業(yè)方面大有可為，其中最主要的貢獻(xiàn)是實(shí)現(xiàn)工業(yè)生產(chǎn)過(guò)程的自動(dòng)化。第十一頁(yè)，共三十九頁(yè)，2022年，8月28日§3-2信息論與廣義通信系統(tǒng)一、信息論的基本概念信息論源于通信工程，其發(fā)展背景源于通訊系統(tǒng)中的：(1)信息傳輸?shù)男剩?2)信息傳輸?shù)臏?zhǔn)確性；(3)噪聲干擾；(4)信道頻率特性等。實(shí)際上信息論范疇更廣，而通信理論只是信息論中與通信有關(guān)的一部分。通常，對(duì)于信息論有三種理解：狹義信息論，主要研究信息的測(cè)度、信道容量以及信源和信道編碼理論等，這一部分即山農(nóng)信息基本理論；一般信息論，也主要是研究通信問(wèn)題，但包括噪聲理論，信號(hào)濾波與預(yù)測(cè)，信號(hào)調(diào)制與信號(hào)處理等。這一部分理論的代表人是維納和蘇聯(lián)科學(xué)家卡爾莫格洛夫；第十二頁(yè)，共三十九頁(yè)，2022年，8月28日§3-2信息論與廣義通信系統(tǒng)廣義信息論，不僅包括上述內(nèi)容，而且包括與信息有關(guān)的領(lǐng)域，如心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語(yǔ)言學(xué)甚至包括社會(huì)學(xué)中有關(guān)信息的問(wèn)題。將信息論應(yīng)用于工程測(cè)試領(lǐng)域，始于60年代，從信息論觀點(diǎn)出發(fā)，認(rèn)識(shí)測(cè)試技術(shù)領(lǐng)域中的一些問(wèn)題。如：測(cè)試系統(tǒng)實(shí)質(zhì)上就是一個(gè)廣義通信系統(tǒng)；傳感器是一個(gè)信息檢測(cè)與轉(zhuǎn)換裝置，引入熵的概念，作為被觀測(cè)系統(tǒng)不確定性的尺度；基于最大熵定理的最大熵譜分析方法；運(yùn)用山農(nóng)信道容量理論分析測(cè)試系統(tǒng)的最佳信息傳輸條件；運(yùn)用維納濾波理論研究剔除噪聲、提取源信號(hào)的方法；……第十三頁(yè)，共三十九頁(yè)，2022年，8月28日§3-2信息論與廣義通信系統(tǒng)二、廣義通信系統(tǒng)——指所有信息流通的系統(tǒng)。可概括為如圖所示的模型。第十四頁(yè)，共三十九頁(yè)，2022年，8月28日§3-2信息論與廣義通信系統(tǒng)第十五頁(yè)，共三十九頁(yè)，2022年，8月28日§3-2信息論與廣義通信系統(tǒng)工程測(cè)試系統(tǒng)是一個(gè)廣義的通信系統(tǒng)，它符合信息轉(zhuǎn)換、傳輸與分析處理的共同規(guī)律。因此，運(yùn)用廣義信息論去認(rèn)識(shí)、分析工程測(cè)試領(lǐng)域中的問(wèn)題，是符合這一客觀規(guī)律的。第十六頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述一、概述自然科學(xué)通常都應(yīng)作定量的描述，定性描述只能解釋一些現(xiàn)象，即使認(rèn)為能作直觀理解，也是懸而未決的，尚未上升到學(xué)術(shù)水平。出于要從理論上研究信息，就必須對(duì)信息大小作定量描述。山農(nóng)信息理論的貢獻(xiàn)就在于：運(yùn)用概率論與數(shù)理統(tǒng)計(jì)學(xué)方法，對(duì)信息給予了數(shù)學(xué)描述。從而使信息論作為一門科學(xué)建立起來(lái)。因此，信息論被認(rèn)為是第二次世界大戰(zhàn)以后的一門新興科學(xué)。二、信源信源一般是以符號(hào)(或信號(hào))的形式發(fā)出信息。信源的內(nèi)部結(jié)構(gòu)往往很復(fù)雜，例如，人發(fā)出信息，是通過(guò)大腦的思維活動(dòng)，指揮口腔或手以語(yǔ)言或文字的形式表達(dá)出來(lái)的，這是相當(dāng)復(fù)雜的過(guò)程，因此，一般只研究它的輸出，即語(yǔ)言或文字等。語(yǔ)言文字是一種表達(dá)信息的符號(hào)，是物理性的。語(yǔ)言是聲信號(hào)，而文字是光信號(hào)。同一件事情，可用不同語(yǔ)言表達(dá)，也就是同一信息可用不同的編碼方式轉(zhuǎn)換成符號(hào)。第十七頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述對(duì)于工程物理系統(tǒng)，信源就是所研究的客觀事物，或稱為物理過(guò)程。例如，雷達(dá)遙測(cè)系統(tǒng)，被搜尋物在空間的坐標(biāo)、速度、形狀等構(gòu)成了信源，當(dāng)電磁波射向它，反射波中就攜帶著這些信息，故而反射波就是經(jīng)過(guò)編碼的符號(hào)(或信號(hào))。信源的輸出是隨機(jī)的，因?yàn)?，如果事先已?jīng)知道信源的輸出，那么就無(wú)信息可言。正如所研究的物理過(guò)程，它應(yīng)是未知的，這時(shí)才有研究的價(jià)值，信源的輸出常用隨機(jī)變量或隨機(jī)矢量來(lái)描述，或者說(shuō)用概率空間來(lái)描述信源，從隨機(jī)變量出發(fā)來(lái)研究信息量是山農(nóng)信息理論的基本假設(shè)。從概率論可知，隨機(jī)變量可取值于某一離散集合，也可取值于某一連續(xù)區(qū)間，相當(dāng)?shù)男旁捶Q為離散信源及連續(xù)信源。第十八頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述三、離散信源模型離散信源的數(shù)學(xué)模型是離散型概率空間，即：集合中的元素x1，x2，…描述了信源輸出的可能狀態(tài)；各元素的概率P(x1)，P(x2)，…描述了各個(gè)狀態(tài)出現(xiàn)的可能性；狀態(tài)的出現(xiàn)往往是不相容的。第十九頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述例如，擲硬幣，在末拋下之前，可認(rèn)為是一個(gè)未知的物理系統(tǒng)，拋下之后，必須是正、反兩種狀態(tài)之一，其信源模型為：其中P(x1)=P(x2)=0.5表明該系統(tǒng)是等概率事件。此可稱之為先驗(yàn)概率，與人們對(duì)該事物的認(rèn)識(shí)有關(guān)，是根據(jù)歷史或知識(shí)的積累而分析判斷的。用超聲波發(fā)生器檢測(cè)物體內(nèi)部有無(wú)裂紋，超聲波穿透試件后，攜帶著有無(wú)裂紋的信息，經(jīng)過(guò)對(duì)接收的信號(hào)進(jìn)行處理之后，用圖像或數(shù)據(jù)顯示出來(lái)。試件內(nèi)部狀態(tài)構(gòu)成一個(gè)信息源，在未檢測(cè)之前是不清楚的，這是一個(gè)典型的是、非信源，其信源模型為：第二十頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述四、自信息如果信源中某一狀態(tài)發(fā)生的先驗(yàn)概率很小，那么，一旦它發(fā)生，人們獲得的信息量就多，這應(yīng)是很自然的。例如，一臺(tái)機(jī)器，具有正常工作和發(fā)生事故兩種可能狀態(tài)，如果正常工作的概率為P(x1)＝0.99；發(fā)生故障的概率P(x2)＝0.Ol，則可認(rèn)為這臺(tái)機(jī)器一般處于正常工作狀態(tài)。但是，一旦發(fā)生故障，則是一件引人注目的事件。事件發(fā)生的不確定性與事件發(fā)生的概率有關(guān)。事件發(fā)生的概率越小，人們猜測(cè)它有沒(méi)有發(fā)生的因難程度就越大。而事件發(fā)生的概率越大，人們猜測(cè)這件事發(fā)生的成功率就越大，不確定性就越小。對(duì)于發(fā)生概率為l的必然事件，就不存在不確定性。因此，某事件發(fā)生所含有的信息量，應(yīng)該是該事件發(fā)生的先驗(yàn)概率的函數(shù)，即：式中，P(xi)是事件xi發(fā)生的先驗(yàn)概率，I(xi)表示事件xi發(fā)生所含有的信息量。第二十一頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述根據(jù)客觀事實(shí)和人們的習(xí)慣概念，函數(shù)I(xi)應(yīng)滿足以下條件:(1)I(xi)是先驗(yàn)概率P(xi)的單調(diào)遞減函數(shù)，P(xi)越大，I(xi)越小；(2)當(dāng)P(xi)＝1時(shí)，I(xi)＝0，必然事件信息量為零；(3)當(dāng)P(xi)=O時(shí)，I(xi)＝∞，不可能發(fā)生的事件發(fā)生了，其信息量為無(wú)窮大；(4)兩個(gè)獨(dú)立事件的聯(lián)合信息量，等于它們各自信息量之和。顯然，滿足條件(1)、(2)、(3)時(shí)，應(yīng)取信息量I(xi)為先驗(yàn)概率P(xi)的倒數(shù)；滿足條件(4)時(shí)，最好的方法是用對(duì)數(shù)來(lái)定義信息量?！录i發(fā)生時(shí)，該事件所含有的信息量。第二十二頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述因?yàn)镮(xi)描述的是事件xi發(fā)生時(shí)的信息量，故又稱為自信息。I(xi)代表兩種含義：(1)當(dāng)事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性；(2)當(dāng)事件xi發(fā)生以后，表示事件xi所含有(或所提供)的信息量。自信息采用的測(cè)度單位取決于所取對(duì)數(shù)之底:如果以2為底，則所得信息量單位為比特(bit，binaryunit)；以e為底，則為奈特(nat，natureunit的縮寫)；以10為底，則為哈特(Hart，hartley的縮寫)等。一般都采用以2為底的對(duì)數(shù)，因?yàn)楫?dāng)P(xi)＝1／2時(shí)，I(xi)＝1比特，所以，1bit信息量就是兩個(gè)互不相容的等可能事件之一發(fā)生時(shí)，所提供的信息。第二十三頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述五、信息熵自信息I(xi)是指信源(物理系統(tǒng))某一事件xi發(fā)生時(shí)所包含的信息量，物理系統(tǒng)內(nèi)不同事件發(fā)生時(shí)，其信息量不同，所以自信息I(xi)是一個(gè)隨機(jī)變量，它不能用來(lái)作為整個(gè)系統(tǒng)的信息的量度。山農(nóng)定義自信息的數(shù)學(xué)期望為信息熵，即信源的平均信息量。熵的單位是[bit／事件]或[bit／符號(hào)]。信息熵表征了信源整體的統(tǒng)計(jì)特性，是總體的平均不確定性的量度。對(duì)某一特定的信源，其信息熵只有一個(gè)；不同的信源，因統(tǒng)計(jì)特性不同，其熵也不同。第二十四頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述例如，兩個(gè)信源，其概率空間分別為：它們的信息熵為：

H(X)＝-0.99log0.99-0.01log0.01=0.08[bit/事件]H(Y)==0.5log0.5-0.5log0.5=1[bit/事件]H(Y)＞H(X)，說(shuō)明信源Y比信源X的平均不確定性要大，即在事件發(fā)生之前，分析信源Y，由于事件y1、y2是等概率的，難以猜測(cè)哪一個(gè)事件會(huì)發(fā)生；而信源X，雖然也存在不確定性，但大致可以知道，x1出現(xiàn)的可能性要大。第二十五頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述六、信息熵的基本性質(zhì)1.對(duì)稱性當(dāng)概率空間中P(x1)，P(x1)…順序任意互換時(shí)、熵函數(shù)的值不變。例如下面兩個(gè)信源空間：其信息熵H(X)=H(y)。該性質(zhì)說(shuō)明，熵只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，與信源總體的統(tǒng)計(jì)特性有關(guān)。此點(diǎn)也說(shuō)明了所定義的熵有其局限性，它不能描述事件本身的主觀意義。第二十六頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述2.確定性如果信源的輸出只有一個(gè)狀態(tài)是必然的，即P(x1)=1，P(x2)=P(x3)=…＝0，則信源的熵為：這個(gè)性質(zhì)表明，信源的輸出雖有多種不同形態(tài)，但其中一種是必然的，這意味著其他狀態(tài)不可能出現(xiàn)。那么，這個(gè)信源是一個(gè)確知信源，其熵為零。3.非負(fù)性即H(X)＞=0。因?yàn)殡S機(jī)變量X的所有取值的概率分布為0＜P(xi)＜1，當(dāng)取對(duì)數(shù)的底大于1時(shí)，logP(xi)＜0，而-P(xi)logP(xi)＞0，則得到的熵是正值。只有當(dāng)隨機(jī)變量是一確知量時(shí)，熵才等于零。這種非負(fù)性對(duì)于離散信源的熵是合適的，但對(duì)連續(xù)信源的熵來(lái)說(shuō)，這一性質(zhì)并不存在。第二十七頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述4.可加性即統(tǒng)計(jì)獨(dú)立信源X和Y的聯(lián)合信源的熵等于它們各自的熵之和。如果有兩個(gè)隨機(jī)變量X和Y，它們彼此是統(tǒng)計(jì)獨(dú)立的，即X的概率分布為[P(x1)，P(x2)，…，P(xN)]，而Y的概率分布為[P(y1)，P(y2)，…，P(yN)]，則聯(lián)合信源的熵為：可加性是熵函數(shù)的一個(gè)重要特性，正因?yàn)橛锌杉有?，所以可以證明熵函數(shù)的形式是唯一的。第二十八頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述5.極值性信源各個(gè)狀態(tài)為等概率分布時(shí)，熵值最大，并且等于信源輸出狀態(tài)數(shù)。P(x1)=P(x2)=…=P(xN)=1/N時(shí)：信源有兩種狀態(tài)時(shí)，其概率空間為：其H(X)-P(xi)關(guān)系如圖所示。當(dāng)P(xi)=1/2時(shí)，熵有最大值。以上分析表明，對(duì)于具有N個(gè)狀態(tài)的離散信源，只有在信源N個(gè)狀態(tài)等概率出現(xiàn)的情況下，信源熵才能達(dá)到最大值。這也表明，等概率分布信源的平均不確定性最大，這是一個(gè)很重要的結(jié)論，稱為最大離散熵定理。圖3-12還進(jìn)一步說(shuō)明，如果二進(jìn)制信源輸出是確定的，即P(x1)=1，則H(X)=0，此時(shí)表明該信源不提供任何信息；反之，當(dāng)信源輸出為等概率發(fā)生時(shí)，信源的熵達(dá)到最大值，等于1bit信息量第二十九頁(yè)，共三十九頁(yè)，2022年，8月28日§3-3信息的定量描述七、信息熵與熱力學(xué)熵以上把信源的平均信息量定義為熵。熵這個(gè)字來(lái)源于統(tǒng)計(jì)熱力學(xué)，熵字的中文意義是熱量被溫度除所得的商，相同熱量，溫度高則熵小，溫度低則熵大；熵的外文原名是希臘字母拼成的，原意是“轉(zhuǎn)變”的意思，指熱量可以轉(zhuǎn)變?yōu)楣Φ某潭?。熵小則轉(zhuǎn)變程度高，熵大則轉(zhuǎn)變程度低。在通訊系統(tǒng)中，信源的信息熵的定義和熱力學(xué)熵的定義在表達(dá)形式上是相似的，在物理概念上也有一定聯(lián)系。廣義地講，熱力學(xué)的熵是物理系統(tǒng)無(wú)序狀態(tài)的描述，是紊亂程度的測(cè)度。一個(gè)物理系統(tǒng)的熵，可以用系統(tǒng)的微觀狀態(tài)數(shù)的對(duì)數(shù)來(lái)描述。信息熵也可以認(rèn)為是信源紊亂程度的測(cè)度，亦可以用來(lái)表征物理系統(tǒng)運(yùn)動(dòng)狀態(tài)的不確定性，通過(guò)通信收到消息后，消除了這種不確定性，就獲得信息，信息熵也是動(dòng)態(tài)的，如當(dāng)消息通過(guò)系統(tǒng)傳輸?shù)绞招耪吆?，信源的熵要改變。在信息論中，信息熵只?huì)減少，不可能增加，這就是信息熵不增原理。第三十頁(yè)，共三十九頁(yè)，2022年，8月28日§3-4連續(xù)信源及最大熵定理一、連續(xù)信源實(shí)際中，一些信源的輸出常常是時(shí)間和取值都是連續(xù)的信息，即可能出現(xiàn)的狀態(tài)數(shù)是不可數(shù)的無(wú)限值。例如語(yǔ)音信號(hào)x(t)，電視信號(hào)x(xo，yo，t)等，都是時(shí)間的連續(xù)函數(shù)。而且任一時(shí)刻，它們的取值也是連續(xù)的，這時(shí)可用連續(xù)隨機(jī)變量來(lái)描述這些狀態(tài)，這種信源稱為連續(xù)信源。連續(xù)信源的數(shù)學(xué)模型為連續(xù)型的概率空間，即：并滿足其中，R或(a,b)表示數(shù)集區(qū)間，p(x)是隨機(jī)變量x的概率密度函數(shù)。第三十一頁(yè)，共三十九頁(yè)，2022年，8月28日§3-4連續(xù)信源及最大熵定理連續(xù)信源的信息測(cè)度可以用離散信源的信息測(cè)度來(lái)逼近。假定隨機(jī)變量X的概率密度函數(shù)如圖所示，將取值區(qū)間(a，b)分成n個(gè)小區(qū)間，任一小區(qū)間的概率為：這時(shí)離散信源的熵：當(dāng)Δx→0，n

→∞時(shí)，若極限存在，即得到連續(xù)信源的熵：第三十二頁(yè)，共三十九頁(yè)，2022年，8月28日§3-4連續(xù)信源及最大熵定理一般情況下，上式的第一項(xiàng)是定值，而當(dāng)Δx→0時(shí)，第二項(xiàng)趨于無(wú)限大。所以避開(kāi)第二項(xiàng)，定義連續(xù)信源的熵為：二、最大熵定理熵h(x)是概率密度函數(shù)p(x)的函數(shù)，在信息處理過(guò)程中，常常希望求得最大熵，即找出p(x)是什么樣的函數(shù)時(shí)能使連續(xù)信源的熵具有最大值。在離散信源中，已經(jīng)證明，當(dāng)信源的輸出狀態(tài)是等概率分布時(shí)，信源的熵取最大值。在連續(xù)信源中，情況有所不同，當(dāng)各約束條件不同時(shí)，信源的最大相對(duì)熵值不同，有兩種情況。第三十三頁(yè)，共三十九頁(yè)，2022年，8月28日§3-4連續(xù)信源及最大熵定理峰值功率受限條件下信源的最大熵當(dāng)信源輸出信號(hào)的峰值功率受限，即信號(hào)的取值區(qū)間被限定在某一范圍(a,b)之內(nèi)時(shí)，則在限定的范圍內(nèi)，當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)，信源具有最大相對(duì)熵。此式表明，熵是幅值區(qū)間(a，b)的函數(shù)，即在峰值功率受限條件下，幅值區(qū)間越大，則熵值越大。這也說(shuō)明，信號(hào)的波動(dòng)范圍越寬，則系統(tǒng)的不定性程度越大。第三十四頁(yè)，共三十九頁(yè)，2022年，8月28日§3-4連續(xù)信源及最大熵定理平均功率受限條件下信源的最大熵若一個(gè)信源輸出信號(hào)的平均功率有限，則其輸出信號(hào)幅度的概率密度分布是高斯分布時(shí)，信源有最大熵。一維隨機(jī)變量X的概率密度分布為：這個(gè)連續(xù)信源的熵：可見(jiàn)，正態(tài)分布的連續(xù)信源的熵與數(shù)學(xué)期望m無(wú)關(guān)，只與其方差σ2有關(guān)。當(dāng)m=0時(shí)，X的方差就等于信源輸出的平均功率。第三十五頁(yè)，共三十九頁(yè)，2022年，8月28日§3-4連續(xù)信源及最大熵定理這一結(jié)論說(shuō)明，當(dāng)連續(xù)信源輸出信號(hào)的平均功率受限時(shí)，只有信號(hào)的統(tǒng)計(jì)特性與高斯噪聲的統(tǒng)計(jì)特性一樣時(shí)，才會(huì)有最大的熵值。從物理意義上解釋這是合理的，因?yàn)樵肼暿且粋€(gè)最不確定的隨機(jī)過(guò)程，而最大的信息量只能從最不確定的事件中獲得。為什么在平均功率受限條件下正態(tài)分布信源的熵最大，亦可作如下解釋。當(dāng)限制平方平均值時(shí)，由于大的幅值x平方后變得更大，因此出現(xiàn)的次數(shù)不可能太多，所以x值愈增大，出現(xiàn)的概率就愈小，而且對(duì)于x的正