連續(xù)信源的熵與互信息量演示文稿當前1頁，總共36頁。（優(yōu)選）連續(xù)信源的熵與互信息量當前2頁，總共36頁。離散無記憶信源：H∞(X)=HL(X)=H(X)

離散有記憶信源：H∞(X)≤HL(X)≤H(X)Review離散信源序列的熵

信源的序列熵：當前3頁，總共36頁。Review離散信源的互信息當前4頁，總共36頁。系統(tǒng)1系統(tǒng)2XYZ兩級串聯(lián)信道的情況X-Y-Z構成Markov鏈當消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。數(shù)據(jù)處理定理Review當前5頁，總共36頁。連續(xù)信源的熵與互信息量第四講當前6頁，總共36頁。

輸出消息取值上連續(xù)的信源，如語音，電視等，對應的數(shù)學工具為連續(xù)型隨機變量或隨機過程。連續(xù)信源輸出的狀態(tài)概率用概率密度來表示。

連續(xù)信源的數(shù)學模型當前7頁，總共36頁?？紤]一個定義在[a,b]區(qū)間的連續(xù)隨機變量，如下圖

首先把X的取值區(qū)間[a,b]等分割為n個小區(qū)間，小區(qū)間寬度為

△=(b-a)/n，根據(jù)概率分布與概率密度曲線區(qū)間面積的關系x取值為第i個小區(qū)間xi的概率為p(xi).△,

xi為小區(qū)間xi中的一點，于是得到分割后的離散信源Xn的概率源空間為：

p(x)

p(xi)△

a0xibx

連續(xù)信源的熵？當前8頁，總共36頁。其中按離散信源熵的定義當△→0，n→∞時，Xn接近于連續(xù)隨機變量X，這時可得連續(xù)信源的熵為：絕對熵相對熵x1x2…xnp(x1)△p(x2)△…p(xn)△當前9頁，總共36頁。定義:連續(xù)隨機變量的相對熵為

1)相對熵為絕對熵減去一個無窮大量；2)相對熵不具有非負性，可以為負值；

4)連續(xù)信源的絕對熵為一個無窮大量，但當分析互信

息量時是求兩個絕對熵的差，當采用相同的量化過

程時，兩個無窮大量將被抵消，因而采用相對熵不

影響分析互信息。3)相對熵不等于一個消息狀態(tài)具有的平均信息量；連續(xù)信源的相對熵當前10頁，總共36頁。定義：連續(xù)隨機變量的聯(lián)合熵為

定義：連續(xù)隨機變量的條件熵為連續(xù)信源的相對熵當前11頁，總共36頁。連續(xù)隨機變量的聯(lián)合熵、條件熵和互信息之間關系連續(xù)信源的互信息定義：連續(xù)隨機變量的平均互信息量為當前12頁，總共36頁。連續(xù)隨機變量的聯(lián)合平均互信息量連續(xù)信源的互信息連續(xù)隨機變量的條件平均互信息量當前13頁，總共36頁。連續(xù)隨機變量X與離散隨機變量Y聯(lián)合聯(lián)合熵、條件熵連續(xù)信源的熵與平均互信息量連續(xù)隨機變量X與離散隨機變量Y的平均互信息量當前14頁，總共36頁。例題令X是在區(qū)間(a，b)上均勻分布的隨機變量，求X的相對熵。解：x的概率密度為

注意:連續(xù)變量的微分熵不具有非負性當b－a>1時，

b－a<1時，

b－a=1時，當前15頁，總共36頁。例令X是數(shù)學期望為m，方差為的正態(tài)隨機變量，求它的熵。解：正態(tài)隨機變量x的概率密度它的值視的大小可正、可負或零，且與數(shù)學期望無關。當前16頁，總共36頁。均勻分布的連續(xù)信源的熵：高斯分布的連續(xù)信源的熵：連續(xù)熵實例僅與區(qū)域的邊界有關與數(shù)學期望無關，僅與方差有關當前17頁，總共36頁。設pXY是(xy)二維高斯概率密度函數(shù)求X與Y的平均互信息。連續(xù)熵實例當前18頁，總共36頁。例X和Y

的一維概率密度函數(shù)容易求得為當前19頁，總共36頁。X和Y之間的平均互信息由定義有

奈特

表明，兩個高斯變量之間的互信息只與相關系數(shù)有關，而與數(shù)學期望及方差和無關。

當前20頁，總共36頁。例:設原連續(xù)隨機變量X是數(shù)學期望為m，方差為的正態(tài)隨機變量，經(jīng)一個放大倍數(shù)為k的放大器放大輸出為Y,求Y的相對熵。解：y=kx為數(shù)學期望為km，方差為的正態(tài)隨機變量，

注意:相對熵值通過線性放大器后發(fā)生變化.

當前21頁，總共36頁。指數(shù)分布的連續(xù)信源的熵：連續(xù)熵實例當前22頁，總共36頁。連續(xù)熵可為負值（為什么？連續(xù)熵的相對性所致）可加性平均互信息的非負性，對稱性，信息處理定理最大連續(xù)熵定理連續(xù)熵的性質當前23頁，總共36頁。峰值功率受限的最大熵定理若連續(xù)隨機變量X的峰值不超過M，即X限于(-M,M)內取值，則X的相對熵當且僅當X為均勻分布時等號成立。平均功率受限的最大熵定理若連續(xù)隨機變量X的方差為一定，則X服從正態(tài)分布時的相對熵最大，即連續(xù)信源與離散信源不同，1)它不存在絕對最大熵;2)其最大熵與信源的限制條件有關。最大連續(xù)熵定理當前24頁，總共36頁。峰值功率受限的最大熵定理

若連續(xù)隨機變量X的峰值不超過M，即X限于(-M,M)內取值，則X的相對熵當且僅當X為均勻分布時等號成立。平均功率受限的最大熵定理若連續(xù)隨機變量X的方差為一定，則X服從正態(tài)分布時的相對熵最大，即最大連續(xù)熵定理當前25頁，總共36頁。證明：應用拉格朗日乘因子法，首先構造函數(shù)由相對熵定義，可得當且僅當時，等號成立。將其代入約束條件可得，則有于是有X∈

(-M,M)當前26頁，總共36頁。峰值功率受限的最大熵定理若連續(xù)隨機變量X的峰值不超過M，即X限于(-M,M)內取值，則X的相對熵當且僅當X為均勻分布時等號成立。平均功率受限的最大熵定理

若連續(xù)隨機變量X的方差為一定，則X服從正態(tài)分布時的相對熵最大，即最大連續(xù)熵定理當前27頁，總共36頁。證明：考慮到約束條件應用拉格朗日乘因子法計算極大值當且僅當時，等號成立。將其代入兩個約束條件，即可求得和于是有X的方差一定當前28頁，總共36頁。均值受限的最大熵定理若連續(xù)隨機變量X非負的均值為M，則X服從指數(shù)分布時的相對熵最大，即最大連續(xù)熵定理當前29頁，總共36頁。當平均功率受限時，高斯分布信源的熵最大，若令其平均功率為，則其熵為熵功率若平均功率為的信源具有熵為HC(X)，則稱熵為HC(X)的高斯信源的平均功率為熵功率若另一信源的平均功率仍為，則它的熵一定小于當前30頁，總共36頁。連續(xù)信源的剩余度平均功率受限時，一般信源的熵小于高斯分布信源的熵，所以信號的熵功率總小于信號的實際平均功率。熵功率的大小可以表示連續(xù)信源剩余的大小。信號平均功率和熵功率之差，稱為連續(xù)信源的剩余度。當前31頁，總共36頁。思考:設X和Y為連續(xù)隨機變量，且X的概率密度為條件概率密度為其中－∞

<

x，y<∞。