連續(xù)信源的熵與互信息量第一頁，共三十八頁，編輯于2023年，星期二Review離散信源的非平均自信息與熵離散隨機(jī)變量的非平均自信息：離散信源的平均自信息即熵：擴(kuò)展第二頁，共三十八頁，編輯于2023年，星期二離散無記憶信源：H∞(X)=HL(X)=H(X)

離散有記憶信源：H∞(X)≤HL(X)≤H(X)Review離散信源序列的熵

信源的序列熵：第三頁，共三十八頁，編輯于2023年，星期二Review離散信源的互信息第四頁，共三十八頁，編輯于2023年，星期二系統(tǒng)1系統(tǒng)2XYZ兩級串聯(lián)信道的情況X-Y-Z構(gòu)成Markov鏈當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。數(shù)據(jù)處理定理Review第五頁，共三十八頁，編輯于2023年，星期二連續(xù)信源的熵與互信息量第四講第六頁，共三十八頁，編輯于2023年，星期二

輸出消息取值上連續(xù)的信源，如語音，電視等，對應(yīng)的數(shù)學(xué)工具為連續(xù)型隨機(jī)變量或隨機(jī)過程。連續(xù)信源輸出的狀態(tài)概率用概率密度來表示。

連續(xù)信源的數(shù)學(xué)模型第七頁，共三十八頁，編輯于2023年，星期二考慮一個定義在[a,b]區(qū)間的連續(xù)隨機(jī)變量，如下圖

首先把X的取值區(qū)間[a,b]等分割為n個小區(qū)間，小區(qū)間寬度為

△=(b-a)/n，根據(jù)概率分布與概率密度曲線區(qū)間面積的關(guān)系x取值為第i個小區(qū)間xi的概率為p(xi).△,

xi為小區(qū)間xi中的一點(diǎn)，于是得到分割后的離散信源Xn的概率源空間為：p(x)

p(xi)△

a0xibx

連續(xù)信源的熵？第八頁，共三十八頁，編輯于2023年，星期二其中按離散信源熵的定義當(dāng)△→0，n→∞時，Xn接近于連續(xù)隨機(jī)變量X，這時可得連續(xù)信源的熵為：絕對熵相對熵x1x2…xnp(x1)△p(x2)△…p(xn)△第九頁，共三十八頁，編輯于2023年，星期二定義:連續(xù)隨機(jī)變量的相對熵為

1)相對熵為絕對熵減去一個無窮大量；2)相對熵不具有非負(fù)性，可以為負(fù)值；4)連續(xù)信源的絕對熵為一個無窮大量，但當(dāng)分析互信息量時是求兩個絕對熵的差，當(dāng)采用相同的量化過程時，兩個無窮大量將被抵消，因而采用相對熵不影響分析互信息。3)相對熵不等于一個消息狀態(tài)具有的平均信息量；連續(xù)信源的相對熵第十頁，共三十八頁，編輯于2023年，星期二定義：連續(xù)隨機(jī)變量的聯(lián)合熵為

定義：連續(xù)隨機(jī)變量的條件熵為連續(xù)信源的相對熵第十一頁，共三十八頁，編輯于2023年，星期二連續(xù)隨機(jī)變量的聯(lián)合熵、條件熵和互信息之間關(guān)系連續(xù)信源的互信息定義：連續(xù)隨機(jī)變量的平均互信息量為第十二頁，共三十八頁，編輯于2023年，星期二連續(xù)隨機(jī)變量的聯(lián)合平均互信息量連續(xù)信源的互信息連續(xù)隨機(jī)變量的條件平均互信息量第十三頁，共三十八頁，編輯于2023年，星期二連續(xù)隨機(jī)變量X與離散隨機(jī)變量Y聯(lián)合聯(lián)合熵、條件熵連續(xù)信源的熵與平均互信息量連續(xù)隨機(jī)變量X與離散隨機(jī)變量Y的平均互信息量第十四頁，共三十八頁，編輯于2023年，星期二例題令X是在區(qū)間(a，b)上均勻分布的隨機(jī)變量，求X的相對熵。解：x的概率密度為

注意:連續(xù)變量的微分熵不具有非負(fù)性當(dāng)b－a>

1時，

b－a<1時，

b－a=1時，第十五頁，共三十八頁，編輯于2023年，星期二例令X是數(shù)學(xué)期望為m，方差為的正態(tài)隨機(jī)變量，求它的熵。解：正態(tài)隨機(jī)變量x的概率密度它的值視的大小可正、可負(fù)或零，且與數(shù)學(xué)期望無關(guān)。第十六頁，共三十八頁，編輯于2023年，星期二均勻分布的連續(xù)信源的熵：高斯分布的連續(xù)信源的熵：連續(xù)熵實(shí)例僅與區(qū)域的邊界有關(guān)與數(shù)學(xué)期望無關(guān)，僅與方差有關(guān)第十七頁，共三十八頁，編輯于2023年，星期二設(shè)pXY是(xy)二維高斯概率密度函數(shù)求X與Y的平均互信息。連續(xù)熵實(shí)例第十八頁，共三十八頁，編輯于2023年，星期二例

X和Y

的一維概率密度函數(shù)容易求得為第十九頁，共三十八頁，編輯于2023年，星期二X和Y之間的平均互信息由定義有

奈特

表明，兩個高斯變量之間的互信息只與相關(guān)系數(shù)有關(guān)，而與數(shù)學(xué)期望及方差和無關(guān)。

第二十頁，共三十八頁，編輯于2023年，星期二例:設(shè)原連續(xù)隨機(jī)變量X是數(shù)學(xué)期望為m，方差為的正態(tài)隨機(jī)變量，經(jīng)一個放大倍數(shù)為k的放大器放大輸出為Y,求Y的相對熵。解：y=kx為數(shù)學(xué)期望為km，方差為的正態(tài)隨機(jī)變量，

注意:相對熵值通過線性放大器后發(fā)生變化.

第二十一頁，共三十八頁，編輯于2023年，星期二指數(shù)分布的連續(xù)信源的熵：連續(xù)熵實(shí)例第二十二頁，共三十八頁，編輯于2023年，星期二連續(xù)熵可為負(fù)值（為什么？連續(xù)熵的相對性所致）可加性平均互信息的非負(fù)性，對稱性，信息處理定理最大連續(xù)熵定理連續(xù)熵的性質(zhì)第二十三頁，共三十八頁，編輯于2023年，星期二峰值功率受限的最大熵定理若連續(xù)隨機(jī)變量X的峰值不超過M，即X限于(-M,M)內(nèi)取值，則X的相對熵當(dāng)且僅當(dāng)X為均勻分布時等號成立。平均功率受限的最大熵定理若連續(xù)隨機(jī)變量X的方差為一定，則X服從正態(tài)分布時的相對熵最大，即連續(xù)信源與離散信源不同，1)它不存在絕對最大熵;2)其最大熵與信源的限制條件有關(guān)。最大連續(xù)熵定理第二十四頁，共三十八頁，編輯于2023年，星期二峰值功率受限的最大熵定理

若連續(xù)隨機(jī)變量X的峰值不超過M，即X限于(-M,M)內(nèi)取值，則X的相對熵當(dāng)且僅當(dāng)X為均勻分布時等號成立。平均功率受限的最大熵定理若連續(xù)隨機(jī)變量X的方差為一定，則X服從正態(tài)分布時的相對熵最大，即最大連續(xù)熵定理第二十五頁，共三十八頁，編輯于2023年，星期二證明：應(yīng)用拉格朗日乘因子法，首先構(gòu)造函數(shù)由相對熵定義，可得當(dāng)且僅當(dāng)時，等號成立。將其代入約束條件可得，則有于是有X∈

(-M,M)第二十六頁，共三十八頁，編輯于2023年，星期二峰值功率受限的最大熵定理若連續(xù)隨機(jī)變量X的峰值不超過M，即X限于(-M,M)內(nèi)取值，則X的相對熵當(dāng)且僅當(dāng)X為均勻分布時等號成立。平均功率受限的最大熵定理

若連續(xù)隨機(jī)變量X的方差為一定，則X服從正態(tài)分布時的相對熵最大，即最大連續(xù)熵定理第二十七頁，共三十八頁，編輯于2023年，星期二證明：考慮到約束條件應(yīng)用拉格朗日乘因子法計(jì)算極大值當(dāng)且僅當(dāng)時，等號成立。將其代入兩個約束條件，即可求得和于是有X的方差一定第二十八頁，共三十八頁，編輯于2023年，星期二均值受限的最大熵定理若連續(xù)隨機(jī)變量X非負(fù)的均值為M，則X服從指數(shù)分布時的相對熵最大，即最大連續(xù)熵定理第二十九頁，共三十八頁，編輯于2023年，星期二當(dāng)平均功率受限時，高斯分布信源的熵最大，若令其平均功率為，則其熵為熵功率若平均功率為的信源具有熵為HC(X)，則稱熵為HC(X)的高斯信源的平均功率為熵功率若另一信源的平均功率仍為，則它的熵一定小于第三十頁，共三十八頁，編輯于2023年，星期二連續(xù)信源的剩余度平均功率受限時，一般信源的熵小于高斯分布信源的熵，所以信號的熵功率總小于信號的實(shí)際平均功率。熵功率的大小可以表示連續(xù)信源剩余的大小。信號平均功率和熵功率之差，稱為連續(xù)信源的剩余度。第三十一頁，共三十八頁，編輯于2023年，星期二思考:設(shè)X和Y為連續(xù)隨機(jī)變量，且X的概率密度為條件概率密度為其中－∞<x，y<∞。試求Hc(X)，Hc(Y/X)，Hc(X/Y)和I(X；Y)。第三十二頁，共三十八頁，編輯于2023年，星期二解：第三十三頁，共三十八頁，編輯于2023年，星期二第三十四頁，共三十八頁，編輯于2023年，星期二思考:習(xí)題2.23設(shè)X是在[－1，1]上為均勻分布的隨機(jī)變量。試求Hc(X)，Hc(X2)和Hc(X3)。解:(a)

(b)令第三十五頁，共三十八頁，編輯于2