第三章離散信源及離散熵2023/3/29第一頁，共二十六頁，2022年，8月28日將信源分為無記憶信源(memorylesssource)和有記憶信源(memorysource)。從一個(gè)離散信源的整體出發(fā)，它的信息量應(yīng)該如何度量？本章主要討論離散無記憶信源。第二頁，共二十六頁，2022年，8月28日從最簡單的單符號(hào)離散信源開始討論：1、單符號(hào)離散信源的數(shù)學(xué)模型一、單符號(hào)離散信源的離散熵如果說自信息量反映的是一個(gè)隨機(jī)事件出現(xiàn)各種結(jié)果所包含著的信息量，那么第三頁，共二十六頁，2022年，8月28日自信息量的數(shù)學(xué)期望(概率加權(quán)的統(tǒng)計(jì)平均值)所反映的是該隨機(jī)事件出現(xiàn)所包含的平均自信息量。如果將離散信源所有自信息量的數(shù)學(xué)期望用H(X)來表示并稱其為信源的離散熵，也叫香農(nóng)熵，離散熵的定義為：離散熵的單位是比特/符號(hào)(bit/symbol)。2、單符號(hào)離散信源的離散熵第四頁，共二十六頁，2022年，8月28日離散熵是從整體出發(fā)對(duì)一個(gè)離散信源信息量的度量。需要注意，平均自信息量和離散熵雖然在數(shù)值上相同，但在含義上卻有區(qū)別：平均自信息量所反映的僅僅是信源輸出X所包含的平均自信息量，是消除信源不確定度所需要的信息的度量；第五頁，共二十六頁，2022年，8月28日換句話說，平均自信息量只有在信源輸出時(shí)才有意義，而離散熵則不管信源輸出與否都有意義。離散熵則既反映了信源輸出X所包含的平均自信息量，是消除信源不確定度所需要的信息的度量，同時(shí)又描述了信源的平均不確定度。第六頁，共二十六頁，2022年，8月28日3、離散熵的性質(zhì)和定理①H(X)的非負(fù)性；②H(X)的上凸性；H(X)的上凸性不作證明。③最大離散熵定理第七頁，共二十六頁，2022年，8月28日第八頁，共二十六頁，2022年，8月28日第九頁，共二十六頁，2022年，8月28日例1，求擲骰子這一信源的離散熵。解：該信源的數(shù)學(xué)模型為第十頁，共二十六頁，2022年，8月28日解：該信源的數(shù)學(xué)模型為：例2，求某一天簡單的天氣氣象這一信源的離散熵。第十一頁，共二十六頁，2022年，8月28日例3，已知信源求離散熵并作出p-H(p)曲線。解：第十二頁，共二十六頁，2022年，8月28日00.51H(p)1p當(dāng)p=0時(shí)，H(p)=0p=0.25時(shí)，H(p)=0.811p=0.5時(shí)，H(p)=1p=0.75時(shí)，H(p)=0.811p=1時(shí)，H(p)=0第十三頁，共二十六頁，2022年，8月28日二、多符號(hào)離散信源及其離散熵如果信源每次發(fā)出的消息都是有限或可數(shù)的符號(hào)序列，而這些符號(hào)都取值于同一個(gè)有限或可數(shù)的集合，則稱這種信源為多符號(hào)離散信源。實(shí)際上，信源每次發(fā)出的消息是符號(hào)序列的情況更為普遍。多符號(hào)離散信源的例子有電報(bào)、文字等。第十四頁，共二十六頁，2022年，8月28日一般情況下，信源在不同時(shí)刻發(fā)出符號(hào)的概率分布是不同的，即將多符號(hào)離散信源發(fā)出的符號(hào)序列記為并設(shè)序列中任一符號(hào)都取值于集合這種情況分析起來比較困難，不作討論。第十五頁，共二十六頁，2022年，8月28日對(duì)于多符號(hào)離散信源發(fā)出的符號(hào)序列1、離散平穩(wěn)信源及其數(shù)學(xué)模型如果任意兩個(gè)不同時(shí)刻k和l，k=1,2,…，l=1,2,…，其概率分布相同，即則稱該多符號(hào)離散信源為一維離散平穩(wěn)信源。第十六頁，共二十六頁，2022年，8月28日如果不僅其概率分布相同，其二維聯(lián)合概率分布也相同，即則稱該多符號(hào)離散信源為二維離散平穩(wěn)信源。同理，如果除概率分布相同外，直到N維的各維聯(lián)合概率分布也都與時(shí)間起點(diǎn)無關(guān)，即第十七頁，共二十六頁，2022年，8月28日則稱該多符號(hào)離散信源為N維離散平穩(wěn)信源。一般，可將N維離散平穩(wěn)信源發(fā)出的符號(hào)序列看成長度為N的一段段符號(hào)序列，即第十八頁，共二十六頁，2022年，8月28日N維離散平穩(wěn)信源的數(shù)學(xué)模型：其聯(lián)合概率分布為第十九頁，共二十六頁，2022年，8月28日2、離散平穩(wěn)信源的離散熵先討論二維離散平穩(wěn)信源的離散熵。二維離散平穩(wěn)信源的數(shù)學(xué)模型：該信源的離散熵第二十頁，共二十六頁，2022年，8月28日第二十一頁，共二十六頁，2022年，8月28日式中，H(X2/X1)稱為條件熵，是條件信息量在聯(lián)合概率上的數(shù)學(xué)期望。第二十二頁，共二十六頁，2022年，8月28日與此相對(duì)應(yīng)，將該信源的離散熵H(X1X2)稱為聯(lián)合熵，信源符號(hào)的離散熵H(X1)、H(X2)稱為無條件熵。第二十三頁，共二十六頁，2022年，8月28日如果將該信源符號(hào)所提供的平均信息量記為H2(X1X2)并稱其為平均符號(hào)熵，則第二十四頁，共二十六頁，2022年，8月28日x1x2x3x17/92/90x21/83/41/8x302/119/11xi2xi1例