第三章離散信源及離散熵2023/9/10第1頁，課件共26頁，創(chuàng)作于2023年2月將信源分為無記憶信源(memorylesssource)和有記憶信源(memorysource)。從一個離散信源的整體出發(fā)，它的信息量應(yīng)該如何度量？本章主要討論離散無記憶信源。第2頁，課件共26頁，創(chuàng)作于2023年2月從最簡單的單符號離散信源開始討論：1、單符號離散信源的數(shù)學(xué)模型一、單符號離散信源的離散熵如果說自信息量反映的是一個隨機(jī)事件出現(xiàn)各種結(jié)果所包含著的信息量，那么第3頁，課件共26頁，創(chuàng)作于2023年2月自信息量的數(shù)學(xué)期望(概率加權(quán)的統(tǒng)計平均值)所反映的是該隨機(jī)事件出現(xiàn)所包含的平均自信息量。如果將離散信源所有自信息量的數(shù)學(xué)期望用H(X)來表示并稱其為信源的離散熵，也叫香農(nóng)熵，離散熵的定義為：離散熵的單位是比特/符號(bit/symbol)。2、單符號離散信源的離散熵第4頁，課件共26頁，創(chuàng)作于2023年2月離散熵是從整體出發(fā)對一個離散信源信息量的度量。需要注意，平均自信息量和離散熵雖然在數(shù)值上相同，但在含義上卻有區(qū)別：平均自信息量所反映的僅僅是信源輸出X所包含的平均自信息量，是消除信源不確定度所需要的信息的度量；第5頁，課件共26頁，創(chuàng)作于2023年2月?lián)Q句話說，平均自信息量只有在信源輸出時才有意義，而離散熵則不管信源輸出與否都有意義。離散熵則既反映了信源輸出X所包含的平均自信息量，是消除信源不確定度所需要的信息的度量，同時又描述了信源的平均不確定度。第6頁，課件共26頁，創(chuàng)作于2023年2月3、離散熵的性質(zhì)和定理①H(X)的非負(fù)性；②H(X)的上凸性；H(X)的上凸性不作證明。③最大離散熵定理第7頁，課件共26頁，創(chuàng)作于2023年2月第8頁，課件共26頁，創(chuàng)作于2023年2月第9頁，課件共26頁，創(chuàng)作于2023年2月例1，求擲骰子這一信源的離散熵。解：該信源的數(shù)學(xué)模型為第10頁，課件共26頁，創(chuàng)作于2023年2月解：該信源的數(shù)學(xué)模型為：例2，求某一天簡單的天氣氣象這一信源的離散熵。第11頁，課件共26頁，創(chuàng)作于2023年2月例3，已知信源求離散熵并作出p-H(p)曲線。解：第12頁，課件共26頁，創(chuàng)作于2023年2月00.51H(p)1p當(dāng)p=0時，H(p)=0p=0.25時，H(p)=0.811p=0.5時，H(p)=1p=0.75時，H(p)=0.811p=1時，H(p)=0第13頁，課件共26頁，創(chuàng)作于2023年2月二、多符號離散信源及其離散熵如果信源每次發(fā)出的消息都是有限或可數(shù)的符號序列，而這些符號都取值于同一個有限或可數(shù)的集合，則稱這種信源為多符號離散信源。實(shí)際上，信源每次發(fā)出的消息是符號序列的情況更為普遍。多符號離散信源的例子有電報、文字等。第14頁，課件共26頁，創(chuàng)作于2023年2月一般情況下，信源在不同時刻發(fā)出符號的概率分布是不同的，即將多符號離散信源發(fā)出的符號序列記為并設(shè)序列中任一符號都取值于集合這種情況分析起來比較困難，不作討論。第15頁，課件共26頁，創(chuàng)作于2023年2月對于多符號離散信源發(fā)出的符號序列1、離散平穩(wěn)信源及其數(shù)學(xué)模型如果任意兩個不同時刻k和l，k=1,2,…，l=1,2,…，其概率分布相同，即則稱該多符號離散信源為一維離散平穩(wěn)信源。第16頁，課件共26頁，創(chuàng)作于2023年2月如果不僅其概率分布相同，其二維聯(lián)合概率分布也相同，即則稱該多符號離散信源為二維離散平穩(wěn)信源。同理，如果除概率分布相同外，直到N維的各維聯(lián)合概率分布也都與時間起點(diǎn)無關(guān)，即第17頁，課件共26頁，創(chuàng)作于2023年2月則稱該多符號離散信源為N維離散平穩(wěn)信源。一般，可將N維離散平穩(wěn)信源發(fā)出的符號序列看成長度為N的一段段符號序列，即第18頁，課件共26頁，創(chuàng)作于2023年2月N維離散平穩(wěn)信源的數(shù)學(xué)模型：其聯(lián)合概率分布為第19頁，課件共26頁，創(chuàng)作于2023年2月2、離散平穩(wěn)信源的離散熵先討論二維離散平穩(wěn)信源的離散熵。二維離散平穩(wěn)信源的數(shù)學(xué)模型：該信源的離散熵第20頁，課件共26頁，創(chuàng)作于2023年2月第21頁，課件共26頁，創(chuàng)作于2023年2月式中，H(X2/X1)稱為條件熵，是條件信息量在聯(lián)合概率上的數(shù)學(xué)期望。第22頁，課件共26頁，創(chuàng)作于2023年2月與此相對應(yīng)，將該信源的離散熵H(X1X2)稱為聯(lián)合熵，信源符號的離散熵H(X1)、H(X2)稱為無條件熵。第23頁，課件共26頁，創(chuàng)作于2023年2月如果將該信源符號所提供的平均信息量記為H2(X1X2)并稱其為平均符號熵，則第24頁，課件共26頁，創(chuàng)作于2023年2月x1x2x3x17/92/90x21/83/41/8x302/119/11xi2xi1