1、信息理論基礎(chǔ)第三章離散信源第1頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一信息論對信源研究的主要內(nèi)容由以下幾個方面組成：（1）信源的建模（2）信源輸出信號中攜帶信息量大小的計(jì)算（3）信源輸出的有效表示第2頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一一、信源信宿信源發(fā)送器信道接收器消息信號發(fā)送信號接收消息噪聲第一節(jié) 信源的數(shù)學(xué)模型及分類信源輸出隨機(jī)變量X，可能的取值二、信源的數(shù)學(xué)模型信息的來源信源第3頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一1.按信源發(fā)出的消息在時間上的分布劃分： 有限長記憶信源(馬爾可夫信源）有記憶平穩(wěn)信源三.信源分類離散信源2.按信源發(fā)

2、出的前后消息是否有關(guān)劃分：連續(xù)信源無記憶信源有記憶信源第4頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一例題（1）為了使電視圖像獲得良好的清晰度和規(guī)定的適當(dāng)?shù)膶Ρ榷?，需要?個像素和10個不同亮度的電平，設(shè)每秒傳遞30幀圖像，所有象素是獨(dú)立變化的，且所有亮度電平等概率出現(xiàn),求傳遞此圖像所需的信息率（比特/秒） （2）設(shè)某彩電系統(tǒng)，除了滿足對黑白電視系統(tǒng)的上述要求外，還必須有30個不同的色彩度，試證明傳輸這彩色系統(tǒng)的信息率大約是黑白系統(tǒng)的傳輸信息率的2.5倍。第5頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一一.離散無記憶信源 1.概念 信源先后發(fā)出的一個個消息符號彼此獨(dú)立。

3、 2.數(shù)學(xué)模型 信源輸出隨機(jī)變量X，可能的取值第二節(jié) 離散無記憶信源及其擴(kuò)展信源 3.信源輸出的信息量 第6頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一1.求N次擴(kuò)展信源 首先看輸出只有兩個符號（0，1）的情況：一次信源X 信源X=X1數(shù)學(xué)模型為 :二.離散無記憶信源的擴(kuò)展信源二次信源 擴(kuò)展信源每個消息序列的概率： 第7頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一三次擴(kuò)展信源 擴(kuò)展信源每個消息序列的概率： 第8頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一依次推出N次擴(kuò)展信源 第9頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一一次信源輸出符號集為進(jìn)一

4、步推廣：N次擴(kuò)展信源 第10頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一2、N次擴(kuò)展信源的熵例3-1:第11頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一例3-2：（1）為了使電視圖像獲得良好的清晰度和規(guī)定的適當(dāng)?shù)膶Ρ榷?，需要?個像素和10個不同亮度的電平，設(shè)每秒要傳遞30幀圖像，所有象素是獨(dú)立變化的，且所有亮度電平等概率出現(xiàn).求傳遞此圖像所需的信息率（比特/秒）. （2）設(shè)某彩電系統(tǒng)，除了滿足對黑白電視系統(tǒng)的上述要求外，還須有30個不同的色彩度，試證明傳輸這彩色系統(tǒng)的信息率約是黑白系統(tǒng)信息率的2.5倍。第12頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一解：

5、（1）每個象素亮度信源的概率空間為： 每個象素亮度含有的信息量為： H(X)=log10=1哈特來/象素=3.32比特/象素每幀圖像含有的信息量為： 設(shè)每秒傳送30幀圖像，則傳遞此圖像所需的信息率為： 第13頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一（2）證明： 色彩度信源的概率空間為: 每個象素色彩度含有的信息量為： H(Y)=log30=4.91比特/象素亮度和色彩度同時出現(xiàn)，每個象素含有的信息量為： H(XY)=H(X)+H(Y)=log10+log30=8.23比特/象素 傳輸這彩色系統(tǒng)的信息率與傳輸黑白系統(tǒng)的信息率之比就等于彩色系統(tǒng)每象素含有的信息量與黑白系統(tǒng)每象素含有

6、信息量之比，即：H(XY)/H(X)=2.5 則證明傳輸這彩色系統(tǒng)的信息率是傳輸黑白系統(tǒng)的信息率的2.5倍。第14頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一例3-3： 每幀電視圖像可以認(rèn)為是由 個象素組成的，所以象素都是獨(dú)立變化的。且每一個象素又取128個不同的亮度電平，并設(shè)亮度電平等概率出現(xiàn)。若現(xiàn)有一個廣播員在約10000個漢字的字集中選1000個字來口述此電視圖像（設(shè)每個字是等概率分布的，并且彼此獨(dú)立的）。試問廣播員描述此圖像所廣播的信息量是多少？若要恰當(dāng)描述此圖像，廣播員在口述中至少需用多少漢字？第15頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一解：（1）分析可

7、知漢字字集是等概率分布的，則漢字字集信源為得該漢字字集中每個漢字含有的信息量為： H(Y)=log10000=13.29比特/字廣播員描述此幀圖像所廣播的信息量為：（2）分析可知每個象素的亮度信源為每個象素亮度含有的信息量為： H(X)=log128=7比特/象素每幀圖像含有的信息量為：廣播員口述此圖像至少需用的漢字?jǐn)?shù)為：第16頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一例3-4： 對一最高頻率分量為4kHz的模擬信號以奈奎斯特采樣定理采樣，已知抽樣結(jié)果是一個獨(dú)立的平穩(wěn)隨機(jī)序列?，F(xiàn)將每個抽樣值量化為5個離散電平之一，已知這5個電平構(gòu)成的符號集X的概率特性為 求這個離散信源每秒傳送的

8、平均信息量。解：由題意可知采樣率為8kHz，則符號速率是8000個符號/s。每個符號的平均信息量為則這個離散信源每秒傳送的平均信息量為 第17頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一信源發(fā)出的符號序列的概率分布與時間起點(diǎn)沒有關(guān)系,但發(fā)出的符號之間有依賴關(guān)系。第三節(jié) 離散平穩(wěn)有記憶信源一.平穩(wěn)有記憶信源概念 源，簡稱平穩(wěn)信源。 如果信源發(fā)出的是N長序列，且這個N維聯(lián)合分布 與時間起點(diǎn)無關(guān)，則稱為N維平穩(wěn)信第18頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一二.離散平穩(wěn)信源的熵 最簡單的有記憶（N=2）平穩(wěn)信源的概率空間： 熵H(X)可用聯(lián)合熵表示： 條件熵為 可知：平穩(wěn)

9、信源輸出一個符號i，則對輸出下一個符號有影響，這個影響根據(jù)i而異。依賴關(guān)系越強(qiáng)，對輸出下一個符號的影響越大。第19頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一聯(lián)合熵可表示離散平穩(wěn)信源的熵由可知： 信源聯(lián)合熵等于信源發(fā)出前一個符號的信息熵加上前一個符號已知時信源發(fā)出下一個符號的條件熵前后序列沒有依存關(guān)系，則 ：第20頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一平均每個序列攜帶的信息量 由N=2推廣到N=信源序列的熵： 三.極限熵 第21頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一平均每個符號攜帶的熵當(dāng)N,極限熵（信源的熵率）記作注意：對于一般平穩(wěn)信源，信源的極

10、限熵一定存在。 第22頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一 熵率的計(jì)算很復(fù)雜，在實(shí)際應(yīng)用中常采用有限N下的條件熵作為極限熵的近似值，即 信源輸出信號所攜帶的信息利用極限熵來表示。 例3-5：設(shè)某二階離散平穩(wěn)信源X=X1X2的原始信源的信源模型為： X=X1X2中前后兩個符號的條件概率為： 比較原始信源與二階信源的熵。第23頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一信源X提供的熵 平均每個符號攜帶的信息量： 結(jié)論：極限熵、條件熵都小于原始信源的熵原因：符號之間存在相關(guān)性 解：原始信源的熵： 條件概率確定的條件熵： 第24頁，共46頁，2022年，5月20日，0點(diǎn)

11、57分，星期一第四節(jié) 馬爾可夫信源及其熵一.馬爾可夫信源的概念-信源在某一時刻發(fā)出某一個符號的概率僅與前面發(fā)出的m個符號有關(guān)，而與更早的無關(guān)，這樣的有記憶信源稱為m階馬爾可夫信源。 對于m階馬爾可夫信源，當(dāng)有q個可能的輸出符號時，則該信源有 個可能的狀態(tài)，從而一個討論信源輸出符號不確定性的問題轉(zhuǎn)換成了討論信源狀態(tài)轉(zhuǎn)換的問題。第25頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一二.馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖 例3-6：設(shè)有一個二進(jìn)制一階馬爾可夫信源，其信源符號集為A=0,1,條件概率為 求狀態(tài)轉(zhuǎn)移矩陣。第26頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一解：信源符號個數(shù)q=2，

12、k=1,故狀態(tài)數(shù)則令狀態(tài)S1=0,狀態(tài)S2=1狀態(tài)圖： S1=0S2=10.750.500.250.50根據(jù)狀態(tài)圖求狀態(tài)轉(zhuǎn)移概率：p(S1|S1)=0.25 p(S2|S1)=0.75 p(S1|S2)=0.50 p(S2|S2)=0.50則狀態(tài)轉(zhuǎn)移矩陣為： 第27頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一有一個二進(jìn)制二階馬爾可夫信源，其信源符號集為A=0,1,條件概率為：求狀態(tài)轉(zhuǎn)移矩陣。例3-7：第28頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一由狀態(tài)圖可知轉(zhuǎn)移矩陣： 則令：狀態(tài)S1=00,狀態(tài)S2=01，狀態(tài)S3=10，狀態(tài)S4=11則狀態(tài)圖： 0.5S201S3

13、10S100S4110.80.80.50.50.50.20.2解：信源符號個數(shù)q=2，k=2,故狀態(tài)數(shù)第29頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一 1.遍歷性的m階馬爾可夫信源的定義三.遍歷的馬爾可夫信源的熵信源的每個狀態(tài)由m個符號構(gòu)成，且不論從哪一個狀態(tài)的概率出發(fā)，只要經(jīng)過足夠時間，轉(zhuǎn)移到狀態(tài)都近似等于一個常數(shù),具有這樣性質(zhì)的馬爾可夫信源就是遍歷性的馬爾可夫信源。設(shè)遍歷性的馬爾可夫信源有r個狀態(tài)，且它的穩(wěn)態(tài)分布矢量為狀態(tài)轉(zhuǎn)移矩陣為P，則有提問：任何馬爾可夫信源都具有穩(wěn)態(tài)分布嗎？第30頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一定理：馬爾可夫信源具有穩(wěn)態(tài)分布的充要

14、條件是存在一個正整數(shù)N，使馬爾可夫信源的狀態(tài)轉(zhuǎn)移矩陣中的所有元素均大于零。例3-8 有一個馬爾可夫鏈，其狀態(tài)轉(zhuǎn)移矩陣為：問：是否存在穩(wěn)態(tài)分布，如果存在求此穩(wěn)態(tài)分布。 第31頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一解： 由此判斷：穩(wěn)態(tài)分布存在由WP=W以及各狀態(tài)概率之和為1得：和第32頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一 由平穩(wěn)信源的熵率（實(shí)際熵、極限熵）可得遍歷性的馬爾可夫信源的熵為：則m階馬爾可夫信源的熵： 2.遍歷性的m階馬爾可夫信源的熵注意：一般認(rèn)為，當(dāng)時間足夠長時，遍歷的m階馬爾可夫信源視作平穩(wěn)有記憶信源。提問：為什么？第33頁，共46頁，2022年

15、，5月20日，0點(diǎn)57分，星期一計(jì)算： 由遍歷性的馬爾可夫信源的概念可知，它的每一個狀態(tài)完全由輸出的符號集：A=a1,a2,ar唯一確定。 兩端同時取對數(shù)，則： 兩端對Sj和ak1akm+1取統(tǒng)計(jì)平均,然后取負(fù)值,則 第34頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一第35頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一第36頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一求遍歷性的m階的馬爾可夫信源熵的公式: 其中： 是馬爾可夫鏈的穩(wěn)態(tài)分布,可利用： WP=W和 求解出。_表示信源處于狀態(tài)Sj時發(fā)出一個消息符號的平均不確定性第37頁，共46頁，2022年，5月20

16、日，0點(diǎn)57分，星期一3.舉例說明馬爾可夫信源熵的計(jì)算方法 例3-9:有一個二進(jìn)制二階馬爾可夫信源，其信源符號集為A=0,1,條件概率為：求二階馬爾可夫信源的熵。第38頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一解:由例7可知狀態(tài)轉(zhuǎn)移矩陣為：可知：此信源是遍歷性的馬爾可夫信源，穩(wěn)態(tài)分布存在設(shè)穩(wěn)態(tài)分布為： 則利用WP=W和 可知：對于遍歷性馬爾可夫信源有第39頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一由 則有： 第40頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一第五節(jié) 信源的相關(guān)性和剩余度一.信源的相關(guān)性 信源輸出符號之間的依賴關(guān)系 對于離散平穩(wěn)信源有 當(dāng)信

17、源輸出符號之間的相關(guān)程度越長，實(shí)際熵越小 二.信源熵的相對率 第41頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一三.信源的剩余度 討論 ： 從提高抗干擾能力角度出發(fā):希望減少或去掉剩余度希望增加或保留信源的剩余度因?yàn)?剩余度大的消息具有很強(qiáng)的抗干擾能力。當(dāng)干擾使消息在傳輸過程中出現(xiàn)錯誤時，能從它的上下關(guān)聯(lián)中糾正錯誤。從提高信息傳輸?shù)挠行杂^點(diǎn)出發(fā):原因是什么?第42頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一例3-10： 黑白氣象傳真圖的消息只有黑白兩種顏色，即信源X=黑，白，且p(黑)=0.3，p(白)=0.7。（1）假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)系，求熵H(X)。（2）假設(shè)消息前后有關(guān)系，其依賴關(guān)系為p(白|白)=0.9，p(黑|白)=0.1，p(白|黑)=0.2，p(黑|黑)=0.8，求此一階馬爾可夫信源的熵H2。（3）分別求上述兩種信源的剩余度，并比較H(X)和H2的大小，并說明其物理意義。第43頁，共46頁，2022年，5月20日，0點(diǎn)57分，星期一信源的信息熵 （2）分析得此信源為一階馬爾可夫信源，它的