1、第三章信源及信源熵,信源 描述 輸出信息的能力,3.1信源的分類及其數(shù)學(xué)模型,時(shí)間 取值 離散 離散 離散 連續(xù) 連續(xù) 連續(xù) 連續(xù) 離散,平穩(wěn)信源：隨機(jī)變量的概率分布（統(tǒng)計(jì)特性）不隨時(shí)間改變 非平穩(wěn)信源：隨機(jī)變量的概率分布（統(tǒng)計(jì)特性）隨時(shí)間改變 有記憶信源：隨機(jī)變量有依賴關(guān)系或制約關(guān)系 無記憶信源：隨機(jī)變量統(tǒng)計(jì)獨(dú)立,3.2離散單符號(hào)信源,特點(diǎn)：消息兩兩不相容，信源每次輸出其中的一個(gè)消息。 離散單符號(hào)信源的平均不確定性： 用熵來描述,舉例,例3.1,3.3離散多符號(hào)信源,實(shí)際信源輸出的往往是符號(hào)序列 X=x1x2. . 如：電報(bào) 電話 系統(tǒng),離散平穩(wěn)信源：對(duì)于離散隨機(jī)變量序列，X1,X2,. .

2、 .在任意兩個(gè)不同時(shí)刻i和j，信源發(fā)出的消息序列的概率分布完全相同。,各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無關(guān)的信源稱為離散平穩(wěn)信源。 特點(diǎn)：統(tǒng)計(jì)特性不隨時(shí)間推移而變化,即對(duì)于任意時(shí)刻的,條件概率,離散平穩(wěn)信源的條件概率分布均與時(shí)間起點(diǎn)無關(guān)，只與關(guān)聯(lián)長(zhǎng)度N有關(guān),得出：,思考：離散多符號(hào)信源怎樣表示信源的平均不確定性呢？,信源的平均不確定性： 熵率：表示信源的平均不確定性，表示信源輸出的符號(hào)序列中，平均每個(gè)符號(hào)所攜帶的信息量。 定義3.2 隨機(jī)變量序列中，對(duì)前N個(gè)隨機(jī)變量的聯(lián)合熵求平均：,稱為平均符號(hào)熵。 如果當(dāng)N 時(shí)上式極限存在，則 稱為熵率，或稱為極限熵，記為,3.3.1離散平穩(wěn)無記憶信源 平穩(wěn)：每

3、個(gè)變量的統(tǒng)計(jì)特性相同 無記憶：每個(gè)隨機(jī)變量之間統(tǒng)計(jì)獨(dú)立 N次擴(kuò)展信源的熵等于單符號(hào)離散信源熵的N倍。 離散平穩(wěn)無記憶信源的熵率,舉例,3.2 設(shè)有一離散無記憶信源X，其概率空間為,求該信源的熵率及其二次擴(kuò)展信源（信源每次輸出兩個(gè)符號(hào)）的熵,舉例3.2,有一無記憶信源的符號(hào)集為0，1，已知信源的概率空間為,（1）求信源熵 （2）求由m個(gè)“0”和（100-m）個(gè)“1”構(gòu)成的某一特定序列自信息量的表達(dá)式 （3）計(jì)算由100個(gè)符號(hào)構(gòu)成的符號(hào)序列的熵,3.3.2離散平穩(wěn)有記憶信源 熵函數(shù)的鏈規(guī)則：,證明:,離散平穩(wěn)信源的結(jié)論 （1）條件熵,隨N的增加是遞減的 證明：,(2)N給定時(shí)平均符號(hào)熵大于等于條件

4、熵,證明：,（3）平均符號(hào)熵 隨N的增加是遞減的 證明,(4),由于信源輸出序列前后符號(hào)之間的統(tǒng)計(jì)依賴關(guān)系，隨著序列長(zhǎng)度N的增加，也就是隨著統(tǒng)計(jì)約束條件不斷增加，平均符號(hào)熵 及條件熵 均隨之減少。 當(dāng) 時(shí) 即為熵率，它表示信源輸出的符合序列中，平均每個(gè)符號(hào)所攜帶的信息熵。,求熵率的兩種途徑： 1.極限平均符號(hào)熵 2.極限條件熵,3.1證明,馬爾可夫性： 平穩(wěn)信源輸出的符號(hào)序列中，符號(hào)之間的相關(guān)性可以追溯到最初的一個(gè)符號(hào) 舉例 一篇文章的最后一句話可以一直追溯到開篇第一句話。 如何計(jì)算熵率？ 復(fù)雜,馬爾可夫性：某時(shí)刻發(fā)出的符號(hào)僅與在此之前的有限個(gè)符號(hào)有關(guān)，而與更早些時(shí)候發(fā)出的符號(hào)無關(guān)。 馬爾可夫

5、信源是一類相對(duì)簡(jiǎn)單的有記憶信源，信源在某一時(shí)刻發(fā)出某一符號(hào)的概率除與該符號(hào)有關(guān)外，只與此前發(fā)出的有限個(gè)符號(hào)有關(guān)。 M階馬爾可夫信源只與前面發(fā)出的m個(gè)符號(hào)有關(guān) 1階馬爾可夫信源只與前面一個(gè)符號(hào)有關(guān),m階馬爾可夫信源，熵率：,舉例,3.3信源X的信源模型為,輸出符號(hào)序列中，只有前后兩個(gè)符號(hào)有記憶，條件概率給出， 求熵率，并比較,3.5二次擴(kuò)展信源的熵為 ,而一階馬爾科夫信源的熵為 ,試比較兩者的大小，并說明原因。,3.3.3馬爾可夫信源 M階 信源有q個(gè)可能的輸出符號(hào)。 信源發(fā)出一個(gè)符號(hào)，狀態(tài)發(fā)生改變。 信源輸出符號(hào)不確定性問題變成信源狀態(tài)轉(zhuǎn)換的問題。,舉例,舉例,齊次馬爾可夫鏈:如果在馬爾可夫鏈

6、中, 從狀態(tài) 轉(zhuǎn)移到狀態(tài) 的概率與起始時(shí)刻m無關(guān),則稱這類馬爾可夫鏈為齊次馬爾可夫鏈,也稱為具有平穩(wěn)轉(zhuǎn)移概率的馬爾可夫鏈 轉(zhuǎn)移概率具有平穩(wěn)性 遍歷性：若齊次馬爾可夫鏈對(duì)一切i,j存在不依賴于i的極限：,遍歷的馬爾可夫信源熵率: (1)齊次的馬爾可夫信源:視作平穩(wěn)的信源來處理 遍歷的馬爾可夫信源都是齊次的 遍歷的馬爾可夫信源:視作平穩(wěn)的信源來處理 (2) m階馬爾可夫信源: 只與最近的m個(gè)符號(hào)有關(guān).,舉例3.6,3.6一個(gè)馬爾可夫過程的基本符合為0，1，2，這3個(gè)概率等概率出現(xiàn)，并且具有相同的轉(zhuǎn)移概率 （1）畫出一階馬爾可夫過程的狀態(tài)圖，并求穩(wěn)定狀態(tài)下的一階馬爾可夫信源熵H1和信源剩余度。 （2

7、）畫出二階馬爾可夫過程的狀態(tài)圖，并求穩(wěn)定狀態(tài)下的二階馬爾可夫信源熵H2和信源剩余度。,3.7一階馬爾可夫信源狀態(tài)轉(zhuǎn)移圖如圖所示，信源X的符號(hào)集為（0，1，2） （1）求平穩(wěn)后的信源的概率分布 （2）求信源熵 （3）求當(dāng)p=0或p=1時(shí)信源的熵，并說明理由,3.3.4信源的相關(guān)性和剩余度,信源符號(hào)集有4個(gè)符號(hào)，最大熵為2bit 由于符號(hào)間的相關(guān)性和不等概分布極限熵減少到1.2bit/符號(hào) 信源存在冗余？,冗余度來自兩個(gè)方面：符號(hào)間的相關(guān)性； 信源輸出消息不等概分布,舉例,心肌梗塞患者病情發(fā)展各個(gè)階段時(shí)病人血清中蛋白質(zhì)譜的信息指標(biāo)。為此，我們先就一健康人的血清中蛋白質(zhì)譜的分布為例，說明求信息指標(biāo)的方法。利用紙上電泳法，得出血清中蛋白質(zhì)種類的百分含量，列于下表。,我們?cè)俳榻B一例心肌梗塞患者初期病情發(fā)展的信息分析資料。在臨床實(shí)踐研究中，人們對(duì)重病患者與輕病患者在得病期間的血清中蛋白質(zhì)譜的信息指標(biāo)做了計(jì)算，所得結(jié)果列于下表。為了對(duì)照所見，對(duì)與病人生活在同一地區(qū)的、同年齡、同性別、同民族的健康人血清中蛋白質(zhì)譜的信息指標(biāo)作了計(jì)算。,第四章信道及信道容量,信道:信息傳輸?shù)耐ǖ?空間傳輸:電纜 光纖 光纖通信是以光波為載體，以光纖為傳輸媒質(zhì)的一種通信方式。光纖通信技術(shù)是世界新技術(shù)革命的重要標(biāo)志，是未來信息社會(huì)中各種信息網(wǎng)的主要傳輸工具 . 主