數(shù)字通信原理信息論基礎(chǔ)第一頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs2第四章信息論基礎(chǔ)1、消息與信息(1)消息是由符號(hào)、文字、數(shù)字、語(yǔ)音或圖像組成的序列；

(2)消息是信息的載體，信息是消息的內(nèi)涵；消息中可能包含信息，也可能不包含信息；

(3)收到一則消息后，所得的信息量，在數(shù)量上等于獲得消息前后“不確定性”的消除量；

(4)通信的目的在與傳送信息。第二頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs3第四章信息論基礎(chǔ)2、信息度量的概念(1)某消息的信息量＝獲得該消息后不確定性的消除量；不確定性可能性概率問(wèn)題：

信息量可用概率的某種函數(shù)來(lái)度量

(2)不同的消息有信息量的多少的區(qū)別，因此

信息的度量方式應(yīng)滿足信息量的可加性

信息量應(yīng)該是滿足可加性的概率的函數(shù)。第三頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs4第四章信息論基礎(chǔ)3、離散信源信息的度量

離散信源的信息量

離散信源統(tǒng)計(jì)特性的描述方法－－概率場(chǎng)

設(shè)離散信源包含N種可能的不同符號(hào)，相應(yīng)的概率場(chǎng)可表述為

概率場(chǎng)滿足條件：

第四頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs5第四章信息論基礎(chǔ)離散信源的信息量(續(xù))

信息量作為概率的函數(shù)，具有形式

若與統(tǒng)計(jì)獨(dú)立，滿足可加性要求

如定義顯然有同時(shí)滿足概率函數(shù)和可加性兩個(gè)要求。第五頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs6第四章信息論基礎(chǔ)

離散信源信的息量(續(xù))

定義離散消息xi的信息量:

信息量的單位與對(duì)數(shù)的底有關(guān)：

log以2為底時(shí)，單位為比特：bit

log以e為底時(shí)，單位為奈特：nit

log以10為底時(shí)，單位為哈特，hart

一般在缺省時(shí)取單位為比特。第六頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs7第四章信息論基礎(chǔ)

離散信源信的息量(續(xù))

示例：已知某信源的概率場(chǎng)為

輸出的各符號(hào)統(tǒng)計(jì)獨(dú)立，計(jì)算序列S“113200”的信息量

第七頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs8第四章信息論基礎(chǔ)4、離散信源的平均信息量：信源的熵

離散信源的熵定義4.2.2離散信源的熵

熵是信源在統(tǒng)計(jì)意義上每個(gè)符號(hào)的平均信息量。第八頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs9第四章信息論基礎(chǔ)

離散信源的熵(續(xù))

示例：求離散信源的熵。

按照定義：

第九頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs10第四章信息論基礎(chǔ)

離散信源的熵(續(xù))

示例（續(xù)）：若上述離散信源發(fā)送獨(dú)立的符號(hào)序列：

20102013021300120321010032101002310200210312032100120210

(1)求總的信息量；(2)利用熵估計(jì)總的信息量。

(1)

(2)第十頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs11第四章信息論基礎(chǔ)離散信源的最大熵定理當(dāng)離散信源X取等概分布時(shí)，其熵H(X)取最大值。當(dāng)信源取等概分布時(shí)，具有最大的不確定性。

示例：兩個(gè)信源符號(hào)的情形。

P(x1)=p,P(x2)=1-p當(dāng)p=1/2時(shí)，H(X)=Hmax第十一頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs12第四章信息論基礎(chǔ)離散信源的聯(lián)合熵與條件熵兩隨機(jī)變量的概率場(chǎng)滿足條件：第十二頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs13第四章信息論基礎(chǔ)離散信源的聯(lián)合熵與條件熵(續(xù))

兩隨機(jī)變量的聯(lián)合熵定義4.2.3兩隨機(jī)變量的聯(lián)合熵

如兩隨機(jī)變量統(tǒng)計(jì)獨(dú)立，有第十三頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs14第四章信息論基礎(chǔ)

兩隨機(jī)變量的聯(lián)合熵(續(xù))對(duì)于統(tǒng)計(jì)獨(dú)立的兩隨機(jī)變量，不能從其中一個(gè)獲得有關(guān)另外一個(gè)的任何信息。第十四頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs15第四章信息論基礎(chǔ)第四章信息論基礎(chǔ)離散信源的聯(lián)合熵與條件熵(續(xù))

兩隨機(jī)變量的條件熵定義4.2.4兩隨機(jī)變量的條件熵

一般地有具有某種相關(guān)性的兩隨機(jī)變量，一個(gè)隨機(jī)變量的出現(xiàn)總是有助于降低另一隨機(jī)變量的不確定性。第十五頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs16第四章信息論基礎(chǔ)離散信源及容量

信道模型信道的輸入：信道的輸出：信道模型(特性)可用其轉(zhuǎn)移概率來(lái)描述第十六頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs17第四章信息論基礎(chǔ)離散信源及容量

信道模型

信道模型(特性)可用其轉(zhuǎn)移概率來(lái)描述，一般地有輸出不僅與當(dāng)前的輸入有關(guān)，而且與之前的若干個(gè)輸入值有關(guān)，呈現(xiàn)某種“記憶”效應(yīng)。第十七頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs18第四章信息論基礎(chǔ)離散信源及容量

離散無(wú)記憶信道的轉(zhuǎn)移矩陣輸出僅與當(dāng)前的輸入有關(guān)

或第十八頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs19第四章信息論基礎(chǔ)

離散無(wú)記憶信道的轉(zhuǎn)移矩陣(續(xù))

示例：二元的離散無(wú)記憶信道發(fā)“0”和發(fā)“1”時(shí)能正確接收的概率為0.99，錯(cuò)誤的概率為0.01。即有轉(zhuǎn)移矩陣

第十九頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs20第四章信息論基礎(chǔ)離散信源及容量

互信息量轉(zhuǎn)移概率是一種條件概率，在通信系統(tǒng)中可表示收到后，發(fā)送端發(fā)送的是符號(hào)的概率。接收端收到后，關(guān)于的不確定性可表示為定義4.3.1互信息量為：

互信息量：收到后，關(guān)于的不確定性的消除量。第二十頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs21第四章信息論基礎(chǔ)

互信息量(續(xù))互信息量具有對(duì)稱性

互信息量的性質(zhì)

(1)若（2）若

(3)若

(4)若第二十一頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs22第四章信息論基礎(chǔ)離散信源及容量(續(xù))

平均互信息量定義4.3.2平均互信息量為：平均互信息量具有非負(fù)性表明從統(tǒng)計(jì)上來(lái)說(shuō)，兩相關(guān)聯(lián)的隨機(jī)變量集，其中一個(gè)的出現(xiàn)總是有利于提供有關(guān)另外一個(gè)的信息。第二十二頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs23第四章信息論基礎(chǔ)離散信源及容量(續(xù))

熵函數(shù)與平均互信息量間的關(guān)系

第二十三頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs24第四章信息論基礎(chǔ)熵函數(shù)與平均互信息量間的關(guān)系(續(xù))兩張密切相關(guān)圖像示例兩張無(wú)關(guān)的圖像示例第二十四頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs25第四章信息論基礎(chǔ)

熵函數(shù)與平均互信息量間的關(guān)系(續(xù))

當(dāng)信源X與Y統(tǒng)計(jì)獨(dú)立時(shí)

(1)兩個(gè)符號(hào)同時(shí)出現(xiàn)時(shí)提供的平均信息量等于每個(gè)符號(hào)的平均信息量之和；

(2)一個(gè)符號(hào)不能提供有關(guān)另一符號(hào)的任何信息。第二十五頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs26第四章信息論基礎(chǔ)熵函數(shù)與平均互信息量間的關(guān)系(續(xù))

當(dāng)兩個(gè)信源相關(guān)時(shí)

(1)聯(lián)合熵小于兩個(gè)信源的熵的和:

(2)平均互信息量等于兩信源熵重合的部分；

(3)信源的條件熵等于其熵減去平均互信息量：第二十六頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs27第四章信息論基礎(chǔ)

離散信道的容量

已知信道的轉(zhuǎn)移矩陣信源符號(hào)集：符號(hào)傳輸速率：系統(tǒng)的平均信息速率為：第二十七頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs28第四章信息論基礎(chǔ)離散信道的容量

定義4.3.3離散信道的最大傳輸速率為其信道容量匹配信源

信道特性(轉(zhuǎn)移矩陣)確定之后，其容量由信源的統(tǒng)計(jì)特性決定。

匹配信源：能使單位時(shí)間內(nèi)信道可傳輸?shù)钠骄畔⒘窟_(dá)到信道容量的信源稱之。已知匹配信源的分布特性：

信道容量：第二十八頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs29第四章信息論基礎(chǔ)匹配信源(續(xù))

已知信道轉(zhuǎn)移概率，匹配信源統(tǒng)計(jì)特性的求解：

(1)解方程組求解得

(2)求最大平均互信息量：

(3)求相應(yīng)后驗(yàn)概率：

(4)解方程組，確定匹配信源的分布特性

第二十九頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs30第四章信息論基礎(chǔ)匹配信源(續(xù))

示例：已知信道轉(zhuǎn)移概率

(1)解方程組的參數(shù)：

(2)求最大平均互信息量：

(3)求相應(yīng)后驗(yàn)概率：

第三十頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs31第四章信息論基礎(chǔ)匹配信源(續(xù))

示例(續(xù))：

(4)獲得匹配信源統(tǒng)計(jì)特性：

(5)信道容量為：

第三十一頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs32第四章信息論基礎(chǔ)離散無(wú)記憶對(duì)稱信道的容量(續(xù))

離散無(wú)記憶對(duì)稱信道：

轉(zhuǎn)移矩陣各行各列均具有相同的元素集的信道稱之。

離散無(wú)記憶對(duì)稱信道滿足條件：任意的列元素和任意的行元素和

第三十二頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs33第四章信息論基礎(chǔ)離散無(wú)記憶對(duì)稱信道的容量

離散無(wú)記憶對(duì)稱信道：離散無(wú)記憶對(duì)稱信道的條件熵滿足：與信源的統(tǒng)計(jì)特性無(wú)關(guān)。若輸入信道的信源符號(hào)等概

則信道的輸出符號(hào)也等概

第三十三頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs34第四章信息論基礎(chǔ)離散無(wú)記憶對(duì)稱信道的容量(續(xù))

信道容量：

對(duì)于離散無(wú)記憶對(duì)稱信道，若要使信息傳輸速率達(dá)到信道容量，要求信源的符號(hào)等概分布。第三十四頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs35第四章信息論基礎(chǔ)連續(xù)信源、信道及容量

連續(xù)信源的相對(duì)熵若已知隨機(jī)信號(hào)幅度取值的概率密度函數(shù)：取值在任意小區(qū)間內(nèi)的概率連續(xù)信源轉(zhuǎn)變?yōu)榫哂衝個(gè)隨機(jī)變量的信源，且有利用離散隨機(jī)變量熵的定義，得第三十五頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs36第四章信息論基礎(chǔ)

連續(xù)信源的相對(duì)熵(續(xù))連續(xù)信源的熵應(yīng)為可見(jiàn)連續(xù)信源的熵?zé)o限大。該熵稱為連續(xù)信源的絕對(duì)熵，無(wú)法確切地定義。通常上式的第一項(xiàng)是有限值，且其具有特定的物理意義。第三十六頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs37第四章信息論基礎(chǔ)

連續(xù)信源的相對(duì)熵(續(xù))

定義

連續(xù)信源的相對(duì)熵為

示例4.4.1某信號(hào)的相對(duì)熵為信號(hào)經(jīng)2倍幅度放大后的相對(duì)熵為信號(hào)的簡(jiǎn)單放大并沒(méi)有增加任何新的信息，但其相對(duì)熵發(fā)生了增大的變化，這說(shuō)明相對(duì)熵已經(jīng)不再具有信源平均信息量的內(nèi)涵。第三十七頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs38第四章信息論基礎(chǔ)連續(xù)信源的相對(duì)條件熵對(duì)于連續(xù)隨機(jī)變量，同樣可以導(dǎo)出其條件熵

可見(jiàn)連續(xù)信源的條件熵取值無(wú)限大。通常上式的第一項(xiàng)是一個(gè)有限取值的量。

連續(xù)信源的熵和條件熵均取值無(wú)限大，說(shuō)明要在一個(gè)容量有限的通信系統(tǒng)中傳遞連續(xù)信源的全部信息是不可能的。第三十八頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs39第四章信息論基礎(chǔ)連續(xù)信源的相對(duì)條件熵

定義

連續(xù)信源的相對(duì)條件熵容易導(dǎo)出：

說(shuō)明相對(duì)熵和相對(duì)條件熵的差值與普通的熵和條件熵的差值一樣，仍然等于平均互信息量。

同理可以導(dǎo)出：第三十九頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs40第四章信息論基礎(chǔ)連續(xù)信源相對(duì)熵的最大化(1)峰值功率受限情況下的相對(duì)熵最大化條件可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從均勻分布時(shí)，該連續(xù)信源有最大的相對(duì)熵。在區(qū)間分布連續(xù)信源的概率密度函數(shù)為其相對(duì)熵為

峰值受限信號(hào)

第四十頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs41第四章信息論基礎(chǔ)連續(xù)信源相對(duì)熵的最大化(續(xù))(2)均值受限情況下的相對(duì)熵最大化條件可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從指數(shù)分布時(shí)，該連續(xù)信源有最大的相對(duì)熵。

均值受限信號(hào)

指數(shù)分布相對(duì)熵第四十一頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs42第四章信息論基礎(chǔ)連續(xù)信源相對(duì)熵的最大化(續(xù))(2)平均功率受限情況下的相對(duì)熵最大化條件可以證明：當(dāng)連續(xù)信源的概率密度函數(shù)服從高斯分布時(shí)，該連續(xù)信源有最大的相對(duì)熵。

平均功率受限信號(hào)

高斯分布相對(duì)熵第四十二頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs43第四章信息論基礎(chǔ)高斯加性噪聲信道的容量加性高斯噪聲信道信道輸入：信道輸出：加性高斯噪聲：已知通過(guò)信道后，從可獲得的關(guān)于的平均互信息量若已知信號(hào)的帶寬為：則無(wú)冗余的抽樣頻率應(yīng)為：(單位時(shí)間的樣點(diǎn)數(shù))

單位時(shí)間內(nèi)傳輸?shù)男畔⒘?，即信息速率為第四十三?yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs44第四章信息論基礎(chǔ)高斯加性噪聲信道的容量(續(xù))加性高斯噪聲信道容量

信號(hào)與噪聲間的關(guān)系可用方程組表示為或二維函數(shù)概率密度間的關(guān)系第四十四頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs45第四章信息論基礎(chǔ)高斯加性噪聲信道的容量(續(xù))加性高斯噪聲信道容量(續(xù))因?yàn)樗杂械谒氖屙?yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs46第四章信息論基礎(chǔ)高斯加性噪聲信道的容量(續(xù))加性高斯噪聲信道容量(續(xù))可得第四十六頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs47第四章信息論基礎(chǔ)加性高斯噪聲信道容量(續(xù))因?yàn)?/p>

(1)在均方受限的條件下，高斯分布的信源有最大的相對(duì)熵

(2)兩高斯分布的隨機(jī)變量之和()仍為高斯隨機(jī)變量

(3)信號(hào)與噪聲統(tǒng)計(jì)獨(dú)立因而有第四十七頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs48第四章信息論基礎(chǔ)加性高斯噪聲信道容量(續(xù))

信道容量

若記得香農(nóng)公式第四十八頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs49第四章信息論基礎(chǔ)加性高斯噪聲信道容量(續(xù))由香農(nóng)公式(香農(nóng)定理)得到的重要結(jié)論：

(1)信道容量C隨S/N增大而增大；

(2)C一定時(shí)，W與S/N之間可以彼此互換；

(3)N0,C∞：無(wú)擾信道的容量為無(wú)窮大；(4)對(duì)受高斯噪聲干擾的信道，當(dāng)W∞，信道容量趨于一確定值：

第四十九頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs50第四章信息論基礎(chǔ)信道容量和帶寬的歸一化分析

歸一化信道容量：?jiǎn)挝粫r(shí)間單位頻帶內(nèi)可達(dá)到的信息速率。第五十頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs51第四章信息論基礎(chǔ)信道容量和帶寬的歸一化分析(續(xù))

歸一化信道帶寬：?jiǎn)挝恍畔⑺俾仕枰淖钚?。第五十一?yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs52第四章信息論基礎(chǔ)信道容量和帶寬的歸一化分析(續(xù))關(guān)于Eb/N0的歸一化信道帶寬

Eb：比特能量；

N0：噪聲功率密度譜；當(dāng)Eb/N0<－1.59dB

時(shí)，無(wú)法實(shí)現(xiàn)無(wú)差錯(cuò)的傳輸。第五十二頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs53第四章信息論基礎(chǔ)信源編碼的基本方法

信源編碼的基本方法（1）去除信息中的冗余度，使傳輸?shù)姆?hào)都是獨(dú)立的，沒(méi)有多余的成分；（2）使傳輸?shù)姆?hào)所含的信息最大化。例如，通過(guò)使編碼后的符號(hào)以等概分布的形式出現(xiàn)，使每個(gè)符號(hào)可能攜帶的信息量達(dá)到最大；（3）采用不等長(zhǎng)編碼，讓出現(xiàn)概率大的符號(hào)用較短的碼元序列表示，對(duì)概率小的符號(hào)用較長(zhǎng)的碼元序列；

(4)在允許一定失真的條件下，如何實(shí)現(xiàn)高效率的編碼。第五十三頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs54第四章信息論基礎(chǔ)

離散無(wú)記憶信源(DMS:DiscreteMemorylessSource）輸出序列：

各個(gè)符號(hào)間彼此獨(dú)立其中反之，若輸出的各符號(hào)間有一定的相關(guān)性，則其為一種有記憶的信源。有記憶的信源，經(jīng)過(guò)處理后，有可能變?yōu)橐环N無(wú)記憶的信源。如有記憶的信源，經(jīng)過(guò)理想的、完全去除冗余度的壓縮編碼后的輸出。第五十四頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs55第四章信息論基礎(chǔ)

離散無(wú)記憶信源的等長(zhǎng)編碼等長(zhǎng)編碼：對(duì)信源的每個(gè)符號(hào)，或每組符號(hào)，用長(zhǎng)度相等的代碼來(lái)表示。

碼字：由若干碼元（碼字元素）構(gòu)成的代碼單元。

單個(gè)符號(hào)獨(dú)立編碼采用二進(jìn)制碼元編碼若信源符號(hào)集有L種符號(hào)，要保證譯碼的惟一性，碼字長(zhǎng)度應(yīng)取表示取X的整數(shù)部分。第五十五頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs56第四章信息論基礎(chǔ)

離散無(wú)記憶信源的等長(zhǎng)編碼(續(xù))

編碼效率：對(duì)碼字承載信息能力的利用程度其中由離散信源的最大熵定理，可知編碼效率與信源的統(tǒng)計(jì)特性有很大的關(guān)系，僅當(dāng)信源輸出的符號(hào)等概分布時(shí)，且為整數(shù)時(shí)，效率才能達(dá)到100％。第五十六頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs57第四章信息論基礎(chǔ)

離散無(wú)記憶信源的等長(zhǎng)編碼(續(xù))

擴(kuò)展編碼：將J個(gè)信源符號(hào)進(jìn)行聯(lián)合編碼

J個(gè)信源符號(hào)可能排列組合個(gè)數(shù)平均每個(gè)信源符號(hào)所需要的碼元個(gè)數(shù)若是整數(shù)若不是整數(shù)

J取值的增大有利于效率的提高。第五十七頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs58第四章信息論基礎(chǔ)

離散無(wú)記憶信源的等長(zhǎng)編碼(續(xù))一般的編譯碼系統(tǒng)譯碼惟一性的要求記：編碼器輸入的符號(hào)集：編碼輸出的碼元集：擴(kuò)展編碼的符號(hào)長(zhǎng)度：編碼輸出的碼字長(zhǎng)度為：則保證譯碼惟一性要求

平均每個(gè)信源符號(hào)所需的碼元數(shù)應(yīng)滿足第五十八頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs59第四章信息論基礎(chǔ)

離散無(wú)記憶信源的等長(zhǎng)編碼(續(xù))若信源等概分布可以獲得較高的編碼效率。若信源非等概分布

則通常編碼效率較低。第五十九頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs60第四章信息論基礎(chǔ)

離散無(wú)記憶信源(DMS)的有損等長(zhǎng)編碼對(duì)于長(zhǎng)度為J的DMS碼組(或稱為一序列):

碼組中的每個(gè)符號(hào)：

由符號(hào)間的獨(dú)立性，有碼組包含的信息量為：根據(jù)熵的含義，隨著J的增大，有或第六十頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs61第四章信息論基礎(chǔ)

離散無(wú)記憶信源(DMS)的有損等長(zhǎng)編碼(續(xù))－典型序列集：滿足下列條件的序列的集合稱之。其中，通常是一個(gè)很小的數(shù)。－非典型序列集：典型序列集的補(bǔ)集稱之。典型序列集和非典型序列集構(gòu)成了序列所有組合構(gòu)成符號(hào)組的空間。第六十一頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs62第四章信息論基礎(chǔ)

離散無(wú)記憶信源(DMS)的有損等長(zhǎng)編碼(續(xù))

信源劃分定理：任給，當(dāng)J足夠大時(shí)，有即有：典型序列出現(xiàn)的概率：若則即有：典型序列趨于等概分布。典型序列的數(shù)目：第六十二頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs63第四章信息論基礎(chǔ)

離散無(wú)記憶信源(DMS)的有損等長(zhǎng)編碼(續(xù))典型序列的出現(xiàn)概率：即：典型序列集為高概率集；非典型序列集為低概率集。

第六十三頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs64第四章信息論基礎(chǔ)

離散無(wú)記憶信源(DMS)的有損等長(zhǎng)編碼(續(xù))典型序列集在整個(gè)序列空間中所占的比例：通常取值很小，滿足因此說(shuō)明雖然典型序列集是一個(gè)高概率集，但在整個(gè)序列空間中可能只占很小的比例；如果容許一定的失真，只對(duì)典型序列編碼，對(duì)非典型序列不予編碼傳輸，則可大大提高傳輸?shù)男?。典型序列非典型序列第六十四?yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs65第四章信息論基礎(chǔ)

離散無(wú)記憶信源(DMS)的有損等長(zhǎng)編碼(續(xù))示例：已知二元信源信源的熵為：若取所有的序列構(gòu)成的集合為第六十五頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs66第四章信息論基礎(chǔ)示例(續(xù))：由：

(1)若取平均信息量落在該范圍內(nèi)的序列為如果要無(wú)失真地傳輸原來(lái)的全部序列，采用二進(jìn)制編碼的話，需要3比特；如僅傳輸?shù)湫托蛄?，只?比特。第六十六頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs67第四章信息論基礎(chǔ)示例(續(xù))：

(1)若取平均信息量落在該范圍內(nèi)的序列為如僅傳輸?shù)湫托蛄?，同樣也只?比特。第六十七頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs68第四章信息論基礎(chǔ)

編碼速率假定信源輸出按照J(rèn)個(gè)符號(hào)構(gòu)成的序列編碼編碼輸出可能獲得的編碼輸出的碼字?jǐn)?shù)為相應(yīng)的比特?cái)?shù)為編碼速率R定義為：

若采用二進(jìn)制編碼，則有第六十八頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs69第四章信息論基礎(chǔ)

編譯碼傳輸模型

譯碼錯(cuò)誤概率定義為

定義

可達(dá)速率

給定信源和編碼速率R，對(duì)任意的若存在和編譯碼方法：、使當(dāng)時(shí)，有則該編碼速率稱為可達(dá)的反之稱速率是不可達(dá)的。第六十九頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs70第四章信息論基礎(chǔ)

定理若，則速率R是可達(dá)的；

若，則速率R是不可達(dá)的。該定理說(shuō)明，若，則存在編碼方法，當(dāng)J足夠大時(shí)，只需對(duì)典型序列進(jìn)行編碼，可使編碼誤差足夠地小。

第七十頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs71第四章信息論基礎(chǔ)在滿足一定的譯碼錯(cuò)誤概率的條件下，若只對(duì)典型序列編碼，編碼效率可定義為

若記：編碼速率：自信息方差：則不能正確譯碼的概率滿足關(guān)系式

根據(jù)最后一個(gè)等式，可確定編碼序列的長(zhǎng)度J。第七十一頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs72第四章信息論基礎(chǔ)示例：

(1)對(duì)二元符號(hào)進(jìn)行無(wú)差錯(cuò)的二進(jìn)制編碼此時(shí)、、

(2)若要求編碼效率，求所需的編碼序列長(zhǎng)度J

由得第七十二頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs73第四章信息論基礎(chǔ)示例(續(xù))：自信息方差：最后得所需的符號(hào)序列長(zhǎng)度

(該取值太大，可見(jiàn)等長(zhǎng)編碼不易在實(shí)際系統(tǒng)中應(yīng)用)第七十三頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs74第四章信息論基礎(chǔ)

霍夫曼(Huffman)編碼

不等長(zhǎng)編碼的概念：對(duì)出現(xiàn)概率大的符號(hào)或符號(hào)組用位數(shù)較少的碼字表示；對(duì)出現(xiàn)概率小的符號(hào)或符號(hào)組用位數(shù)較大的碼字表示。

霍夫曼編碼：定理4.5.17霍夫曼編碼一種最佳的不等長(zhǎng)編碼。

霍夫曼編碼的應(yīng)用條件：信源的分布(統(tǒng)計(jì))特性已知。記信源符號(hào)集為：編碼輸出符號(hào)集為：第七十四頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs75第四章信息論基礎(chǔ)

霍夫曼編碼的步驟：(1)將L個(gè)信源符號(hào)按概率大小，以遞減次序，從上到下排成一列；(2)對(duì)處于最下面的概率最小的D個(gè)信源符號(hào)，一一對(duì)應(yīng)地分別賦予碼字元素Z1、Z2、…、ZD，把這D個(gè)概率最小的信源符號(hào)相應(yīng)的概率相加，所得的值用一個(gè)虛擬的符號(hào)代表，與余下的L-D個(gè)符號(hào)組成含有(L-D)+1=L-(D-1)個(gè)符號(hào)的第一次縮減信源S(1)；(3)對(duì)縮減信源S(1)仍按其概率大小以遞減次序從上到下排列，按照步驟(2)的方法處理，得到一個(gè)含有[(L-D)+1]-D+1=L-2(D-1)個(gè)符號(hào)的第二次縮減信源S(2)；(4)按照上述的方法，依次繼續(xù)下去，每次縮減所減少的符號(hào)數(shù)是D-1個(gè)；只要縮減后的信源Si符號(hào)的個(gè)數(shù)大于D，縮減就繼續(xù)進(jìn)行；(5)當(dāng)進(jìn)行第k次縮減后信源S(k)符號(hào)個(gè)數(shù)剛好等于D，即有

則對(duì)最后這D個(gè)符號(hào)分別賦予碼字元素Z1、Z2、…、ZD；第七十五頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs76第四章信息論基礎(chǔ)

霍夫曼編碼的步驟(續(xù))：(6)從最后賦予的碼符號(hào)開(kāi)始，沿著每一信源符號(hào)在各次縮減過(guò)程中得到的碼字元素進(jìn)行路線前向返回，達(dá)至每一信源符號(hào)，按前后次序，把返回路途中所遇到的碼元素排成序列，這個(gè)序列，就是相應(yīng)信源符號(hào)對(duì)應(yīng)的碼字；(7)若進(jìn)行k次縮減后，當(dāng)進(jìn)行第k次縮減后信源S(k)符號(hào)個(gè)數(shù)不等于D，即有則中止縮減，增加個(gè)概率為0的虛假信源符號(hào)重新編碼，使在k次編碼后一定有。第七十六頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs77第四章信息論基礎(chǔ)

霍夫曼編碼(續(xù))

示例：已知信源符號(hào)集編碼輸出的碼字符號(hào)集為解：已知：嘗試需要增加虛假符號(hào)數(shù)為新構(gòu)建的信源滿足：第七十七頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs78第四章信息論基礎(chǔ)

示例(續(xù))：改造后的符號(hào)概率場(chǎng)為

編碼過(guò)程如下第七十八頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs79第四章信息論基礎(chǔ)

示例(續(xù))：平均碼字長(zhǎng)度：第七十九頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs80第四章信息論基礎(chǔ)

示例(續(xù))：如果不加入虛假符號(hào)，直接進(jìn)行編碼，則有平均碼字長(zhǎng)度第八十頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs81第四章信息論基礎(chǔ)

霍夫曼編碼(續(xù))

碼字長(zhǎng)度的均勻性和方差

在同樣的平均碼字長(zhǎng)度的情況下，碼字長(zhǎng)度越均勻，對(duì)傳輸越有利。

定義

碼字長(zhǎng)度的方差其中

編碼過(guò)程的排序過(guò)程不同會(huì)影響碼長(zhǎng)的方差。第八十一頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs82第四章信息論基礎(chǔ)

碼字長(zhǎng)度的均勻性和方差(續(xù))

示例：信源的符號(hào)空間為編碼輸出碼字集

編碼方式1第八十二頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs83第四章信息論基礎(chǔ)

示例：編碼方式1(續(xù))

平均碼長(zhǎng)：方差：第八十三頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs84第四章信息論基礎(chǔ)

編碼方式2

平均碼長(zhǎng)：方差：第八十四頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs85第四章信息論基礎(chǔ)

雖然平均碼長(zhǎng)一樣，但編碼方法2使得輸出的碼長(zhǎng)更為均勻。結(jié)論：在霍夫曼編碼過(guò)程中，當(dāng)對(duì)縮減信源概率重新排列時(shí)，應(yīng)使合并得到的局部概率和，盡量使其處于最高位置；這樣可以使得合并元素重復(fù)編碼的次數(shù)減少，降低碼字長(zhǎng)度的方差，使得碼字長(zhǎng)度比較均勻。第八十五頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs86第四章信息論基礎(chǔ)率失真理論

實(shí)際系統(tǒng)中的權(quán)衡關(guān)系實(shí)際系統(tǒng)通常需要在性能與經(jīng)濟(jì)性之間取得某種平衡；通常采用以某些不可察覺(jué)或可察覺(jué)但不影響應(yīng)用的信號(hào)失真代價(jià)，來(lái)?yè)Q取所需的傳輸速率、存儲(chǔ)空間、運(yùn)算復(fù)雜度和系統(tǒng)實(shí)現(xiàn)成本的降低；

第八十六頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs87第四章信息論基礎(chǔ)

失真的概念失真是指用某種尺度衡量的實(shí)際的信源樣值與信號(hào)經(jīng)過(guò)變化后對(duì)應(yīng)值之差。

失真函數(shù)：對(duì)由符號(hào)變?yōu)榉?hào)引起誤差造成影響的大小，人為定義一個(gè)非負(fù)函數(shù)稱之：失真函數(shù)的取值通常反映失真產(chǎn)生的代價(jià)。第八十七頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs88第四章信息論基礎(chǔ)

失真函數(shù)的示例：

(漢明失真函數(shù))第八十八頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs89第四章信息論基礎(chǔ)率失真理論

研究率失真理論的目的分析在允許一定失真的條件下，要重構(gòu)一個(gè)信號(hào)，信源輸出的信息率能否減少和應(yīng)如何處理；研究限定失真條件下的信源編碼方法。第八十九頁(yè)，共一百零二頁(yè)，2022年，8月28日2010CopyrightSCUTDT&PLabs90第四章信息論基礎(chǔ)

率失真理論在通信中的應(yīng)用已知輸入信號(hào)集：輸出信號(hào)集：對(duì)離散無(wú)記憶信道，有

失真函數(shù)：對(duì)由輸入符號(hào)變?yōu)檩敵龇?hào)