1、Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods Chapter 8圖像壓縮Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods Chapter 8圖像壓縮圖像壓縮 圖像壓縮探討減少表示數(shù)字圖像所需之?dāng)?shù)據(jù)量的問(wèn)題圖像壓縮探討減少表示數(shù)字圖像所需之?dāng)?shù)據(jù)量的問(wèn)題。減。減數(shù)據(jù)量的基本原則是移去冗余的數(shù)據(jù)。以數(shù)學(xué)的觀點(diǎn)，這數(shù)據(jù)量的基本原則是移去冗余的數(shù)據(jù)。以數(shù)學(xué)的觀點(diǎn)，這等于是一個(gè)等于是一個(gè)2 2維像素?cái)?shù)組轉(zhuǎn)換成統(tǒng)計(jì)上不相關(guān)的數(shù)據(jù)集維像

2、素?cái)?shù)組轉(zhuǎn)換成統(tǒng)計(jì)上不相關(guān)的數(shù)據(jù)集。圖。圖像的儲(chǔ)存或傳輸前都要先轉(zhuǎn)換。之后，壓縮圖像就被解壓像的儲(chǔ)存或傳輸前都要先轉(zhuǎn)換。之后，壓縮圖像就被解壓縮以重建原始圖像或它的近似?？s以重建原始圖像或它的近似。 在本章中我們將討論圖像壓縮處理的理論與實(shí)現(xiàn)。在本章中我們將討論圖像壓縮處理的理論與實(shí)現(xiàn)。 8.1 8.1到到8.38.3節(jié)構(gòu)成基礎(chǔ)的介紹，而此基礎(chǔ)整合起來(lái)就形成此節(jié)構(gòu)成基礎(chǔ)的介紹，而此基礎(chǔ)整合起來(lái)就形成此領(lǐng)域的理論。領(lǐng)域的理論。 8.4 8.4到到8.68.6節(jié)討論圖像壓縮的實(shí)際面。節(jié)討論圖像壓縮的實(shí)際面。Digital Image Processing, 2nd 2002 R. C. Gonzal

3、ez & R. E. Woods 8.18.1背景基礎(chǔ)背景基礎(chǔ)數(shù)據(jù)壓縮數(shù)據(jù)壓縮 (data compression)(data compression)這術(shù)語(yǔ)是指降低表示一個(gè)所給這術(shù)語(yǔ)是指降低表示一個(gè)所給信息量所需之?dāng)?shù)據(jù)量的一種處理。我們必須弄清楚數(shù)據(jù)信息量所需之?dāng)?shù)據(jù)量的一種處理。我們必須弄清楚數(shù)據(jù)(data)(data)與與信息信息 (information)(information)的區(qū)別。其實(shí)的區(qū)別。其實(shí)數(shù)據(jù)數(shù)據(jù)是傳遞信息的是傳遞信息的載體載體，同樣的信息量可能可以用各種不同的數(shù)據(jù)量來(lái)代表。，同樣的信息量可能可以用各種不同的數(shù)據(jù)量來(lái)代表。例如，一個(gè)喜歡喋喋不休的人與另一個(gè)總是簡(jiǎn)短

4、扼要講話的例如，一個(gè)喜歡喋喋不休的人與另一個(gè)總是簡(jiǎn)短扼要講話的人來(lái)講同樣的故事。人來(lái)講同樣的故事。這些數(shù)據(jù)（或言語(yǔ)）不是提供一些無(wú)關(guān)緊要的信息就是重述這些數(shù)據(jù)（或言語(yǔ)）不是提供一些無(wú)關(guān)緊要的信息就是重述一些早已知道的東西。因此說(shuō)它含有一些早已知道的東西。因此說(shuō)它含有數(shù)據(jù)數(shù)據(jù)冗余性冗余性 ( data( data redundancy ) redundancy )Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 8.18.1背景基礎(chǔ)背景基礎(chǔ)信息信息 與與 圖像圖像的關(guān)系的關(guān)系 ！Digital Image Pr

5、ocessing, 2nd 2002 R. C. Gonzalez & R. E. Woods 數(shù)據(jù)冗余性數(shù)據(jù)冗余性是數(shù)學(xué)上是數(shù)學(xué)上可定量描述可定量描述的實(shí)體。如的實(shí)體。如果用果用 與與 代代表用來(lái)表示表用來(lái)表示同一個(gè)信息同一個(gè)信息之兩組數(shù)據(jù)的信息載體單位個(gè)數(shù)，則之兩組數(shù)據(jù)的信息載體單位個(gè)數(shù)，則第一組數(shù)據(jù)集合第一組數(shù)據(jù)集合（用字母用字母 表示者表示者）的的相對(duì)數(shù)據(jù)冗余性相對(duì)數(shù)據(jù)冗余性 ( relative data redundancy ) 可定義成可定義成 (8.1-1)其中其中 通常稱為通常稱為壓縮率壓縮率 ( compression ratio ) (8.1-2)RDCR11RC

6、1n2n1nDR21nnCRDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 在數(shù)字圖像壓縮中，有三種基本的數(shù)據(jù)冗余性可以被確認(rèn)與在數(shù)字圖像壓縮中，有三種基本的數(shù)據(jù)冗余性可以被確認(rèn)與利用：利用：編碼編碼（codingcoding）冗余性、）冗余性、像素間像素間（interpixelinterpixel）冗余性）冗余性及及心理視覺(jué)心理視覺(jué)（psychovisualpsychov

7、isual）冗余性。）冗余性。當(dāng)減少或消除這些冗余性的一種或多種時(shí)，就可達(dá)成數(shù)據(jù)壓當(dāng)減少或消除這些冗余性的一種或多種時(shí)，就可達(dá)成數(shù)據(jù)壓縮的效果?？s的效果。Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 8.1.18.1.1編碼冗余性編碼冗余性與第三章一樣，讓我們?cè)俅渭僭O(shè)在區(qū)間與第三章一樣，讓我們?cè)俅渭僭O(shè)在區(qū)間0 , 1 中的離散隨機(jī)中的離散隨機(jī)變數(shù)變數(shù) 代表一圖像的灰階，且每個(gè)代表一圖像的灰階，且每個(gè) 出現(xiàn)的機(jī)率為出現(xiàn)的機(jī)率為 (8.1-3)式中式中 L 為灰階數(shù)為灰階數(shù)， 為第為第 k 個(gè)灰階在圖像中出現(xiàn)

8、的次數(shù)個(gè)灰階在圖像中出現(xiàn)的次數(shù)，而而 n 為圖像中像素的總數(shù)。如果用來(lái)表示每個(gè)為圖像中像素的總數(shù)。如果用來(lái)表示每個(gè) 值值的位的位數(shù)是數(shù)是 ，則表示則表示每一個(gè)像素每一個(gè)像素所需的平均位數(shù)為所需的平均位數(shù)為(8.1-4)krkr)(krrp1,2, 1 ,0)(Lknnrpkkrknkr)(krl)()(10krLkkavgrprlLDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 也就是說(shuō)，指定給各種不同灰階之碼字的平均碼長(zhǎng)是代表每也就是說(shuō)，指定給各種不同灰階之碼字的平均碼長(zhǎng)是代表每一個(gè)灰階的位數(shù)與該灰階出現(xiàn)

9、之機(jī)率乘積的和。因此，對(duì)一個(gè)灰階的位數(shù)與該灰階出現(xiàn)之機(jī)率乘積的和。因此，對(duì)一個(gè)一個(gè) 圖像編碼所需要的總位數(shù)為圖像編碼所需要的總位數(shù)為 。用用 m 位位的自然二進(jìn)碼來(lái)代表圖像的灰階的自然二進(jìn)碼來(lái)代表圖像的灰階( (常數(shù)），代入常數(shù)），代入 (8.1-4)可得式右邊簡(jiǎn)化為可得式右邊簡(jiǎn)化為 m 位位。NMavgMNLDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods kr范例范例8.1可變長(zhǎng)度編碼可變長(zhǎng)度編碼的一個(gè)簡(jiǎn)單例的一個(gè)簡(jiǎn)單例證證一幅八階圖像有表一幅八階圖像有表8.18.1中所示的灰階分布。如果用中所示的灰階分

10、布。如果用三位的自然二進(jìn)碼（三位的自然二進(jìn)碼（code 1code 1）來(lái)表示八種可能的）來(lái)表示八種可能的灰階，則因?yàn)閷?duì)所有的灰階，則因?yàn)閷?duì)所有的 都有都有 ，所以所以是是3 3位。不過(guò)如果用表位。不過(guò)如果用表8.18.1中的中的code 2code 2，則對(duì)該，則對(duì)該圖像編碼所需要的平均位數(shù)就降為圖像編碼所需要的平均位數(shù)就降為3)(1krlavgLDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 099.011.11111.17.237.2)02.0(6)03.0(6)06.0(5)08.0(4)16.0(

11、3)21.0(2)25.0(2)19.0(2)()(702DRkrkkavgRCrprlL位元Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 圖圖8.18.1說(shuō)明應(yīng)用說(shuō)明應(yīng)用code 2code 2能達(dá)到能達(dá)到數(shù)據(jù)壓縮的道理數(shù)據(jù)壓縮的道理。圖中同時(shí)顯。圖中同時(shí)顯示了圖像的直方圖與示了圖像的直方圖與 。因?yàn)檫@兩函數(shù)成反比，故因?yàn)檫@兩函數(shù)成反比，故codecode2 2中的最中的最短碼字被分配給圖像中最常出現(xiàn)的灰階短碼字被分配給圖像中最常出現(xiàn)的灰階。)(2krlDigital Image Processing,

12、 2nd 2002 R. C. Gonzalez & R. E. Woods 在上面的例子中，在上面的例子中，對(duì)出現(xiàn)機(jī)率較大的灰階比出現(xiàn)機(jī)率較小者對(duì)出現(xiàn)機(jī)率較大的灰階比出現(xiàn)機(jī)率較小者分配以較少的位數(shù)分配以較少的位數(shù)，達(dá)到了數(shù)據(jù)壓縮的目的。這個(gè)過(guò)程常，達(dá)到了數(shù)據(jù)壓縮的目的。這個(gè)過(guò)程常稱為稱為可變長(zhǎng)度編碼可變長(zhǎng)度編碼（variable-length codingvariable-length coding）編碼冗余編碼冗余是基于圖像灰度級(jí)出現(xiàn)的可能性。是基于圖像灰度級(jí)出現(xiàn)的可能性。Digital Image Processing, 2nd 2002 R. C. Gonzalez &

13、 R. E. Woods 8.1.28.1.2像素間冗余性像素間冗余性考慮考慮圖圖8.28.2中所示的圖像。因?yàn)檫@些圖像中的灰階值不是等中所示的圖像。因?yàn)檫@些圖像中的灰階值不是等機(jī)率分布，故用機(jī)率分布，故用可變長(zhǎng)度編碼可變長(zhǎng)度編碼可以從像素的直接或自然二進(jìn)可以從像素的直接或自然二進(jìn)制碼中降低編碼冗余性。不過(guò)編碼過(guò)程制碼中降低編碼冗余性。不過(guò)編碼過(guò)程并不改變圖像內(nèi)各像并不改變圖像內(nèi)各像素間的相關(guān)程度素間的相關(guān)程度。換言之，用來(lái)代表每一圖像灰階值的碼并。換言之，用來(lái)代表每一圖像灰階值的碼并未涉及到像素之間的相關(guān)性。這些未涉及到像素之間的相關(guān)性。這些相關(guān)性來(lái)自圖像中各物體相關(guān)性來(lái)自圖像中各物體間的結(jié)

14、構(gòu)或幾何關(guān)系間的結(jié)構(gòu)或幾何關(guān)系。8.2(e)8.2(e)與與(f)(f)分別顯示每一幅圖像沿一列所計(jì)算出來(lái)的分別顯示每一幅圖像沿一列所計(jì)算出來(lái)的自相關(guān)自相關(guān)系數(shù)系數(shù) ( autocorrelation coefficient )( autocorrelation coefficient )。Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 這些相關(guān)系數(shù)是用(4.6-30)式的正規(guī)化版本所計(jì)算出的：(8.1-5)式中(8.1-6)0()()(AnAnnNynyxfyxfnNnA10),(),(1)(Digita

15、l Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods (1) 45 和和 90個(gè)樣本分開(kāi)的像個(gè)樣本分開(kāi)的像素之間的高度相關(guān)；素之間的高度相關(guān)；(2) 當(dāng)當(dāng)n=1時(shí)，高的相關(guān)性時(shí)，高的相關(guān)性Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 這些圖例反映了數(shù)據(jù)冗余性的另一個(gè)重要形式與這些圖例反映了數(shù)據(jù)冗余性的另一個(gè)重要形式與圖像內(nèi)像圖像內(nèi)像素間一種冗余性素間一種冗余性。由于任一已知像素的灰階值都可以從其近鄰。由于任一已知像素的灰階值都可以從其近

16、鄰的值合理的預(yù)測(cè)出，所以的值合理的預(yù)測(cè)出，所以各別像素所攜帶的信息量相當(dāng)小各別像素所攜帶的信息量相當(dāng)小。為了減少圖像中的像素間冗余性，一般用于人類視覺(jué)和理解為了減少圖像中的像素間冗余性，一般用于人類視覺(jué)和理解的二維像素?cái)?shù)組必須轉(zhuǎn)換成更有效的二維像素?cái)?shù)組必須轉(zhuǎn)換成更有效 （但通常是非視覺(jué)）的（但通常是非視覺(jué)）的形式（如相鄰像素之間的差異用來(lái)描繪圖像）。此種類型的轉(zhuǎn)形式（如相鄰像素之間的差異用來(lái)描繪圖像）。此種類型的轉(zhuǎn)換稱為換稱為映射映射 ( mapping )( mapping )。如果原始圖像元素可以從經(jīng)轉(zhuǎn)換。如果原始圖像元素可以從經(jīng)轉(zhuǎn)換的數(shù)據(jù)集合重建就稱為的數(shù)據(jù)集合重建就稱為可逆的映射可逆的

17、映射 ( reversible mapping ( reversible mapping ) )Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 8.1.38.1.3心理視覺(jué)冗余性心理視覺(jué)冗余性在正常的視覺(jué)處理中，在正常的視覺(jué)處理中，某些信息比起其他信息相對(duì)不那么重某些信息比起其他信息相對(duì)不那么重要要，則我們稱此信息是，則我們稱此信息是心理視覺(jué)冗余的心理視覺(jué)冗余的 ( psychovisually( psychovisually redundant ) redundant )。它可以被消除而使圖像質(zhì)量感受無(wú)明

18、顯損傷。它可以被消除而使圖像質(zhì)量感受無(wú)明顯損傷。心理視覺(jué)冗余性不像編碼和像素間冗余，而與真實(shí)的或可定心理視覺(jué)冗余性不像編碼和像素間冗余，而與真實(shí)的或可定量的視覺(jué)信息有關(guān)。只有當(dāng)信息本身對(duì)一般視覺(jué)處理并不重量的視覺(jué)信息有關(guān)。只有當(dāng)信息本身對(duì)一般視覺(jué)處理并不重要時(shí)才可以被刪去。因?yàn)橐獣r(shí)才可以被刪去。因?yàn)樾睦硪曈X(jué)冗余數(shù)據(jù)被刪去造成定量心理視覺(jué)冗余數(shù)據(jù)被刪去造成定量信息的損失，所以通常稱之為信息的損失，所以通常稱之為量化量化 ( quantization )( quantization )。因?yàn)樗Ｒ驗(yàn)樗且粋€(gè)非可逆的運(yùn)算，故是一個(gè)非可逆的運(yùn)算，故量化導(dǎo)致有失真的數(shù)據(jù)壓縮量化導(dǎo)致有失真的數(shù)據(jù)壓縮。Di

19、gital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 范例范例8.38.3：量化壓縮：量化壓縮考慮考慮圖圖8.48.4（a)a)顯示一幅有顯示一幅有256256可能灰階的黑白圖像可能灰階的黑白圖像 (b) (b)顯示經(jīng)過(guò)顯示經(jīng)過(guò)4 4位或位或1616種可能灰度級(jí)后的結(jié)果，注意在本來(lái)種可能灰度級(jí)后的結(jié)果，注意在本來(lái)平滑區(qū)域中出現(xiàn)假輪廓（平滑區(qū)域中出現(xiàn)假輪廓（利用人眼對(duì)灰度不敏感壓縮利用人眼對(duì)灰度不敏感壓縮）。）。 (c)所得的壓縮率為所得的壓縮率為2 2：1 1。說(shuō)明利用人類視覺(jué)系統(tǒng)特性的量。說(shuō)明利用人類視覺(jué)系統(tǒng)特性的

20、量化使圖像有很大改善的可能。用來(lái)產(chǎn)生此種結(jié)果的方法稱化使圖像有很大改善的可能。用來(lái)產(chǎn)生此種結(jié)果的方法稱為為改進(jìn)灰階改進(jìn)灰階 ( IGS , improved gray-scale )量化。量化。Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 這個(gè)方法認(rèn)為這個(gè)方法認(rèn)為人類眼睛對(duì)邊緣有特有的靈敏度，因此對(duì)每一人類眼睛對(duì)邊緣有特有的靈敏度，因此對(duì)每一個(gè)像素加上一個(gè)虛擬隨機(jī)數(shù)以打散這些邊緣個(gè)像素加上一個(gè)虛擬隨機(jī)數(shù)以打散這些邊緣，其中虛擬隨機(jī)，其中虛擬隨機(jī)數(shù)是由量化以前之相鄰像素的數(shù)是由量化以前之相鄰像素的低位產(chǎn)生低

21、位產(chǎn)生。因?yàn)榈臀粩?shù)相。因?yàn)榈臀粩?shù)相當(dāng)隨機(jī)，這就相當(dāng)于對(duì)伴隨于假輪廓的人造邊緣加上一定量當(dāng)隨機(jī)，這就相當(dāng)于對(duì)伴隨于假輪廓的人造邊緣加上一定量的隨機(jī)性。的隨機(jī)性。表表8.28.2說(shuō)明這個(gè)方法。一個(gè)說(shuō)明這個(gè)方法。一個(gè)總和起初設(shè)定為零總和起初設(shè)定為零，接著從目前，接著從目前的的8 8位灰階值與前一個(gè)產(chǎn)生總和的最低位灰階值與前一個(gè)產(chǎn)生總和的最低4 4位相加形成總位相加形成總和。不過(guò)如果目前像素值最高四位為和。不過(guò)如果目前像素值最高四位為11111111，則用，則用00000000代替代替去相加。所得總和的最高去相加。所得總和的最高4 4位作為編碼的像素灰階值。位作為編碼的像素灰階值。Digital Im

22、age Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 重點(diǎn)重點(diǎn)Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 8.1.4 8.1.4 保真度準(zhǔn)則保真度準(zhǔn)則正如在前面所談到的，心理視覺(jué)冗余數(shù)據(jù)的移除會(huì)導(dǎo)致真實(shí)正如在前面所談到的，心理視覺(jué)冗余數(shù)據(jù)的移除會(huì)導(dǎo)致真實(shí)的或可定量之視覺(jué)信息的損失。因?yàn)楦信d趣的信息可能丟失的或

23、可定量之視覺(jué)信息的損失。因?yàn)楦信d趣的信息可能丟失，所以很需要有一個(gè)可重復(fù)或再現(xiàn)的方法以，所以很需要有一個(gè)可重復(fù)或再現(xiàn)的方法以衡量信息丟失的衡量信息丟失的特性與程度特性與程度。這種評(píng)估的基本準(zhǔn)則通常有兩大類：。這種評(píng)估的基本準(zhǔn)則通常有兩大類：(1)(1) 客觀保真度準(zhǔn)則客觀保真度準(zhǔn)則( objective fidelity criterion )( objective fidelity criterion )(2)(2) 主觀保真度準(zhǔn)則主觀保真度準(zhǔn)則( subjective fidelity criterion )( subjective fidelity criterion )當(dāng)當(dāng)信息損失的程

24、度信息損失的程度可以表示成原始的或輸入圖像與經(jīng)過(guò)壓縮可以表示成原始的或輸入圖像與經(jīng)過(guò)壓縮及解壓縮的輸出圖像的函數(shù)時(shí)，就說(shuō)這是根據(jù)及解壓縮的輸出圖像的函數(shù)時(shí)，就說(shuō)這是根據(jù)客觀的保真度客觀的保真度準(zhǔn)則準(zhǔn)則 ( objective fidelity criterion )( objective fidelity criterion )Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 輸入與輸出圖像之間的均方根輸入與輸出圖像之間的均方根( rms )誤差就是個(gè)好例子誤差就是個(gè)好例子。假設(shè)假設(shè) 代表輸入圖像，對(duì)輸入圖像

25、經(jīng)過(guò)壓縮與解壓縮代表輸入圖像，對(duì)輸入圖像經(jīng)過(guò)壓縮與解壓縮所得的圖像所得的圖像 代表代表 的估測(cè)或近似。對(duì)的估測(cè)或近似。對(duì) 或或的任意值的任意值， 與與 之間的誤差之間的誤差 可以定可以定義為義為(8.1-7)因此，兩個(gè)圖像之間總誤差為因此，兩個(gè)圖像之間總誤差為),(yxf),(yxf),(yxfxy),(yxf),(yxf),(yxe),(),(),(yxfyxfyxe ),(),(1010MxNyyxfyxfDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 與 之間的均方根誤差之間的均方根誤差( root-

26、mean-square error ) 為：為：(8.1-8)輸出圖像的均方信噪比輸出圖像的均方信噪比( mean square signal-to-noise ratio)(8.1-9),(yxf),(yxfrmse2110102rms),(),(1 MxNyyxfyxfMNe2101010102 ),(),(),(MxNyMxNymsyxfyxfyxfSNRSNRrms取平方根取平方根Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods Digital Image Processing, 2nd 2002 R

27、. C. Gonzalez & R. E. Woods 主觀保真度準(zhǔn)則主觀保真度準(zhǔn)則 ( subjective fidelity criterion )雖然客觀保真度準(zhǔn)則提供了一種簡(jiǎn)單方便的評(píng)估機(jī)制，但大雖然客觀保真度準(zhǔn)則提供了一種簡(jiǎn)單方便的評(píng)估機(jī)制，但大多數(shù)解壓縮圖像的最終觀察者還是人。因此，用一個(gè)觀察者多數(shù)解壓縮圖像的最終觀察者還是人。因此，用一個(gè)觀察者的主觀評(píng)估來(lái)衡量圖像質(zhì)量往往更為適合。其作法為：選一的主觀評(píng)估來(lái)衡量圖像質(zhì)量往往更為適合。其作法為：選一部分適當(dāng)?shù)挠^察者代表，讓他們對(duì)典型的解壓縮圖像評(píng)部分適當(dāng)?shù)挠^察者代表，讓他們對(duì)典型的解壓縮圖像評(píng)分，然后對(duì)其評(píng)分取平均。評(píng)分可以

28、用一個(gè)絕對(duì)等級(jí)尺度或分，然后對(duì)其評(píng)分取平均。評(píng)分可以用一個(gè)絕對(duì)等級(jí)尺度或是以是以 與與 對(duì)照比較對(duì)照比較。表表8.3顯示一種可能的顯示一種可能的絕對(duì)等級(jí)尺度絕對(duì)等級(jí)尺度。),(yxf),(yxfDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 1 極好極好 2好好 3過(guò)得去過(guò)得去 4勉強(qiáng)可以勉強(qiáng)可以5 差差 6不可用不可用Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 范例范例8.48.4：圖像質(zhì)量的比較：圖像質(zhì)量的比較圖

29、圖8.4(b)8.4(b)和和(c)(c)中量化后圖像的均方根誤差為中量化后圖像的均方根誤差為6.936.93與與6.786.78灰灰階。相對(duì)應(yīng)的階。相對(duì)應(yīng)的rmsrms信噪比為信噪比為10.2510.25與與10.3910.39。雖然這些。雖然這些數(shù)值很類似，但兩幅被編碼圖像的主觀視覺(jué)質(zhì)量的評(píng)價(jià)卻不數(shù)值很類似，但兩幅被編碼圖像的主觀視覺(jué)質(zhì)量的評(píng)價(jià)卻不同：圖同：圖8.4(b)8.4(b)為勉強(qiáng)通過(guò)為勉強(qiáng)通過(guò)( marginal )( marginal )等級(jí)，而等級(jí)，而8.4(c)8.4(c)則則是可以通過(guò)是可以通過(guò)( passable )( passable )的等級(jí)。的等級(jí)。Digital

30、 Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 8.28.2圖像壓縮模型圖像壓縮模型如下圖所示，一個(gè)壓縮系統(tǒng)由兩個(gè)不同的結(jié)構(gòu)區(qū)塊組成：如下圖所示，一個(gè)壓縮系統(tǒng)由兩個(gè)不同的結(jié)構(gòu)區(qū)塊組成：編碼器編碼器 (encoder)(encoder)與與譯碼器譯碼器 (decoder)(decoder)。輸入圖像。輸入圖像 被被送進(jìn)編碼器，編碼器從輸入數(shù)據(jù)中產(chǎn)生一組符號(hào)。經(jīng)過(guò)通道送進(jìn)編碼器，編碼器從輸入數(shù)據(jù)中產(chǎn)生一組符號(hào)。經(jīng)過(guò)通道(channel)(channel)傳輸后，被編碼過(guò)的數(shù)據(jù)送到譯碼器，譯碼器產(chǎn)生傳輸后，被編碼過(guò)的數(shù)據(jù)送到譯

31、碼器，譯碼器產(chǎn)生一個(gè)重建輸出圖像一個(gè)重建輸出圖像 。),(yxf),(yxfDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 圖中所顯示的編碼器與譯碼器都含有兩個(gè)相當(dāng)獨(dú)立的功能區(qū)圖中所顯示的編碼器與譯碼器都含有兩個(gè)相當(dāng)獨(dú)立的功能區(qū)塊或子區(qū)塊。編碼器由信源編碼器塊或子區(qū)塊。編碼器由信源編碼器( source encoder )( source encoder )與信道與信道編碼器編碼器( channel encoder )( channel encoder )組成，前者移除輸入組成，前者移除輸入冗余性冗余性，后

32、者，后者則增強(qiáng)信源編碼器輸出的則增強(qiáng)信源編碼器輸出的抗噪聲抗噪聲能力。譯碼器則包括信道解能力。譯碼器則包括信道解碼器碼器(channel decoder)(channel decoder)及其后的信源譯碼器及其后的信源譯碼器(source decoder)(source decoder)Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 8.2.1信源編碼器和譯碼器信源編碼器和譯碼器信源編碼器負(fù)責(zé)縮減或刪去輸入圖像中的任何冗余性。具體信源編碼器負(fù)責(zé)縮減或刪去輸入圖像中的任何冗余性。具體的應(yīng)用與伴隨的保真度要求決

33、定了在任何所給情況下可用的的應(yīng)用與伴隨的保真度要求決定了在任何所給情況下可用的最好編碼方法。通常，這種方法可用三個(gè)獨(dú)立運(yùn)算串聯(lián)的模最好編碼方法。通常，這種方法可用三個(gè)獨(dú)立運(yùn)算串聯(lián)的模型來(lái)表示。如型來(lái)表示。如圖圖8.6(a)8.6(a)。第一階段第一階段由由映射器映射器 (mapper)(mapper)將輸入將輸入資料轉(zhuǎn)換成可以縮減輸入圖像之像素間冗余性的格式，資料轉(zhuǎn)換成可以縮減輸入圖像之像素間冗余性的格式，DCTDCT變變換是一個(gè)映射例子。換是一個(gè)映射例子。第二階段第二階段是是量化器量化器 (quantizer)(quantizer)，根據(jù)，根據(jù)某一個(gè)預(yù)先建立的保真度準(zhǔn)則，降低映像器輸出的精確

34、度以某一個(gè)預(yù)先建立的保真度準(zhǔn)則，降低映像器輸出的精確度以縮減心理視覺(jué)冗余性?？s減心理視覺(jué)冗余性。第三階段第三階段是是符號(hào)編碼器符號(hào)編碼器 (symbol (symbol coder)coder)產(chǎn)生一個(gè)表示量化器輸出的固定或可變長(zhǎng)度碼并根據(jù)產(chǎn)生一個(gè)表示量化器輸出的固定或可變長(zhǎng)度碼并根據(jù)該碼映射輸出。以減少編碼冗余。該碼映射輸出。以減少編碼冗余。Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 圖圖8.6(b)8.6(b)所顯示的信源譯碼器僅含有兩個(gè)部份：一個(gè)所顯示的信源譯碼器僅含有兩個(gè)部份：一個(gè)符號(hào)解符號(hào)解碼

35、器碼器 (symbol decoder)(symbol decoder)和一個(gè)和一個(gè)反映射器反映射器 (inverse mapper)(inverse mapper)。這兩個(gè)區(qū)塊依相反的順序執(zhí)行信源編碼器中的符號(hào)編碼器和這兩個(gè)區(qū)塊依相反的順序執(zhí)行信源編碼器中的符號(hào)編碼器和映射區(qū)塊的反運(yùn)算。因?yàn)榱炕a(chǎn)生不可逆的信息損失，故在映射區(qū)塊的反運(yùn)算。因?yàn)榱炕a(chǎn)生不可逆的信息損失，故在通常的譯碼器模型中并未包括反量化器區(qū)塊。通常的譯碼器模型中并未包括反量化器區(qū)塊。Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 8.2.

36、28.2.2信道編碼器和譯碼器信道編碼器和譯碼器當(dāng)信道中有噪聲或容易錯(cuò)誤時(shí)，信道編碼器和譯碼器在整個(gè)當(dāng)信道中有噪聲或容易錯(cuò)誤時(shí)，信道編碼器和譯碼器在整個(gè)編碼編碼- -譯碼過(guò)程中扮演重要的角色。信道編碼器在信源編碼資譯碼過(guò)程中扮演重要的角色。信道編碼器在信源編碼資料中料中插入插入受控制的受控制的冗余性冗余性來(lái)來(lái)減少信道噪聲的沖擊減少信道噪聲的沖擊。因?yàn)樾旁?。因?yàn)樾旁淳幋a器的輸出不含有冗余性，如果不加此受控制的冗余性編碼器的輸出不含有冗余性，如果不加此受控制的冗余性就會(huì)對(duì)傳輸噪聲高度敏感。就會(huì)對(duì)傳輸噪聲高度敏感。最有名的信道編碼技術(shù)之一是由最有名的信道編碼技術(shù)之一是由R. W. R. W. Ham

37、mingHamming發(fā)明的。它發(fā)明的。它是是對(duì)要編碼的數(shù)據(jù)加入足夠的位，以確保有效碼字之間的對(duì)要編碼的數(shù)據(jù)加入足夠的位，以確保有效碼字之間的位改變至少要達(dá)某一最小數(shù)位改變至少要達(dá)某一最小數(shù)。Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 伴隨伴隨4 4位二進(jìn)制位二進(jìn)制數(shù)數(shù) 的的 7 位元位元 Hamming (7,4) code 為為(8.2-1)其中其中 表示表示 XOR 運(yùn)算。注意位元運(yùn)算。注意位元 ， 和和 分別是字節(jié)分別是字節(jié) ， 與與 的的偶校驗(yàn)偶校驗(yàn) (even parity bits)( 回

38、想一下：若在一串二位字符串中有偶數(shù)個(gè)回想一下：若在一串二位字符串中有偶數(shù)個(gè)1 1的位，則其有的位，則其有 偶校驗(yàn)偶校驗(yàn)。)0123bbbb76521hhhhh012401320231bbbhbbbhbbbh07162533bhbhbhbh1h2h4h023bbb013bbb012bbbDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 要對(duì)漢明編碼的結(jié)果譯碼，信道譯碼器必須檢驗(yàn)編碼值，對(duì)要對(duì)漢明編碼的結(jié)果譯碼，信道譯碼器必須檢驗(yàn)編碼值，對(duì)先前已建立偶同位校驗(yàn)的字節(jié)進(jìn)行奇同位校驗(yàn)。先前已建立偶同位校驗(yàn)的字節(jié)進(jìn)行奇

39、同位校驗(yàn)。單一個(gè)位單一個(gè)位元錯(cuò)誤元錯(cuò)誤由非零的同位字組由非零的同位字組 所示，其中所示，其中(8.2-2)如果發(fā)現(xiàn)了非零值如果發(fā)現(xiàn)了非零值，則譯碼器只要將同位字組指出的碼字位，則譯碼器只要將同位字組指出的碼字位元位置取補(bǔ)碼即可。接著從被更正的碼字中提取出譯碼后的元位置取補(bǔ)碼即可。接著從被更正的碼字中提取出譯碼后的二進(jìn)制數(shù)值二進(jìn)制數(shù)值 。124ccc765447632275311hhhhchhhhchhhhc7653hhhhDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 范例范例8.58.5：Hamming

40、encodingHamming encoding考慮考慮表表8.28.2的的4 4位位IGSIGS數(shù)據(jù)在有噪聲的信道上傳輸。單一數(shù)據(jù)在有噪聲的信道上傳輸。單一位錯(cuò)誤會(huì)引起解壓縮后像素的灰階值最高達(dá)位錯(cuò)誤會(huì)引起解壓縮后像素的灰階值最高達(dá)128128階誤差。階誤差。漢明信道編碼器藉由插入足夠冗余性的方法可以檢出并更正漢明信道編碼器藉由插入足夠冗余性的方法可以檢出并更正單一個(gè)位錯(cuò)誤。由單一個(gè)位錯(cuò)誤。由(8.2-1)(8.2-1)式，式，表表8.28.2中第一個(gè)中第一個(gè)IGSIGS值值(0110)(0110)的漢的漢明編碼結(jié)果為明編碼結(jié)果為 。因?yàn)闈h明信道編碼器使表示。因?yàn)闈h明信道編碼器使表示IGSI

41、GS數(shù)據(jù)所需的位數(shù)從數(shù)據(jù)所需的位數(shù)從4 4增加到增加到7 7，所以在，所以在IGSIGS例子中所提到例子中所提到的的2 2：1 1壓縮率也減到壓縮率也減到8/78/7或或1.141.14：1 1。壓縮率減少就是增加壓縮率減少就是增加抗噪聲能力所付出的代價(jià)抗噪聲能力所付出的代價(jià)。21100110Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 8.38.3信息論基礎(chǔ)信息論基礎(chǔ)在在8.18.1節(jié)中我們介紹了幾種縮減用來(lái)表示一圖像之?dāng)?shù)據(jù)量的節(jié)中我們介紹了幾種縮減用來(lái)表示一圖像之?dāng)?shù)據(jù)量的方式。很自然產(chǎn)生的問(wèn)題是：表示

42、一幅圖像所需的數(shù)據(jù)量到方式。很自然產(chǎn)生的問(wèn)題是：表示一幅圖像所需的數(shù)據(jù)量到底可少到什么程度？也就是說(shuō)，底可少到什么程度？也就是說(shuō)，是否存在有一個(gè)既足夠完是否存在有一個(gè)既足夠完全地描述圖像又不丟失信息的最小數(shù)據(jù)量全地描述圖像又不丟失信息的最小數(shù)據(jù)量？信息論提供一個(gè)數(shù)學(xué)架構(gòu)以回答這個(gè)以及相關(guān)的問(wèn)題。信息論提供一個(gè)數(shù)學(xué)架構(gòu)以回答這個(gè)以及相關(guān)的問(wèn)題。Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 8.3.1測(cè)量測(cè)量信息信息信息論的基本前提是信息論的基本前提是信息的產(chǎn)生可以被模擬為一個(gè)概率過(guò)程信息的產(chǎn)生可以被模擬為一

43、個(gè)概率過(guò)程，這個(gè)過(guò)程可以用與我們的直覺(jué)相一致的方法度量。根據(jù)，這個(gè)過(guò)程可以用與我們的直覺(jué)相一致的方法度量。根據(jù)這個(gè)假設(shè)，一個(gè)發(fā)生機(jī)率為這個(gè)假設(shè)，一個(gè)發(fā)生機(jī)率為 的的隨機(jī)事件隨機(jī)事件 ，我們稱它我們稱它含有含有(8.3-1)單位的單位的信息信息。 這個(gè)量常稱為這個(gè)量常稱為 的的自信息自信息( self-Information )（P(E)=1,則則I(E)=0,信息為信息為0）)(EPE)(log)(1log)(EPEPEI)(EIEDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 8.3.28.3.2信息信道

44、信息信道當(dāng)在信息源與信息用戶之間傳遞自信息時(shí)，我們說(shuō)信息當(dāng)在信息源與信息用戶之間傳遞自信息時(shí)，我們說(shuō)信息源與信息用戶之間是由源與信息用戶之間是由信息信道信息信道 ( information channel )相相連接。連接。圖圖8.78.7顯示一個(gè)離散信息系統(tǒng)的簡(jiǎn)單數(shù)學(xué)模型。這里顯示一個(gè)離散信息系統(tǒng)的簡(jiǎn)單數(shù)學(xué)模型。這里特別感興趣的參數(shù)是系統(tǒng)的特別感興趣的參數(shù)是系統(tǒng)的容量容量 ( capacity )，定義成系統(tǒng)傳定義成系統(tǒng)傳遞信息的能力。假設(shè)圖中的遞信息的能力。假設(shè)圖中的信息源產(chǎn)生一個(gè)隨機(jī)的符號(hào)序列信息源產(chǎn)生一個(gè)隨機(jī)的符號(hào)序列 ，稱為原始字母集稱為原始字母集A A ( source alpha

45、bet A )，集合中的元素用集合中的元素用 表示，稱為表示，稱為符號(hào)符號(hào)(symbol)或字母或字母 (letter)。信息源會(huì)產(chǎn)生符號(hào)信息源會(huì)產(chǎn)生符號(hào) 這事件的機(jī)率這事件的機(jī)率為為 ，且，且(8.3-2),21Jaaajaja)(jaPJjjaP11)(Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods Chapter 8Image CompressionDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 一個(gè) 維向量 常用

46、來(lái)表示所有原始符號(hào)機(jī)率的集合 。有限的總總體體 (ensemble) 完整描述了此信息源。假設(shè)離散源發(fā)送符號(hào) 的機(jī)率為 ，則根據(jù)(8.3-1)式，一個(gè)單一信息源符號(hào)所產(chǎn)生的自我信息為 。如果產(chǎn)生 個(gè)信息源符號(hào)，大數(shù)定律告訴我們，對(duì)足夠大的，符號(hào) 平均將輸出 次。因此平均自我信息為1JTJaPaPaP)(,),(),(21z)(,),(),(21JaPaPaP),(zAja)(jaP2()log()jjI aP a kkja)(jakP)(log)()(log)()(log)(2211JJaPakPaPakPaPakPDigital Image Processing, 2nd 2002 R. C

47、. Gonzalez & R. E. Woods 或或每個(gè)信息源輸出的平均信息每個(gè)信息源輸出的平均信息用用 表示為表示為(8.3-3)這個(gè)量稱為信息源的這個(gè)量稱為信息源的不確定性不確定性 (uncertainty)或或熵熵 (entropy)。它定義了由觀察單一個(gè)信息源輸出所得的它定義了由觀察單一個(gè)信息源輸出所得的平均信息量平均信息量。)(log)(1jJjjaPaPk)(zH)(log)()(1jJjjaPaPHzDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 因?yàn)槲覀儗?duì)圖8.7信息信道的輸入是以

48、一個(gè)離散的隨機(jī)變量為模型來(lái)描述，所以傳遞到信息信道輸出的信息也是一個(gè)離散隨機(jī)變數(shù)，它的值來(lái)自一個(gè)可數(shù)符號(hào)集合稱為信道字母集信道字母集B (channel alphabetB)。符號(hào) 被呈現(xiàn)給信信息息使用者使用者 (information user)的這事件的機(jī)率為 。有限總集 完全描述了通道輸出以及被用戶接收到的信息，其中 。一個(gè)已知通道輸出機(jī)率 和信源原始機(jī)率分布 的關(guān)系式為(8.3-4),21kbbbkb)(kbP),(vBTkbPbPbP)(,),(),(21v)(kbPz)()|()(1jJjjkkaPabPbPDigital Image Processing, 2nd 2002 R.

49、 C. Gonzalez & R. E. Woods 如果在上式中的條件機(jī)率被安排成 的矩陣 ，使得(8.3-5)則全部輸出字母的機(jī)率分布可由下式計(jì)算(8.3-6) 稱為正向通道轉(zhuǎn)移矩陣正向通道轉(zhuǎn)移矩陣 (forward channel transition matrix)或簡(jiǎn)稱信信道矩陣道矩陣 (channel matrix) 。JK Q)|()|()|(.)|()|()|()|(211212111JKKKJabPabPabPabPabPabPabPQQzv QDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E.

50、Woods 為了求一個(gè)具有信道矩陣 的信道容量，我們必須先計(jì)算在使用者觀察到某特定輸出 的假設(shè)下，信息源的熵值。8.3-4式定義對(duì)任意觀察的 的原始符號(hào)分布，所以每一個(gè) 都有一個(gè)條件熵函數(shù)條件熵函數(shù) (conditional entropy function)?？蓪懗?8.3-7)此表示式對(duì)所有 的期望值為(8.3-8)Qkbkbkb)|(log)|()|(1kjJjkjkbaPbaPbHzkb)()|()|(1kKkkbPbHHzvzDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 以(8.3-7)式取代

51、并做一些改寫之后，上式可寫成(8.3-9) 的術(shù)語(yǔ)稱為 對(duì) 的模棱兩可不確定性模棱兩可不確定性 (equivocation)它代表假設(shè)已觀察到由一原始符號(hào)的產(chǎn)生所得的輸出符號(hào)后此一原始符號(hào)的平均信息。因?yàn)?是在假設(shè)不知道任何關(guān)于輸出符號(hào)條件下的一個(gè)原始符號(hào)的平均信息，故 與 之間的差值就是因觀察到一個(gè)輸出符號(hào)所接收到的平均信息。)|(kbH z)|(log),()|(11kjJjKkkjbaPbaPHvz)|(vzHzv)(zH)|(vzH)(zHDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 這差值稱之為

52、 與 的交互信息(mutual information)(8.3-10)將(8.3-3)與(8.3-9)式代入得到(8.3-11)可重寫成(8.3-12)zv)|()(),(vzzvzHHI)()(),(log),(),(11kjkjJjKkkjbPaPbaPbaPIvzJikiikjkjJjKkjqaPqqaPI111)(log)(),(vzDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 從在 中所有可能的信源機(jī)率中選擇出 的最大值，就是以信道矩陣 所描述之信道的容量 (capacity) ，亦即(8.3

53、-13)其中最大值是對(duì)所有可能的輸入符號(hào)機(jī)率做考慮而選出的，它不取決于信源的輸入概率，而取決于信道的條件概率。z),(vzI),(maxvzzIC QCDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 范例范例8.68.6：二元的狀況考慮 的一個(gè)二元信息源。信息源產(chǎn)生符號(hào) 與 的機(jī)率分別為 及 。熵值為因?yàn)?，所以 只與單一參數(shù)有關(guān)。方程式右邊的部份稱為二元熵函數(shù)( binary entropy function)，記作 。圖8.8 (a)顯示 在的圖。1 , 0,21aaA1a2abspaP)(1bsbsp

54、paP1)(2bsbsbsbsppppH22loglog)(zTbsbsTppaPaP1 ,)(),(21z)(zHbsp)(bsH)(bsbspH10bspDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 現(xiàn)在假設(shè)信息要在一個(gè)有噪聲的二元信道上傳送并令任一符號(hào)在傳送期間發(fā)生錯(cuò)誤的機(jī)率為 ，這樣的通道稱為二元對(duì)稱通道(binary symmetric channel , BSC )，定義為接收到輸出 與 的機(jī)率可以由(8.3.6)式求得：epeeeeeeeepppppppp11Q1b2b) 1 ()0()()

55、(21PPbPbPppppppppppppppbsebsebsebsebsbseeeeQzvDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 由(8.3-12)式來(lái)計(jì)算BSC的交互信息：顯示在圖8.8 (b)。圖(c)中的BSC容量為當(dāng)Pe=0(信道不出錯(cuò)），或Pe=1時(shí)，信道容量取得1比特最大值，當(dāng)Pe=1/2時(shí)，容量為0，信道不能傳送任何信息。)()(),(ebsebsebsbspHppppHIvz)(1ebspHCDigital Image Processing, 2nd 2002 R. C. Gonz

56、alez & R. E. Woods Chapter 8Image CompressionDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 8.3.3基本編碼定理基本編碼定理在8.3.2節(jié)中所介紹的數(shù)學(xué)架構(gòu)是以圖8.7的模型為基礎(chǔ)所建立的。本節(jié)中我們給該模型加上一個(gè)通訊系統(tǒng)并探討關(guān)于信息的編碼或表示的三個(gè)基本定理，如下圖所示。Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 無(wú)噪聲編碼定理無(wú)噪聲編碼定理當(dāng)信息信道與通

57、訊系統(tǒng)都是無(wú)錯(cuò)誤時(shí)，通訊系統(tǒng)的主要功能是盡可能簡(jiǎn)潔地表示信息源。在這種情況下，無(wú)噪聲編碼定無(wú)噪聲編碼定理理 (noiseless coding theorem) 也稱為Shannons first theorem定義出每個(gè)原始符號(hào)所能達(dá)到的最小平均碼字長(zhǎng)度。一個(gè)具有限總集 和具有統(tǒng)計(jì)獨(dú)立信息源符號(hào)的信息源稱為零記憶(zero-memory)源。如果考慮它的輸出為從原始字母表來(lái)的一個(gè)n重符號(hào)，則信息源輸出會(huì)是 個(gè)可能值之一，并記作 ，所有可能集合),(zAnJi,21nJADigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E.

58、Woods 一已知 的機(jī)率 與單一個(gè)符號(hào)機(jī)率 的關(guān)系為(8.3-14)向量 表示所有訊源機(jī)率的集合信息源的熵為(8.3-15)i)(iP)(iaP)()()()(21jnjjiaPaPaPPz)(,),(),(21nJPPP)()(log)()(1zznHPPHiJiinDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 因?yàn)橛嵲摧敵?的自我信息為 ，理應(yīng)用長(zhǎng)度為整數(shù) 的碼字對(duì) 編碼，使得(8.3-16)對(duì)此結(jié)果乘以 并對(duì)所有 求和，得出：i )(1logiP)(ili1)(1log)()(1logiiiPlP

59、)(iPi1)(1log)()()()(1log)(111iJiiiJiiiJiiPPlPPPnnnDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 或(8.3-17)其中 表示對(duì)應(yīng)于非擴(kuò)展源之n 階擴(kuò)展的碼字平均長(zhǎng)度：(8.3-18)由 (8.3-15) 及 (8.3-17) 式(8.3-19)1)()(zzHLHavgavgL)()(1iJiiavglPLnnHnLHavg1)()(zzDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E

60、. Woods 在極限情況下，上式變成(8.3-20)因?yàn)?是 的低界，故任何編碼策略的效率(efficiency)可定義為(8.3-21)(limzHnLavgn)(zHnLavgavgLHn)(zDigital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 范例范例8.7：擴(kuò)展編碼第一種編碼的熵0.918 bits/symbol，效率為(1)(0.918)/1=0.918二階擴(kuò)展編碼的平均碼長(zhǎng)為17/9或1.89，熵是0.9182=1.83所以效率為1.83/1.89 = 0.97，比第一種稍好一些。Digital Image Processing, 2nd 2002 R. C. Gonzalez & R. E. Woods 有噪聲編碼定理有噪聲編碼定理范例范例8.88.8：有噪聲的二元信道 假定一個(gè)BSC有錯(cuò)誤機(jī)率 ，提高通訊可靠度的一個(gè)簡(jiǎn)單方法是將每一訊息重復(fù)幾次。例如，000或111。傳送3個(gè)符號(hào)訊息過(guò)程中不發(fā)生錯(cuò)誤的機(jī)率是 或發(fā)生一個(gè)錯(cuò)誤的機(jī)率 ，兩個(gè)錯(cuò)誤的機(jī)率 ，而