1、第4章 視頻信息壓縮與處理,4-1 圖像的統(tǒng)計(jì)特性,由前面的分析可知，一幅圖像是由幾十萬以上的像素構(gòu)成的。但實(shí)際中由于一幅圖像的相鄰像素之間、相鄰行之間以及相鄰幀之間都存在著較強(qiáng)的相關(guān)性，這樣實(shí)際有分析價(jià)值的圖像只占其中的一小部分。 所謂圖像統(tǒng)計(jì)特性是指其亮度、色度（或色差）值或亮度、色度（或色差）抽樣值的隨機(jī)統(tǒng)計(jì)特性。,4.1.1 圖像的信息量 每當(dāng)我們看書、聽電話、看電視時(shí)，都可以獲得一系列豐富、有意義的消息，因此我們稱一個(gè)有次序的符號(hào)（如狀態(tài)、字母、數(shù)字或電平等）序列就是消息。 例如某一個(gè)圖像信息源所發(fā)出的符號(hào)集合X=S1, S2, , Sn , Si為中的某一個(gè)符號(hào)，可見它能夠發(fā)出n種

2、符號(hào)。 根據(jù)信息論的基本知識(shí)，從圖像信息源X發(fā)出符號(hào)Si的概率為p(Si),而且p(Si)將滿足下列條件： 這樣符號(hào)Si所攜帶的信息量I(Si)可以用下式表示：,上式所定義的信息量也稱為自信息量，單位為“bit”，表示在接收者未收到符號(hào)Si之前，并不清楚究竟會(huì)收到符號(hào)集X=S1, S2, , Sn 中的哪一個(gè)符號(hào)，即存在不確定性。 另外，接收符號(hào)Si之后，表示接收到一個(gè)符號(hào)所獲得的信息量,4.1.2 離散信源 如果信息源所發(fā)出的符號(hào)均取自某一個(gè)離散集合，這樣的信息源稱為離散信源。由信息論的基本理論可知，離散信源X可以用下式描述： 其中 如果從上述信息源X中所發(fā)出的各種符號(hào)彼此獨(dú)立無關(guān)，即任意兩

3、個(gè)相繼發(fā)出的符號(hào)Si和Sj, Si符號(hào)不會(huì)對(duì)Sj符號(hào)構(gòu)成影響，或者說Sj符號(hào)與其前面出現(xiàn)的符號(hào)Si無關(guān)，我們稱這樣的圖像信息源為“無記憶”的離散信息源。,由一個(gè)無記憶的離散信息源所發(fā)出的任意長(zhǎng)度的符號(hào)序列S1,S2Sn的信息量為 從上式可以看出，總信息量等于相繼發(fā)出的各符號(hào)的自信息量之和。 對(duì)于實(shí)際的圖像信息源來說，它所發(fā)出的各符號(hào)并不是相互獨(dú)立的，而是具有一定的相關(guān)性，即相繼發(fā)出的符號(hào)序列中Si符號(hào)的出現(xiàn)與它之前已相繼出現(xiàn)的幾個(gè)符號(hào)Si-1，Si-2，有關(guān)，這樣的信源就是“有記憶”信息源。,4.1.3 圖像的信息熵,對(duì)于無記憶的圖像信息源而言，我們無法確切地知道信息源在下一時(shí)刻發(fā)出的符號(hào)是符

4、號(hào)集X=S1, S2, , Sn中的哪一個(gè)符號(hào)，因此信息源所發(fā)出的符號(hào)Si本身就是一個(gè)隨機(jī)變量，而其信息量I又是Si的函數(shù)。 由此可知，I也是一個(gè)隨機(jī)變量，這樣我們就可以求出圖像信息源X發(fā)出符號(hào)集Sn中各符號(hào)的信息量的統(tǒng)計(jì)平均（即求其數(shù)學(xué)期望），從而得到符號(hào)集Sn中每個(gè)符號(hào)的平均信息量。 在信息論中稱H(X)為圖像信息源X的“熵”，其單位為bit/符號(hào)。,無記憶信源的概率分布與熵的關(guān)系 計(jì)算圖像的熵的方法有兩種： 其一是對(duì)圖像信息源的概率分布提出數(shù)學(xué)模型，然而根據(jù)該模型進(jìn)行熵的計(jì)算 其二是將圖像分割成統(tǒng)計(jì)上相互獨(dú)立的“子像塊”，當(dāng)一幅圖像所包含子像塊數(shù)足夠多時(shí)，便能具體地測(cè)量出每個(gè)子像塊出現(xiàn)的

5、概率，最后按式（4-5）計(jì)算出信息熵。,均勻分布的圖像信息源 如果圖像信息源的概率分布呈現(xiàn)均勻分布，即各符號(hào)出現(xiàn)的概率相等，那么其數(shù)學(xué)模型可寫為： 則由式（4-5）可求出該圖像信息源的熵H(x)為 可以證明，當(dāng)圖像信息源中各符號(hào)出現(xiàn)的概率相等時(shí)，信源的信息熵最大。 數(shù)據(jù)壓縮的方法之一，就是使每個(gè)符號(hào)所代表的信息量最大。通常通過壓縮各信源符號(hào)間的冗余度使各信源符號(hào)呈現(xiàn)等概率分布來達(dá)到各符號(hào)所攜帶的信息量最大,正態(tài)分布的圖像信息源 在實(shí)際圖像中，可根據(jù)圖像的內(nèi)容（如人的頭肩像、景物等）進(jìn)行分類。通常用一幅或一組典型的測(cè)試圖像代替這類圖像，然后對(duì)典型的測(cè)試圖像求熵，最后利用熵值來研究該類圖像的壓縮編

6、碼方法。 假設(shè)某一測(cè)試圖像包含N=256256個(gè)像素，每個(gè)像素采用8bit編碼，可見相當(dāng)于有256個(gè)灰度等級(jí)。如果在該幅測(cè)試圖中有ni個(gè)灰度為i的像素，那么灰度為i的像素出現(xiàn)的概率為ni/N，這樣便可以利用式（4-5）求出該信息源的熵。,例4-1已知一幅圖像包含256256像素，其中每像素用8bit表示。如果其中包含紅色像素13100個(gè)，求該像素出現(xiàn)的概率為多少？ 解：,信源的相關(guān)性與序列熵的關(guān)系 對(duì)于一個(gè)無記憶的離散信源，如果已知輸出序列中的相鄰兩個(gè)符號(hào)X和Y，其中X,Y分別取自于：,該序列sitj的平均信息熵稱為聯(lián)合熵：,式中rij為符合Si和tj同時(shí)發(fā)生時(shí)的聯(lián)合概率，因?yàn)閄和Y彼此獨(dú)立，

7、故rij=p(Si)q(tj)，因此有： 即：離散無記憶信源所產(chǎn)生的符號(hào)序列的熵等于各符號(hào)熵之和,許多離散信源都是有記憶的，其前一個(gè)符號(hào)直接對(duì)后面所出現(xiàn)的符號(hào)構(gòu)成影響，或者說后面出現(xiàn)的符號(hào)由前面幾個(gè)出現(xiàn)的符號(hào)決定。 如相鄰2個(gè)符號(hào)X和Y，此時(shí)聯(lián)合概率rij=p(si)pji=q(tj)pij，其中pji=p(tj/si)，qij=p(si/tj),在給定X的條件下，Y所具有的熵稱之為條件熵，即：,不難證明:,由上面的分析可以看出，序列熵與其可能達(dá)到的最大值之間的差值就是指該信息源中所含有的冗余度。 如果能使信源輸出的各符號(hào)之間的冗余度越小，那么每個(gè)符號(hào)所攜帶的信息量也越大，這樣，傳送相同的信息

8、量所需要的序列長(zhǎng)度也越短，即包含的比特?cái)?shù)越少 由此得到另一種數(shù)據(jù)壓縮的方法: 去除信源輸出各符號(hào)間的相關(guān)性，其相關(guān)性去除越多，則信源特性越趨于無記憶信源的特性。,4-2 信息壓縮方法及其分類,多媒體信息存在數(shù)據(jù)量大、數(shù)據(jù)流具有突發(fā)性和碼速可變性三大特征。 如果一幅圖像中代表其亮度、色彩和飽和度的各項(xiàng)分量的帶寬分別為4MHz、1.3MHz和0.5MHz，那么根據(jù)取樣定理的規(guī)定，只要當(dāng)取樣頻率大于或等于原信號(hào)的最高頻率的2倍時(shí)，才能從取樣信號(hào)中無失真地恢復(fù)原信號(hào)。若取等號(hào)，并且每個(gè)取樣值用8bit表示，由此可以計(jì)算出一幅圖像的數(shù)據(jù)量： （4+1.3+0.5）28=92.8Mbit/s 顯然，數(shù)據(jù)量

9、非常大，很難直接進(jìn)行保存，因此必須對(duì)圖像數(shù)據(jù)進(jìn)行壓縮以適應(yīng)傳輸和存儲(chǔ)的要求。,4.2.1 圖像信息中存在的冗余類型,空間冗余,這是圖象數(shù)據(jù)中經(jīng)常存在的一種冗余。 在同一幅圖象中,規(guī)則物體和規(guī)則背景的表面物理特性具有相關(guān)性,人們通常將其視為一個(gè)整體，從而達(dá)到數(shù)據(jù)壓縮的目的。,時(shí)間冗余,這是序列圖象和語音數(shù)據(jù)中所經(jīng)常包含的冗余。 圖象序列中的兩幅相鄰的圖象之間有較大的相關(guān)性,這反映為時(shí)間冗余。 在語言中,由于人在說話時(shí)發(fā)音的音頻是一連續(xù)的漸變過程,而不是一個(gè)完全時(shí)間上獨(dú)立的過程,因而存在時(shí)間冗余。,信息熵冗余 針對(duì)數(shù)據(jù)信息量而言，熵為下限,A B C D 1/2 1/4 1/8 1/8,X=,H(

10、X)=1.75bit/字符,A B C D 00 01 10 11,A B C D 0 10 110 111,C(X)=2bit/字符,C1(X)=1.75bit/字符,結(jié)構(gòu)冗余,有些圖象從大域上看存在非常強(qiáng)的紋理結(jié)構(gòu)，我們稱它們?cè)诮Y(jié)構(gòu)上存在有冗余，也稱文理冗余。 例如布紋圖象和草席圖象,知識(shí)冗余,有許多圖象的理解與某些基礎(chǔ)知識(shí)有相當(dāng)大的相關(guān)性。 例如,人臉的圖象有固定的結(jié)構(gòu)。比如說嘴的上方有鼻子, 鼻子的上方有眼睛, 鼻子位于正臉圖象的中線上等等。 這類規(guī)律性的結(jié)構(gòu)可由先驗(yàn)知識(shí)和背景知識(shí)得到, 我們稱此類冗余為知識(shí)冗余。,視覺冗余,人類視覺系統(tǒng)并不是對(duì)任何圖像的變化都很敏感。 例如,對(duì)于圖象

11、的編碼處理時(shí),由于壓縮或量化截?cái)嘁肓嗽肼暥箞D象發(fā)生了一些變化,如果這些變化不能為視覺所感知,仍認(rèn)為圖象足夠好。 事實(shí)上人類視覺系統(tǒng)一般分辨能力約為26灰度等級(jí),而一般圖象量化采用28灰度等級(jí),這類冗余我們稱為視覺冗余。,聽覺冗余,人類聽覺系統(tǒng)對(duì)不同聲音的敏感程度不同，而且受環(huán)境的影響，聲音之間還存在掩蔽效應(yīng)。 比如，太高或太低的聲音都聽不到。在嘈雜的環(huán)境下，聽不到低的聲音。別人的聲音可以蓋過你的聲音。這類冗余我們稱為聽覺冗余。,消除冗余就是數(shù)據(jù)壓縮的途徑！,4.2.2 圖像編碼的基本過程,圖像通信系統(tǒng)模型,信 源,信 宿,信 源 編碼器,信 源 解碼器,信 道 編碼器,有 噪 信 道,信

12、道 解碼器,原始圖像,無噪信道,f(x,y),f(x,y),數(shù)據(jù) 壓縮,如果忽略噪聲的影響，那么數(shù)據(jù)信息能通過信道實(shí)現(xiàn)無誤傳輸(無噪聲信道) 如果系統(tǒng)的信源為一個(gè)數(shù)字信源，那么便可以將一幅光圖像f(x,y)轉(zhuǎn)換成具有n個(gè)符號(hào)的離散隨機(jī)信號(hào)。若該信源是一個(gè)恒定信源，則每Ts秒產(chǎn)生一個(gè)符號(hào)，這樣，由信源輸出的符號(hào)速率為Rs=1/Ts 信源編碼器負(fù)責(zé)完成數(shù)據(jù)壓縮功能，它對(duì)每個(gè)符號(hào)進(jìn)行映射變換，從中消除圖像信息中的各種冗余信息，使數(shù)據(jù)得到壓縮，而其中的失真又能被人眼的視覺效果所接受。此時(shí)所輸出的數(shù)據(jù)速率Rc=1/Tc。 如果信道處于理想狀態(tài)，則信道為一無噪聲信道，那么信息通過該信道時(shí)，可實(shí)現(xiàn)無失真?zhèn)鬏?/p>

13、，信源解碼器接收速率為Rc 信源解碼器是編碼器的逆過程，其輸出信號(hào)直接送往信宿，從而重建圖像,4.2.3 壓縮編碼方法及其分類,模擬壓縮、數(shù)字壓縮（常用）,根據(jù)解碼后數(shù)據(jù)與原始數(shù)據(jù)是否完全一致，數(shù)據(jù)壓縮方法劃分為兩類： 可逆編碼（無失真編碼，無損壓縮） 如Huffman編碼、算術(shù)編碼、行程長(zhǎng)度編碼等。 不可逆編碼(有失真編碼，有損壓縮)如變換編碼和預(yù)測(cè)編碼,根據(jù)壓縮的原理可以分類： 預(yù)測(cè)編碼 利用空間中相鄰數(shù)據(jù)的相關(guān)性來預(yù)測(cè)未來點(diǎn)的數(shù)據(jù)。差分脈沖編碼調(diào)制和自適應(yīng)差分脈沖編碼調(diào)制。 變換編碼 將圖象時(shí)域信號(hào)變換到頻域空間上處理。時(shí)域空間有強(qiáng)相關(guān)的信號(hào), 反映在頻域上是某些特定的區(qū)域內(nèi)能量常被集中

14、在一起, 從而實(shí)現(xiàn)壓縮. 正交變換如離散余弦變換, 離散付立葉變換和Walsh-Hadamard變換. 量化與向量量化編碼 為了使整體量化失真最小, 就必須依照統(tǒng)計(jì)的概率分布設(shè)計(jì)最優(yōu)的量化器。已知最優(yōu)量化器是Max量化器。對(duì)象元點(diǎn)進(jìn)行量化時(shí), 也可以考慮一次量化多個(gè)點(diǎn)的向量量化。,信息熵編碼 根據(jù)信息熵原理，讓出現(xiàn)概率大的用短的碼字表達(dá)，反之用長(zhǎng)的碼字表示。最常見的方法如Huffman編碼、Shannon編碼以及算術(shù)編碼。 子帶編碼 將圖象數(shù)據(jù)變換到頻域后，按頻域分帶，然后用不同的量化器進(jìn)行量化，從而達(dá)到最優(yōu)的組合?；蛘叻植綕u近編碼，隨著解碼數(shù)據(jù)的增加，圖象逐漸清晰。 模型編碼 編碼時(shí)首先將圖

15、象中邊界、輪廓、紋理等結(jié)構(gòu)特征找出來，保存這些參數(shù)信息。解碼時(shí)根據(jù)結(jié)構(gòu)和參數(shù)信息進(jìn)行合成，恢復(fù)出原圖象。具體方法有輪廓編碼、域分割編碼、分析合成編碼、識(shí)別合成編碼、基于知識(shí)的編碼、分形編碼等。,4.2.4 數(shù)據(jù)壓縮技術(shù)的性能指標(biāo),壓縮比 壓縮過程中輸入數(shù)據(jù)量與輸出數(shù)據(jù)量之比，設(shè)原圖像的平均碼長(zhǎng)為L(zhǎng),壓縮后圖像的平均碼長(zhǎng)為L(zhǎng)c，則壓縮比為C=L/Lc 冗余度 編碼效率 重現(xiàn)質(zhì)量 將解碼恢復(fù)后的圖像、聲音信號(hào)與原圖像、聲音進(jìn)行對(duì)比。 壓縮和解壓縮速度 同步、實(shí)時(shí) 壓縮計(jì)算量大于解壓縮計(jì)算量,4.3 無失真圖像壓縮編碼方法,又稱為統(tǒng)計(jì)編碼,它是根據(jù)信源符號(hào)出現(xiàn)概率的分布特性而進(jìn)行的壓縮編碼。 基本思

16、想: 在信源符號(hào)和碼字之間建立明確的一一對(duì)應(yīng)關(guān)系，以便在恢復(fù)時(shí)能準(zhǔn)確地再現(xiàn)原信號(hào),同時(shí)要使平均碼長(zhǎng)或碼率盡量小。 如Huffman編碼、算術(shù)編碼。,4.3.1 Huffman編碼,Huffman定理 在變長(zhǎng)編碼中,對(duì)出現(xiàn)概率大的信源符號(hào)賦于短碼字,而對(duì)于出現(xiàn)概率小的信源符號(hào)賦于長(zhǎng)碼字。如果碼字長(zhǎng)度嚴(yán)格按照所對(duì)應(yīng)符號(hào)出現(xiàn)概率大小逆序排列,則編碼結(jié)果平均碼字長(zhǎng)度一定小于任何其它排列方式。 Huffman定理是Huffman編碼的理論基礎(chǔ) 1952年Huffman提出來的 也稱為最優(yōu)碼，平均碼長(zhǎng)最短,具體編碼過程：,1、排序：按符號(hào)出現(xiàn)的概率從大到小進(jìn)行排列。 2、賦值：對(duì)最后的兩個(gè)符號(hào)進(jìn)行賦值，概

17、率大的賦“1”，概率小的賦“0”（反之也成立）。 3、合并：將上述最后的兩個(gè)符號(hào)出現(xiàn)概率相加合成一個(gè)概率。 4、重新排序：將合成后的概率與其它符號(hào)概率一起進(jìn)行重新排序（從大到小）。然后重復(fù)步驟2的內(nèi)容，直至最后只剩下兩個(gè)概率為止。 5、碼字分配：從最后一步開始反向進(jìn)行碼字分配，對(duì)最后兩個(gè)概率中較大的賦“1”。對(duì)較小的賦“0”（與第二過程中的規(guī)定相同）。從而形成一個(gè)碼字。如下圖中虛線所示的方向。,例4-2 假設(shè)某符號(hào)集X中包含6個(gè)符號(hào)：S1,S2,S6，各自出現(xiàn)的概率為 X= 試求其哈夫曼編碼及其編碼效率。 解：1、哈夫曼編碼 在圖4-6中給出了哈夫曼編碼過程，其中設(shè)兩個(gè)符號(hào)中較大的為”1”，較

18、小的為”0”.編碼結(jié)果如表4-1所示。,2、編碼效率 根據(jù)式（4-5）可求出信源熵： = ）=2.56 利用式（4-17）可求出平均碼長(zhǎng)： =0.22+0.192+0.183+0.173+0.153+0.113=2.61 哈夫曼編碼的編碼效率 =98.08%,哈夫曼編碼的特點(diǎn),哈夫曼編碼所構(gòu)造的碼并不是惟一的，但其編碼效率是惟一的。 對(duì)不同信源其編碼效率是不同的。 實(shí)現(xiàn)電路復(fù)雜，而且存在誤碼傳播問題。,4.3.2 游程編碼,當(dāng)圖像不太復(fù)雜時(shí)，往往存在著灰度或顏色相同的圖像子塊。由于圖像編碼是按順序?qū)γ總€(gè)相素進(jìn)行編碼的，因而會(huì)存在多行的數(shù)據(jù)具有相同數(shù)值的情況，這樣可只保留連續(xù)相同像素值和像素點(diǎn)數(shù)

19、目。這種方法就是游程編碼。這里所說的“游程”是指連續(xù)串的延續(xù)長(zhǎng)度。下面以兩值圖像為例進(jìn)行說明。 二值圖像是指圖像中的相素值只有兩種取值，即“0”和“1”，因而在圖像中這些符號(hào)會(huì)連續(xù)地出現(xiàn)，我們通常將連“0”這一段稱為“0”游程，而連“1”的一段則稱為“1”游程，它們的長(zhǎng)度分別為L(zhǎng)(0)和L(1)，往往“0”游程與“1”游程會(huì)交替出現(xiàn)，即第一游程為“0”游程。第二游程為“1”游程。第三游程又為“0”游程。下面我們以一個(gè)具體的二值序列為例進(jìn)行說明。,二值圖像是指圖像中的相素值只有兩種取值，即“0”和“1”，因而在圖像中這些符號(hào)會(huì)連續(xù)地出現(xiàn)，我們通常將連“0”這一段稱為“0”游程，而連“1”的一段則

20、稱為“1”游程，它們的長(zhǎng)度分別為L(zhǎng)(0)和L(1)，往往“0”游程與“1”游程會(huì)交替出現(xiàn)，即第一游程為“0”游程。第二游程為“1”游程。第三游程又為“0”游程。下面我們以一個(gè)具體的二值序列為例進(jìn)行說明。 已知一個(gè)二值序列00101110001001，根據(jù)游程編碼規(guī)則，可知其游程序列為21133121。,4.3.3 算術(shù)編碼,在信源概率分布比較均勻情況下，哈夫曼編碼的效率較低，而此時(shí)算術(shù)編碼的編碼效率要高于哈夫曼編碼，同時(shí)又無需向變換編碼那樣，要求對(duì)數(shù)據(jù)進(jìn)行分塊，因此在JPEG擴(kuò)展系統(tǒng)中以算術(shù)編碼代替哈夫曼編碼。我們可以將被編碼的信息表示成實(shí)數(shù)軸01之間的一個(gè)間隔，這樣如果一個(gè)信息的符號(hào)越長(zhǎng)，編

21、碼表示它的間隔就越小，同時(shí)表示這一間隔所需的二進(jìn)制位數(shù)也就越多。,1、碼區(qū)間的分割 設(shè)在傳輸任何信息之前信息的完整范圍是0,1,算術(shù)編碼在初始化階段預(yù)置一個(gè)大概率p和一個(gè)小概率q。如果信源所發(fā)出的連續(xù)符號(hào)組成序列為Sn，那么其中每個(gè)Sn對(duì)應(yīng)一個(gè)信源狀態(tài)，對(duì)于二進(jìn)制數(shù)據(jù)序列Sn，我們可以用C(S)來表示其算術(shù)編碼，可以認(rèn)為它是一個(gè)二進(jìn)制小數(shù)。隨著符號(hào)串中“0”，“1”的出現(xiàn)，所對(duì)應(yīng)的碼區(qū)間也發(fā)生相應(yīng)的變化。,如果信源發(fā)出的符號(hào)序列的概率模型為m階馬爾可夫鏈，那么表明某個(gè)符號(hào)的出現(xiàn)只與前m個(gè)符號(hào)有關(guān)，因此其所對(duì)應(yīng)的區(qū)間為C(S),C(S)+L(S) ，其中L(S)代表子區(qū)間的寬度，C(S)是該半開

22、子區(qū)間中的最小數(shù)，而算術(shù)編碼的過程實(shí)際上就是根據(jù)符號(hào)出現(xiàn)的概率進(jìn)行區(qū)間分割的過程，如圖4-7所示。,圖中假設(shè)“0”出現(xiàn)概率為2/3，“1”碼出現(xiàn)的概率為1/3，因而L(0)=2/3，L(1)=1/3。如果在“0”碼后面出現(xiàn)的仍然是“0”碼，這樣“00”出現(xiàn)的概率= 2/32/3=4/9 ,即L(00)=4/9 ,并位于圖4-7中所示的區(qū)域。同理如果第三位碼仍然為“0”碼，“000”出現(xiàn)的概率= 2/32/32/3 =8/27 ，該區(qū)間的范圍0，8/27)。,算術(shù)編碼規(guī)則 在進(jìn)行編碼過程中，隨著信息的不斷出現(xiàn)，子區(qū)間按下列規(guī)律減小。 新子區(qū)間左端= 前子區(qū)間左端+當(dāng)前子區(qū)間左端前子區(qū)間長(zhǎng)度 新子區(qū)間長(zhǎng)度=前子區(qū)間長(zhǎng)度當(dāng)前子區(qū)間長(zhǎng)度 下面以一個(gè)具體例子來說明算術(shù)編碼的編碼過程。,例4-2已知二進(jìn)制信源分布 ，如果要傳輸?shù)臄?shù)據(jù)序列為1011，試寫出算術(shù)編碼過程。,解： （1）已知小概率事件q=1/4,大概率事件p=1-q=3/4 （2