1、5.1 數(shù)字圖像與視頻壓縮編碼概述5.2 無失真編碼5.3 預(yù)測編碼5.4 變換編碼5.5 MATALAB編程實例第5章 數(shù)字圖像與視頻編碼原理 牛牛文庫文檔分享熟悉數(shù)字圖像與視頻編碼的基本原理及常用方法。重點掌握霍夫曼（Huffman）編碼、算術(shù)編碼、預(yù)測編碼和DCT編碼的基本原理。掌握運動估計和運動補(bǔ)償預(yù)測編碼的基本原理。 本章學(xué)習(xí)目標(biāo) 牛牛文庫文檔分享5.1.1 數(shù)字圖像與視頻壓縮的必要性和可能性5.1.2 數(shù)字圖像與視頻壓縮編碼的主要方法及其分類5.1 數(shù)字圖像與視頻壓縮編碼概述 牛牛文庫文檔分享5.1.1 數(shù)字圖像與視頻壓縮的必要性和可能性數(shù)據(jù)壓縮的理論基礎(chǔ)是信息論。從信息論的角度來

2、看，壓縮就是去掉數(shù)據(jù)中的冗余，即保留不確定的信息，去掉確定的信息（可推知的），也就是用一種更接近信息本質(zhì)的描述來代替原有冗余的描述。在一般的圖像和視頻數(shù)據(jù)中，主要存在以下幾種形式的冗余。 牛牛文庫文檔分享空間冗余：也稱為空域冗余，是一種與像素間相關(guān)性直接聯(lián)系的數(shù)據(jù)冗余。 例:圖像中包含許多規(guī)則物體，它們的亮度、飽和度及顏色可能都一樣，因此，圖像在空間上具有很強(qiáng)的相關(guān)性。例如 Lenna 圖像的臉部和肩部。 牛牛文庫文檔分享時間冗余：也稱為時域冗余，它是針對視頻序列圖像而言的。 視頻序列每秒有25 30幀圖像，相鄰幀之間的時間間隔很??；同時實際生活中的運動物體具有運動一致性，使得視頻序列圖像之間

3、有很強(qiáng)的相關(guān)性。 牛牛文庫文檔分享統(tǒng)計冗余 信源熵：如果將信源所有可能事件的信息量進(jìn)行平均，就得到了信源熵(entropy)。熵就是平均信息量。 當(dāng) xj 等概率時，H(X) 最大。當(dāng) xj 非等概率時，H(X) 不是最大，就存在冗余。 采用可變長編碼技術(shù)，對出現(xiàn)概率大的符號用短碼字表示，對出現(xiàn)概率小的符號用長碼字表示，則可去除符號冗余，從而節(jié)約碼字，這就是熵編碼的思想。 牛牛文庫文檔分享結(jié)構(gòu)冗余：在有些圖像的部分區(qū)域內(nèi)有著很相似的紋理結(jié)構(gòu)，或是圖像的各個部分之間存在著某種關(guān)系，例如自相似性等，這些都是結(jié)構(gòu)冗余的表現(xiàn)。 分形圖像編碼的基本思想就是利用了結(jié)構(gòu)的自相似性。 牛牛文庫文檔分享知識冗余

4、：在某些特定的應(yīng)用場合，編碼對象中包含的信息與某些先驗的基本知識有關(guān)。例如:人臉的圖像有同樣的結(jié)構(gòu)：嘴的上方有鼻子，鼻子上方有眼睛，鼻子在中線上 可以利用這些先驗知識為編碼對象建立模型。通過提取模型參數(shù)，對參數(shù)進(jìn)行編碼而不是對圖像像素值直接進(jìn)行編碼，可以達(dá)到非常高的壓縮比。這是模型基編碼（或稱知識基編碼、語義基編碼）的基本思想。 牛牛文庫文檔分享人眼的視覺冗余 視覺冗余度是相對于人眼的視覺特性而言的。壓縮視覺冗余的核心思想是去掉那些相對人眼而言是看不到的或可有可無的圖像數(shù)據(jù)。對視覺冗余的壓縮通常反映在各種具體的壓縮編碼過程中。 牛牛文庫文檔分享無失真編碼 無失真編碼又稱無損編碼、信息保持編碼、

5、熵編碼。 熵編碼是純粹基于信號統(tǒng)計特性的一種編碼方法，它利用信源概率分布的不均勻性，通過變長編碼來減少信源數(shù)據(jù)冗余，解碼后還原的數(shù)據(jù)與壓縮編碼前的原始數(shù)據(jù)完全相同而不引入任何失真。 無失真編碼的壓縮比較低，可達(dá)到的最高壓縮比受到信源熵的理論限制，一般為21到51。 最常用的無失真編碼方法有霍夫曼(Huffman)編碼、算術(shù)編碼和游程編碼(Run-Length Encoding，RLE)等。5.1.2 數(shù)字圖像與視頻壓縮編碼的主要方法及其分類 牛牛文庫文檔分享限失真編碼 限失真編碼也稱有損編碼、非信息保持編碼、熵壓縮編碼。 限失真編碼方法利用了人類視覺的感知特性，允許壓縮過程中損失一部分信息，雖

6、然在解碼時不能完全恢復(fù)原始數(shù)據(jù)，但是如果把失真控制在視覺閾值以下或控制在可容忍的限度內(nèi)，則不影響人們對圖像的理解，卻換來了高壓縮比。在限失真編碼中，允許的失真愈大，則可達(dá)到的壓縮比愈高。 常見的限失真編碼方法有：預(yù)測編碼、變換編碼、矢量量化、基于模型的編碼等。5.1.2 數(shù)字圖像與視頻壓縮編碼的主要方法及其分類 牛牛文庫文檔分享5.1 數(shù)字圖像與視頻壓縮編碼概述5.2 無失真編碼5.3 預(yù)測編碼5.4 變換編碼5.5 MATALAB編程實例第5章 數(shù)字圖像與視頻編碼原理 牛牛文庫文檔分享5.2 無失真編碼 熵編碼的基本原理就是去除圖像信源在空間和時間上的相關(guān)性，去除圖像信源像素值的概率分布不均

7、勻性，使編碼碼字的平均碼長接近信源的熵而不產(chǎn)生失真。由于這種編碼完全基于圖像的統(tǒng)計特性，因此，有時也稱其為統(tǒng)計編碼。游程編碼(Run-Length Encoding，RLE)霍夫曼(Huffman)編碼算術(shù)編碼 牛牛文庫文檔分享5.2.1 游程編碼 游程編碼（RLE），也稱行程編碼或游程（行程）長度編碼，其基本思想是將具有相同數(shù)值（例如，像素的灰度值）的、連續(xù)出現(xiàn)的信源符號構(gòu)成的符號序列用其數(shù)值及串的長度表示。 以圖像編碼為例，灰度值相同的相鄰像素的連續(xù)長度（像素數(shù)目）稱為連續(xù)的游程，又稱游程長度，簡稱游程。 牛牛文庫文檔分享下面以二值圖像為例進(jìn)行說明。二值圖像是指圖像中的像素值只有兩種取值，

8、即“0”和“1”，因而在圖像中這些符號會連續(xù)地出現(xiàn)，我們通常將連“0”這一段稱為“0”游程，而連“1”的一段則稱為“1”游程，它們的長度分別表示為L(0)和L(1)，往往“0”游程與“1”游程會交替出現(xiàn)，即第一游程為“0”游程。第二游程為“1”游程。第三游程又為“0”游程。下面我們以一個具體的二值序列為例進(jìn)行說明。已知一個二值序列00101110001001，根據(jù)游程編碼規(guī)則，可知其游程序列為21133121。5.2.1 游程編碼 牛牛文庫文檔分享5.2.2 霍夫曼編碼 霍夫曼(Huffman)于1952年提出一種編碼方法，完全依據(jù)符號出現(xiàn)概率來構(gòu)造異字頭（前綴）的平均長度最短的碼字，有時稱之

9、為最佳編碼。 霍夫曼編碼是一種可變長度編碼（Variable Length Coding，VLC），各符號與碼字一一對應(yīng)，是一種分組碼。 牛牛文庫文檔分享 Huffman編碼過程（1） 把信源符號按概率大小順序排列，并設(shè)法按逆次序分配 碼字的長度。在分配碼字的長度時，首先將出現(xiàn)概率最 小的兩個符號的概率相加，合成一個概率；第二步把這 個合成概率看成是一個新組合符號的概率，重復(fù)上述操 作，直到最后只剩下兩個符號的概率為止。5.2.2 霍夫曼編碼 牛牛文庫文檔分享 完成以上概率相加順序排列后，再反過來逐步向前進(jìn)行 編碼，每一步有兩個分支，各賦予一個二進(jìn)制碼，可以 對概率大的編碼賦予0，概率小的編碼

10、賦予1。反之， 也可以對概率大的編碼賦予1，概率小的編碼賦予0。 Huffman編碼過程（2）5.2.2 霍夫曼編碼 牛牛文庫文檔分享 牛牛文庫文檔分享回顧： Huffman編碼例1：信源的符號數(shù)目很少 0ab1a=0, b=1 牛牛文庫文檔分享回顧：擴(kuò)展的Huffman編碼例2：信源的符號的概率嚴(yán)重不對稱：A = a, b, c, P(a) = 0.95, P(b) = 0.02, P(c) = 0.03H = 0.335 bits/symbolHuffman編碼：a0b11c10l = 1.05 bits/symbol冗余（Redundancy） = l - H = 0.715 bits/

11、sym (213%!)問題：能做得更好嗎？10ab c01 牛牛文庫文檔分享回顧：擴(kuò)展的Huffman編碼基本思想：考慮對兩個字母序列而不是單個字母編碼LetterProbabilityCodeaa0.90250ab0.0190111ac0.0285100ba0.01901101bb0.0004110011bc0.0006110001ca0.0285101cb0.0006110010cc0.0009110000l = 1.222/2 = 0.611冗余 = 0.276 bits/symbol（27%） 牛牛文庫文檔分享3算術(shù)編碼算術(shù)編碼（arithmetic encoding）是近年來發(fā)展起來

12、的一種高效的信息保持型數(shù)據(jù)壓縮編碼技術(shù)，它最早由香農(nóng)提出，其核心為累積概率思想。算術(shù)編碼的基本原理：將被編碼的信息表示成0和1之間的間隔。信息越長，則編碼表示它的間隔就越小，表示這一間隔所需的二進(jìn)制位就越多。 牛牛文庫文檔分享 算術(shù)編碼首先假設(shè)一個概率模型，然后用這些概率來縮小表示信源集的區(qū)間。 在算術(shù)編碼的初始階段，可設(shè)置兩個專用寄存器C和A來存儲符號到來之前子區(qū)間的狀態(tài)參數(shù)，令寄存器C的值為子區(qū)間的起始位置，寄存器A的值為子區(qū)間的寬度，該寬度恰好是已輸入符號串的概率。再設(shè)L和H分別為編碼字符的初始編碼區(qū)間的低端和高端值。 牛牛文庫文檔分享初始時，C=0，A=1。當(dāng)新的符號到來時，CC+AL

13、， A A(HL)。 算術(shù)編碼的結(jié)果落在子區(qū)間C，C+A）之內(nèi)。 輸入的符號串中，符號出現(xiàn)的概率越大，則對應(yīng)的子區(qū)間越寬，就可用長度較短的碼字表示；符號出現(xiàn)概率越小，對應(yīng)子區(qū)間就越窄，則需要較長的碼字來表示。 牛牛文庫文檔分享 例：假設(shè)信源符號為00，01，10，11，這些符號的概率分別為0.1，0.4，0.2，0.3。根據(jù)這些概率，可把間隔0，1）分成4個子間隔：0，0.1），0.1，0.5），0.5，0.7）和0.7，1）。 牛牛文庫文檔分享如果二進(jìn)制消息序列的輸入為10 00 11 00 10 11 01，則（1）首先輸入的符號是10，其編碼范圍是0.5，0.7)，即L=0.5，H=0.

14、7。因此C=0+10.5=0.5，A=10.2=0.2。（2）由于消息中第二個符號00的編碼范圍是0，0.1），因此C=0.5+0.20=0.5，A=0.20.1 =0.02。（3）第3個符號11的編碼范圍是0.7，1，因此C=0.5+0.020.7=0.514，A=0.020.3=0.006。依此類推，編碼第4個符號00時，C=0.514+0.0060=0.514，A=0.0060.1=0.0006，消息的編碼輸出可以是最后一個間隔中的任意數(shù)。 牛牛文庫文檔分享算術(shù)編碼的主要特點有：（1）當(dāng)信源符號的出現(xiàn)概率比較接近時，算術(shù)編碼的效率比哈夫曼編碼高。（2）算術(shù)編碼的實現(xiàn)比哈夫曼編碼復(fù)雜。 算

15、術(shù)編碼是一種相對比較新的編碼，它在許多方面比哈夫曼編碼優(yōu)越：算術(shù)編碼按照分?jǐn)?shù)比特逼近熵，而哈夫曼編碼是按照整數(shù)比特逼近熵的；算術(shù)編碼可以有效地從模型中分離出來，而哈夫曼編碼是與統(tǒng)計模型強(qiáng)相關(guān)的。 牛牛文庫文檔分享5.2.3 算術(shù)編碼 算術(shù)編碼是一種非分組編碼，它用一個浮點數(shù)值表示整個信源符號序列。算術(shù)編碼將被編碼的信源符號序列表示成實數(shù)半開區(qū)間0，1）中的一個數(shù)值間隔。這個間隔隨著信源符號序列中每一個信源符號的加入逐步減小，每次減小的程度取決于當(dāng)前加入的信源符號的先驗概率。 牛牛文庫文檔分享5.1 數(shù)字圖像與視頻壓縮編碼概述5.2 無失真編碼5.3 預(yù)測編碼5.4 變換編碼5.5 MATALA

16、B編程實例第5章 數(shù)字圖像與視頻編碼原理 牛牛文庫文檔分享5.3 預(yù)測編碼 預(yù)測編碼的基本原理就是利用圖像數(shù)據(jù)的相關(guān)性，利用已傳輸?shù)南袼刂祵Ξ?dāng)前需要傳輸?shù)南袼刂颠M(jìn)行預(yù)測，然后對當(dāng)前像素的實際值與預(yù)測值的差值（即預(yù)測誤差）進(jìn)行編碼傳輸，而不是對當(dāng)前像素值本身進(jìn)行編碼傳輸，以去除圖像數(shù)據(jù)中的空間相關(guān)冗余或時間相關(guān)冗余。 牛牛文庫文檔分享預(yù)測編碼：根據(jù)某一模型，利用信號以往的樣本值對新樣本值進(jìn)行預(yù)測，對預(yù)測誤差進(jìn)行編碼。對于相關(guān)性較強(qiáng)的信號，如果建立合適的模型，預(yù)測誤差的幅值將遠(yuǎn)遠(yuǎn)小于原始信號，從而可以用較少的量化級對其誤差信號進(jìn)行量化，得到較大的數(shù)據(jù)壓縮效果。 5.3.1 預(yù)測編碼基本原理 牛牛文

17、庫文檔分享對于靜止圖像，由于相鄰像素具有很強(qiáng)的相關(guān)性，這樣當(dāng)前像素的灰度（顏色）值可用前面已經(jīng)出現(xiàn)的像素值進(jìn)行預(yù)測，得到一個預(yù)測值，對實際值與預(yù)測值的差值進(jìn)行編碼，對于視頻信號，圖像幀間的相關(guān)性具有很強(qiáng)的相關(guān)性，通過幀間預(yù)測，對殘差圖像編碼。預(yù)測編碼是當(dāng)今主流技術(shù)并且還會流行于未來。5.3.1 預(yù)測編碼基本原理 牛牛文庫文檔分享5.3.2 幀內(nèi)預(yù)測編碼1. DPCM系統(tǒng)的基本原理 DPCM(Differential Pulse Code Modulation，差分脈沖編碼調(diào)制) 牛牛文庫文檔分享2.預(yù)測模型 設(shè) 時刻之前的樣本值 與預(yù)測值之間的關(guān)系呈現(xiàn)某種函數(shù)形式線性預(yù)測編碼器非線性預(yù)測編碼器

18、5.3.2 幀內(nèi)預(yù)測編碼 牛牛文庫文檔分享 在圖像數(shù)據(jù)壓縮中，常用如下幾種線性預(yù)測方案：前值預(yù)測，即一維預(yù)測，即采用同一掃描行中前面已知的若干個樣值來預(yù)測。二維預(yù)測，即不但用同一掃描行中的前面幾個樣值，而且還要用以前幾行掃描行中樣值來預(yù)測。 牛牛文庫文檔分享5.3.3 幀間預(yù)測編碼序列圖像在時間上的冗余情況可分為如下幾種：對于靜止不動的場景，當(dāng)前幀和前一幀的圖像內(nèi)容是完全相同的。對于運動的物體，只要知道其運動規(guī)律，就可以從前一幀圖像推算出它在當(dāng)前幀中的位置。攝像機(jī)對著場景的橫向移動、焦距變化等操作會引起整個圖像的平移、放大或縮小。對于這種情況，只要攝像機(jī)的運動規(guī)律和鏡頭改變的參數(shù)已知，圖像隨時

19、間所產(chǎn)生的變化也是可以推算出來的。 牛牛文庫文檔分享運動補(bǔ)償預(yù)測 5.3.3 幀間預(yù)測編碼 牛牛文庫文檔分享 5.3.3 幀間預(yù)測編碼 對當(dāng)前子塊進(jìn)行運動估計，就是找在前一幀圖像中哪一個子塊和當(dāng)前子塊最相似，估計它的位移矢量。 牛牛文庫文檔分享運動估計方法：像素遞歸法：根據(jù)像素間亮度的變化和梯度，通過遞歸修正的方法來估計每個像素的運動矢量。接收端在與發(fā)送端同樣的條件下，用與發(fā)送端相同的方法進(jìn)行運動估值。像素遞歸法估計精度高，可以滿足運動補(bǔ)償幀內(nèi)插的要求。但接收端較復(fù)雜，不利于一發(fā)多收（如數(shù)字電視廣播等）的應(yīng)用。5.3.3 幀間預(yù)測編碼 牛牛文庫文檔分享塊匹配算法：塊匹配算法對當(dāng)前幀圖像的每一子

20、塊，在前一幀（第K-1幀）的一定范圍內(nèi)搜索最優(yōu)匹配，并認(rèn)為本圖像子塊就是從前一幀最優(yōu)匹配塊位置處平移過來的。塊匹配算法雖然作了一定假設(shè)（假設(shè)位于同一圖像子塊內(nèi)的所有像素都作相同的運動，且只作平移運動），但滿足了計算復(fù)雜度和實時實現(xiàn)的要求。 牛牛文庫文檔分享塊匹配算法(BMA)：5.3.3 幀間預(yù)測編碼 牛牛文庫文檔分享方塊大小的選取塊大時，一個方塊可能包含多個作不同運動的物體，塊內(nèi)各像素作相同平移運動的假設(shè)難以成立，影響估計精度。若塊太小，則估計精度容易受噪聲干擾的影響，不夠可靠，而且傳送運動矢量所需的附加比特數(shù)過多，不利于數(shù)據(jù)壓縮。一般都用1616像素的塊作為匹配單元。塊匹配算法(BMA)

21、牛牛文庫文檔分享最優(yōu)匹配準(zhǔn)則絕對差均值（MAD，Mean Absolute Difference）最小準(zhǔn)則 均方誤差（MSE，Mean Squared Error）最小準(zhǔn)則歸一化互相關(guān)函數(shù)最大準(zhǔn)則塊匹配算法(BMA) 牛牛文庫文檔分享最優(yōu)匹配點的搜索方法窮盡搜索（full search，也稱全搜索）快速搜索：其算法共同之處在于它們把使準(zhǔn)則函數(shù)（例如，MAD）趨于極小的方向視同為最小失真方向，并假定準(zhǔn)則函數(shù)在偏離最小失真方向時是單調(diào)遞增的，即認(rèn)為它在整個搜索區(qū)內(nèi)是(i,j)的單極點函數(shù)，有唯一的極小值，而快速搜索是從任一猜測點開始沿最小失真方向進(jìn)行的。塊匹配算法(BMA) 牛牛文庫文檔分享分級搜

22、索：先通過對原始圖像濾波和亞采樣得到一個圖像序列的低分辨率表示，再對所得低分辨率圖像進(jìn)行全搜索。由于分辨率降低，使得搜索次數(shù)成倍減少，這一步可以稱為粗搜索。然后，再以低分辨率圖像搜索的結(jié)果作為下一步細(xì)搜索的起始點。經(jīng)過粗、細(xì)兩級搜索，便得到了最終的運動矢量估值。 牛牛文庫文檔分享5.1 數(shù)字圖像與視頻壓縮編碼概述5.2 無失真編碼5.3 預(yù)測編碼5.4 變換編碼5.5 MATALAB編程實例第5章 數(shù)字圖像與視頻編碼原理 牛牛文庫文檔分享預(yù)測編碼希望通過對信源建模盡可能精確地預(yù)測數(shù)據(jù)，然后對預(yù)測誤差進(jìn)行編碼。變換編碼的思路：將原始數(shù)據(jù)從時間域或者空間域“變換”到另一個更為緊湊表示、適合于壓縮的

23、變換域（通常為頻域），從而得到比預(yù)測編碼更高效率的數(shù)據(jù)表示（壓縮）。預(yù)測編碼消除相關(guān)性的能力有限，變換編碼是一種更高效的壓縮編碼。 5.4.1 變換編碼的基本原理 牛牛文庫文檔分享變換編碼的通用模型映射變換量化編碼解碼反量化反映射變換原始數(shù)據(jù)信道恢復(fù)數(shù)據(jù) 牛牛文庫文檔分享5.4.1 變換編碼的基本原理變換編碼不直接對空間域圖像數(shù)據(jù)進(jìn)行編碼，而是首先將空間域圖像數(shù)據(jù)映射變換到另一個正交向量空間（變換域），得到一組變換系數(shù)，然后對這些變換系數(shù)進(jìn)行量化和編碼。變換編碼系統(tǒng)通常包括正交變換、變換系數(shù)選擇和量化編碼3個模塊。為了保證平穩(wěn)性和相關(guān)性，同時也為了減少運算量，在變換編碼中，一般在發(fā)送端的編碼器

24、中，先將一幀圖像劃分成若干個NN像素的圖像塊，然后對每個圖像塊逐一進(jìn)行變換編碼，最后將各個圖像塊的編碼比特流復(fù)合后再傳輸。在接收端，對收到的變換系數(shù)進(jìn)行相應(yīng)的逆變換，再恢復(fù)成圖像數(shù)據(jù)。 牛牛文庫文檔分享選擇不同的正交基向量，可以得到不同的正交變換。常用的正交變換包括： 離散傅里葉變換（DFT） 離散余弦變換（DCT） KarhunenLoeve變換（K-L） 沃爾什-哈達(dá)瑪變換（WHT）、 離散小波變換（DWT） 5.4.2 正交變換基的選擇 牛牛文庫文檔分享K-L變換能使變換后協(xié)方差矩陣為對角陣，并且有最小均方誤差（MSE） ，因此稱為在MSE最小準(zhǔn)則下的最佳變換。由于K-L變換是取原圖像各子塊的協(xié)方差矩陣的特征向量作為變換基向量，因此K-L變換的變換基是不固定的，且與編碼對象的統(tǒng)計特性有關(guān)，沒有快速算法，計算復(fù)雜性高，使得K-L變換的應(yīng)用不現(xiàn)實。對大多數(shù)圖像信源來說，DCT的性能最接近K-L變換，同時其變換基向量是固定的，且有快速算法， 故DCT廣泛應(yīng)用于圖像/視頻壓縮。5.4.2 正交變換基的選擇 牛牛文庫文檔分享DCT編碼和解碼原理5.4.3 DCT圖像編