1、靜止圖像的編碼,靜止圖像的采樣與量化 圖像壓縮分類 變換域編碼 DCT變換 JPEG標(biāo)準(zhǔn) JPEG2000標(biāo)準(zhǔn),靜止圖像的采樣與量化,靜止圖像采樣,空間軸上二維伸展，時(shí)間軸上一點(diǎn)。 圖像的色彩由人眼決定，三元色RGB。 圖像的數(shù)字化 在二維平面上，將圖像劃分為一個(gè)個(gè)很小的方塊，每個(gè)方塊內(nèi)近似具有同樣的色彩。這樣的方塊稱為像素。 實(shí)際應(yīng)用中，像素?cái)?shù)決定于圖像輸出設(shè)備的分辨率。若分辨率較低，則每個(gè)像素對(duì)應(yīng)的方塊較大，就能明顯看到塊的結(jié)構(gòu)，如大屏幕電視。,靜止圖像采樣，量化,如果圖像的細(xì)節(jié)很精致（如電視臺(tái)專用的測(cè)試信號(hào)），則像素分割仍無(wú)法體現(xiàn)細(xì)節(jié)。類似時(shí)域的奈奎斯特采樣定理。 每個(gè)像素有對(duì)應(yīng)的色彩，

2、有不同的色彩分量。直接的色彩空間是RGB，每個(gè)分量采用8bit量化，一共可以表示 種色彩，基本上可以接近原始的真實(shí)色彩。 人眼實(shí)際上對(duì)亮度信號(hào)更敏感，因此可以將色彩空間進(jìn)行變換，得到Y(jié)UV分量，每個(gè)分量依舊采用8bit量化。,電視信號(hào)測(cè)試圖,圖像壓縮分類,圖像為什么可以壓縮？,熵冗余 像素間具有相關(guān)性 不同的符號(hào)具有不同的概率 視覺(jué)冗余 不是所有的細(xì)節(jié)都可見 不是所有的細(xì)節(jié)都需要看到 人眼的視覺(jué)特性，比如對(duì)亮度比色度敏感，對(duì)黃、綠等顏色更敏感等等。,圖像壓縮的分類,對(duì)于一些特定要求的圖像，如地圖、遙感或航拍的圖像，醫(yī)療圖片，警用圖片等，對(duì)細(xì)節(jié)要求很高，而且一旦出現(xiàn)失真，影響極大，此時(shí)一般用無(wú)損

3、壓縮。 對(duì)于娛樂(lè)用圖片，如照片，廣告，文字等，人們關(guān)心的重點(diǎn)是整體的視覺(jué)效果，因此可以使用有損壓縮，以獲得更好的壓縮比。,有損編碼與無(wú)損編碼,無(wú)損編碼（壓縮比1.5-3） 無(wú)失真 完全可復(fù)原 不利用人的視覺(jué)特性 有損編碼（壓縮比10-200） 有失真 可復(fù)原 利用了人的視覺(jué)特性,無(wú)損編碼，游程編碼,一般采用熵編碼，包括Huffman編碼，香農(nóng)編碼，LZW編碼，算數(shù)編碼，游程編碼等。 游程編碼適用于二值圖像，或者有大片同色部分的圖像。典型應(yīng)用是傳真的圖像。 在二值圖像中，一定是0，1交替出現(xiàn)，因此，如果假設(shè)每行都從0開始，則編碼時(shí)只需記錄連續(xù)像素的個(gè)數(shù)，而不必記錄像素的顏色。 比如像素為0001

4、01110010001，游程編碼后為31132131，然后可以對(duì)多元序列進(jìn)行Huffman編碼。,香農(nóng)編碼（一）,根據(jù)香農(nóng)定理，對(duì)二進(jìn)制碼，碼字長(zhǎng)度滿足下面公式，其中ti為該碼字長(zhǎng)度，Pi為該符號(hào)出現(xiàn)的概率 香農(nóng)編碼步驟 將信息符號(hào)按出現(xiàn)的概率由大到小順序排列 按上面公式計(jì)算各概率對(duì)應(yīng)的碼字長(zhǎng)度ti 計(jì)算各概率對(duì)應(yīng)的累加概率ai a1 = 0, a2 = P2, a3 = P2+P1, a4 = P3+P2+P1, 將累加概率轉(zhuǎn)換為2進(jìn)制小數(shù)，取前ti位，即為香農(nóng)編碼的結(jié)果,香農(nóng)編碼（二）,舉例 Y1概率0.40 t1=2 a1=0 00 Y2概率0.18 t1=3 a1=0.4 011 Y3

5、概率0.10 t1=4 a1=0.58 1001 Y4概率0.10 t1=4 a1=0.68 1010 Y5概率0.07 t1=4 a1=0.78 1100 Y6概率0.06 t1=5 a1=0.85 11011 Y7概率0.05 t1=5 a1=0.91 11101 Y8概率0.04 t1=5 a1=0.96 11110,算數(shù)編碼（一）,20世紀(jì)60年代由Elias提出，是信息保持型編碼，無(wú)須為一個(gè)符號(hào)設(shè)定一個(gè)碼字。 舉例說(shuō)明 信源4個(gè)符號(hào)，a-1/2, b-1/4,c-1/8,d-1/8.要對(duì)aabc進(jìn)行編碼 利用單位長(zhǎng)度的矩形來(lái)表示，指針起點(diǎn)為0，寬度為1。 第一個(gè)符號(hào)是a，指針指向0+

6、1(寬度)*0.011(a的起始位置)=0.011，寬度變?yōu)?(寬度)*0.1(a的寬度)=0.1,算數(shù)編碼（二）,第二個(gè)符號(hào)是a，指針指向0.011+0.1(寬度)*0.011(a的起始位置)=0.1001，寬度變?yōu)?.1(寬度)*0.1(a的寬度)=0.01 第三個(gè)符號(hào)是b，指針指向0.1001+0.01(寬度)*0.001(b的起始位置)=0.10011，寬度變?yōu)?.01(寬度)*0.01(b的寬度)=0.0001 第四個(gè)符號(hào)是c，指針指向0.10011+0.0001(寬度)*0.111(c的起始位置)=0.1010011，寬度變?yōu)?.0001(寬度)*0.001(c的寬度)=0.000

7、0001,算數(shù)編碼（三）,解碼過(guò)程，碼字為0.1010011 在0-1空間里定位，由于0.0110.10100110.111，所以第1個(gè)符號(hào)為a 0.1010011-0.011(a的起點(diǎn))/0.1(a的寬度)=0.0100011*2=0.100011，由于0.0110.1000110.111，所以第2個(gè)符號(hào)為a。 0.100011-0.011(a的起點(diǎn))/0.1(a的寬度)=0.001011*2=0.01011，由于0.0010.010110.011，所以第3個(gè)符號(hào)為b。 0.01011-0.001(b的起點(diǎn))/0.01(b的寬度)=0.00111*4=0.111，由于0.111就是c的起點(diǎn)，

8、因此第4個(gè)符號(hào)是c,有損編碼,對(duì)于大量圖像，并不需要無(wú)損編碼，只要人的視覺(jué)接收即可。此時(shí)重點(diǎn)在于壓縮效率，故采用有損壓縮。 有損壓縮常采用以下方法 預(yù)測(cè)編碼：點(diǎn)預(yù)測(cè)，幀內(nèi)預(yù)測(cè)，幀間預(yù)測(cè) 變換域編碼：KL,DCT,小波 量化編碼：標(biāo)量量化，矢量量化,變換域編碼 DCT變換,變換域編碼（1）,在變換域（頻率域）上利用信源的相關(guān)性進(jìn)行數(shù)據(jù)壓縮。 變換的目的是尋找信號(hào)更有效的表示方式。簡(jiǎn)單來(lái)說(shuō)，一個(gè)實(shí)際信號(hào)在信號(hào)空間中表示為一點(diǎn)，在各坐標(biāo)方向上都有投影。對(duì)信號(hào)空間作線性變換，可以讓該信號(hào)只在一個(gè)坐標(biāo)方向上有投影，而其他分量為0。,以三維空間為例，藍(lán)線表示原有坐標(biāo)系，信號(hào)點(diǎn)在三個(gè)方向上都有投影。坐標(biāo)系線

9、性變換后（紅色），信號(hào)點(diǎn)只在一個(gè)坐標(biāo)軸上有分量。從而達(dá)到了壓縮的目的。,變換域編碼（2）,上述方式，對(duì)每個(gè)信號(hào)都需要一個(gè)特定的坐標(biāo)系變換，這是不現(xiàn)實(shí)的。對(duì)所有的信號(hào)，都要采用同樣的坐標(biāo)系變換，設(shè)該變換矩陣為T，是正交陣。 設(shè)一個(gè)離散信號(hào)由N個(gè)采樣值組成，則對(duì)應(yīng)N維向量空間，該信號(hào)可表示為一個(gè)N維向量X。 正交變換Y=TX。 變換后，Y也是一個(gè)N維向量，但其中N-M個(gè)分量近似為零。此時(shí)Y被壓縮為只有M個(gè)分量，這就是變換域編碼的基本原理,變換域編碼（3）,使MSE最小的條件是,即變換矩陣是由X的協(xié)方差矩陣的特征向量構(gòu)成，此最佳變換稱為KLT變換。變換矩陣與信號(hào)的統(tǒng)計(jì)特性相關(guān)，具體問(wèn)題具體分析。,離

10、散余弦變換（1）,離散余弦變換(DCT)是正交變換的一種，采用固定的基向量。 當(dāng)信號(hào)是一階平穩(wěn)馬爾可夫過(guò)程，且相關(guān)系數(shù)接近1，則DCT十分接近KLT。 一維DCT變換與 反變換,離散余弦變換（2）,DCT的物理意義：空間頻率的提取。 回顧： 傅立葉級(jí)數(shù)：連續(xù)周期性信號(hào)可以分解為若干正弦信號(hào)之和。 傅立葉變換：連續(xù)非周期信號(hào)分解為連續(xù)譜。 離散傅立葉變換：有限長(zhǎng)度離散信號(hào)的傅里葉變換。 通過(guò)離散傅立葉變換，得到時(shí)域上的離散信號(hào)的各頻率分量 引入空間頻率的概念，沿著某個(gè)空間方向信號(hào)幅度產(chǎn)生變化，這種變化的速度就是空間頻率。,離散余弦變換（3）,斑馬紋，木材橫剖面，縱剖面的紋理具有典型的空間頻率特性

11、。 與時(shí)域信號(hào)相似，任何圖像都具有空間頻率。因此，與時(shí)域的傅立葉變換相似，通過(guò)空間域的“傅立葉變換”，得到空間頻率，也可以起到數(shù)據(jù)壓縮的效果。 DCT就是空間域的“傅立葉變換”，DCT變換后得到的系數(shù)，就代表了空間頻率的分布情況。,離散余弦變換（4）,對(duì)圖像而言，空間頻率的高頻部分代表其細(xì)節(jié)，低頻部分代表其主體。因此DCT變換后，如果拋棄了圖像的高頻部分，則損失圖像細(xì)節(jié)。 二維DCT變換的基函數(shù)圖樣。,圖像分塊,為什么圖像處理要分塊？ DCT必須對(duì)一段數(shù)據(jù)進(jìn)行操作，如果只對(duì)一點(diǎn)做DCT，則沒(méi)有意義。 分塊操作，可以減小對(duì)存儲(chǔ)器的需求 分塊操作，可以將圖像細(xì)化，每個(gè)塊內(nèi)的圖像細(xì)節(jié)將不再起主要作用

12、。因此可以將每塊的DCT變換后的高頻部分丟棄，而不影響圖像質(zhì)量。 如何分塊： 正方形？矩形？ 塊的大??？塊越小，圖像細(xì)節(jié)保持的越好，編碼用的比特越多；塊越大，則相反。一般選擇8*8像素大小的塊。 產(chǎn)生的問(wèn)題 馬賽克效應(yīng)。,JPEG標(biāo)準(zhǔn),JPEG標(biāo)準(zhǔn),JPEG是Joint Photographic Experts Group（聯(lián)合圖像專家小組）于1994年制定的一種圖像編碼格式，是在Web上最普遍的照片存儲(chǔ)格式 。在保證圖像質(zhì)量的前提下，可以將圖像壓縮為1/10到1/20。 JPEG是圖像和視頻編碼的基礎(chǔ)。后面出現(xiàn)的JPEG2000，H.261，H.263等，都是以JPEG的框架作為基礎(chǔ)的。,J

13、PEG流程,色彩空間轉(zhuǎn)換 DownSampling DCT 量化 熵編碼,JPEG流程（1）,色彩空間轉(zhuǎn)換 一般來(lái)說(shuō)，攝像頭采集到的信號(hào)，是RGB格式，而我們需要YUV的分量進(jìn)行處理，因此需要進(jìn)行色彩空間轉(zhuǎn)換。 Y是像素的亮度，UV表示色調(diào)與飽和度 轉(zhuǎn)換公式如下：,JPEG流程（2）,DownSampling 人眼對(duì)亮度信號(hào)很敏感，而對(duì)色調(diào)與飽和度則相對(duì)不敏感。 為了提高編碼效率，可以減小UV的數(shù)目，從而減小UV所占的比特。 從4:4:4到4:2:2或者4:2:0,JPEG流程（3）,DCT 原始圖像像素 52 55 61 66 70 61 64 73 63 59 55 90 109 85 6

14、9 72 62 59 68 113 144 104 66 73 63 58 71 122 154 106 70 69 67 61 68 104 126 88 68 70 79 65 60 70 77 68 58 75 85 71 64 59 55 61 65 83 87 79 69 68 65 76 78 94,經(jīng)DCT變換后系數(shù) -415 -30 -61 27 56 -20 -2 0 4 -22 -61 10 13 -7 -9 5 -47 7 77 -25 -29 10 5 -6 -49 12 34 -15 -10 6 2 2 12 -7 -13 -4 -2 2 -3 3 -8 3 2 -6

15、 -2 1 4 2 -1 0 0 -2 -1 -3 4 -1 0 0 -1 -4 -1 0 1 2,JPEG流程（4）,量化 量化矩陣 16 11 10 16 24 40 51 61 12 12 14 19 26 58 60 55 14 13 16 24 40 57 69 56 14 17 22 29 51 87 80 62 18 22 37 56 68 109 103 77 24 35 55 64 81 104 113 92 49 64 78 87 103 121 120 101 72 92 95 98 112 100 103 99,量化后的DCT系數(shù) -26 -3 -6 2 2 -1 0

16、0 0 -2 -4 1 1 0 0 0 -3 1 5 -1 -1 0 0 0 -4 1 2 -1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0,量化矩陣的獲得是經(jīng)過(guò)對(duì)大量圖像統(tǒng)計(jì)后得到的，是固定的。 經(jīng)量化后的DCT系數(shù)，高頻部分出現(xiàn)了大量的0值。,JPEG流程（5）,熵編碼 Zig-Zag掃描，將頻率由低到高依次排列 對(duì)排列后的數(shù)據(jù)進(jìn)行熵編碼，一般使用Huffman編碼，也可使用算數(shù)編碼。 當(dāng)序列中不再有非零元素時(shí)，不在將0逐個(gè)列出，而是用EOB表示結(jié)束，從而壓縮編碼比特。,JPEG壓縮實(shí)例,在量化這一步中，量化矩陣直接決定了DCT系數(shù)的精度，也就決定了圖像的質(zhì)量。下面是三幅同樣的圖片，用不同的量化矩陣，得到不同的品質(zhì)。,JPEG2000簡(jiǎn)介,JPEG2000,JPEG200