靜止圖像編碼第一頁，共三十七頁，編輯于2023年，星期五靜止圖像的采樣與量化第二頁，共三十七頁，編輯于2023年，星期五靜止圖像采樣空間軸上二維伸展，時間軸上一點。圖像的色彩由人眼決定，三元色RGB。圖像的數字化在二維平面上，將圖像劃分為一個個很小的方塊，每個方塊內近似具有同樣的色彩。這樣的方塊稱為像素。實際應用中，像素數決定于圖像輸出設備的分辨率。若分辨率較低，則每個像素對應的方塊較大，就能明顯看到塊的結構，如大屏幕電視。第三頁，共三十七頁，編輯于2023年，星期五靜止圖像采樣，量化如果圖像的細節(jié)很精致（如電視臺專用的測試信號），則像素分割仍無法體現細節(jié)。類似時域的奈奎斯特采樣定理。每個像素有對應的色彩，有不同的色彩分量。直接的色彩空間是RGB，每個分量采用8bit量化，一共可以表示種色彩，基本上可以接近原始的真實色彩。人眼實際上對亮度信號更敏感，因此可以將色彩空間進行變換，得到YUV分量，每個分量依舊采用8bit量化。第四頁，共三十七頁，編輯于2023年，星期五電視信號測試圖第五頁，共三十七頁，編輯于2023年，星期五圖像壓縮分類第六頁，共三十七頁，編輯于2023年，星期五圖像為什么可以壓縮？熵冗余像素間具有相關性不同的符號具有不同的概率視覺冗余不是所有的細節(jié)都可見不是所有的細節(jié)都需要看到人眼的視覺特性，比如對亮度比色度敏感，對黃、綠等顏色更敏感等等。第七頁，共三十七頁，編輯于2023年，星期五圖像壓縮的分類對于一些特定要求的圖像，如地圖、遙感或航拍的圖像，醫(yī)療圖片，警用圖片等，對細節(jié)要求很高，而且一旦出現失真，影響極大，此時一般用無損壓縮。對于娛樂用圖片，如照片，廣告，文字等，人們關心的重點是整體的視覺效果，因此可以使用有損壓縮，以獲得更好的壓縮比。第八頁，共三十七頁，編輯于2023年，星期五有損編碼與無損編碼無損編碼（壓縮比1.5-3）無失真完全可復原不利用人的視覺特性有損編碼（壓縮比10-200）有失真可復原利用了人的視覺特性第九頁，共三十七頁，編輯于2023年，星期五無損編碼，游程編碼一般采用熵編碼，包括Huffman編碼，香農編碼，LZW編碼，算數編碼，游程編碼等。游程編碼適用于二值圖像，或者有大片同色部分的圖像。典型應用是傳真的圖像。在二值圖像中，一定是0，1交替出現，因此，如果假設每行都從0開始，則編碼時只需記錄連續(xù)像素的個數，而不必記錄像素的顏色。比如像素為000101110010001，游程編碼后為31132131，然后可以對多元序列進行Huffman編碼。第十頁，共三十七頁，編輯于2023年，星期五香農編碼（一）根據香農定理，對二進制碼，碼字長度滿足下面公式，其中ti為該碼字長度，Pi為該符號出現的概率香農編碼步驟將信息符號按出現的概率由大到小順序排列按上面公式計算各概率對應的碼字長度ti計算各概率對應的累加概率aia1=0,a2=P2,a3=P2+P1,a4=P3+P2+P1,…將累加概率轉換為2進制小數，取前ti位，即為香農編碼的結果第十一頁，共三十七頁，編輯于2023年，星期五香農編碼（二）舉例Y1概率0.40t1=2a1=000Y2概率0.18t1=3a1=0.4011Y3概率0.10t1=4a1=0.581001Y4概率0.10t1=4a1=0.681010Y5概率0.07t1=4a1=0.781100Y6概率0.06t1=5a1=0.8511011Y7概率0.05t1=5a1=0.9111101Y8概率0.04t1=5a1=0.9611110第十二頁，共三十七頁，編輯于2023年，星期五算數編碼（一）20世紀60年代由Elias提出，是信息保持型編碼，無須為一個符號設定一個碼字。舉例說明信源4個符號，a--1/2,b--1/4,c--1/8,d--1/8.要對aabc…進行編碼利用單位長度的矩形來表示，指針起點為0，寬度為1。第一個符號是a，指針指向0+1(寬度)*0.011(a的起始位置)=0.011，寬度變?yōu)?(寬度)*0.1(a的寬度)=0.1第十三頁，共三十七頁，編輯于2023年，星期五算數編碼（二）第二個符號是a，指針指向0.011+0.1(寬度)*0.011(a的起始位置)=0.1001，寬度變?yōu)?.1(寬度)*0.1(a的寬度)=0.01第三個符號是b，指針指向0.1001+0.01(寬度)*0.001(b的起始位置)=0.10011，寬度變?yōu)?.01(寬度)*0.01(b的寬度)=0.0001第四個符號是c，指針指向0.10011+0.0001(寬度)*0.111(c的起始位置)=0.1010011，寬度變?yōu)?.0001(寬度)*0.001(c的寬度)=0.0000001第十四頁，共三十七頁，編輯于2023年，星期五算數編碼（三）解碼過程，碼字為0.1010011在0-1空間里定位，由于0.011<0.1010011<0.111，所以第1個符號為a[0.1010011-0.011(a的起點)]/0.1(a的寬度)=0.0100011*2=0.100011，由于0.011<0.100011<0.111，所以第2個符號為a。[0.100011-0.011(a的起點)]/0.1(a的寬度)=0.001011*2=0.01011，由于0.001<0.01011<0.011，所以第3個符號為b。[0.01011-0.001(b的起點)]/0.01(b的寬度)=0.00111*4=0.111，由于0.111就是c的起點，因此第4個符號是c第十五頁，共三十七頁，編輯于2023年，星期五有損編碼對于大量圖像，并不需要無損編碼，只要人的視覺接收即可。此時重點在于壓縮效率，故采用有損壓縮。有損壓縮常采用以下方法預測編碼：點預測，幀內預測，幀間預測變換域編碼：KL,DCT,小波量化編碼：標量量化，矢量量化第十六頁，共三十七頁，編輯于2023年，星期五變換域編碼—DCT變換第十七頁，共三十七頁，編輯于2023年，星期五變換域編碼（1）在變換域（頻率域）上利用信源的相關性進行數據壓縮。變換的目的是尋找信號更有效的表示方式。簡單來說，一個實際信號在信號空間中表示為一點，在各坐標方向上都有投影。對信號空間作線性變換，可以讓該信號只在一個坐標方向上有投影，而其他分量為0。以三維空間為例，藍線表示原有坐標系，信號點在三個方向上都有投影。坐標系線性變換后（紅色），信號點只在一個坐標軸上有分量。從而達到了壓縮的目的。第十八頁，共三十七頁，編輯于2023年，星期五變換域編碼（2）上述方式，對每個信號都需要一個特定的坐標系變換，這是不現實的。對所有的信號，都要采用同樣的坐標系變換，設該變換矩陣為T，是正交陣。設一個離散信號由N個采樣值組成，則對應N維向量空間，該信號可表示為一個N維向量X。正交變換Y=TX。變換后，Y也是一個N維向量，但其中N-M個分量近似為零。此時Y被壓縮為只有M個分量，這就是變換域編碼的基本原理第十九頁，共三十七頁，編輯于2023年，星期五變換域編碼（3）使MSE最小的條件是即變換矩陣是由X的協方差矩陣的特征向量構成，此最佳變換稱為KLT變換。變換矩陣與信號的統計特性相關，具體問題具體分析。第二十頁，共三十七頁，編輯于2023年，星期五離散余弦變換（1）離散余弦變換(DCT)是正交變換的一種，采用固定的基向量。當信號是一階平穩(wěn)馬爾可夫過程，且相關系數接近1，則DCT十分接近KLT。一維DCT變換與 反變換第二十一頁，共三十七頁，編輯于2023年，星期五離散余弦變換（2）DCT的物理意義：空間頻率的提取。回顧：傅立葉級數：連續(xù)周期性信號可以分解為若干正弦信號之和。傅立葉變換：連續(xù)非周期信號分解為連續(xù)譜。離散傅立葉變換：有限長度離散信號的傅里葉變換。通過離散傅立葉變換，得到時域上的離散信號的各頻率分量引入空間頻率的概念，沿著某個空間方向信號幅度產生變化，這種變化的速度就是空間頻率。第二十二頁，共三十七頁，編輯于2023年，星期五離散余弦變換（3）斑馬紋，木材橫剖面，縱剖面的紋理具有典型的空間頻率特性。與時域信號相似，任何圖像都具有空間頻率。因此，與時域的傅立葉變換相似，通過空間域的“傅立葉變換”，得到空間頻率，也可以起到數據壓縮的效果。DCT就是空間域的“傅立葉變換”，DCT變換后得到的系數，就代表了空間頻率的分布情況。第二十三頁，共三十七頁，編輯于2023年，星期五離散余弦變換（4）對圖像而言，空間頻率的高頻部分代表其細節(jié)，低頻部分代表其主體。因此DCT變換后，如果拋棄了圖像的高頻部分，則損失圖像細節(jié)。二維DCT變換的基函數圖樣。第二十四頁，共三十七頁，編輯于2023年，星期五圖像分塊為什么圖像處理要分塊？DCT必須對一段數據進行操作，如果只對一點做DCT，則沒有意義。分塊操作，可以減小對存儲器的需求分塊操作，可以將圖像細化，每個塊內的圖像細節(jié)將不再起主要作用。因此可以將每塊的DCT變換后的高頻部分丟棄，而不影響圖像質量。如何分塊：正方形？矩形？塊的大?。繅K越小，圖像細節(jié)保持的越好，編碼用的比特越多；塊越大，則相反。一般選擇8*8像素大小的塊。產生的問題馬賽克效應。第二十五頁，共三十七頁，編輯于2023年，星期五JPEG標準第二十六頁，共三十七頁，編輯于2023年，星期五JPEG標準JPEG是JointPhotographicExpertsGroup（聯合圖像專家小組）于1994年制定的一種圖像編碼格式，是在Web上最普遍的照片存儲格式。在保證圖像質量的前提下，可以將圖像壓縮為1/10到1/20。JPEG是圖像和視頻編碼的基礎。后面出現的JPEG2000，H.261，H.263等，都是以JPEG的框架作為基礎的。第二十七頁，共三十七頁，編輯于2023年，星期五JPEG流程色彩空間轉換DownSamplingDCT量化熵編碼第二十八頁，共三十七頁，編輯于2023年，星期五JPEG流程（1）色彩空間轉換一般來說，攝像頭采集到的信號，是RGB格式，而我們需要YUV的分量進行處理，因此需要進行色彩空間轉換。Y是像素的亮度，UV表示色調與飽和度轉換公式如下：第二十九頁，共三十七頁，編輯于2023年，星期五JPEG流程（2）DownSampling人眼對亮度信號很敏感，而對色調與飽和度則相對不敏感。為了提高編碼效率，可以減小UV的數目，從而減小UV所占的比特。從4:4:4到4:2:2或者4:2:0第三十頁，共三十七頁，編輯于2023年，星期五JPEG流程（3）DCT原始圖像像素52556166706164736359559010985697262596811314410466736358711221541067069676168104126886870796560707768587585716459556165838779696865767894經DCT變換后系數-415-30-612756-20-204-22-611013-7-95-47777-25-29105-6-491234-15-1062212-7-13-4-22-33-832-6-2142-100-2-1-34-100-1-4-1012第三十一頁，共三十七頁，編輯于2023年，星期五JPEG流程（4）量化量化矩陣1611101624405161121214192658605514131624405769561417222951878062182237566810910377243555648110411392496478871031211201017292959811210010399量化后的DCT系數-26-3-622-100

0-2-411000

-315-1-1000

-412-10000

10000000

00000000

00000000

00000000量化矩陣的獲得是經過對大量圖像統計后得到的，是固定的。經量化后的DCT系數，高頻部分出現了大量的0值。第三十二頁，共三十