1、.概述視頻壓縮編碼技術(shù)視頻壓縮編碼標(biāo)準(zhǔn)介紹MPEG2 視頻編碼技術(shù)H.264 視頻編碼技術(shù)AVS 視頻編碼技術(shù)視頻壓縮損傷分析.通過壓縮編碼技術(shù)來去除視頻、音頻、數(shù)通過壓縮編碼技術(shù)來去除視頻、音頻、數(shù)據(jù)等原始信號(hào)的冗余信息，以實(shí)現(xiàn)碼率壓縮與據(jù)等原始信號(hào)的冗余信息，以實(shí)現(xiàn)碼率壓縮與帶寬減小，使信號(hào)在各種傳輸信道中能夠有效帶寬減小，使信號(hào)在各種傳輸信道中能夠有效傳輸。傳輸。1、數(shù)字電視信源編碼的目的、數(shù)字電視信源編碼的目的.2、壓縮的必要性、壓縮的必要性電視信號(hào)數(shù)字化后：數(shù)碼率高，數(shù)據(jù)量大。電視信號(hào)數(shù)字化后：數(shù)碼率高，數(shù)據(jù)量大。例如：例如：4：2：2編碼、編碼、8比特量化的比特量化的SDTV信號(hào)，

2、其信號(hào)，其數(shù)碼率為數(shù)碼率為216 Mbps。若按每。若按每2bit構(gòu)成一個(gè)周期，則構(gòu)成一個(gè)周期，則傳輸這樣一路數(shù)字電視信號(hào)需要有傳輸這樣一路數(shù)字電視信號(hào)需要有108MHz的通道的通道帶寬。帶寬。4：2：2編碼、編碼、8比特量化時(shí)，一幀比特量化時(shí)，一幀SDTV圖像的數(shù)圖像的數(shù)據(jù)量約為據(jù)量約為8.6Mb，要記錄，要記錄10分鐘的電視節(jié)目就需要分鐘的電視節(jié)目就需要130Gb的存儲(chǔ)器容量。的存儲(chǔ)器容量。綜上所述，要實(shí)現(xiàn)數(shù)字電視信號(hào)的有效存儲(chǔ)和傳輸，綜上所述，要實(shí)現(xiàn)數(shù)字電視信號(hào)的有效存儲(chǔ)和傳輸，就需要采取措施降低其數(shù)據(jù)量和數(shù)碼率就需要采取措施降低其數(shù)據(jù)量和數(shù)碼率.3、壓縮的可能性（以視頻信號(hào)為例）、壓縮

3、的可能性（以視頻信號(hào)為例）視頻壓縮過程：去除圖像中與信息無關(guān)或?qū)D像質(zhì)視頻壓縮過程：去除圖像中與信息無關(guān)或?qū)D像質(zhì)量影響不大的部分，即冗余部分。電視信號(hào)中存在量影響不大的部分，即冗余部分。電視信號(hào)中存在很多這樣的冗余部分，這就為壓縮提供了可能性。很多這樣的冗余部分，這就為壓縮提供了可能性。視頻信號(hào)的冗余性表現(xiàn)在以下幾個(gè)方面：視頻信號(hào)的冗余性表現(xiàn)在以下幾個(gè)方面：l 空間相關(guān)冗余空間相關(guān)冗余l(xiāng) 時(shí)間相關(guān)冗余時(shí)間相關(guān)冗余l(xiāng) 視覺冗余視覺冗余l(xiāng) 熵冗余熵冗余.空間相關(guān)冗余空間相關(guān)冗余.時(shí)間相關(guān)冗余（幀間相關(guān)冗余）時(shí)間相關(guān)冗余（幀間相關(guān)冗余）tt1tt2.人眼視覺冗余人眼視覺冗余人眼視覺特性：人眼視覺特

4、性：l對(duì)靜止或緩慢運(yùn)動(dòng)圖像的灰度等級(jí)及圖像細(xì)對(duì)靜止或緩慢運(yùn)動(dòng)圖像的灰度等級(jí)及圖像細(xì)節(jié)的分辨力高節(jié)的分辨力高l對(duì)快速運(yùn)動(dòng)圖像的灰度等級(jí)及圖像細(xì)節(jié)的分對(duì)快速運(yùn)動(dòng)圖像的灰度等級(jí)及圖像細(xì)節(jié)的分辨力低辨力低l觀察大面積圖像時(shí)，對(duì)灰度等級(jí)分辨力高，觀察大面積圖像時(shí)，對(duì)灰度等級(jí)分辨力高，對(duì)細(xì)節(jié)分辨力低對(duì)細(xì)節(jié)分辨力低l觀察細(xì)節(jié)時(shí)，對(duì)灰度等級(jí)分辨力低，對(duì)細(xì)節(jié)觀察細(xì)節(jié)時(shí)，對(duì)灰度等級(jí)分辨力低，對(duì)細(xì)節(jié)分辨力高分辨力高人眼接收綜合信息的能力有限人眼接收綜合信息的能力有限.利用人眼的視覺特性利用人眼的視覺特性對(duì)靜止或緩慢運(yùn)動(dòng)圖像：對(duì)靜止或緩慢運(yùn)動(dòng)圖像：l減小幀率減小幀率l在圖像細(xì)節(jié)部分選擇較高的取樣頻率和較低的在圖像細(xì)節(jié)

5、部分選擇較高的取樣頻率和較低的量化比特?cái)?shù)量化比特?cái)?shù)l在大面積像塊區(qū)域選擇較低的取樣頻率和較高在大面積像塊區(qū)域選擇較低的取樣頻率和較高的量化比特?cái)?shù)的量化比特?cái)?shù)對(duì)快速運(yùn)動(dòng)圖像：對(duì)快速運(yùn)動(dòng)圖像：l 提高幀率提高幀率l 降低取樣頻率和量化比特?cái)?shù)降低取樣頻率和量化比特?cái)?shù).自信息量自信息量定義：指某個(gè)隨機(jī)事件（或消息）發(fā)生后所提供的信息定義：指某個(gè)隨機(jī)事件（或消息）發(fā)生后所提供的信息數(shù)量的多少數(shù)量的多少)(log)(1log)(iaiaixpxpxI 任意隨機(jī)事件的自信息量為該事件發(fā)生概率的倒任意隨機(jī)事件的自信息量為該事件發(fā)生概率的倒數(shù)的對(duì)數(shù)。數(shù)的對(duì)數(shù)。熵冗余熵冗余.信源熵（信源每個(gè)符號(hào)的平均信息量）：信

6、源熵（信源每個(gè)符號(hào)的平均信息量）：符符號(hào)號(hào)/)(/1log)(12bitxPxPHniii P(xi)是符號(hào)是符號(hào)xi出現(xiàn)的概率出現(xiàn)的概率平均碼長(zhǎng)（每個(gè)符號(hào)的平均編碼長(zhǎng)度）：平均碼長(zhǎng)（每個(gè)符號(hào)的平均編碼長(zhǎng)度）：熵冗余平均碼長(zhǎng)信息熵熵冗余平均碼長(zhǎng)信息熵符符號(hào)號(hào)/)(1bitlxPLnii i li 是符號(hào)是符號(hào)xi 的編碼碼長(zhǎng)的編碼碼長(zhǎng).例如：例如：某一圖像總共可出現(xiàn)某一圖像總共可出現(xiàn)4個(gè)灰度級(jí)，對(duì)每個(gè)灰度級(jí)進(jìn)行二進(jìn)個(gè)灰度級(jí)，對(duì)每個(gè)灰度級(jí)進(jìn)行二進(jìn)制定長(zhǎng)編碼時(shí)，碼長(zhǎng)為制定長(zhǎng)編碼時(shí)，碼長(zhǎng)為2比特，即比特，即 L 2bit / 符號(hào)符號(hào)。當(dāng)每個(gè)灰度級(jí)出現(xiàn)的概率不相等時(shí)：當(dāng)每個(gè)灰度級(jí)出現(xiàn)的概率不相等時(shí)：

7、設(shè)灰度級(jí)設(shè)灰度級(jí)14的概率分別為的概率分別為1/8、3/8、3/8、1/8，符符號(hào)號(hào)/bit.loglog=H81138832881222熵冗余熵冗余L H 21.810.19 bit / 符號(hào)符號(hào).若采用變長(zhǎng)編碼方式，對(duì)概率大的符號(hào)賦予短碼，若采用變長(zhǎng)編碼方式，對(duì)概率大的符號(hào)賦予短碼，對(duì)概率小的符號(hào)賦予長(zhǎng)碼，則可降低平均碼長(zhǎng)對(duì)概率小的符號(hào)賦予長(zhǎng)碼，則可降低平均碼長(zhǎng)L符符號(hào)號(hào)/875.1381381283183bitL 熵冗余熵冗余1.8751.810.065 bit / 符號(hào)符號(hào)例如，灰度級(jí)例如，灰度級(jí)1 3/8 1 灰度級(jí)灰度級(jí)2 3/8 01 灰度級(jí)灰度級(jí)3 1/8 001 灰度級(jí)灰度級(jí)

8、4 1/8 000所以，采用變長(zhǎng)編碼可降低信源熵冗余所以，采用變長(zhǎng)編碼可降低信源熵冗余return.第一代視頻編碼技術(shù)（經(jīng)典的視頻編碼技術(shù)）：第一代視頻編碼技術(shù)（經(jīng)典的視頻編碼技術(shù)）：l以香農(nóng)信息論為基礎(chǔ)以香農(nóng)信息論為基礎(chǔ)l采用基于象素或象素塊的方法來表征視頻信息采用基于象素或象素塊的方法來表征視頻信息l利用圖像信號(hào)的統(tǒng)計(jì)特性來設(shè)計(jì)編碼器利用圖像信號(hào)的統(tǒng)計(jì)特性來設(shè)計(jì)編碼器l未考慮事件本身的具體含義、重要程度及引起后果未考慮事件本身的具體含義、重要程度及引起后果l未充分考慮人眼視覺特性對(duì)編碼圖像的影響未充分考慮人眼視覺特性對(duì)編碼圖像的影響l只能去除數(shù)據(jù)冗余低層壓縮只能去除數(shù)據(jù)冗余低層壓縮1、視頻

9、壓縮編碼技術(shù)的研究進(jìn)展、視頻壓縮編碼技術(shù)的研究進(jìn)展變換編碼：變換編碼：DCT + 量化量化預(yù)測(cè)編碼：預(yù)測(cè)編碼：MC 幀間預(yù)測(cè)幀間預(yù)測(cè)熵編碼：熵編碼：VLC.第二代視頻編碼技術(shù)：第二代視頻編碼技術(shù)：l突破了香農(nóng)信息論的框架突破了香農(nóng)信息論的框架l采用基于內(nèi)容的方法來表征視頻信息采用基于內(nèi)容的方法來表征視頻信息l充分考慮人眼視覺特性及信源特性充分考慮人眼視覺特性及信源特性l通過去除內(nèi)容冗余來實(shí)現(xiàn)數(shù)據(jù)壓縮通過去除內(nèi)容冗余來實(shí)現(xiàn)數(shù)據(jù)壓縮l基于對(duì)象的視頻壓縮中層壓縮基于對(duì)象的視頻壓縮中層壓縮l基于語義的視頻壓縮高層壓縮基于語義的視頻壓縮高層壓縮分形編碼分形編碼分級(jí)編碼分級(jí)編碼模型基編碼模型基編碼.視頻壓

10、縮編碼用到的主要算法視頻壓縮編碼用到的主要算法統(tǒng)計(jì)編碼統(tǒng)計(jì)編碼變換變換編碼編碼預(yù)測(cè)預(yù)測(cè)編碼編碼分析、綜合編碼分析、綜合編碼霍霍夫夫曼曼編編碼碼游游程程編編碼碼算算術(shù)術(shù)編編碼碼字字典典編編碼碼DCT變變換換編編碼碼運(yùn)運(yùn)動(dòng)動(dòng)補(bǔ)補(bǔ)償償預(yù)預(yù)測(cè)測(cè)編編碼碼子子帶帶編編碼碼分分級(jí)級(jí)編編碼碼分分形形編編碼碼模模型型基基編編碼碼.2、 視頻壓縮編碼分類視頻壓縮編碼分類按無損壓縮和有損壓縮進(jìn)行分類：按無損壓縮和有損壓縮進(jìn)行分類：無損壓縮編碼、有損壓縮編碼無損壓縮編碼、有損壓縮編碼按信源模型進(jìn)行分類：按信源模型進(jìn)行分類：基于波形編碼、基于內(nèi)容編碼基于波形編碼、基于內(nèi)容編碼按壓縮編碼原理進(jìn)行分類：按壓縮編碼原理進(jìn)行分

11、類：統(tǒng)計(jì)編碼、預(yù)測(cè)編碼、變換編碼、矢量量化編碼統(tǒng)計(jì)編碼、預(yù)測(cè)編碼、變換編碼、矢量量化編碼.3、預(yù)測(cè)編碼、預(yù)測(cè)編碼3.1 預(yù)測(cè)編碼的基本原理預(yù)測(cè)編碼的基本原理預(yù)測(cè)編碼傳送的不是實(shí)際像素值，而是實(shí)際值與其預(yù)測(cè)編碼傳送的不是實(shí)際像素值，而是實(shí)際值與其預(yù)測(cè)值之間的差值，即預(yù)測(cè)誤差。預(yù)測(cè)值之間的差值，即預(yù)測(cè)誤差。像素的預(yù)測(cè)值由其在時(shí)間和空間上相鄰的若干個(gè)像像素的預(yù)測(cè)值由其在時(shí)間和空間上相鄰的若干個(gè)像素的線性組合產(chǎn)生，它反映了在預(yù)測(cè)區(qū)域內(nèi)各像素素的線性組合產(chǎn)生，它反映了在預(yù)測(cè)區(qū)域內(nèi)各像素的共性部分，因此用像素的實(shí)際值減去其預(yù)測(cè)值就的共性部分，因此用像素的實(shí)際值減去其預(yù)測(cè)值就可基本去除像素間的相關(guān)性?？苫?/p>

12、去除像素間的相關(guān)性。.預(yù)測(cè)器預(yù)測(cè)器enXn預(yù)測(cè)器預(yù)測(cè)器Xnenen量化器量化器編碼器編碼器傳輸通道傳輸通道解碼器解碼器輸入輸入輸出輸出nxnxen en x Xn xnxXn en Xn xnx若不考慮量化器的影響，則有Xn Xn （無損壓縮）x：量化誤差：量化誤差.預(yù)測(cè)編碼的壓縮效果取決于預(yù)測(cè)器的預(yù)測(cè)精度，精預(yù)測(cè)編碼的壓縮效果取決于預(yù)測(cè)器的預(yù)測(cè)精度，精度越高，預(yù)測(cè)誤差越小，量化時(shí)所需的量化比特?cái)?shù)度越高，預(yù)測(cè)誤差越小，量化時(shí)所需的量化比特?cái)?shù)就越少，壓縮率也就越高。就越少，壓縮率也就越高。一般來說，參與預(yù)測(cè)的像素?cái)?shù)越多，預(yù)測(cè)值就越精一般來說，參與預(yù)測(cè)的像素?cái)?shù)越多，預(yù)測(cè)值就越精確，但同時(shí)預(yù)測(cè)器電路

13、組成也就越復(fù)雜。確，但同時(shí)預(yù)測(cè)器電路組成也就越復(fù)雜。利用相關(guān)像素值利用相關(guān)像素值x1、 x2 xn-1來預(yù)測(cè)當(dāng)前像素值來預(yù)測(cè)當(dāng)前像素值 11112211niiinnnxaxaxaxax-a1、a2an-1稱為相關(guān)系數(shù)，且滿足：稱為相關(guān)系數(shù)，且滿足： 111 niia.3.2 幀內(nèi)預(yù)測(cè)編碼幀內(nèi)預(yù)測(cè)編碼X1X2X3X4X5X6X7上一行相隔行當(dāng)前行當(dāng)前像素a6a4a3a2D6D4D3D2輸入7X由距由距X7最近的四個(gè)像素最近的四個(gè)像素X6、X4 、X3、X2參與對(duì)參與對(duì)X7的預(yù)測(cè)。的預(yù)測(cè)。相關(guān)系數(shù)為：相關(guān)系數(shù)為：a61/2、 a4 a21/8、 a31/4，則：，則： 1/2 X6 1/8 X4

14、1/4 X3 1/8 X27XD6TS（TS為取樣周期）為取樣周期）D4THTS（TH為行周期）為行周期）D3THD2THTS.3.3 幀間預(yù)測(cè)編碼幀間預(yù)測(cè)編碼nX幀存儲(chǔ)器幀存儲(chǔ)器Xnenen量化器量化器編碼器編碼器輸入輸入輸出輸出當(dāng)圖像場(chǎng)景或攝像機(jī)靜止不動(dòng)時(shí)，當(dāng)前幀象素塊的預(yù)測(cè)值當(dāng)圖像場(chǎng)景或攝像機(jī)靜止不動(dòng)時(shí)，當(dāng)前幀象素塊的預(yù)測(cè)值就是前一時(shí)刻參考幀同一位置上的象素塊；就是前一時(shí)刻參考幀同一位置上的象素塊；如果圖像場(chǎng)景或攝像機(jī)是運(yùn)動(dòng)的，則需要在參考幀中找到如果圖像場(chǎng)景或攝像機(jī)是運(yùn)動(dòng)的，則需要在參考幀中找到與當(dāng)前幀象素塊最匹配的象素塊，作為當(dāng)前幀象素塊的預(yù)與當(dāng)前幀象素塊最匹配的象素塊，作為當(dāng)前幀象

15、素塊的預(yù)測(cè)值（運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)）。測(cè)值（運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)）。.3.4 預(yù)測(cè)編碼的實(shí)質(zhì)預(yù)測(cè)編碼的實(shí)質(zhì)由信息論可知，信源冗余來自信源本身的相關(guān)性由信息論可知，信源冗余來自信源本身的相關(guān)性以及信源概率分布的不均勻性。因此，去除信源以及信源概率分布的不均勻性。因此，去除信源相關(guān)性以及改變信源的概率分布模型，即可實(shí)現(xiàn)相關(guān)性以及改變信源的概率分布模型，即可實(shí)現(xiàn)數(shù)據(jù)壓縮。數(shù)據(jù)壓縮。預(yù)測(cè)編碼的實(shí)質(zhì)是降低了圖像在時(shí)間或空間上的預(yù)測(cè)編碼的實(shí)質(zhì)是降低了圖像在時(shí)間或空間上的相關(guān)性。相關(guān)性。預(yù)測(cè)編碼中：預(yù)測(cè)編碼中：l量化環(huán)節(jié)可造成圖像質(zhì)量下降量化環(huán)節(jié)可造成圖像質(zhì)量下降l誤碼傳遞可造成局部圖像損傷誤碼傳遞可造成局部圖像損

16、傷.3.5 運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)估計(jì)：對(duì)運(yùn)動(dòng)物體的位移作出估計(jì)，即求出運(yùn)動(dòng)矢量運(yùn)動(dòng)估計(jì)：對(duì)運(yùn)動(dòng)物體的位移作出估計(jì)，即求出運(yùn)動(dòng)矢量運(yùn)動(dòng)補(bǔ)償：按照運(yùn)動(dòng)矢量，對(duì)上一幀做位移，然后求出對(duì)運(yùn)動(dòng)補(bǔ)償：按照運(yùn)動(dòng)矢量，對(duì)上一幀做位移，然后求出對(duì)當(dāng)前幀的預(yù)測(cè)值。當(dāng)前幀的預(yù)測(cè)值。運(yùn)動(dòng)矢量運(yùn)動(dòng)矢量運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)補(bǔ)償前一幀前一幀當(dāng)前幀當(dāng)前幀預(yù)測(cè)的當(dāng)前幀預(yù)測(cè)的當(dāng)前幀編碼編碼差值圖像差值圖像.運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)編碼方框圖：運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)編碼方框圖：輸入輸入量化器量化器反量反量化器化器幀存幀存儲(chǔ)器儲(chǔ)器運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)估計(jì)編碼器編碼器輸出輸出當(dāng)前幀當(dāng)前幀預(yù)測(cè)幀預(yù)測(cè)幀運(yùn)動(dòng)矢量運(yùn)動(dòng)矢

17、量幀差信號(hào)幀差信號(hào).運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)估計(jì)塊匹配法：塊匹配法：將圖像分成若干個(gè)大小為將圖像分成若干個(gè)大小為MN的子像塊，假定的子像塊，假定同一子像塊內(nèi)所有像素具有相同的位移。同一子像塊內(nèi)所有像素具有相同的位移。假定幀間最大水平位移和最大垂直位移分別為假定幀間最大水平位移和最大垂直位移分別為Wx和和Wy個(gè)像素；個(gè)像素；對(duì)于當(dāng)前幀的每一個(gè)塊在前一幀相應(yīng)位置開辟大對(duì)于當(dāng)前幀的每一個(gè)塊在前一幀相應(yīng)位置開辟大小為小為 ( M+2 Wx )( N+2 Wy ) 的一塊搜索區(qū)；的一塊搜索區(qū)；在搜索區(qū)內(nèi)求出當(dāng)前幀對(duì)應(yīng)塊的最佳匹配塊；在搜索區(qū)內(nèi)求出當(dāng)前幀對(duì)應(yīng)塊的最佳匹配塊；求出運(yùn)動(dòng)矢量。求出運(yùn)動(dòng)矢量。.前一幀搜索區(qū)前

18、一幀搜索區(qū)當(dāng)前幀當(dāng)前幀像素塊像素塊M+2WxN+2WyWxWxWyWyNM.jij：垂直位移量垂直位移量i：水平位移量：水平位移量.塊匹配準(zhǔn)則：塊匹配準(zhǔn)則：l 均方誤差（均方誤差（MSE）最小準(zhǔn)則）最小準(zhǔn)則 MxNyttjyixfyxfMNjiMSE1121)()(1)(，l 絕對(duì)誤差均值（絕對(duì)誤差均值（MAD）最小準(zhǔn)則）最小準(zhǔn)則 MxNyttjyixfyxfMNjiMAD111)()(1)(，.l 最大歸一化互相關(guān)函數(shù)（最大歸一化互相關(guān)函數(shù)（NCCF）準(zhǔn)則）準(zhǔn)則2/111212/111111)()()()(2 MxNytMxNytMxNyttjyixfyxfjyixfyxfNCCF，.搜索方

19、法：搜索方法：l 窮盡搜索法：對(duì)搜索區(qū)域窮盡搜索法：對(duì)搜索區(qū)域內(nèi)的每一點(diǎn)都用匹配準(zhǔn)則進(jìn)內(nèi)的每一點(diǎn)都用匹配準(zhǔn)則進(jìn)行計(jì)算。行計(jì)算。l 二維對(duì)數(shù)法二維對(duì)數(shù)法l 三步搜索法三步搜索法l 分塊全搜索法：分塊全搜索法：.4、變換編碼、變換編碼4.1 變換編碼的基本原理變換編碼的基本原理通過一種線性運(yùn)算關(guān)系將空間域的圖像信號(hào)變換到通過一種線性運(yùn)算關(guān)系將空間域的圖像信號(hào)變換到變換域或頻率域的正交矢量空間，然后進(jìn)行編碼。變換域或頻率域的正交矢量空間，然后進(jìn)行編碼。像素塊化像素塊化傳輸傳輸通道通道熵解碼熵解碼輸入輸入輸出輸出發(fā)端發(fā)端收端收端熵編碼熵編碼量化器量化器反量化器反量化器正交變換正交變換正交反變換正交反變

20、換.變換編碼的根本目的是去除圖像的相關(guān)性！變換編碼的根本目的是去除圖像的相關(guān)性！K-L 變換：最佳正交變換，變換后系數(shù)互不相關(guān)，變換：最佳正交變換，變換后系數(shù)互不相關(guān)，而且能量主要集中在少數(shù)系數(shù)上。但而且能量主要集中在少數(shù)系數(shù)上。但K-L變換矩陣變換矩陣不是固定的，而是與圖像統(tǒng)計(jì)特性有關(guān)，因此沒不是固定的，而是與圖像統(tǒng)計(jì)特性有關(guān)，因此沒有快速算法，只適合進(jìn)行理論分析與實(shí)驗(yàn)。有快速算法，只適合進(jìn)行理論分析與實(shí)驗(yàn)。DCT 變換：次最佳正交變換，變換壓縮性能接近變換：次最佳正交變換，變換壓縮性能接近K-L變換，具有良好的去相關(guān)性及能量壓縮特性，變換，具有良好的去相關(guān)性及能量壓縮特性，同時(shí)變換矩陣是固

21、定的，與圖像內(nèi)容無關(guān)，有快速同時(shí)變換矩陣是固定的，與圖像內(nèi)容無關(guān)，有快速算法。算法。DCT變換在圖像壓縮領(lǐng)域得到廣泛應(yīng)用。變換在圖像壓縮領(lǐng)域得到廣泛應(yīng)用。變換編碼中對(duì)變換系數(shù)的量化是造成圖像損傷的主變換編碼中對(duì)變換系數(shù)的量化是造成圖像損傷的主要原因。圖像損傷的表現(xiàn)形式主要是塊效應(yīng)。要原因。圖像損傷的表現(xiàn)形式主要是塊效應(yīng)。.DCT 變換編碼的特點(diǎn)：變換編碼的特點(diǎn)：l在變換域中描述視頻圖像要比在空間域中簡(jiǎn)單在變換域中描述視頻圖像要比在空間域中簡(jiǎn)單l視頻圖像的相關(guān)性明顯下降，信號(hào)的能量主要視頻圖像的相關(guān)性明顯下降，信號(hào)的能量主要集中在少數(shù)幾個(gè)變換系數(shù)上，采用量化和熵編集中在少數(shù)幾個(gè)變換系數(shù)上，采用量

22、化和熵編碼可有效地壓縮其數(shù)據(jù)量碼可有效地壓縮其數(shù)據(jù)量l可充分利用人眼的視覺特性可充分利用人眼的視覺特性l具有較強(qiáng)的抗干擾能力，傳輸過程中的誤碼對(duì)具有較強(qiáng)的抗干擾能力，傳輸過程中的誤碼對(duì)圖像質(zhì)量的影響遠(yuǎn)小于預(yù)測(cè)編碼圖像質(zhì)量的影響遠(yuǎn)小于預(yù)測(cè)編碼lDCT有快速算法，能實(shí)現(xiàn)實(shí)時(shí)視頻處理有快速算法，能實(shí)現(xiàn)實(shí)時(shí)視頻處理.4.2 離散余弦變換（離散余弦變換（DCT）設(shè)圖像塊的樣點(diǎn)數(shù)為設(shè)圖像塊的樣點(diǎn)數(shù)為NN，其樣值方陣用，其樣值方陣用f(x,y)表表示，則二維離散余弦變換的公式為：示，則二維離散余弦變換的公式為： 1010),(1)0 , 0(NxNyyxfNF1, 2 , 1,),(2),(1010Nvuy

23、xfNvuFNxNy 1)v(2y2N1)cosu(2x2Ncos .F(u,v) =77675747372717077666564636261606756555453525150574645444342414047363534333231303726252423222120271615141312111017060504030201000FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF圖像分塊及變換：圖像分塊及變換：通常將圖像分解成通常將圖像分解成88的像素塊，然后進(jìn)行的像素塊，然后進(jìn)行DCT變換。變換后得到由變

24、換。變換后得到由88頻域系數(shù)組成的矩陣。頻域系數(shù)組成的矩陣。F00：DC系數(shù)，代表該像素塊的直流分量或平均亮度值系數(shù)，代表該像素塊的直流分量或平均亮度值其它為其它為AC系數(shù)系數(shù).一般電視圖像的構(gòu)一般電視圖像的構(gòu)成都是以大、中面成都是以大、中面積內(nèi)容為主，精細(xì)積內(nèi)容為主，精細(xì)內(nèi)容較少，因而可內(nèi)容較少，因而可估計(jì)到，系數(shù)矩陣估計(jì)到，系數(shù)矩陣中左上方的系數(shù)值中左上方的系數(shù)值會(huì)大些，而越接近會(huì)大些，而越接近右下角，系數(shù)值會(huì)右下角，系數(shù)值會(huì)越小越小f(x,y) =15815815916316116116216215715715716216316116216215715715716016116116116

25、1155155155162162161160159159159159160160162161159156156156158163160155150156156156159156153151144155155155155153149144139F(u,v) =01122423112010011111020211102111000110270110229111003361723112251211260.利用人眼的視覺冗余性利用人眼的視覺冗余性l左上角附近的系數(shù)細(xì)量化（量化間隔小）左上角附近的系數(shù)細(xì)量化（量化間隔?。﹍右下角附近的系數(shù)粗量化（量化間隔大）右下角附近的系數(shù)粗量化（量化間隔大）l量化后的

26、系數(shù)取整量化后的系數(shù)取整F(u,v)F(u,v)/Q(u,v)Q(u,v) =8369564638352927695646383429272658484035322927264840353229272622403734292726222238343429272622193734292724221616342927262219168F(u,v) =000000000000000000000000000000000000000000000001000000110000010158 4.3、DCT系數(shù)量化系數(shù)量化.5、熵編碼、熵編碼5.1 熵編碼的基本原理熵編碼的基本原理根據(jù)圖像的統(tǒng)計(jì)特性來去除圖像

27、象素值的概率分布根據(jù)圖像的統(tǒng)計(jì)特性來去除圖像象素值的概率分布不均勻性，使編碼后的圖像數(shù)據(jù)接近于其信源熵，不均勻性，使編碼后的圖像數(shù)據(jù)接近于其信源熵，同時(shí)不產(chǎn)生任何失真。同時(shí)不產(chǎn)生任何失真。l基于圖像概率分布特性的基于圖像概率分布特性的霍夫曼編碼霍夫曼編碼、算術(shù)編碼、算術(shù)編碼l基于圖像相關(guān)性的基于圖像相關(guān)性的游程編碼游程編碼.5.2 可變長(zhǎng)編碼（可變長(zhǎng)編碼（VLC）按信源符號(hào)出現(xiàn)概率的不同分配給不同長(zhǎng)度的碼字按信源符號(hào)出現(xiàn)概率的不同分配給不同長(zhǎng)度的碼字比特?cái)?shù)。即出現(xiàn)概率大的符號(hào)編碼碼字短，出現(xiàn)概比特?cái)?shù)。即出現(xiàn)概率大的符號(hào)編碼碼字短，出現(xiàn)概率小的符號(hào)編碼碼字長(zhǎng)。也稱可變長(zhǎng)編碼（率小的符號(hào)編碼碼字長(zhǎng)

28、。也稱可變長(zhǎng)編碼（VLC）前提條件：必須知道每個(gè)符號(hào)的出現(xiàn)概率前提條件：必須知道每個(gè)符號(hào)的出現(xiàn)概率特點(diǎn)：具有單義可譯性。即：任何一個(gè)長(zhǎng)碼都不會(huì)特點(diǎn)：具有單義可譯性。即：任何一個(gè)長(zhǎng)碼都不會(huì)是另兩個(gè)短碼復(fù)合而成，任何一個(gè)短碼不會(huì)是另一是另兩個(gè)短碼復(fù)合而成，任何一個(gè)短碼不會(huì)是另一個(gè)長(zhǎng)碼的前綴。個(gè)長(zhǎng)碼的前綴。因此，收信端可從接收到的碼字串中分?jǐn)嚅_每個(gè)碼因此，收信端可從接收到的碼字串中分?jǐn)嚅_每個(gè)碼字，不會(huì)發(fā)生碼字混淆。字，不會(huì)發(fā)生碼字混淆。.是一種最優(yōu)可變長(zhǎng)碼，基本原理為：是一種最優(yōu)可變長(zhǎng)碼，基本原理為：l將信源發(fā)出的符號(hào)按出現(xiàn)概率的大小次序排列將信源發(fā)出的符號(hào)按出現(xiàn)概率的大小次序排列l(wèi)對(duì)兩個(gè)概率最小的

29、符號(hào)分別賦以對(duì)兩個(gè)概率最小的符號(hào)分別賦以“0”、“1”，并將這兩個(gè)概率相加之后作為一個(gè)新符號(hào)的概并將這兩個(gè)概率相加之后作為一個(gè)新符號(hào)的概率率l對(duì)符號(hào)概率重新排隊(duì)后再取兩個(gè)概率最小的符對(duì)符號(hào)概率重新排隊(duì)后再取兩個(gè)概率最小的符號(hào)分別賦以號(hào)分別賦以“0”、“1”，并將這兩個(gè)概率相加，并將這兩個(gè)概率相加l依此類推，直到所有概率相加得到依此類推，直到所有概率相加得到1為止為止l由后向前沿各支路逐一寫出由后向前沿各支路逐一寫出“0”、“1”，此碼，此碼字即為霍夫曼編碼碼字字即為霍夫曼編碼碼字5.3 霍夫曼編碼霍夫曼編碼.xix1x2x3 x4 x5 x6x7 x8 Pi0.200.190.180.170.

30、150.100.005 0.005符號(hào)符號(hào)(xi)概率概率(Pi)x1x2x3x4x5x6x7x80.200.190.180.170.150.100.0050.005010.01010.11100.26010.35010.39010.61011.00碼字碼字(wi)010011111010110011000110000碼長(zhǎng)碼長(zhǎng)(ni)22333455.信源熵：信源熵：符符號(hào)號(hào)/62.2/1log812bitPPHiii 采用等長(zhǎng)編碼方式時(shí)，每個(gè)符號(hào)需要采用等長(zhǎng)編碼方式時(shí)，每個(gè)符號(hào)需要3bit，即平均，即平均碼長(zhǎng)為碼長(zhǎng)為3bit/符號(hào)，熵冗余為符號(hào)，熵冗余為0.38 bit/符號(hào)。符號(hào)。采用可變

31、長(zhǎng)編碼時(shí)，平均碼長(zhǎng)為：采用可變長(zhǎng)編碼時(shí)，平均碼長(zhǎng)為：符符號(hào)號(hào)/73.281bitlPLiii 熵冗余為熵冗余為0.11 bit/符號(hào)符號(hào).5.4 DCT系數(shù)的熵編碼系數(shù)的熵編碼MPEG2中，像素塊矩陣經(jīng)中，像素塊矩陣經(jīng)DCT變換、量化后，要變換、量化后，要進(jìn)行進(jìn)行Z形掃描、游程編碼和霍夫曼編碼形掃描、游程編碼和霍夫曼編碼Z 形掃描形掃描:F(u,v) =000000000000000000000000000000000000000000000001000000110000010158 .游程編碼游程編碼:將一維序列用二維數(shù)組將一維序列用二維數(shù)組 (run,level) 表示。表示。run：表示

32、連零的長(zhǎng)度：表示連零的長(zhǎng)度level:表示連零之后出現(xiàn)的第一個(gè)非零值表示連零之后出現(xiàn)的第一個(gè)非零值當(dāng)所有值都為零時(shí)用符號(hào)當(dāng)所有值都為零時(shí)用符號(hào)EOB表示表示Z形讀出形讀出158，0，-1，-1，-1，-1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0游程編碼：游程編碼：（0，158），（），（1，-1）（0，-1），（），（0，-1）（）（0，-1），），EOB.DC系數(shù)：差值編碼（系數(shù)：差值編碼（DPCM），

33、霍夫曼編碼；），霍夫曼編碼；即：即：DIFFDCi DCi-1對(duì)對(duì)DIFF進(jìn)行霍夫曼編碼進(jìn)行霍夫曼編碼AC系數(shù)：游程編碼，霍夫曼編碼系數(shù)：游程編碼，霍夫曼編碼MPEG2中中AC系數(shù)游程編碼：系數(shù)游程編碼：（1，-1）（）（0，-1），（），（0，-1）（）（0，-1），），EOB.DCDC系數(shù)的系數(shù)的DIFFDIFF熵編碼（查表法）熵編碼（查表法）DIFF碼字碼字1 1碼字碼字2 20000-1，10100，1-3，-2，2，301100，01，10，11-7.-4，47100000011，100111-15-8，81510100000111，10001111-3116，1631110-63-

34、32，32631110-127-64，6412711110-255-128，128255111110-511-256，2565111111110-1023-512，512102311111110-2047-1024，10242047111111110編碼碼字碼字編碼碼字碼字1 1碼字碼字2 2 若若DIFF2，則碼字為則碼字為 01110.ACAC系數(shù)熵編碼（表系數(shù)熵編碼（表1 1）AC系數(shù)系數(shù)位長(zhǎng)位長(zhǎng)碼字碼字2000-1，110，1-3，-2，2，3200，01，10，11-7.-4，473000011，100111-15-8，815400000111，10001111-3116，16315

35、-63-32，32636-127-64，641277-255-128，1282558-511-256，2565119-1023-512，512102310.ACAC系數(shù)熵編碼（表系數(shù)熵編碼（表2 2）游程游程/位長(zhǎng)位長(zhǎng)碼字碼字10/0 (EOB)10100/1000/2010/31000/410110/5110100/611110000/7111110000/811111101100/911111111100000100/101111111110000011游程游程/位長(zhǎng)位長(zhǎng)碼字碼字11/111001/2110111/311110011/41111101101/5111111101101/61

36、1111111100001001/711111111100001011/811111111100001101/911111111100001111/101111111110001000.對(duì)于（對(duì)于（1，-1）：）：AC系數(shù)為系數(shù)為-1，前面有，前面有1個(gè)零個(gè)零查表查表1 可知，碼字可知，碼字2為為0， “游程游程/位長(zhǎng)位長(zhǎng)”是是1/1查表查表2 可知，可知，1/1對(duì)應(yīng)的碼字對(duì)應(yīng)的碼字1為為1100對(duì)（對(duì)（1，-1）進(jìn)行霍夫曼編碼的碼字為）進(jìn)行霍夫曼編碼的碼字為11000同理可得，（同理可得，（0，-1）的編碼碼字為）的編碼碼字為 000EOB的碼字為的碼字為 1010AC系數(shù)游程編碼：系數(shù)游程

37、編碼：（1，-1）（）（0，-1），（），（0，-1）（）（0，-1），），EOB該圖像塊編碼后為：該圖像塊編碼后為：01110 11000 000 000 000 1010. 國(guó)際電信聯(lián)盟（ITU）開發(fā)用于低比特率視頻電話的 H.26x 標(biāo)準(zhǔn)，其中包括 H.261、H.262、H.263 與 H.264； 國(guó)際標(biāo)準(zhǔn)化組織 (ISO) 主要針對(duì)消費(fèi)類應(yīng)用，已經(jīng)針對(duì)運(yùn)動(dòng)圖像壓縮定義了 MPEG 標(biāo)準(zhǔn)。MPEG 標(biāo)準(zhǔn)包括 MPEG1、MPEG2 與 MPEG4； MPEG與ISO開展合作，成立聯(lián)合視頻小組 (JVT)，該小組定義了 H.264 編解碼技術(shù)，該標(biāo)準(zhǔn)稱為H.264/AVC。.發(fā)展歷程發(fā)

38、展歷程：.視頻電話和視頻會(huì)議壓縮編碼標(biāo)準(zhǔn)視頻電話和視頻會(huì)議壓縮編碼標(biāo)準(zhǔn)CCITT 1984年開始研究，年開始研究，1990年正式成為標(biāo)準(zhǔn)年正式成為標(biāo)準(zhǔn)應(yīng)用：視頻電話、視頻會(huì)議，傳輸網(wǎng)絡(luò)為應(yīng)用：視頻電話、視頻會(huì)議，傳輸網(wǎng)絡(luò)為ISDN（綜合業(yè)（綜合業(yè)務(wù)數(shù)據(jù)網(wǎng)，務(wù)數(shù)據(jù)網(wǎng)，64kb/s2.048Mb/s）圖像格式：圖像格式：CIF、QCIF，最大幀頻為，最大幀頻為30Hz，逐行掃描，逐行掃描碼率：碼率：p64kb/s（p130）。）。p1、2時(shí)，只支持時(shí)，只支持QCIF格式，用于視頻電話。格式，用于視頻電話。p6時(shí)，支持時(shí)，支持CIF格式，可用于視頻會(huì)議。格式，可用于視頻會(huì)議。壓縮方式：壓縮方式：DC

39、T、幀間預(yù)測(cè)編碼、幀間預(yù)測(cè)編碼l H.261.低碼率圖像壓縮編碼標(biāo)準(zhǔn)低碼率圖像壓縮編碼標(biāo)準(zhǔn)ITU-T 1995推出草案推出草案應(yīng)用：視頻電話、多媒體通信、移動(dòng)通信、遠(yuǎn)程監(jiān)控系應(yīng)用：視頻電話、多媒體通信、移動(dòng)通信、遠(yuǎn)程監(jiān)控系統(tǒng)等，傳輸網(wǎng)絡(luò)為統(tǒng)等，傳輸網(wǎng)絡(luò)為PSTN（公用電話交換網(wǎng)）（公用電話交換網(wǎng)）圖像格式：圖像格式：CIF、QCIF、sub-QCIF（Y：12896，CR/CB：6448），最大幀頻為），最大幀頻為30Hz，逐行掃描，逐行掃描壓縮方式：壓縮方式：DCT、幀間預(yù)測(cè)編碼、幀間預(yù)測(cè)編碼l H.263.先進(jìn)的視頻編碼先進(jìn)的視頻編碼AVC由由ITU-T和和ISO/IEC的聯(lián)合專家組（的聯(lián)

40、合專家組（JVT）于）于2003年年3月起月起草完成草完成應(yīng)用：數(shù)字電視廣播、可視電話、視頻會(huì)議、實(shí)時(shí)監(jiān)控、應(yīng)用：數(shù)字電視廣播、可視電話、視頻會(huì)議、實(shí)時(shí)監(jiān)控、流式多媒體業(yè)務(wù)、低比特率下的移動(dòng)多媒體通信等流式多媒體業(yè)務(wù)、低比特率下的移動(dòng)多媒體通信等特點(diǎn)：特點(diǎn)：在同等圖像質(zhì)量條件下，壓縮比是在同等圖像質(zhì)量條件下，壓縮比是H.263和和MPEG4的的2倍倍對(duì)對(duì)IP和無線網(wǎng)絡(luò)環(huán)境有良好的適應(yīng)性和無線網(wǎng)絡(luò)環(huán)境有良好的適應(yīng)性l H.264 (MPEG4 AVC).Moving Picture Expert Group （活動(dòng)圖像專家組）（活動(dòng)圖像專家組）視頻及其伴音的壓縮標(biāo)準(zhǔn)視頻及其伴音的壓縮標(biāo)準(zhǔn)1988

41、年開始研究，年開始研究，1992成為正式標(biāo)準(zhǔn)成為正式標(biāo)準(zhǔn)應(yīng)用：數(shù)字存儲(chǔ)媒體（如應(yīng)用：數(shù)字存儲(chǔ)媒體（如VCD等），交互式多媒體系統(tǒng)等），交互式多媒體系統(tǒng)圖像格式：圖像格式：SIF（4:2:0），逐行掃描），逐行掃描碼率：碼率：1.5Mb/s壓縮方式：壓縮方式：DCT，幀間預(yù)測(cè)編碼，幀間預(yù)測(cè)編碼l MPEG-1.活動(dòng)圖像及其伴音信息的通用編碼活動(dòng)圖像及其伴音信息的通用編碼1990年開始制定，年開始制定，1994年成為正式標(biāo)準(zhǔn)年成為正式標(biāo)準(zhǔn)應(yīng)用：應(yīng)用：SDTV，HDTV，DVD等等圖像格式：圖像格式：CCIR 601等多種格式（等多種格式（4:2:2，4:4:4，4:2:0），逐行掃描，隔行掃描），

42、逐行掃描，隔行掃描壓縮方式：壓縮方式：DCT，幀間預(yù)測(cè)編碼，幀間預(yù)測(cè)編碼有多種檔次：有多種檔次：5個(gè)型，個(gè)型，4個(gè)級(jí)個(gè)級(jí)與與MPEG-1兼容兼容l MPEG-2 (H.262).基于內(nèi)容的壓縮編碼標(biāo)準(zhǔn)基于內(nèi)容的壓縮編碼標(biāo)準(zhǔn)1993年開始制定，年開始制定，1999年成為正式標(biāo)準(zhǔn)年成為正式標(biāo)準(zhǔn)應(yīng)用：交互式多媒體應(yīng)用、移動(dòng)通信、個(gè)人通信等應(yīng)用：交互式多媒體應(yīng)用、移動(dòng)通信、個(gè)人通信等圖像格式：多種格式，逐行掃描，隔行掃描圖像格式：多種格式，逐行掃描，隔行掃描特點(diǎn)：特點(diǎn)：編碼對(duì)象是圖像中的音頻和視頻對(duì)象（編碼對(duì)象是圖像中的音頻和視頻對(duì)象（AV對(duì)象）對(duì)象）形狀編碼形狀編碼分級(jí)編碼分級(jí)編碼l MPEG-4.

43、信息技術(shù)先進(jìn)音視頻編碼信息技術(shù)先進(jìn)音視頻編碼由中國(guó)數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)（由中國(guó)數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)（Audio Video Standard）工作組于）工作組于2003年提出年提出應(yīng)用：高清數(shù)字電視、衛(wèi)星廣播電視、移動(dòng)音視頻通信、應(yīng)用：高清數(shù)字電視、衛(wèi)星廣播電視、移動(dòng)音視頻通信、寬帶網(wǎng)絡(luò)流媒體、視頻會(huì)議、視頻監(jiān)控等寬帶網(wǎng)絡(luò)流媒體、視頻會(huì)議、視頻監(jiān)控等特點(diǎn)：特點(diǎn)：編碼效率基本達(dá)到了編碼效率基本達(dá)到了H.264的水平；的水平；回避了國(guó)外的專利技術(shù)回避了國(guó)外的專利技術(shù)包括系統(tǒng)、視頻、音頻、數(shù)字版權(quán)管理與保護(hù)等四個(gè)主要包括系統(tǒng)、視頻、音頻、數(shù)字版權(quán)管理與保護(hù)等四個(gè)主要標(biāo)準(zhǔn)標(biāo)準(zhǔn)技術(shù)方案簡(jiǎn)潔，芯片

44、實(shí)現(xiàn)復(fù)雜度低技術(shù)方案簡(jiǎn)潔，芯片實(shí)現(xiàn)復(fù)雜度低l AVSreturn.1、MPEG 概況概況MPEG：屬于：屬于ISO/IEC下屬的聯(lián)合技術(shù)委員會(huì)下屬的聯(lián)合技術(shù)委員會(huì)任務(wù)：制定活動(dòng)圖像的壓縮編碼標(biāo)準(zhǔn)，壓縮碼率為任務(wù)：制定活動(dòng)圖像的壓縮編碼標(biāo)準(zhǔn)，壓縮碼率為1.5Mb/s10Mb/s40Mb/sMPEG-1（1992，ISO/IEC 11172）MPEG-2（1994，ISO/IEC 13818）MPEG-3（1992，撤銷），撤銷）.MPEG 視頻部分框圖視頻部分框圖IDCT反量反量化化VLC解碼解碼緩沖器緩沖器(b) 解碼過程解碼過程DCT量化量化VLC緩沖器緩沖器(a) 編碼過程編碼過程碼率控碼

45、率控制制.2、MPEG-2 的型和級(jí)的型和級(jí) 型型 級(jí)級(jí)簡(jiǎn)單型簡(jiǎn)單型SP4:2:0主型主型MP4:2:0SNR可分可分級(jí)型級(jí)型SNP4:2:0空間可分級(jí)空間可分級(jí)型型SSP4:2:0高級(jí)型高級(jí)型HP4:2:04:2:2高級(jí)高級(jí)HL19201080301920115225MPHLI,P,B 80Mb/sHPHLI,P,B 100Mb/sH-1440L14401080301440115225MPH1440LI,P,B 60Mb/sSSPH1440LI,P,B 60Mb/sHPH1440LI,P,B 80Mb/s主級(jí)主級(jí)ML7204803072057625SPMLI,P 15Mb/sMPMLI,P,

46、B 15Mb/sSNPMLI,P,B 15Mb/sHPMLI,P,B 20Mb/s低級(jí)低級(jí)LL3522403035228825MPLLI,P,B 4Mb/sSNPLLI,P,B 4Mb/s.3、圖像編碼幀類型、圖像編碼幀類型lI幀（幀內(nèi)編碼幀）幀（幀內(nèi)編碼幀）僅利用該幀圖像本身的信息進(jìn)行編碼僅利用該幀圖像本身的信息進(jìn)行編碼DCT、量化、熵編碼等、量化、熵編碼等I幀提供了進(jìn)入壓縮圖像數(shù)據(jù)序列的隨機(jī)訪問點(diǎn)，幀提供了進(jìn)入壓縮圖像數(shù)據(jù)序列的隨機(jī)訪問點(diǎn)，便于對(duì)圖像進(jìn)行編輯。便于對(duì)圖像進(jìn)行編輯。一般應(yīng)用中，一秒鐘出現(xiàn)兩個(gè)一般應(yīng)用中，一秒鐘出現(xiàn)兩個(gè)I幀幀壓縮比：（壓縮比：（25）：）：1.lP幀（前向預(yù)測(cè)幀

47、）幀（前向預(yù)測(cè)幀）利用前面最靠近的利用前面最靠近的I幀或幀或P幀圖像作參考幀，經(jīng)運(yùn)幀圖像作參考幀，經(jīng)運(yùn)動(dòng)預(yù)測(cè)編碼得到的圖像。動(dòng)預(yù)測(cè)編碼得到的圖像。壓縮比：（壓縮比：（510）：）：1P幀可以作為幀可以作為B幀和后面的幀和后面的P幀的參考幀幀的參考幀P幀會(huì)使誤碼傳遞下去幀會(huì)使誤碼傳遞下去.lB幀（雙向預(yù)測(cè)幀）幀（雙向預(yù)測(cè)幀）利用過去及將來的利用過去及將來的I幀或幀或P幀作參考幀，經(jīng)運(yùn)動(dòng)預(yù)幀作參考幀，經(jīng)運(yùn)動(dòng)預(yù)測(cè)編碼得到的圖像。測(cè)編碼得到的圖像。壓縮比：（壓縮比：（2030）：）：1B幀不用作參考幀幀不用作參考幀B幀不會(huì)使誤碼傳遞下去幀不會(huì)使誤碼傳遞下去通常在兩個(gè)參考幀之間安排兩個(gè)通常在兩個(gè)參考幀之

48、間安排兩個(gè)B幀幀.編碼圖像的顯示順序和傳送順序編碼圖像的顯示順序和傳送順序IBBPBBPBBPBBI12345678910 111213IBPBBPBBPBBIB1423756108913 1112圖像的顯示順序圖像的顯示順序圖像的傳送順序圖像的傳送順序.幀重排幀重排運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)估計(jì)幀內(nèi)幀內(nèi)/幀間幀間模式判別模式判別DCT量化量化VLC幀間幀間幀內(nèi)幀內(nèi)反量化反量化反反DCTK1K2運(yùn)動(dòng)矢量運(yùn)動(dòng)矢量去去VLCI幀存幀存P幀存幀存K4K3I、BPI、PB信源數(shù)據(jù)信源數(shù)據(jù)A2A1緩沖器緩沖器量化控制量化控制編碼器編碼器4 MPEG2 視頻編、解碼器框圖視頻編、解碼器框圖.解碼器解碼器

49、反量化反量化反反DCT幀重排幀重排I(P)幀存幀存P幀存幀存MV2MV1BI、PMC值值輸入輸入碼流碼流圖像圖像數(shù)據(jù)數(shù)據(jù)VLD量化步長(zhǎng)量化步長(zhǎng)量化表量化表選擇選擇.5 視頻基本碼流（視頻基本碼流（ES流）的組成流）的組成像塊像塊宏塊宏塊宏塊條宏塊條像塊像塊像塊像塊宏塊宏塊宏塊宏塊宏塊條宏塊條宏塊條宏塊條圖像圖像圖像圖像圖像圖像圖像組圖像組圖像組圖像組圖像組圖像組圖像序列圖像序列.88像素陣列，像素陣列，DCT變換單元變換單元可以是可以是Y像塊或像塊或CB 、CR像塊像塊l像塊像塊.l宏塊宏塊由由1616像素的像素的 Y 陣列和相應(yīng)畫面區(qū)域內(nèi)的陣列和相應(yīng)畫面區(qū)域內(nèi)的CB 、CR 色差信號(hào)像素陣列

50、共同組成。色差信號(hào)像素陣列共同組成。是運(yùn)動(dòng)預(yù)測(cè)的基本單元，但運(yùn)動(dòng)預(yù)測(cè)只對(duì)亮度陣是運(yùn)動(dòng)預(yù)測(cè)的基本單元，但運(yùn)動(dòng)預(yù)測(cè)只對(duì)亮度陣列進(jìn)行，色差信號(hào)的幀間預(yù)測(cè)編碼直接使用亮度列進(jìn)行，色差信號(hào)的幀間預(yù)測(cè)編碼直接使用亮度陣列中得到的運(yùn)動(dòng)矢量。陣列中得到的運(yùn)動(dòng)矢量。4:2:0 宏塊結(jié)構(gòu)宏塊結(jié)構(gòu)1234Y6CR5CB4:2:2 宏塊結(jié)構(gòu)宏塊結(jié)構(gòu)1234Y5CB76CR84:4:4 宏塊結(jié)構(gòu)宏塊結(jié)構(gòu)1234YCBCR59711610812.l宏塊條宏塊條由處于同一水平宏塊排內(nèi)的若干個(gè)宏塊組成由處于同一水平宏塊排內(nèi)的若干個(gè)宏塊組成是發(fā)生誤碼又不可糾正時(shí)數(shù)據(jù)獲得重新同步的單位是發(fā)生誤碼又不可糾正時(shí)數(shù)據(jù)獲得重新同步的單位

51、720（704）576宏塊排（宏塊排（44個(gè)宏塊）個(gè)宏塊） 1每個(gè)宏塊排內(nèi)宏塊條數(shù)多每個(gè)宏塊排內(nèi)宏塊條數(shù)多有利于誤碼后的重新正確有利于誤碼后的重新正確解碼，但編碼效率變低。解碼，但編碼效率變低。每排內(nèi)宏塊條數(shù)少則情況每排內(nèi)宏塊條數(shù)少則情況相反。相反。.l圖像圖像有有I、P、B三種編碼圖像三種編碼圖像是圖像編碼的基本單位，也是獨(dú)立的顯示單元是圖像編碼的基本單位，也是獨(dú)立的顯示單元.l圖像組圖像組由一個(gè)圖像序列中連續(xù)的幾個(gè)圖像組成由一個(gè)圖像序列中連續(xù)的幾個(gè)圖像組成是隨機(jī)存取的視頻基本單位是隨機(jī)存取的視頻基本單位圖像組中第一幀為圖像組中第一幀為I幀幀一個(gè)典型的一個(gè)典型的GOP結(jié)構(gòu)：結(jié)構(gòu)：IBBPBB

52、PBBPBBI12345678910 111213GOP.l圖像序列圖像序列被處理的一串連續(xù)的圖像被處理的一串連續(xù)的圖像是隨機(jī)存取節(jié)目的段落單元是隨機(jī)存取節(jié)目的段落單元一個(gè)視頻序列大致對(duì)應(yīng)一個(gè)鏡頭一個(gè)視頻序列大致對(duì)應(yīng)一個(gè)鏡頭.6 視頻基本碼流的層次結(jié)構(gòu)視頻基本碼流的層次結(jié)構(gòu)系數(shù)塊系數(shù)塊宏塊宏塊宏塊條宏塊條圖像圖像圖像組圖像組視頻序列視頻序列運(yùn)動(dòng)矢量運(yùn)動(dòng)矢量條的垂直條的垂直位置位置I、P、B時(shí)間基準(zhǔn)時(shí)間基準(zhǔn)幀內(nèi)幀內(nèi)DC精度精度量化矩陣量化矩陣色度類型色度類型隔行隔行/逐行逐行級(jí)、類級(jí)、類寬高比寬高比圖像尺寸圖像尺寸幀頻幀頻碼率碼率時(shí)間碼時(shí)間碼封閉封閉/開放開放VBV延時(shí)信息延時(shí)信息量化器縮量化器

53、縮放因子放因子宏塊類型宏塊類型.GOP 1GOP SCGOP 頭頭圖像圖像1圖像圖像2圖像圖像3圖像圖像N圖像圖像 SC圖像圖像 頭頭條條 1條條 2條條 3條條 m條條 SC條條 頭頭宏塊宏塊 1宏塊宏塊 2宏塊宏塊 3宏塊宏塊 nY 1宏塊編碼信息宏塊編碼信息Y 2Y 3Y 4C 1C 288 系數(shù)塊系數(shù)塊序列層序列層GOP層層圖像層圖像層宏塊條層宏塊條層宏塊層宏塊層像塊層像塊層序列序列SC序列擴(kuò)展序列擴(kuò)展序列頭序列頭GOP 2序列序列EC0 x000001B30 x000001B80 x000001000 x000001010 x000001AF.視頻基本碼流層次結(jié)構(gòu)表視頻基本碼流層次結(jié)

54、構(gòu)表語法規(guī)定的層次語法規(guī)定的層次功能功能序列層序列層隨機(jī)存取段落隨機(jī)存取段落圖像組層圖像組層隨機(jī)存取視頻單位隨機(jī)存取視頻單位圖像層圖像層編碼基本單位編碼基本單位宏塊條層宏塊條層重新同步單位重新同步單位宏塊層宏塊層運(yùn)動(dòng)補(bǔ)償單位運(yùn)動(dòng)補(bǔ)償單位像塊層像塊層DCT單位單位return.1、H.264 概況目的：實(shí)現(xiàn)高效的視頻編碼和良好的網(wǎng)絡(luò)親和性ITU-T：VCEGISO/IEC：MPEGJVTH.264MPEG4 AVC.高效的視頻編碼良好的網(wǎng)絡(luò)親和性多種新技術(shù)所產(chǎn)生的細(xì)微效果積累而成。這些新技術(shù)包括： 多種新的幀內(nèi)預(yù)測(cè)方法 可變尺寸塊的運(yùn)動(dòng)補(bǔ)償技術(shù) 多參考幀的運(yùn)動(dòng)補(bǔ)償技術(shù) 4x4整數(shù)變換技術(shù) 環(huán)路濾

55、波技術(shù) 注重對(duì)移動(dòng)和IP網(wǎng)絡(luò)的適應(yīng)，采用分層技術(shù)，從形式上將編碼和信道隔離開來.2、H.264 視頻編碼器結(jié)構(gòu)控制數(shù)據(jù)視頻編碼層（VCL）數(shù)據(jù)分區(qū)網(wǎng)絡(luò)提取層（NAL）H.320 H.324 H.323/IP H.324/M編碼的宏塊編碼的條/分區(qū)視頻編碼層：負(fù)責(zé)高效的視頻內(nèi)容表示網(wǎng)絡(luò)提取層：負(fù)責(zé)按照網(wǎng)絡(luò)所要求的適當(dāng)方式對(duì)數(shù)據(jù)進(jìn)行打包和傳送.很多標(biāo)準(zhǔn)都有不同的配置Profiles：算法集合Levels： 能力的體現(xiàn)（分辨率、解碼速度）H.264 有3種profilesBaseline Profile (IP Video Phone, simple streaming)Main Profile (

56、Broadcast, VOD)Extended Profile (Streaming Media)H.264 有16種levels，從QCIF到D-Cinema3、Profiles & Levels.Extended ProfileSP framesSI framesFMORedundant slicesMain ProfileB framesInterlaceCABACH.264 ProfilesI framesP framesCAVLCBaseline Profile編碼效率編碼效率mainextendedbaseline.1）基本類：僅支持逐行視頻，支持I幀和P幀編碼，支持基于上

57、下文的自適應(yīng)變長(zhǎng)碼 （CAVLC）。主要用于可視電話、會(huì)議電視、無線通信等實(shí)時(shí)視頻通信；2）主類：包含所有基本類的功能，同時(shí)還支持隔行視頻，支持B幀編碼，支持基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼（CABAC）。主要用于數(shù)字廣播電視與數(shù)字視頻存儲(chǔ)（SDTV, HDTV, DVD）；3）擴(kuò)展類：包含所有基本類的功能，同時(shí)還支持隔行視頻， 支持B/SP/SI幀編碼。主要用于各種網(wǎng)絡(luò)的視頻流傳輸。4）高級(jí)類：在主類基礎(chǔ)上新增：8x8 幀內(nèi)預(yù)測(cè)、 自定義量化、無損視頻編碼、更多的yuv格式（4:4:4.）等。.H.264 Levels.4、視頻編碼層包含核心壓縮引擎，塊、宏塊以及條的語法級(jí)別的定義設(shè)計(jì)目標(biāo)：

58、在盡可能獨(dú)立于網(wǎng)絡(luò)的情況下實(shí)現(xiàn)高效編解碼1）圖像的劃分l 一個(gè)編碼圖像通常劃分成若干宏塊；l 一個(gè)宏塊由一個(gè)1616 亮度像素和與之對(duì)應(yīng)的一個(gè)88 Cb和一個(gè)88 Cr 像素塊組成；l 每個(gè)圖象中，若干宏塊被排列成片的形式。.Slice #0Slice #1Slice #2圖像（176x144）子宏塊（8x8）宏塊（16x16）像塊.片的編碼類型：I 片、P片、B片。I片只包含I 宏塊，P 片可包含P/I 宏塊，B 片可包含B/P/I 宏塊。I 宏塊利用從當(dāng)前片中已解碼的像素作為參考進(jìn)行幀內(nèi)預(yù)測(cè)（不能取其它片中的已解碼像素作為參考進(jìn)行幀內(nèi)預(yù)測(cè)）。P 宏塊利用前面已編碼圖象作為參考圖象進(jìn)行幀間預(yù)

59、測(cè)。B 宏塊則利用雙向的參考圖象（當(dāng)前和未來的已編碼圖象幀）進(jìn)行幀間預(yù)測(cè)。.2）宏塊編碼結(jié)構(gòu)EntropyCodingScaling & Inv. TransformMotion-CompensationControlDataQuant.Transf. coeffsMotionDataIntra/InterCoderControlMotionEstimationTransform/Scal./Quant.-InputVideoSignalSplit intoMacroblocks16x16 pixels Intra-frame PredictionDe-blockingFilterOu

60、tputVideoSignal.I 幀編碼的基本流程為：(1) 進(jìn)行幀內(nèi)預(yù)測(cè)，決定所采用的幀內(nèi)預(yù)測(cè)模式。(2) 像素值減去預(yù)測(cè)值，得到殘差。(3) 對(duì)殘差進(jìn)行變換和量化。(4) 變長(zhǎng)編碼和算術(shù)編碼。(5) 重構(gòu)圖像并濾波，得到的圖像作為其它幀的參考幀。P 幀和 B 幀編碼的基本流程為：(1) 進(jìn)行運(yùn)動(dòng)估計(jì)，計(jì)算采用幀間編碼模式的率失真函數(shù)值。P 幀只參考前面的幀，B 幀可參考后面的幀。(2) 進(jìn)行幀內(nèi)預(yù)測(cè)，選取率失真函數(shù)值最小的幀內(nèi)模式與幀間模式比較，確定采用哪種編碼模式。(3) 計(jì)算實(shí)際值和預(yù)測(cè)值的差值。(4) 對(duì)殘差進(jìn)行變換和量化。(5) 熵編碼，如果是幀間編碼模式，編碼運(yùn)動(dòng)矢量 .與以往的視頻編碼標(biāo)準(zhǔn)相同之處：n 宏