1、MTI,XIDIAN,國(guó)際視頻壓縮標(biāo)準(zhǔn)簡(jiǎn)介,多媒體技術(shù),第七講,2,主要內(nèi)容,視頻壓縮標(biāo)準(zhǔn)發(fā)展歷史 H.26X系列壓縮標(biāo)準(zhǔn)簡(jiǎn)介 MPEG系列壓縮標(biāo)準(zhǔn)簡(jiǎn)介,3,視頻壓縮標(biāo)準(zhǔn)發(fā)展歷史,ITU:,ISO/IEC:,H.261,H.262,H.263 H.263+,H.264,MPEG1,MPEG2,MPEG4 (Part2),MPEG7,MPEG21,MPEG4(Part10),4,視頻壓縮標(biāo)準(zhǔn)對(duì)比,5,視頻壓縮標(biāo)準(zhǔn)對(duì)比（續(xù)）,6,視頻壓縮標(biāo)準(zhǔn)對(duì)比（續(xù)）,7,視頻壓縮標(biāo)準(zhǔn)對(duì)比（續(xù)）,8,視頻壓縮標(biāo)準(zhǔn)對(duì)比（續(xù)）,9,視頻壓縮標(biāo)準(zhǔn)對(duì)比（續(xù)）,10,MPEG-1視頻壓縮標(biāo)準(zhǔn),MPEG-1標(biāo)準(zhǔn)號(hào)為ISO/I

2、EC 11172，它由五部分組成： MPEG-1系統(tǒng)（ MPEG-1 Systems ）：規(guī)定視頻數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步合成技術(shù) MPEG-1視頻編碼標(biāo)準(zhǔn)（MPEG-1 Video） MPEG-1音頻編碼標(biāo)準(zhǔn)（MPEG-1 Audio） MPEG-1一致性測(cè)試：詳細(xì)說明如何測(cè)試比特?cái)?shù)據(jù)流和解碼器是否滿足MPEG-1前3個(gè)部分(Part1，2和3)中所規(guī)定的要求。 MPEG-1軟件模擬：一個(gè)技術(shù)報(bào)告，給出了軟件執(zhí)行MPEG1前3個(gè)部分的運(yùn)行結(jié)果。,11,MPEG-1視頻壓縮標(biāo)準(zhǔn),輸入、輸出指標(biāo)：,MPEG視頻 編碼器,3522882581.5,3522403081.5,30Mb/s,

3、1.15Mb/s,26 : 1,12,MPEG1視頻壓縮算法,運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)(temporal) DCT(spatial),13,Frame 1,14,Frame 2,15,Residual Frame,16,象素運(yùn)動(dòng)軌跡,17,Block-based Motion Estimation and Compensation,18,Block-based Motion Estimation and Compensation,19,1616 Block Size,20,88 Block Size,21,44 Block Size,22,Subpixel Motion Estimation and

4、Compensation,子像素運(yùn)動(dòng)估值與補(bǔ)償,23,Subpixel Motion Estimation and Compensation,24,MPEG1視頻編碼器框架,25,MPEG1視頻編碼器框架,分塊,26,MPEG1視頻壓縮算法,運(yùn)動(dòng)圖像序列,圖片組（GOP）,I,B,B,P,B,B,P,圖片,條（Slice）,宏塊 Macro Block,16,16,塊（Block）,8,8,分割：,27,MPEG1視頻壓縮算法,GOP的組成：,一個(gè)內(nèi)幀是一個(gè)隨機(jī)訪問點(diǎn)。B圖像不能作為其它圖像的參考幀。,I：內(nèi)幀 P：?jiǎn)蜗蝾A(yù)測(cè)幀 B：雙向預(yù)測(cè)幀,28,MPEG1視頻壓縮算法,為了在圖像質(zhì)量和數(shù)據(jù)

5、速率之間作出調(diào)整，MPEG編碼器允許（1）選擇內(nèi)幀I的頻率和位置，（2）選擇I和P之間雙向預(yù)測(cè)幀B的數(shù)目。,29,MPEG1視頻壓縮算法,運(yùn)動(dòng)補(bǔ)償技術(shù)在宏塊一級(jí)工作。宏塊分為四類： 幀內(nèi)宏塊，簡(jiǎn)稱I塊 前向預(yù)測(cè)宏塊，簡(jiǎn)稱F塊 后向預(yù)測(cè)宏塊，簡(jiǎn)稱B塊 平均宏塊，簡(jiǎn)稱A塊 I圖像只包含I塊，P圖像只包含I塊和F塊，B圖像可以包含4種類型的宏塊。,30,MPEG1視頻壓縮算法,I圖像幀的壓縮算法：,在空間方向上（內(nèi)幀），MPEG1壓縮采用JPEG壓縮算法來(lái)去掉冗余信息。,31,MPEG1視頻壓縮算法,P圖像幀的壓縮算法：,對(duì)于P宏塊，MPEG1采用運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)算法來(lái)去掉時(shí)間軸上的冗余信息。,32

6、,MPEG1視頻壓縮算法,運(yùn)動(dòng)矢量的概念,33,MPEG1視頻壓縮算法,基于塊的運(yùn)動(dòng)矢量估值算法塊匹配法,34,MPEG1視頻編碼算法,塊匹配法（Block Matching Algorithm）需要解決兩個(gè)關(guān)鍵問題： （1）匹配準(zhǔn)則 （2）搜索算法,35,MPEG1視頻編碼算法,BMA中常用的匹配準(zhǔn)則：,絕對(duì)值：,均方誤差：,平均絕對(duì)幀差：,36,MPEG1視頻編碼算法,BMA常用搜索算法二維對(duì)數(shù)搜索法：,37,MPEG1視頻編碼算法,BMA常用搜索算法三步搜索法：,38,MPEG1視頻編碼算法,BMA常用搜索算法對(duì)偶搜索法：,39,MPEG1視頻編碼算法,B圖像幀的壓縮算法：,40,41,

7、MPEG-1 音頻壓縮標(biāo)準(zhǔn),輸入、輸出指標(biāo)：,MPEG音頻 編碼器,32kHz, 44.1kHz, 48kHz,16位 PCM,32kb/s 384kb/s,42,MPEG-1 音頻壓縮算法,聽覺系統(tǒng)的感知特性：,聽閾頻率曲線,43,MPEG-1 音頻壓縮算法,聽覺系統(tǒng)的感知特性：,一個(gè)強(qiáng)純音會(huì)掩蔽在其附近同時(shí)發(fā)聲的弱純音，這種特性稱為頻域掩蔽，也稱同時(shí)掩蔽,44,MPEG-1 音頻壓縮算法,聽覺系統(tǒng)的感知特性：,一個(gè)強(qiáng)純音會(huì)掩蔽在其附近同時(shí)發(fā)聲的弱純音，這種特性稱為頻域掩蔽，也稱同時(shí)掩蔽,在時(shí)間上相鄰的聲音之間也有掩蔽現(xiàn)象，稱為時(shí)域掩蔽。時(shí)域掩蔽又分為超前掩蔽和滯后掩蔽。,45,MPEG-1

8、 音頻壓縮算法,感知子帶壓縮算法,算法以心理聲學(xué)模型為基礎(chǔ)，主要利用了聽覺閾值和聽覺掩蔽特性,46,MPEG-1 音頻壓縮算法,感知子帶壓縮算法,1、將音頻信號(hào)用濾波器組分成32個(gè)子帶； 2、用FFT將子帶變換到頻率域 3、根據(jù)心理聲學(xué)模型估計(jì)各個(gè)子帶的感知閾值 4、根據(jù)對(duì)感知閾值的估計(jì)對(duì)各個(gè)子帶進(jìn)行比特分配和量化。,MP3采用了與MP1、MP2不同的濾波器和心理聲學(xué)模型。,47,MPEG-1 音頻壓縮算法,MPEG-1 Audio層1和層2編碼器和解碼器的結(jié)構(gòu),48,MPEG-1 音頻壓縮算法,MPEG-1 Audio層3編碼器和解碼器的結(jié)構(gòu),49,H.261概述,H.261也稱P64，這是

9、ITU-T（前身為CCITT）最早制定的關(guān)于視頻編碼的國(guó)際標(biāo)準(zhǔn)?？紤]到ISDN的傳輸碼率以64kbps為單位，因此以p64kbps（p130）作為為H.261的標(biāo)準(zhǔn)碼率。H.261標(biāo)準(zhǔn)主要用于電視電話和電視會(huì)議。它支持QCIF（p=1、2）、CIF（p2）兩種圖像輸入格式。,50,H.261解決的問題,第一是編碼算法問題。確立了一種合理的、保證圖像質(zhì)量且為各國(guó)圖像編碼專家所公認(rèn)的統(tǒng)一的算法。算法必須能夠?qū)崟r(shí)操作，解碼延時(shí)要短。 第二是與PCM標(biāo)準(zhǔn)兼容的問題。編解碼器以641920kbs的工作速率去覆蓋N-ISDN或PCM一次群的通道。 第三，解決電視制式不同的問題。為了使同一標(biāo)準(zhǔn)既能用于PAL

10、（625）和NTSC（525）兩種電視制式系統(tǒng)，源編碼基于中間格式CIF格式，所以輸入輸必須 經(jīng)轉(zhuǎn)換到CIF或QCIF格式再進(jìn)行源編碼。,51,視頻編碼圖像格式一覽表,52,H.261的信源編碼框架,53,H.261的信源編碼算法,一、將預(yù)測(cè)誤差或輸入圖像劃分成為8*8的象素塊。進(jìn)一步，將4個(gè)亮度像塊和兩個(gè)在空間位置上與之重疊的色差像塊符合成一個(gè)16*16的宏塊（MB）。 二、對(duì)于幀序列中的第一副圖像或景物變換后的第一副圖像，采用幀內(nèi)變換編碼：利用8*8的DCT實(shí)現(xiàn)。各DCT系數(shù)經(jīng)過線性量化、變長(zhǎng)編碼后進(jìn)入緩沖器，根據(jù)緩沖器的上溢和下溢，來(lái)反饋調(diào)節(jié)量化器的量化步長(zhǎng)，以控制視頻編碼位流使之與信倒

11、速率相匹配。,54,H.261的信源編碼算法,幀間預(yù)測(cè)采用混合方法：利用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，當(dāng)預(yù)測(cè)誤差超過某個(gè)門限后，對(duì)誤差做DCT、視覺加權(quán)量化及熵編碼。運(yùn)動(dòng)矢量信息編碼后也送到緩沖器中。DCT去除空間冗余度，而使用有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)來(lái)去除時(shí)間上的冗余。這是一個(gè)典型的幀內(nèi)幀間自適應(yīng)預(yù)測(cè)加DCT變換的混合算法。,55,H.261的圖像復(fù)用編碼,H.261源編碼后進(jìn)行圖像復(fù)用編碼， 實(shí)際上是把比特流分成圖像(Picture)，像塊組 (GOB：Group of blocks)，宏塊(MB：Macroblock)和像塊(Block)，并附加相應(yīng)的信息。按照CIF格式，每幀CIF圖像包含12個(gè)GOB，每

12、個(gè)GOB包含33個(gè)MB，每個(gè)MB包含4個(gè)亮度數(shù)據(jù)塊和各1個(gè)Cb 、Cr色度塊，每個(gè)B包含8*8象素。,56,H.261的圖像復(fù)用編碼,H.261 數(shù)據(jù)流結(jié)構(gòu),57,H.261視頻壓縮算法,利用二維DCT減少圖像的空間域的冗余度； 利用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)減少圖像的時(shí)間域冗余度； 利用視覺加權(quán)量化減少圖像灰度域的冗余度； 利用熵編碼來(lái)減少圖像的頻率域的冗余度。,58,H.261與MPEG-1的對(duì)比,59,MPEG-2 通用視頻壓縮標(biāo)準(zhǔn),MPEG-2的標(biāo)準(zhǔn)號(hào)為ISO/IEC 13818，它主要由以下幾部分組成： MPEG-2系統(tǒng)（ MPEG-1 Systems ） MPEG-2視頻編碼標(biāo)準(zhǔn)（MPEG-2

13、Video） MPEG-2音頻編碼標(biāo)準(zhǔn)（MPEG-2 Audio） MPEG-2高級(jí)音頻編碼標(biāo)準(zhǔn)（MPEG-2 AAC） 與MPEG-1一樣，MPEG-2只規(guī)定了碼流結(jié)構(gòu)和解碼器算法規(guī)則，而把實(shí)際編碼器模型向設(shè)計(jì)者開放，以提供更多的選擇性和自由度。,60,MPEG-2 Video,MPEG-2 Video與MPEG-1的基本編碼算法相同，只是增加了如下功能： （1）能夠在很寬的范圍內(nèi)對(duì)不同分辨率和不同輸出比特率的圖像信號(hào)有效的進(jìn)行壓縮。 （2）處理隔行掃描的視頻信號(hào)的能力。 （3）多樣化的取樣模式：4:2:0，4:2:2，4:4:4 （4）可伸縮（Scalable）的視頻編碼模式： 編碼時(shí)可以

14、在圖像質(zhì)量和數(shù)據(jù)速率之間作出調(diào)整 解碼時(shí)只對(duì)碼流的一部分進(jìn)行解碼和對(duì)碼流的全部進(jìn)行解碼能夠分別獲得不同質(zhì)量的重建圖像。,61,可伸縮性編碼模式,（1）信噪比伸縮性（Signal-to-Noise Scalability） （2）空間分辨率伸縮性（Spatial Scalability） （3）時(shí)間分辨率伸縮性（Temporal Scalability）,62,MPEG-2 Video,為了適應(yīng)不同應(yīng)用的需要，MPEG-2引入了配置（profiles）和等級(jí)（levels）的概念，每種配置定義一套新的算法，而每一個(gè)等級(jí)指定一套參數(shù)范圍(如圖像大小、幀速率和位速率)。,63,MPEG-2 Vide

15、o,MPEG-2的配置,64,MPEG-2 Video,MPEG-2的等級(jí),65,MPEG-2 Video,MPEG-2的配置與等級(jí)的組合,66,MPEG-2 Audio,MPEG-2標(biāo)準(zhǔn)委員會(huì)定義了兩種聲音數(shù)據(jù)壓縮格式： （1）MPEG-2 Audio，或者稱為MPEG-2多通道(Multichannel)聲音，它與MPEG-1 Audio是兼容的，所以又稱為MPEG-2 BC (Backward Compatible)。 （2）另一種稱為MPEG-2 AAC (Advanced Audio Coding)，因?yàn)樗cMPEG-1聲音格式不兼容，因此通常稱為非后向兼容MPEG-2 NBC(No

16、n-Backward-Compatible)標(biāo)準(zhǔn)。,67,MPEG-2 BC Audio,(1)增加了16 kHz, 22.05 kHz和24 kHz采樣頻率 (2)擴(kuò)展了編碼器的輸出速率范圍，由32384 kb/s擴(kuò)展到8640 kb/s (3)增加了聲道數(shù)，支持5.1聲道和7.1聲道的環(huán)繞聲。 (4)MPEG-2還支持Linear PCM(線性PCM)和Dolby AC-3(Audio Code Number 3)編碼,MPEG-2 BC Audio和MPEG-1 Audio標(biāo)準(zhǔn)都使用相同種類的編譯碼器，層-1, -2和-3的結(jié)構(gòu)也相同。MPEG-2聲音標(biāo)準(zhǔn)與MPEG-1標(biāo)準(zhǔn)相比，MPEG

17、-2做了如下擴(kuò)充：,68,MPEG-2 AAC,AAC支持的采用頻率可從8 kHz到96 kHz，AAC編碼器的音源可以是單聲道的、立體聲的和多聲道的聲音。AAC標(biāo)準(zhǔn)可支持48個(gè)主聲道、16個(gè)低頻音效加強(qiáng)通道LFE (low frequency effects)、16個(gè)配音聲道(overdub channel)或者叫做多語(yǔ)言聲道(multilingual channel)和16個(gè)數(shù)據(jù)流。MPEG-2 AAC在壓縮比為11:1，即每個(gè)聲道的數(shù)據(jù)率為(44.116 )/11=64 kb/s，而5個(gè)聲道的總數(shù)據(jù)率為320 kb/s的情況下，很難區(qū)分還原后的聲音與原始聲音之間的差別。與MPEG的層2相

18、比，MPEG-2 AAC的壓縮率可提高1倍，而且質(zhì)量更高，與MPEG的層3相比，在質(zhì)量相同的條件下數(shù)據(jù)率是它的70。,69,H.262 標(biāo)準(zhǔn),ITU-T 于1990年成立了“ATM視頻編碼專家組”，負(fù)責(zé)制定適用于B-ISDN信道ATM編碼傳輸標(biāo)準(zhǔn)。該專家組于1993年11月與ISO的MPEG專家組聯(lián)合提出了H.262建議草案（MPEG-2），用于數(shù)字存儲(chǔ)介質(zhì)和數(shù)字視頻通信中圖像信息的編碼表示和解碼規(guī)定。該標(biāo)準(zhǔn)向下兼容，能夠在很寬的范圍內(nèi)對(duì)不同分辨率和不同輸出比特的圖像信號(hào)有效的進(jìn)行壓縮。,70,H.263/H.263+/H.264,這些標(biāo)準(zhǔn)的編解碼框架與H.261和MPEG-1類似，也是基于混合編碼的方案，只是做了如下改進(jìn)以大幅度降低碼率： 1、先進(jìn)的幀內(nèi)編碼技術(shù) 2、靈活的運(yùn)動(dòng)補(bǔ)償技術(shù)： （1）匹配塊尺寸可變（1616、 168、 816、 88、 84、 48、