第五講

視頻壓縮編碼國(guó)際標(biāo)準(zhǔn)簡(jiǎn)介視頻編碼發(fā)展簡(jiǎn)史H.261(1988)MPEG-1(1993)H.263(1995)H.263+(1998)H.263++(2000)H.264(MPEG-4Part10)(2003)MPEG-4v1(1999)MPEG-4v2(2000)MPEG-4v3(2001)198819901992199419961998200020022003ISO/IECJPEG(1992)ITU-TMPEG-2(H.262)(1994)AVS視頻圖像編碼標(biāo)準(zhǔn)編碼標(biāo)準(zhǔn)全稱傳輸碼率主要應(yīng)用H.261P×64kbps的音/視頻服務(wù)的編/解碼P×64kbpsP=1～30ISDN視頻會(huì)議MPEG-1面向數(shù)字存儲(chǔ)的運(yùn)動(dòng)圖像及伴音編碼1.5MbpsVCD,CD-ROMMPEG-2運(yùn)動(dòng)圖像及伴音的通用編碼4～100MbpsDVD,HDTV,VOD,DABH.263低比特率通信的視頻編碼低于64kbps遠(yuǎn)程視頻監(jiān)控，可視電話，電視會(huì)議MPEG-4音/視頻對(duì)象的通用編碼小于64kbps64～384kbps384kbps～4MbpsInternet通信，無(wú)線通信，2D/3D計(jì)算機(jī)圖像交互式視頻MPEG-7多媒體內(nèi)容描述接口任意多媒體檢索H.264/AVC高級(jí)視頻編碼算法任意未來(lái)視頻編碼工業(yè)標(biāo)準(zhǔn)靜態(tài)圖像壓縮標(biāo)準(zhǔn)MPEG數(shù)字視頻壓縮標(biāo)準(zhǔn)H.26X視頻壓縮標(biāo)準(zhǔn)1概述JPEG(JointPhotographicExpertsGroup)是一個(gè)由ISO和IEC兩個(gè)組織機(jī)構(gòu)聯(lián)合組成的一個(gè)專家組1986年開始制定，1992年成為國(guó)際標(biāo)準(zhǔn)JPEG是國(guó)際上彩色、灰度、靜止圖像的第一個(gè)國(guó)際標(biāo)準(zhǔn)，也是一個(gè)適用范圍廣泛的通用標(biāo)準(zhǔn)。它不僅適用于靜止圖像的壓縮，電視圖像序列的幀內(nèi)圖像的壓縮編碼，也常采用JPEG壓縮方法?？捎糜诙嗝襟wCD-ROM，彩色圖像傳真，圖文檔案管理等。JPEG包括有損壓縮(DCT為基礎(chǔ))和無(wú)損壓縮(采用預(yù)測(cè)壓縮方法)兩種編碼方案。6.1靜態(tài)圖像的國(guó)際壓縮標(biāo)準(zhǔn)JPEG壓縮比——10:1--100:1(一般壓縮比≯40:1)試驗(yàn)表明，經(jīng)壓縮25倍還原后的彩色圖像與原圖相比，對(duì)非行家來(lái)說(shuō)很難加以區(qū)別。在損失某些圖像信息的情況下，JPEG可以把圖像壓縮比提的更高。例如當(dāng)把30:1的壓縮比用于一個(gè)全彩色的圖像幀時(shí)，要求的圖像存儲(chǔ)空間就從1000K降至33K，而數(shù)據(jù)傳輸率則降至每秒1MB，這就降到了目前大多數(shù)存儲(chǔ)設(shè)備可以處理的范圍內(nèi)了。2圖像預(yù)處理（數(shù)據(jù)結(jié)構(gòu)）

根據(jù)JPEG標(biāo)準(zhǔn)，源圖像以幀為單位，每幀圖像最多由4個(gè)分量圖像組成，分量圖像用符號(hào)Ci表示，i=1，2，3，4，例如一幀彩色圖像由三個(gè)分量組成：C1=Y，C2=Cr，C3=Cb。由于眼睛對(duì)色度不敏感，色度分量的像素可以減少?；贒CT運(yùn)算量的考慮，編碼時(shí)每個(gè)分量圖像均分為8×8的像塊（block）,塊內(nèi)的64個(gè)數(shù)據(jù)組成一個(gè)數(shù)據(jù)單元DU，16×16空間區(qū)域內(nèi)的所有分量數(shù)據(jù)單元組成為一個(gè)最小編碼單元MCU，MCU是進(jìn)行DCT的準(zhǔn)備。例如對(duì)取樣率4：1：1的彩色圖像，一個(gè)MCU包含4個(gè)Y分量DU、一個(gè)Cr分量DU和一個(gè)Cb分量DU，如右圖。在JPEG中，定義了三種編碼系統(tǒng)1）用于無(wú)失真應(yīng)用場(chǎng)合的無(wú)損系統(tǒng)2）基于DCT的有損編碼基本系統(tǒng)3）用于高壓縮比、高精度或漸進(jìn)重建應(yīng)用的擴(kuò)展編碼系統(tǒng)3編解碼系統(tǒng)預(yù)測(cè)器熵編碼器表說(shuō)明無(wú)失真編碼器源圖像數(shù)據(jù)壓縮圖像數(shù)據(jù)無(wú)失真編碼簡(jiǎn)化框圖基于DPCM的無(wú)失真編碼優(yōu)點(diǎn)是硬件易實(shí)現(xiàn)，重建圖像質(zhì)量好。缺點(diǎn)是壓縮比太低，大約為2：1。（1）.基于DPCM的無(wú)失真編碼

（2）.基于DCT的基本編碼系統(tǒng)

圖像子塊的劃分離散余弦變換量化處理DC系數(shù)的編碼和AC系數(shù)的行程編碼熵編碼基本系統(tǒng)的編解碼基本步驟顏色模式轉(zhuǎn)換及采樣；DCT變換；

量化；

編碼；基于DCT的編碼過(guò)程表說(shuō)明壓縮圖像數(shù)據(jù)表說(shuō)明88塊（YUV每個(gè)分量）子塊劃分DCT變換量化行程編碼熵編碼數(shù)字圖象JPEG碼圖象子塊的劃分

子塊的大小---8×8像元

目的：提高相關(guān)性640×480大小標(biāo)準(zhǔn)圖象，劃分結(jié)果有4800個(gè)子塊

色彩子采樣減少子塊個(gè)數(shù)

VUYVUY離散余弦變換(DCT)

F(7，7)，AC分量高端F(0，0)，DC分量子塊8x8的DCT系數(shù)特點(diǎn)：DC分量為子塊的平均灰度，系數(shù)分布集中在低頻端量化

1612141418244972111213172235649210141622375578951619242956648798242640516881103112405857871091041211005160698010311312010361555662779210199量化表根據(jù)人的視覺特點(diǎn),子塊DCT系數(shù)中高低頻分量采用不同量化臺(tái)階，使高端系數(shù)更小，等于0值亮度量化表JPEG推薦的量化表JPEG使用的顏色是YCrCb格式。Y分量代表了亮度信息，CrCb分量代表了色差信息。相比而言，Y分量更重要一些?？梢詫?duì)Y采用細(xì)量化，對(duì)CrCb采用粗量化，可進(jìn)一步提高壓縮比。所以量化表通常有兩張，一張是針對(duì)Y的，一張是針對(duì)CrCb的.JPEG基本算法的量化表是從廣泛的實(shí)驗(yàn)中得出來(lái)的。下表分別給出了JPEG標(biāo)準(zhǔn)所推薦的亮度量化表和色度量化表。161110162440516112121419265860551413162440576956141722295187806218223756681091037724355564811041139249647887103121120101729295981121001039917182447999999991821266699999999242656999999999947669999999999999999999999999999999999999999999999999999999999999999999999999999亮度量化表色度量化表

量化表中的元素皆為1-255之間的任意整數(shù)，其值規(guī)定了所對(duì)應(yīng)DCT系數(shù)的量化步長(zhǎng)。當(dāng)頻率系數(shù)經(jīng)過(guò)量化后，將頻率系數(shù)由浮點(diǎn)數(shù)轉(zhuǎn)變?yōu)檎麛?shù)，這才便于執(zhí)行最后的編碼。不過(guò)，經(jīng)過(guò)量化階段后，所有數(shù)據(jù)只保留整數(shù)近似值，也就再度損失了一些數(shù)據(jù)內(nèi)容，帶來(lái)了失真。編碼直流系數(shù)（DC）的編碼

因?yàn)閳D像中相鄰塊之間有很強(qiáng)的相關(guān)性，JPEG標(biāo)準(zhǔn)對(duì)DC系數(shù)采用DPCM編碼(差分編碼)方法，即對(duì)相鄰的8×8像素塊之間的DC系數(shù)的差值進(jìn)行編碼，可以提高壓縮比。這個(gè)差值可用公式表示為：交流系數(shù)（AC）編碼

F矩陣中有63個(gè)元素是交流(AC)系數(shù)，可采用行程編碼進(jìn)行壓縮。需要考慮的問(wèn)題是：這63個(gè)系數(shù)應(yīng)該按照怎么樣的順序排列？為了保證低頻分量先出現(xiàn)，高頻分量后出現(xiàn)，這63個(gè)元素采用了“之”字型(Zig-Zag)的排列方法，稱之為Z形掃描。Z型掃描算法能夠?qū)崿F(xiàn)高效壓縮的原因之一是經(jīng)過(guò)量化后，大量的DCT矩陣元素被截成0。而且零值通常是從左上角開始沿對(duì)角線方向分布的。由于這么多0值，對(duì)0的處理與對(duì)其他數(shù)的處理不大相同的，采用行程編碼算法（RLE）沿Z型路徑可有效地累積圖像中的0的個(gè)數(shù)，所以這種編碼的壓縮效率非常高。差分編碼和行程編碼

量化后：DC系數(shù)差分編碼

AC系數(shù)Z字型行程編碼

編碼后得到兩類數(shù)碼形式：AC分量－行程碼DC分量－差分碼變長(zhǎng)碼集合JPEG建議：在基本系統(tǒng)中使用哈夫曼(Huffman)編碼

76543210行程位數(shù)幅值符號(hào)1符號(hào)2AC分量行程碼的表達(dá)方式76543210位數(shù)差值符號(hào)1符號(hào)2DC分量差分碼的表達(dá)方式圖2.13AC系數(shù)行程編碼碼字兩個(gè)非0值間連續(xù)0的個(gè)數(shù)

表示下一個(gè)非0值需要的bit數(shù)

下一個(gè)非0實(shí)際值7430字節(jié)1字節(jié)2例子：對(duì)“…，3，0，0，0，0，0，12，0，0，…”編碼…，(5，4)，(12)，….為了進(jìn)一步達(dá)到壓縮數(shù)據(jù)的目的，需要對(duì)DC碼和AC行程編碼的碼字再作基于統(tǒng)計(jì)特性的熵編碼（entropycoding）。JPEG建議使用兩種熵編碼方法：哈夫曼編碼和自適應(yīng)二進(jìn)制算術(shù)編碼。熵編碼可分成兩步進(jìn)行，首先把DC碼行程碼字轉(zhuǎn)換成中間符號(hào)序列，然后給這些符號(hào)賦以變長(zhǎng)碼字。熵編碼

基于DCT的解碼過(guò)程熵解碼器IDCT表說(shuō)明解碼器逆量化器表說(shuō)明88塊壓縮圖像數(shù)據(jù)恢復(fù)的圖像數(shù)據(jù)4.基于DCT的累進(jìn)操作方式編碼順序方式：每個(gè)圖像分量的編碼一次掃描完成的；

累進(jìn)方式：圖像分量編碼要經(jīng)過(guò)多次掃描才完成。累進(jìn)方式第一次掃描只進(jìn)行一次粗糙圖像的掃描壓縮，以相對(duì)于總的傳輸時(shí)間快得多的時(shí)間傳輸粗糙圖像，并重建一幀質(zhì)量較低的可識(shí)別圖像；在隨后的掃描中再對(duì)圖像作較細(xì)的壓縮，這時(shí)只傳遞增加的信息，可重建一幅質(zhì)量提高一些的圖像。這樣不斷累進(jìn)，直到滿意的圖像為止。需在量化器的輸出與熵編碼的輸入之間，增加一個(gè)足以存儲(chǔ)量化后DCT系數(shù)的緩沖區(qū)，對(duì)緩沖區(qū)中存儲(chǔ)的DCT系數(shù)多次掃描，分批編碼。5.基于DCT的分層操作方式(1)把原始圖像空間分辨率降低。(2)對(duì)已降低分辨率的圖像采用基于DCT的順序方式、累進(jìn)方式或無(wú)失真預(yù)測(cè)編碼中的任何一種編碼方法進(jìn)行編碼。(3)對(duì)低分辨率的圖像解碼，重建圖像，使用插值濾波器，對(duì)它插值，恢復(fù)圖像的水平和垂直分辨率。(4)把分辨率已升高的圖像作為原始圖像的預(yù)測(cè)值，對(duì)它們的差值采用基于DCT的順序方式、累進(jìn)方式或用無(wú)失真方式進(jìn)行編碼。(5)重復(fù)(3)、(4)直到圖像達(dá)到完整的分辨率編碼。JPEG舉例源圖像質(zhì)量38384bytes

高質(zhì)量壓縮(Highquality),11331bytes

中等質(zhì)量(Mediumquality),6968bytes

低質(zhì)量(Lowquality),3687bytes在一般的圖像處理軟件中，對(duì)一幅圖像按JPEG格式進(jìn)行壓縮時(shí)，用戶可以選擇壓縮品質(zhì)因子（QualityFactor）。Photoshop圖像軟件按四大類質(zhì)量（低、中、高、最佳），把壓縮品質(zhì)分為0—12等級(jí)PhotoPaint圖像軟件把質(zhì)量因子量化為2－250等分?；贒CT的JPEG壓縮效率

比特/象素（bpp）質(zhì)量0.25～0.50中～好,滿足某些應(yīng)用0.50～0.75好～很好,滿足多數(shù)應(yīng)用0.75～1.5極好,滿足大多數(shù)應(yīng)用1.5～2.0與原始圖像分不出壓縮質(zhì)量maximummediumlow質(zhì)量因子

830壓縮比

3.7:17.1:18.8:1Factor:100Size=326321bytes

Factor:50Size=46295bytesFactor:25Size=29360bytes

Factor:5Size=9438bytes6.新一代靜態(tài)圖像壓縮標(biāo)準(zhǔn)---JPEG2000

JPEG所具有的優(yōu)良品質(zhì)，使它獲得極大的成功。然而，隨著多媒體應(yīng)用領(lǐng)域的激增，傳統(tǒng)JPEG壓縮技術(shù)也存在著許多不足，無(wú)法滿足人們對(duì)多媒體圖像資料的要求。DCT將圖像分割為8×8的小塊，然后依次放入文件中，這種算法靠丟棄頻率信息實(shí)現(xiàn)壓縮，因而圖像的壓縮率越高，頻率信息被丟棄的越多。在極端情況下，JPEG圖像只保留了反映圖像外貌的基本信息，精細(xì)的圖像細(xì)節(jié)都損失了。

JPEG2000與傳統(tǒng)JPEG最大的不同，在于它放棄了JPEG所采用的以離散余弦變換(DiscreteCosineTransform)為主的區(qū)塊編碼方式，而改采以小波轉(zhuǎn)換(Wavelettransform)為主的解析編碼方式。JPEG20002000年12月公布的新的JPEG2000標(biāo)準(zhǔn)(ISO15444),其目標(biāo)是在高壓縮率的情況下,如何保證圖像傳輸?shù)馁|(zhì)量。JPEG2000與JPEG的區(qū)別：采用了以小波變換為主的多分辨率編碼方式統(tǒng)一了面向靜態(tài)圖像和二值圖像的編碼方式既支持低比率壓縮又支持高比率壓縮JPEG2000的主要特點(diǎn)：(1)高壓縮率。與JPEG相比，可修復(fù)約30％的速率失真特性。JPEG和JPEG2000在壓縮率相同時(shí)，JPEG2000的信噪比將提高30％左右；(2)無(wú)損壓縮。預(yù)測(cè)編碼作為對(duì)圖像進(jìn)行無(wú)損編碼的成熟方法被集成在JPEG2000中；(3)漸進(jìn)傳輸。JPEG2000可實(shí)現(xiàn)以空間清晰度和信噪比為首的各種可調(diào)節(jié)性，從而實(shí)現(xiàn)漸進(jìn)傳輸，即具有“漸現(xiàn)”特性；(4)感興趣區(qū)域壓縮。JPEG2000支持所謂的“感興趣區(qū)域”。測(cè)試結(jié)果表明，JPEG2000壓縮效果更優(yōu)秀，特別是在高壓縮比的情況下。JPEG2000糾錯(cuò)能力很強(qiáng)，在文件傳輸中，有恢復(fù)丟失數(shù)據(jù)包的能力?？梢灾付ㄗ詈笪募拇笮?。靜態(tài)圖像壓縮標(biāo)準(zhǔn)H.26X視頻壓縮標(biāo)準(zhǔn)MPEG數(shù)字視頻壓縮標(biāo)準(zhǔn)H.261H.261是用于視頻會(huì)議和可視電話業(yè)務(wù)的以p×64kbps,p=1,…,30的速率在綜合業(yè)務(wù)數(shù)字網(wǎng)（ISDN）上傳送視頻信號(hào)的壓縮標(biāo)準(zhǔn)。H.261頒布于1990年，主要用于雙向視頻通信，允許的最大編碼延遲為150ms。它的輸入圖象格式為通用（同時(shí)適用于625線和525線的視頻標(biāo)準(zhǔn)）中間格式CIF(352x288)，低端可用其四分之一大小的QCIF(176x144)格式，幀率為30,15,10,7.5四種，隔行（interlaced）視頻，寬高比4:3。H.261的編碼方案是基于DCT和DPCM的預(yù)測(cè)編碼算法，運(yùn)動(dòng)每幀圖象分成8x8的子塊，再組成宏塊、塊組，宏塊由4個(gè)8x8的亮度塊和2個(gè)8x8的色度塊組成，每個(gè)塊組由3x11個(gè)宏塊組成。每幅QCIF圖象有3個(gè)塊組；每幅CIF圖象有12個(gè)塊組，形成一個(gè)多層次的塊結(jié)構(gòu)。

H.263是ITU-T制定的適合于低速視頻信號(hào)的壓縮標(biāo)準(zhǔn)。大多數(shù)用戶相當(dāng)一段時(shí)間內(nèi)最方便的是公用電話線，以V.34為標(biāo)準(zhǔn)的調(diào)制解調(diào)器支持在電話線中傳輸速率可達(dá)28.8kbps或33.6kbps，甚至56kbps。H.263是在H.261基礎(chǔ)上擴(kuò)展形成的，支持的圖像格式包括Sub-QCIF(12896)，QCIF，CIF，4CIF，16CIF(14081152)等。

其中主要采用的改進(jìn)技術(shù)有：H.263

(1)半像素精度的運(yùn)動(dòng)補(bǔ)償在H.261中，運(yùn)動(dòng)矢量的精度為1個(gè)像素，H.263運(yùn)動(dòng)矢量的估值精度達(dá)到半個(gè)像素。精度的提高使運(yùn)動(dòng)補(bǔ)償后的幀間誤差減少，從而降低了碼率。(2)不受限的運(yùn)動(dòng)矢量當(dāng)運(yùn)動(dòng)跨越圖像邊界時(shí)，由運(yùn)動(dòng)矢量所確定的宏塊位置可能有一部分落在邊界之外，此時(shí)可以用邊界上的像素值表示界外的像素值，從而降低預(yù)測(cè)誤差。(3)用基于句法的算術(shù)編碼代替Huffman編碼(可選項(xiàng))這是一種效率較高的自適應(yīng)算術(shù)編碼。

(4)先進(jìn)的預(yù)測(cè)模式(可選項(xiàng))對(duì)宏塊中的4個(gè)亮度塊分別進(jìn)行運(yùn)動(dòng)估值獲得4個(gè)運(yùn)動(dòng)矢量。雖然此時(shí)傳輸運(yùn)動(dòng)矢量的比特?cái)?shù)增加一些，但由于預(yù)測(cè)誤差的大幅度降低，仍然使總碼率降低。(5)PB幀模式(可選項(xiàng))雖然使用雙向預(yù)測(cè)的B幀可以降低碼率，但是卻要引入附加的編碼延時(shí)和解碼延時(shí)。為了降低延時(shí)，H.263采用了P幀和B幀作為一個(gè)單元來(lái)處理的方式，即將P幀和由該幀與上一個(gè)P幀所共同預(yù)測(cè)的B幀一起進(jìn)行編碼。標(biāo)準(zhǔn)簡(jiǎn)介JVT(JointVideoTeam)是由國(guó)際標(biāo)準(zhǔn)化組織運(yùn)動(dòng)圖像專家組（ISOMPEG）和國(guó)際電信聯(lián)盟視頻編碼專家組（ITU-TVCEG）成立的聯(lián)合視頻工作組，致力于開發(fā)低比特率視頻標(biāo)準(zhǔn)；JVT標(biāo)準(zhǔn)于2003年推出H.264/AVC標(biāo)準(zhǔn)在ISO/IEC中正式名稱為MPEG-4Part10，稱之為“ISO/IEC14496Part10高級(jí)視頻編碼算法”（ISO/IEC1449610AVC）新一代視頻壓縮標(biāo)準(zhǔn)H.264/AVC

新一代視頻壓縮標(biāo)準(zhǔn)H.264/AVCH.264/AVC的檔次和結(jié)構(gòu)H.264/AVC編解碼器幀內(nèi)預(yù)測(cè)幀間預(yù)測(cè)一、檔次與等級(jí)H.264主要支持4:2:0格式的連續(xù)或隔行視頻的編解碼，4:2:2和4:4:4可作為額外的參考信息參數(shù)；根據(jù)應(yīng)用領(lǐng)域不同，制定了不同的算法集合和技術(shù)限定，共分為3個(gè)檔次：基本檔、主檔和擴(kuò)展檔；在每一檔次設(shè)置了不同的參數(shù)，每個(gè)檔次下面又劃分為不同的等級(jí)；基本檔是擴(kuò)展檔的子集，但不是主檔的子集。H.264檔次檔次技術(shù)特點(diǎn)典型應(yīng)用基本檔利用I片和P片支持幀內(nèi)和幀間編碼，支持利用基于上下文的自適應(yīng)變長(zhǎng)編碼進(jìn)行熵編碼；支持靈活的宏塊組織順序；片之間是相互獨(dú)立的可任意順序傳輸?shù)浇獯a端視頻會(huì)話、如會(huì)議電視、可視電話、遠(yuǎn)程醫(yī)療、遠(yuǎn)程教學(xué)等主檔支持隔行視頻，采用B片的幀間編碼和加權(quán)預(yù)測(cè)的幀內(nèi)編碼；采用基于上下文的自適應(yīng)算數(shù)編碼消費(fèi)電子應(yīng)用，如數(shù)字電視廣播、數(shù)字視頻存儲(chǔ)等擴(kuò)展檔支持碼流之間的有效切換（SP和SI片）、改進(jìn)抗誤碼性能；不支持隔行視頻和基于上下文的自適應(yīng)算數(shù)編碼網(wǎng)絡(luò)視頻流，如視頻點(diǎn)播、流媒體等H.264標(biāo)準(zhǔn)從概念上將編碼結(jié)構(gòu)分為兩層：上層為視頻編碼層；底層為網(wǎng)絡(luò)抽象層?？刂茢?shù)據(jù)視頻編碼層VCL數(shù)據(jù)分割網(wǎng)絡(luò)適配層NALH.320MPEG-4H.323/IPMPEG-2其他編碼宏塊編碼片/分區(qū)視頻編碼層負(fù)責(zé)完成高效率的視頻壓縮任務(wù)，網(wǎng)絡(luò)適配層將視頻編碼層從具體的傳輸層中抽象出來(lái)，負(fù)責(zé)解決網(wǎng)絡(luò)的適配問(wèn)題，即根據(jù)使用環(huán)境對(duì)不同網(wǎng)絡(luò)采用最為合適的方式對(duì)數(shù)據(jù)進(jìn)行打包和傳送，以使得碼流對(duì)各類信道都具有良好的適應(yīng)能力；對(duì)上層，從視頻編碼層獲得數(shù)據(jù)，包括頭信息、視頻壓縮數(shù)據(jù)信息；對(duì)下層，依據(jù)具體傳輸網(wǎng)絡(luò)的特性對(duì)數(shù)據(jù)進(jìn)行封裝，包括成幀、發(fā)送信號(hào)至邏輯信道、利用同步信息等，定義適合傳輸層或存儲(chǔ)介質(zhì)需要的數(shù)據(jù)格式，提供頭信息，將視頻編碼數(shù)據(jù)正確的映射到H.323、H.324等具體的傳輸協(xié)議上，從而提供視頻編碼層與外部世界的接口。二、H.264/AVC編解碼器1、編碼原理仍然采用經(jīng)典的運(yùn)動(dòng)補(bǔ)償混合編碼算法；編碼圖像分為3種：I幀、P幀和B幀；此外H.264還定義了新的SP幀和SI幀，用以實(shí)現(xiàn)不同的傳輸速率、不同圖像質(zhì)量碼流間的快速切換以及信息丟失的快速恢復(fù)等功能；H.264將一視頻圖像編碼成一個(gè)或多個(gè)片，一個(gè)片由一系列按光柵掃描順序排列的宏塊構(gòu)成，每片包含整數(shù)個(gè)宏塊或一幅圖像的全部宏塊。片和片組

片一個(gè)視頻圖像可編碼成一個(gè)或更多個(gè)片，每片包含整數(shù)個(gè)宏塊（MB），即每片至少一個(gè)MB，最多時(shí)每片包含整個(gè)圖像的宏塊。設(shè)片的目的是為了限制誤碼的擴(kuò)散和傳輸，使編碼片相互間是獨(dú)立的。某片的預(yù)測(cè)不能以其它片中的宏塊為參考圖像，這樣某一片中的預(yù)測(cè)誤差才不會(huì)傳播到其它片中去。編碼片共有5種不同類型，I片、P片、B片外，還有SP片和SI片。其中SP（切換P）是用于不同編碼流之間的切換。

圖4片的句法結(jié)構(gòu)片和片組

片組

片組是一個(gè)編碼圖象中若干MB的一個(gè)子集，它可包含一個(gè)或若干個(gè)片。在一個(gè)片組中，每片的MB按光柵掃描次序被編碼，如果每幅圖象僅取一個(gè)片組，則該圖象中所有的MB均按光柵掃描次序被編碼。還有一種片組，叫靈活宏塊次序（FMO），它可用靈活的方法，把編碼MB序列映射到解碼圖象中MB的分配用MB到片組之間的映射來(lái)確定，它表示每一個(gè)MB屬于哪個(gè)片組。下圖為MB到片組的各種映射類型。

MB到片組的映射類型名稱描述0交錯(cuò)MB游程被依次分配給每一塊組（圖a）1散亂每一片組中的MB被分散在整個(gè)圖象中（圖b）2前景和背景例見圖c3Box－out從幀的中心開始，產(chǎn)生一個(gè)箱子，其MB屬于片組0，其它MB屬于片組（圖d）4光柵掃描片組0包含按光柵掃描次序從頂－左的所有MB，其余MB屬片組1（圖e）5擦式掃描片組0包含從頂－左垂直掃描次序的MB，其余MB屬片組1（圖f）6顯式每一Mbslice_group_id,用于指明它的片組（即MB映射完全是用戶定義的）采用幀內(nèi)編碼時(shí)首先選擇相應(yīng)的幀內(nèi)預(yù)測(cè)模式進(jìn)行預(yù)測(cè)；隨后對(duì)實(shí)際值和預(yù)測(cè)值之間的差值進(jìn)行變換、量化和熵編碼；同時(shí)編碼后的碼流經(jīng)過(guò)反量化和反變換之后重構(gòu)預(yù)測(cè)殘差圖像，與預(yù)測(cè)值相加得出重構(gòu)幀，結(jié)果經(jīng)環(huán)路濾波器平滑后送入幀存儲(chǔ)器；采用幀間編碼時(shí)首先在參考幀中進(jìn)行運(yùn)動(dòng)估計(jì)，之后的殘差圖像經(jīng)整數(shù)變換、量化和熵編碼后與運(yùn)動(dòng)矢量一起送入信道傳輸。2、解碼原理首先根據(jù)語(yǔ)法元素判斷：為幀內(nèi)編碼直接進(jìn)行反量化、反變換重構(gòu)；為幀間編碼得到的為殘差圖像，需要根據(jù)幀存儲(chǔ)器中的參考圖進(jìn)行運(yùn)動(dòng)補(bǔ)償后與殘差圖疊加。三、幀內(nèi)預(yù)測(cè)子塊內(nèi)部和子塊之間的像素具有空間冗余性；自然場(chǎng)景圖像中的前景和背景通常具有一定的紋理特性，按其方向性可分為水平紋理、垂直紋理和傾斜紋理等；——為空域的幀內(nèi)預(yù)測(cè)創(chuàng)造了條件MPEG-1/2幀內(nèi)編碼采用DCT、量化和熵編碼；H.263+和MPEG-4中I幀采用基于頻域的幀內(nèi)預(yù)測(cè)；H.264基于空間的像素值進(jìn)行預(yù)測(cè)，對(duì)于每個(gè)4×4塊每個(gè)像素可用17個(gè)最接近的先前已編碼像素的不同加權(quán)和來(lái)預(yù)測(cè)。H.264對(duì)亮度分量（兩種預(yù)測(cè)模式）和色度分量（一種預(yù)測(cè)模式）設(shè)定不同預(yù)測(cè)方案，獨(dú)立實(shí)施預(yù)測(cè)。各預(yù)測(cè)模式中詳細(xì)定義了多種預(yù)測(cè)選項(xiàng)適應(yīng)不同紋理特性的圖像子塊。在幀內(nèi)預(yù)測(cè)模式中，預(yù)測(cè)塊P是基于已編碼重建塊和當(dāng)前塊形成的。對(duì)亮度像素而言，P塊用于4×4子塊或者16×16宏塊的相關(guān)操作。4×4亮度子塊有9種可選預(yù)測(cè)模式，獨(dú)立預(yù)測(cè)每一個(gè)4×4亮度子塊，適用于帶有大量細(xì)節(jié)的圖像編碼；16×16亮度塊有4種預(yù)測(cè)模式，預(yù)測(cè)整個(gè)16×16亮度塊，適用于平坦區(qū)域圖像編碼；色度塊也有4種預(yù)測(cè)模式，類似于16×16亮度塊預(yù)測(cè)模式。編碼器通常選擇使P塊和編碼塊之間差異最小的預(yù)測(cè)模式。4×4亮度預(yù)測(cè)模式

如圖所示，4×4亮度塊的上方和左方像素A～M為已編碼和重構(gòu)像素，用作編解碼器中的預(yù)測(cè)參考像素。a～p為待預(yù)測(cè)像素，利用A～M值和9種模式實(shí)現(xiàn)。4×4亮度預(yù)測(cè)模式

圖中箭頭表明了每種模式預(yù)測(cè)方向。其中模式2(DC預(yù)測(cè))根據(jù)A～M中已編碼像素預(yù)測(cè)，而其余模式只有在所需預(yù)測(cè)像素全部提供才能使用。對(duì)模式3～8，預(yù)測(cè)像素由A～M加權(quán)平均而得。例如，模式4中，d=round(B/4+C/2+D/4)。s0=0;if(block_available_up&&block_available_left){s0=(P_A+P_B+P_C+P_D+P_I+P_J+P_K+P_L+4)/(2*BLOCK_SIZE);}//如當(dāng)前塊上塊和左塊存在，則塊內(nèi)亮度值為上塊參考點(diǎn)值與左塊參考點(diǎn)值的均值。//后面加上4是因?yàn)?8是右移（取整）操作，加上4可以轉(zhuǎn)換為四舍五入。elseif(!block_available_up&&block_available_left){s0=(P_I+P_J+P_K+P_L+2)/BLOCK_SIZE;}//如上塊不存在，則取左塊參考點(diǎn)值的均值elseif(block_available_up&&!block_available_left){s0=(P_A+P_B+P_C+P_D+2)/BLOCK_SIZE;}//同上else{s0=img->dc_pred_value;}//如都不存在，則取128for(j=0;j<BLOCK_SIZE;j++){for(i=0;i<BLOCK_SIZE;i++){img->mprr[DC_PRED][i][j]=s0;//直流預(yù)測(cè)，DC_PRED為預(yù)測(cè)模式。}}16×16亮度預(yù)測(cè)模式宏塊的全部16×16亮度成分可以整體預(yù)測(cè)，有4種預(yù)測(cè)模式，如下所示。16×16預(yù)測(cè)模式模式描述模式0（垂直）由上邊像素推出相應(yīng)像素值模式1（水平）由左邊像素推出相應(yīng)像素值模式2（DC）由上邊和左邊像素平均值推出相應(yīng)像素值模式3（平面）利用線形“plane”函數(shù)及左、上像素推出相應(yīng)像素值，適用于亮度變化平緩區(qū)域16×16亮度預(yù)測(cè)模式8×8色度塊預(yù)測(cè)模式

每個(gè)幀內(nèi)編碼宏塊的8×8色度成分由已編碼左上方色度像素預(yù)測(cè)而得，兩種色度成分常用同一種預(yù)測(cè)模式。4種預(yù)測(cè)模式類似于幀內(nèi)16×16預(yù)測(cè)的4種預(yù)測(cè)模式，只是模式編號(hào)不同。其中DC（模式0）、水平（模式1）、垂直（模式2）、平面（模式3）。

幀內(nèi)預(yù)測(cè)模式編碼例如：如果A塊和B塊的最優(yōu)預(yù)測(cè)模式均是預(yù)測(cè)模式2，那么，最可能當(dāng)前塊C的最優(yōu)預(yù)測(cè)模式是模式2對(duì)于當(dāng)前塊C,編解碼器按照如下方法計(jì)算probablepredictionmode＝min{predictionmodeofA,predictionmodesofB}當(dāng)A(或者B）的預(yù)測(cè)模式不可用時(shí)，predictionmodeofA＝2.例如

A和B塊的預(yù)測(cè)模式分別為3和1

mostprobablemodeforblockC=1編碼器為每個(gè)4x4塊發(fā)送一個(gè)標(biāo)記flag,解碼器按照如下方式解碼Ifflag==1,predictionmode=most_probable_modeIfflag==0Ifrem_intra4×4_pred_mode<most_probable_modepredictionmode=rem_intra4×4_pred_modeelsepredictionmode=rem_intra4×4_pred_mode+1這樣表示9中預(yù)測(cè)模式只需要8個(gè)值(0to7)

四、幀間預(yù)測(cè)

樹狀結(jié)構(gòu)運(yùn)動(dòng)補(bǔ)償

每個(gè)宏塊（16×16像素）可以4種方式分割：一個(gè)16×16，兩個(gè)16×8，兩個(gè)8×16，四個(gè)8×8。其運(yùn)動(dòng)補(bǔ)償也相應(yīng)有四種。而8×8分割還可以有四種方式的分割：一個(gè)8×8，兩個(gè)4×8或兩個(gè)8×4及4個(gè)4×4。這種分割下的運(yùn)動(dòng)補(bǔ)償則稱為樹狀結(jié)構(gòu)運(yùn)動(dòng)補(bǔ)償。樹狀結(jié)構(gòu)運(yùn)動(dòng)補(bǔ)償

每個(gè)分割或子宏塊都有一個(gè)獨(dú)立的運(yùn)動(dòng)補(bǔ)償。每個(gè)MV必須被編碼、傳輸，分割的選擇也需編碼到壓縮比特流中。對(duì)大的分割尺寸而言，MV選擇和分割類型只需少量的比特，但運(yùn)動(dòng)補(bǔ)償殘差在多細(xì)節(jié)區(qū)域能量將非常高。小尺寸分割運(yùn)動(dòng)補(bǔ)償殘差能量低，但需要較多的比特表征MV和分割選擇。分割尺寸的選擇影響了壓縮性能。整體而言，大的分割尺寸適合平坦區(qū)域，而小尺寸適合多細(xì)節(jié)區(qū)域。宏塊的色度成分（Cr和Cb）則為相應(yīng)亮度的一半（水平和垂直各一半）。色度塊采用和亮度塊同樣的分割模式，只是尺寸減半（水平和垂直方向都減半）。例如，8×16的亮度塊相應(yīng)色度塊尺寸為4×8，8×4亮度塊相應(yīng)色度塊尺寸為4×2等等。色度塊的MV也是通過(guò)相應(yīng)亮度MV水平和垂直分量減半而得。舉例：如下圖：一個(gè)殘差幀（沒有進(jìn)行運(yùn)動(dòng)補(bǔ)償）。H.264編碼器為幀的每個(gè)部分選擇了最佳分割尺寸，使傳輸信息量最小，并將選擇的分割加到殘差幀上。在幀變化小的區(qū)域（殘差顯示灰色），選擇16×16分割；多運(yùn)動(dòng)區(qū)域（殘差顯示黑色或白色），選擇更有效的小的尺寸。上圖是一幀圖像在沒有進(jìn)行運(yùn)動(dòng)補(bǔ)償前采用最優(yōu)分塊方式預(yù)測(cè)后的殘差信號(hào)?？梢钥闯?，圖中的背景等高頻信息很弱的部分塊劃分都比較大，但是在面部和肢體等細(xì)節(jié)較多的部分分塊比較小。采用最優(yōu)分塊方式劃分后的殘差信號(hào)幀

在H.264參考軟件模型中采用碼率失真優(yōu)化策略RDO(RateDistortionOptimisation)和窮盡搜索方式來(lái)選擇最佳的運(yùn)動(dòng)預(yù)測(cè)塊尺寸，即對(duì)各種塊模式依次進(jìn)行運(yùn)動(dòng)估計(jì)，再根據(jù)碼率-失真度優(yōu)化原則擇取最優(yōu)模式作為當(dāng)前宏塊的幀間預(yù)測(cè)模式，這樣會(huì)耗費(fèi)過(guò)多的編碼處理時(shí)間。因此有必要在運(yùn)動(dòng)估計(jì)之前選擇塊尺寸，以減少運(yùn)動(dòng)預(yù)測(cè)和RDO的計(jì)算量。：原始采樣點(diǎn)

：預(yù)測(cè)樣點(diǎn)

運(yùn)動(dòng)矢量幀間編碼宏塊的每個(gè)分割或者子宏塊都是從參考圖像某一相同尺寸區(qū)域預(yù)測(cè)而得。兩者之間的差異（MV）對(duì)亮度成分采用1/4像素精度，色度1/8像素精度。亞像素位置的亮度和色度像素并不存在于參考圖像中，需利用鄰近已編碼點(diǎn)進(jìn)行內(nèi)插而得。當(dāng)前幀的4×4塊通過(guò)鄰近參考圖像相應(yīng)區(qū)域預(yù)測(cè)。如果MV的垂直和水平分量為整數(shù)，參考?jí)K相應(yīng)像素實(shí)際存在。如果其中一個(gè)或兩個(gè)為分?jǐn)?shù)，預(yù)測(cè)像素通過(guò)參考幀中相應(yīng)像素內(nèi)插獲得。小數(shù)像素插值每一個(gè)幀間編碼的宏塊都是通過(guò)對(duì)參考幀中相同大小的宏塊預(yù)測(cè)得到的。兩個(gè)塊之間的位移即運(yùn)動(dòng)矢量對(duì)于亮度塊可以達(dá)到1/4像素的精度。由于在1/4像素位置上實(shí)際并沒有實(shí)際的像素存在。因此需要通過(guò)內(nèi)插來(lái)得到相應(yīng)位置上的像素值。圖中是當(dāng)前幀中的一個(gè)4×4大小的塊，可以通過(guò)相鄰的塊進(jìn)行預(yù)測(cè)。如果水平和垂直方向的位移矢量都是整數(shù)，如圖所示，那么可以通過(guò)采用已有的像素進(jìn)行內(nèi)插得到半像素精度的點(diǎn)，通過(guò)內(nèi)插得到的半像素點(diǎn)可以再次預(yù)測(cè)得到1/4像素精度的運(yùn)動(dòng)矢量，然后再進(jìn)行搜索。因此H.264的運(yùn)動(dòng)預(yù)測(cè)包含兩個(gè)步驟：首先進(jìn)行整像素搜索，其次再以整像素搜索最佳位置為中心進(jìn)行1/4像素搜索。

亮度半像素位置內(nèi)插內(nèi)插像素生成：生成參考圖像亮度成分半像素像素。半像素點(diǎn)（如b,h,m）通過(guò)對(duì)相應(yīng)整像素點(diǎn)進(jìn)行6抽頭濾波得出，權(quán)重為（1/32,-5/32,5/8,5/8,-5/32,1/32）。類似的，h由A、C、G、M、R、T濾波得出。一旦鄰近（垂直或水平方向）半素點(diǎn)的所有像素都計(jì)算出，剩余的半像素點(diǎn)便可以通過(guò)對(duì)6個(gè)垂直或水平方向的半像素點(diǎn)濾波而得。例如，j由cc,dd,h,m,ee,ff濾波得出。這里說(shuō)明的是，6抽頭濾器比較復(fù)雜，但可明顯改善運(yùn)動(dòng)補(bǔ)償性能。亮度1/4像素內(nèi)插半像素點(diǎn)計(jì)算出來(lái)以后，1/4像素點(diǎn)就可通過(guò)線性內(nèi)插得出，如圖4所示。1/4像素點(diǎn)（如a,c,i,k,d,f,n,q）由鄰近像素內(nèi)插而得，如

剩余1/4像素點(diǎn)（p,r）由一對(duì)對(duì)角半像素點(diǎn)線性內(nèi)插得出。如，e由b和h獲得。幀間預(yù)測(cè)：?像素精度CDABEKLMNOPFGHIJTURSccddeeffaabbgghhbacefgijkpqrdhnmsb1=(E-5F+20G+20H-5I+J)h1=(A-5C+20G+20M-5R+T)b=(b1+16)>>5h=(h1+16)>>5----------j1=cc-5dd+20h1+20m1-5ee+ffj=(j1+512)

>>10----------a=(G+b+1)>>1e=(b+h+1)>>1clippedto0~255clippedto0~2553、SP/SI幀編碼為了適應(yīng)視頻碼流帶寬自適應(yīng)特性和抗誤碼性能要求，在擴(kuò)展檔次中定義了兩種新的幀類型：SP幀(SwitchingPPicture)和SI幀(SwitchingPPicture)；SP/SI幀特有的編碼方法使壓縮碼流能在不插入I幀的情況下同樣實(shí)現(xiàn)碼流的隨機(jī)切換功能；SP幀可在諸如碼流拼接、隨機(jī)接入、快進(jìn)/快退等應(yīng)用中取代I幀，獲得比I幀更高的編碼效率；對(duì)于多參考幀模式下SP幀能采用統(tǒng)一的重建過(guò)程，更利于碼流錯(cuò)誤恢復(fù)和隱藏；通過(guò)使用SP/SI幀，能非常好的適應(yīng)視頻數(shù)據(jù)在各種傳輸環(huán)境下的應(yīng)用，如視頻監(jiān)視器之間快速切換、廣播電視插播、網(wǎng)絡(luò)錯(cuò)誤重發(fā)等。A0A1A2A3A4SP幀碼流AB0B1B2B3B4切換點(diǎn)碼流BP幀使用SI幀實(shí)現(xiàn)視頻流的拼接SI碼流拼接P幀P幀SI幀不使用運(yùn)動(dòng)補(bǔ)償，所以適合于兩種序列之間沒有相關(guān)性

主要的改進(jìn)方式：幀內(nèi)預(yù)測(cè)編碼幀間預(yù)測(cè)多模式選擇SP/SI低復(fù)雜度變換和量化對(duì)傳輸錯(cuò)誤的魯棒性和對(duì)不同網(wǎng)絡(luò)的適應(yīng)性H.264的問(wèn)題（1）雖然H.264/AVC的編碼效率遠(yuǎn)比以先前的視頻編碼標(biāo)準(zhǔn)高，但由于其具有相當(dāng)復(fù)雜的編碼技術(shù)及模式選擇，使得其運(yùn)算復(fù)雜度也遠(yuǎn)高于先前的編碼標(biāo)準(zhǔn)。根據(jù)JVT會(huì)議文件的評(píng)估結(jié)果，H.264參考編解碼軟件相較于MPEG-4，其編碼器復(fù)雜度約為10倍以上，而解碼器復(fù)雜度則為3倍以上。如此高的復(fù)雜度將使得H.264難以使用在具有即時(shí)需求的應(yīng)用上。因此如何在不致犧牲H.264/AVC的編碼效率之前提下，降低其運(yùn)算復(fù)雜度使其適于實(shí)用化的程度，為目前相當(dāng)重要的研究方向。H.264的問(wèn)題（2）此外，實(shí)際的無(wú)線和IP信道會(huì)導(dǎo)致誤碼產(chǎn)生，例如：無(wú)線信道中的多徑衰落產(chǎn)生誤碼和IP信道上的阻塞丟包等。由于信道帶寬的限制，視頻通信的數(shù)據(jù)往往是壓縮編碼以后的數(shù)據(jù)，而壓縮以后的數(shù)據(jù)對(duì)誤碼非常敏感，造成誤碼環(huán)境下恢復(fù)圖像質(zhì)量嚴(yán)重下降。因此，如何采用多種有效的抗誤碼方法來(lái)保證恢復(fù)視頻的質(zhì)量，也值得加以研究。靜態(tài)圖像壓縮標(biāo)準(zhǔn)H.26X/AVC視頻壓縮標(biāo)準(zhǔn)MPEG數(shù)字視頻壓縮標(biāo)準(zhǔn)MPEG-1

MPEG-1是1992年通過(guò)的視頻壓縮標(biāo)準(zhǔn)，用于CIF格式的視頻在速率約1.5Mbps的各種數(shù)字存儲(chǔ)介質(zhì)（如CD-ROM,DAT,硬盤及光驅(qū)等）上的編碼表示，主要應(yīng)用在交互式多媒體系統(tǒng)中；MPEG-1算法與H.261算法相似，它在1.5Mbps（視頻信號(hào)）速率下壓縮和解壓縮CIF格式的視頻質(zhì)量與VHS記錄的模擬視頻質(zhì)量相當(dāng)；它是一種通用標(biāo)準(zhǔn)，規(guī)定了編碼位流的表示語(yǔ)法和解碼方法，提供的支持操作有運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、DCT、量化和變長(zhǎng)編碼。MPEG-1的特點(diǎn)有：(1)隨機(jī)存取，(2)支持快速雙向搜索，(3)允許大約1秒的編碼/解碼延遲，比H.261的150ms內(nèi)的嚴(yán)格限制松得多。MPEG-2/H.262MPEG-2是1993年通過(guò)的視頻壓縮標(biāo)準(zhǔn)，用于高清晰度視頻和音頻的編碼，也包含用于可視電話中的超低碼率（8-32kbps）的壓縮編碼；MPEG-2是MPEG-1的兼容擴(kuò)展，廣泛應(yīng)用于各種速率（2-20Mbps）和各種分辨率情況下的場(chǎng)合；MPEG-2不僅接受逐行掃描視頻，也可以接受隔行掃描視頻，高清晰度視頻，提供可伸縮調(diào)節(jié)的位流，提供改進(jìn)的量化和編碼選項(xiàng)。MPEG-4

低于64kbps甚低數(shù)據(jù)率，交互式多媒體應(yīng)用標(biāo)準(zhǔn)；

MPEG-4利用了人眼視覺特性，抓住了圖像信息傳輸?shù)谋举|(zhì)，從輪廓、紋理思路出發(fā)，基于對(duì)內(nèi)容的訪問(wèn)；AV對(duì)象（AVO，AudioVisualObject）是MPEG-4為支持基于內(nèi)容編碼而提出的重要概念；視音頻已不再是圖像幀的概念，而是一個(gè)個(gè)視聽場(chǎng)景；把編碼對(duì)象從圖像幀到任意形狀的視頻對(duì)象，實(shí)現(xiàn)從基于像素的傳統(tǒng)編碼到基于對(duì)象和內(nèi)容的現(xiàn)代編碼。

采用開放的編碼系統(tǒng)，可隨時(shí)加入新的編碼算法模塊，同時(shí)也可根據(jù)不同應(yīng)用需求現(xiàn)場(chǎng)配置解碼器，以支持多種多媒體應(yīng)用；MPEG-7

多媒體內(nèi)容描述標(biāo)準(zhǔn)，支持對(duì)多媒體資源的組織管理、搜索、過(guò)濾和檢索；MPEG-21

多媒體框架和綜合應(yīng)用方面的框架。目標(biāo)是建立一個(gè)交互的多媒體框架,該標(biāo)準(zhǔn)致力于在大范圍的網(wǎng)絡(luò)上實(shí)現(xiàn)透明的傳輸和對(duì)多媒體資源的充分利用。對(duì)象形成及跟蹤基于語(yǔ)義基于對(duì)象基于像素對(duì)象特征提取MPEG-7MPEG-4MPEG-1MPEG-2數(shù)字聲像存儲(chǔ)壓縮編碼標(biāo)準(zhǔn)MPEG-1tIMPEG圖象序列······BBPBBIBBBBPMPEG-1(ISO/IEC11172)標(biāo)準(zhǔn)于1993年8月公布，用于傳輸1.5Mbit/s數(shù)據(jù)傳輸率的數(shù)字存儲(chǔ)媒體運(yùn)動(dòng)圖像及其伴音的壓縮編碼數(shù)據(jù)。MPEG-l標(biāo)準(zhǔn)主要用于多媒體存儲(chǔ)與再現(xiàn)，如VCD、硬盤和光盤等，它的任務(wù)是將視頻信號(hào)及高質(zhì)量伴音以可接受的重建質(zhì)量壓縮到約1.5Mbit/s的碼率，并復(fù)合成一個(gè)單一的MPEG位流，同時(shí)保證視頻和音頻的同步。簡(jiǎn)化的MPEG-1編碼框圖

基本的MPEG-1解碼器框圖有損1量化從10bits降為8bits無(wú)損2省略水平和垂直空白間隔有損3降低垂直方向色度分辨率(4:2:0)無(wú)損4活動(dòng)圖像的DPCM有損5DCT和量化無(wú)損6Z掃描和零序列的游程編碼無(wú)損7Huffman編碼－20％量化10bits到8bits270Mbit/s216Mbit/s－25％忽略水平和垂直空白間隔166Mbit/s-25%降低垂直色度分辨率(4:2:0)124.5Mbit/s進(jìn)一步數(shù)據(jù)壓縮步驟2～6Mbit/sDPCMZ掃描＋VLCHuffman編碼進(jìn)一步數(shù)據(jù)壓縮DCT＋量化MPEG-1視頻編碼和解碼1、視頻幀類型幀內(nèi)圖（intrapicture，I幀）——對(duì)I幀的編碼類似于JPEG，支持隨機(jī)存取，壓縮比低；預(yù)測(cè)圖（predictedpicture，P幀）——是運(yùn)動(dòng)主體在與I幀相隔一定時(shí)間，在同一背景上已有明顯變化的畫面。以前面I幀為參考，相同信息不發(fā)送只發(fā)送主體變化差值，進(jìn)行具有運(yùn)動(dòng)補(bǔ)償?shù)那跋蝾A(yù)測(cè)；雙向預(yù)測(cè)圖（bidirectionalpicture，B幀）——傳送I、P幀間的畫面，只反映運(yùn)動(dòng)主體變化情況，重放時(shí)即參考I也參考P，本身不做參考幀使用，不能用作預(yù)測(cè)參考；2、關(guān)鍵技術(shù)（1）幀序重排在編碼器端需要對(duì)輸入圖像重新排序，對(duì)按顯示順序輸入的序列，經(jīng)過(guò)幀序重排后成為按編碼順序排列，然后按I、P、B幀分別進(jìn)行編碼；（2）運(yùn)動(dòng)估計(jì)和補(bǔ)償（3）比特流緩沖器圖像壓縮首先處理I幀圖像，然后是P幀，最后在兩者的基礎(chǔ)上才處理B幀；MPEG編碼器算法允許選擇I圖像頻率（指每秒鐘出現(xiàn)I圖像的次數(shù)）和位置；一個(gè)典型的I、P、B圖像排列如下：I的距離為15；P的距離為3；“開放性”的視頻碼流：I

幀在碼流中出現(xiàn)的位置和頻率，可根據(jù)圖像序列中隨機(jī)存取和景物切換的需要進(jìn)行選擇。相鄰最近的I與P幀或P幀之間的B幀數(shù)目可以選擇。I，P，B三種圖象的數(shù)據(jù)壓縮比：2～5：1，5～10：1，20～30：1

圖象的編碼順序和顯示順序不相同。問(wèn)題：MPEG-1中編碼器、解碼器為什么會(huì)造成延時(shí)？如何減少延時(shí)？

解答：MPEG-1圖像編、解碼的顯示順序和編碼順序并不相同；顯示順序如下： IBBPBBPBBPBBIBBP 0123456789101112131415根據(jù)前向預(yù)測(cè)和雙向預(yù)測(cè)的關(guān)系，編碼順序如下：

IPBBPBBPBBIBBPBB 0123456789101112131415顯示順序上在前的B幀圖像，由于預(yù)測(cè)時(shí)參照靠后的P幀圖像，在傳輸存儲(chǔ)和解碼是必須先處理P幀圖像，因此在編碼順序上P幀圖像反而在B幀圖像之前；由于編碼順序和顯示順序之間的差異，帶來(lái)編、解碼總延時(shí)達(dá)0.8～1s；這種延時(shí)對(duì)廣播性質(zhì)的圖像傳輸不會(huì)帶來(lái)任何影響，因?yàn)橛脩舨⒉荒馨l(fā)現(xiàn)發(fā)射端與接收端信號(hào)起始時(shí)間的差異；對(duì)于交互性質(zhì)的圖像傳輸，如數(shù)字會(huì)議電視會(huì)帶來(lái)不便，如甲方向乙方提問(wèn)，由于雙向延時(shí)則會(huì)1.8～2s以后得到回答；為減小延時(shí)采用方法：通過(guò)減少B幀使兩個(gè)I幀之間的幀數(shù)減少，則編、解碼總延時(shí)下降；為進(jìn)一步減小延時(shí)，可以把B幀、P幀全部去掉。這樣可得零延時(shí)，此方式稱M-JPEG方式；此時(shí)壓縮比降到5:1～7:1,所以延時(shí)與壓縮倍數(shù)是互相矛盾的。I幀編碼算法P幀編碼算法B幀編碼算法MPEG-1視頻語(yǔ)法MPEG視頻圖像數(shù)據(jù)流是一個(gè)分層結(jié)構(gòu)，目的是把位流中邏輯上獨(dú)立的實(shí)體分開，防止語(yǔ)意模糊，并減輕解碼過(guò)程的負(fù)擔(dān)。MPEG視頻位流分層結(jié)構(gòu)共包括六層：每一層支持一個(gè)確定的函數(shù)；或是一個(gè)信號(hào)處理函數(shù)（DCT，運(yùn)動(dòng)補(bǔ)償）；或是一個(gè)邏輯函數(shù)（同步，隨機(jī)存取點(diǎn)）等；每一個(gè)層的開始有一個(gè)頭，作為說(shuō)明參數(shù)。MPEG-1編碼6層次：圖像序列、圖像組、圖片、 切片slice、宏塊、塊圖像序列層——由連續(xù)圖像組成，用序列終止符結(jié)束；圖像組層——圖像組（GOP）由幾幀連續(xù)圖像組成，是隨機(jī)存取單元，其第一幀總是I幀；圖像層——圖像（幀）編碼的基本單元，獨(dú)立的顯示單元；條帶層——由一幀圖像中的幾個(gè)宏塊組成，主要用于誤差恢復(fù)；宏塊層——一個(gè)宏塊由四個(gè)8×8的亮度塊和兩個(gè)8×8的色差塊組成；塊層——一個(gè)8×8的像素區(qū)域稱為一個(gè)塊，是最小的DCT單位。GOP1GOPSCGOP頭圖像1圖像2圖像3…圖像N圖像SC圖像頭條1條2條3…條m條SC條頭宏塊1宏塊2宏塊3…宏塊nY1宏塊編碼信息Y2Y3Y4C1C28×8系數(shù)塊序列層GOP層圖像層宏塊層像塊層序列SC序列擴(kuò)展序列頭GOP2…序列EC像條層MPEG-4視頻編碼和解碼MPEG-1和MPEG-2存在不足基于像素和像素塊的編碼，不能對(duì)圖像的內(nèi)容進(jìn)行查詢、編輯和選擇播放等操作，交互性較差；無(wú)法在同一場(chǎng)景中集成自然媒體與人造（合成）媒體；不支持超鏈接；不提供對(duì)低碼率應(yīng)用的支持，將圖像分成固定大小的塊，在高壓縮比情況下會(huì)有很嚴(yán)重的塊效應(yīng)。MPEG-4視頻編碼和解碼標(biāo)準(zhǔn)簡(jiǎn)介“基于音視頻對(duì)象的通用編碼算法”，其目的是為多媒體信息壓縮提供統(tǒng)一和開放的平臺(tái)，ISO/IEC14496，99年2月公布第一版草案，2000年初正式成為國(guó)際標(biāo)準(zhǔn)；目前，在Internet視頻、流媒體、無(wú)線通信等領(lǐng)域中得到廣泛應(yīng)用可支持的比特速率低速率可低到5～64kb/s，高速率高達(dá)5Mb/s

；旨在將各種多媒體應(yīng)用集成于一個(gè)完整的框架內(nèi)。層次結(jié)構(gòu)MPEG-4采用了基于對(duì)象的編碼方案。對(duì)象：一幅圖像中表征有含義的實(shí)體的一組區(qū)域；對(duì)象代替了像素，一幅圖像/視頻可以看作不能再分解的一組對(duì)象；一幅圖像可以包括一個(gè)或多個(gè)視頻對(duì)象，通過(guò)紋理、形狀、運(yùn)動(dòng)等方式來(lái)表征每一個(gè)視頻對(duì)象的時(shí)間、空間信息；基于對(duì)象的表征方法帶來(lái)了交互性；MPEG-4中所見的視音頻不再是圖像幀的概念，而是一個(gè)個(gè)視聽場(chǎng)景（AV場(chǎng)景），這些不同的AV場(chǎng)景由不同的AV對(duì)象組成；AV對(duì)象(Audio/VisualObjects)是聽覺、視覺、或者視聽內(nèi)容的表式單元，其基本單位