1、1,第4講 多媒體數(shù)據(jù)壓縮編碼標(biāo)準(zhǔn),2,4.1 靜態(tài)圖像壓縮標(biāo)準(zhǔn) jpeg,3,4.1.1 jpeg標(biāo)準(zhǔn)的主要內(nèi)容,iso/iec 10918號標(biāo)準(zhǔn)“多灰度連續(xù)色調(diào)靜態(tài)圖像壓縮編碼”即jpeg標(biāo)準(zhǔn)， 選定adct作為靜態(tài)圖像壓縮的標(biāo)準(zhǔn)化算法。 該標(biāo)準(zhǔn)為保證通用性，包含以下兩種方式： 空間方式 可逆編碼 空間方式對于基本系統(tǒng)和擴(kuò)展系統(tǒng)來說，被稱為獨(dú)立功能。 dct方式 非可逆編碼， 包含基本系統(tǒng)(必須保證的功能)和擴(kuò)展系統(tǒng)(擴(kuò)充功能),4,基本系統(tǒng)是實(shí)現(xiàn)dct編碼與解碼所需的最小功能集， 大多數(shù)的應(yīng)用系統(tǒng)只要用此標(biāo)準(zhǔn)， 就能基本上滿足要求。 擴(kuò)展系統(tǒng)是為了滿足更為廣闊領(lǐng)域的應(yīng)用要求而設(shè)置的。,5

2、,4.1.2 jpeg靜態(tài)圖像壓縮算法 1. 基于dpcm的無失真編碼,預(yù)測器,熵編碼器,表說明,無失真編碼器,源圖像數(shù)據(jù),壓縮圖像數(shù)據(jù),圖1 無失真編碼簡化框圖,6,基于dpcm的無失真編碼優(yōu)點(diǎn)是硬件易實(shí)現(xiàn)，重建圖像質(zhì)量好。 缺點(diǎn)是壓縮比太低， 大約為2：1。,7,工作原理是對x的預(yù)測值x，將x-x進(jìn)行無失真熵編碼。對x的求法見圖給出的預(yù)測方式。,(a) x鄰域,(b) 預(yù)測方式,圖2 預(yù)測器,8,2. 基于dct的有失真壓縮編碼,離散余弦變換 量化處理 dc系數(shù)的編碼和ac系數(shù)的行程編碼 熵編碼,9,圖3 基于dct編碼過程,fdct,熵編碼器,表說明,無失真編碼器,源圖像數(shù)據(jù),壓縮圖像數(shù)

3、據(jù),量化器,表說明,88塊,（yuv每個(gè)分量）,10,圖4 解碼過程,熵解碼器,idct,表說明,解碼器,逆量化器,表說明,88塊,壓縮圖像數(shù)據(jù),恢復(fù)的圖像數(shù)據(jù),11,離散余弦變換,(1)首先把原始圖像順序分割成88子塊； (2)采樣精度為p位(二進(jìn)制)， 把0， 2p-1范圍的無符號數(shù)變換成-2p-1，2p-1范圍的有符號數(shù)， 作為離散余弦正變換(fdct)的輸入； (3)在輸出端經(jīng)離散余弦逆變換(idct)后又得到一系列88子塊， 需將數(shù)值范圍-2p-1，2p-1變換回0， 2p-1來重構(gòu)圖像。,12,這里用的88 fdct的數(shù)學(xué)定義為： f(u， v)=(1/4)c(u) c(v) x=

4、07y=07 f(x，y) cos(2x+1)u/16)cos(2y+1)v/16) 88 idct的數(shù)學(xué)定義為： f(x， y)= (1/4)u=07v=07 c(u)c(v)f(u，v) cos(2x+1)u/16)cos(2y+1)v/16) 其中：c(u)， c(v)= 1/2 當(dāng)u， v=0 c(u)， c(v)=1 其他 下面的編碼針對fdct輸出的64個(gè)基信號的幅值(f(0，0)，f(7，7)稱作dct系數(shù))來進(jìn)行,13,量化處理,量化是一個(gè)“多到一”的過程，失真原因 關(guān)鍵是找最小量化失真的量化器， jpeg采用線性均勻量化器，定義為對64個(gè)dct系數(shù)除以量化步長， 然后四舍五入

5、取整： fq(u， v)=integer roundf(u， v)/q(u， v) q(u，v)是量化器步長，它是量化表的元素。量化表元素隨dct系數(shù)的位置和彩色分量不同有不同的值，量化表尺寸為88與64個(gè)變換系數(shù)一一對應(yīng)。 這個(gè)量化表應(yīng)由用戶規(guī)定(jpeg給出參考值-見后面表格)， 并作為編碼器的一個(gè)輸入。,14,表1 亮度量化表,15,表2 色度量化表,16,量化的作用是在一定主觀保真度圖像質(zhì)量前提下，丟掉那些對視覺影響不大的信息，通過量化可調(diào)節(jié)數(shù)據(jù)壓縮比。,17,dc系數(shù)的編碼,64個(gè)變換系數(shù)經(jīng)量化后， 坐標(biāo)u=v=0的f(0， 0)稱dc系數(shù)(直流分量)， 它即64個(gè)空域圖像采樣值的平

6、均值。 相鄰88塊之間dc系數(shù)有強(qiáng)相關(guān)性。jpeg對量化后的dc系數(shù)采用dpcm 編碼， 即對diff= dci-dci-1編碼。,blocki-1,blocki,dci-1,dci,dc系數(shù)差分編碼,18,ac系數(shù)的行程編碼,其余63個(gè)交流系數(shù)(ac)采用行程編碼。 從左上方ac0，1開始沿對角線方向“z”字形掃描直到ac7，7掃描結(jié)束， 這樣可增加行程中連續(xù)0的個(gè)數(shù)。 ac系數(shù)編碼的碼字用兩個(gè)字節(jié)表示，如圖所示：,圖5 z字形掃描,19,圖6 ac系數(shù)行程編碼碼字,兩個(gè)非0值間 連續(xù)0的個(gè)數(shù),表示下一個(gè) 非0值需要的bit數(shù),下一個(gè)非0實(shí)際值,7,4,3,0,字節(jié)1,字節(jié)2,例子：對“，3

7、，0，0，0，0，0，12，0，0，”編碼 ，(5，4)，(12)，.,20,熵編碼,為了進(jìn)一步壓縮數(shù)據(jù)，需對dc碼和ac行程編碼的碼字再做基于統(tǒng)計(jì)特性的熵編碼。 jpeg建議的熵編碼是huffman編碼和自適應(yīng)二進(jìn)制算術(shù)編碼。 熵編碼可分成兩步進(jìn)行： 把dc碼和ac行程碼轉(zhuǎn)換為中間符號序列 給這些符號賦以變長碼字,21,ac系數(shù)熵編碼的中間格式,熵編碼的中間格式由兩個(gè)符號組成： 符號1： (行程，尺寸) 符號2： (幅值) 第一個(gè)信息參數(shù)“行程”表示前后兩個(gè)非0的ac系數(shù)之間連續(xù)0的個(gè)數(shù)。 第二個(gè)信息參數(shù)“尺寸”是后一個(gè)非0的ac系數(shù)幅值編碼所需比特?cái)?shù)。,22,行程取值范圍為115， 超過1

8、5時(shí)用擴(kuò)展符號1 (15， 0)來擴(kuò)充， 63個(gè)ac系數(shù)最多增加3個(gè)擴(kuò)展符號1。編碼結(jié)束時(shí)用(0，0)表示。 “尺寸”取值范圍為010。 “幅值”用以表示非0的ac系數(shù)的值， 范圍為-210， 210-1(最長10bit)， 結(jié)構(gòu)形式如下表所示。,23,1 -1，1 2 -3.-2，2.3 3 -7.-4，4.7 4 -15.-8，8.15 6 7 8 9 -511.-256，256511 10 -1023.-512，5121023,表3 符號2結(jié)構(gòu),24,dc系數(shù)的熵編碼,對于直流分量dc也有類似于ac系數(shù)的編碼格式 符號1：(尺寸) 符號2：(幅值) “尺寸”表示dc差值的幅值編碼所需的比

9、特?cái)?shù)， 而“幅值”表示dc差值的幅值， 范圍為-211，211-1。可在表3中多加一級， 幅值尺寸以1到11比特表示。 將63個(gè)ac系數(shù)表示成為符號1和符號2序列，其中連續(xù)0的長度超過15時(shí)，有多個(gè)符號1； 塊結(jié)束(eob)時(shí)僅有一個(gè)符號1(0，0)。,25,“4，0，0，0，0，0，0，0，0，3，0”. 4，3之間有31個(gè)0. (15，0)，(15，0)，(1，0)，(3) 可變長度熵編碼就是對上述序列進(jìn)行變長編碼。 對dc系數(shù)、ac系數(shù)中的符號1采用huffman表中的變長碼編碼(vlc)，這里huffman變長碼表必須作為jpeg編碼器輸入。 符號2用碼字長度在表3中給出的變長整數(shù)vl

10、i碼編碼。vli是變長碼，但不是huffman碼。vli的長度存放在vlc中， jpeg提供vli碼字表供用戶使用,26,jpeg提供2套huffman碼表： 亮度和色度。每套又有dc表和ac表各1個(gè)。共有4個(gè)表。 表定義（亮度dc系數(shù)碼表） 16b說明碼字長度： x00 01 05 01 01 01 01 01 01 00 00 00 00 00 00 00 第i個(gè)(1-16)元素值表示長度為i的huffman碼個(gè)數(shù)。 緊跟一組值說明亮度表分類： x00 01 02 03 04 05 06 07 08 09 0a 0b,27,表4 亮度dc系數(shù)表,28,表5 色度dc系數(shù)表,29,表6 jp

11、eg壓縮效果評價(jià),30,3. 基于dct的累進(jìn)操作方式編碼,順序方式： 每個(gè)圖像分量的編碼一次掃描完成的； 累進(jìn)方式： 圖像分量編碼要經(jīng)過多次掃描才完成。 累進(jìn)方式 第一次掃描只進(jìn)行一次粗糙圖像的掃描壓縮， 以相對于總的傳輸時(shí)間快得多的時(shí)間傳輸粗糙圖像， 并重建一幀質(zhì)量較低的可識別圖像； 在隨后的掃描中再對圖像作較細(xì)的壓縮， 這時(shí)只傳遞增加的信息，可重建一幅質(zhì)量提高一些的圖像。這樣不斷累進(jìn)， 直到滿意的圖像為止。,31,需在量化器的輸出與熵編碼的輸入之間，增加一個(gè)足以存儲量化后dct系數(shù)的緩沖區(qū)，對緩沖區(qū)中存儲的dct系數(shù)多次掃描， 分批編碼。 有以下兩種累進(jìn)方式： 頻譜選擇法 掃描中只對64

12、個(gè)dct變換系數(shù)中某些頻帶的系數(shù)進(jìn)行編碼、傳送， 隨后對其他頻帶編碼、傳送， 直到全部系數(shù)傳送完畢為止。 按位逼近法 沿著dct量化系數(shù)有效位(表示系數(shù)精度的位數(shù))方向分段累進(jìn)編碼。如第一次掃描只取最高有效位的n位編碼、傳送， 然后對其余位進(jìn)行編碼、傳送。,32,4. 基于dct的分層操作方式,分層方式是對一幅原始圖像的空間分辨率，分成多個(gè)分辨率進(jìn)行“錐形”的編碼方法，水平(垂直)方向分辨率的下降以2的倍數(shù)因子改變。,圖7 分層操作方式,33,分層操作方式的過程,(1)把原始圖像空間分辨率降低。 (2)對已降低分辨率的圖像采用基于dct的順序方式、累進(jìn)方式或無失真預(yù)測編碼中的任何一種編碼方法進(jìn)

13、行編碼。 (3)對低分辨率的圖像解碼，重建圖像，使用插值濾波器，對它插值，恢復(fù)圖像的水平和垂直分辨率。 (4)把分辨率已升高的圖像作為原始圖像的預(yù)測值，對它們的差值采用基于dct的順序方式、累進(jìn)方式或用無失真方式進(jìn)行編碼。 (5)重復(fù)(3)、(4)直到圖像達(dá)到完整的分辨率編碼。,34,4.1.2 jpeg2000簡介,基于internet網(wǎng)絡(luò)的多媒體應(yīng)用， 給圖像編碼提出了新的要求. 2000年12月公布的新的jpeg 2000標(biāo)準(zhǔn)(iso 15444)， 其目標(biāo)是在高壓縮率的情況下， 如何保證圖像傳輸?shù)馁|(zhì)量。 jpeg中采用dct變換考察整個(gè)時(shí)域過程的頻域特征或整個(gè)頻域過程的時(shí)域特征。jpe

14、g2000采用以小波變換為主的多分辨率編碼方式。 jpeg2000統(tǒng)一了面向靜態(tài)圖像和二值圖像的編碼方式， 是既支持低比率壓縮又支持高比率壓縮的通用編碼方式。,35,該算法主要特點(diǎn)如下： (1)高壓縮率。與jpeg相比，可修復(fù)約30的速率失真特性。jpeg和jpeg2000在壓縮率相同時(shí)， jpeg2000的信噪比將提高30左右； (2)無損壓縮。預(yù)測編碼作為對圖像進(jìn)行無損編碼的成熟方法被集成在jpeg2000中； (3)漸進(jìn)傳輸。jpeg2000可實(shí)現(xiàn)以空間清晰度和信噪比為首的各種可調(diào)節(jié)性，從而實(shí)現(xiàn)漸進(jìn)傳輸，即具有“漸現(xiàn)”特性. (4)感興趣區(qū)域壓縮。jpeg2000 支持所謂的“感興趣區(qū)域

15、”。,36,4.2 運(yùn)動圖像壓縮標(biāo)準(zhǔn)mpeg,37,4.2.1 mpeg標(biāo)準(zhǔn)簡介,mpeg標(biāo)準(zhǔn)是面向運(yùn)動圖像壓縮的一個(gè)系列標(biāo)準(zhǔn)。 最初mpeg專家組的工作項(xiàng)目是3個(gè)，即在1.5mbps， 10mbps，40mbps傳輸速率下對圖像編碼， 分別命名為mpeg-1，mpeg-2， mpeg-3。mpeg-3后被取消. 為了滿足不同的應(yīng)用要求， mpeg又將陸續(xù)增加其他一些標(biāo)準(zhǔn)mpeg-4，mpeg-7，mpeg-21。,38,mpeg算法編碼過程和解碼過程是一種非鏡象對稱算法(不對稱)， 解碼過程要比編碼過程相對簡單些。 mpeg-1和mpeg-2只規(guī)定了解碼的方案， 重點(diǎn)將解碼算法標(biāo)準(zhǔn)化。因而用

16、硬件實(shí)現(xiàn)mpeg算法時(shí)， 人們首先實(shí)現(xiàn)mpeg的解碼器，如c-cube公司cl450解碼器系列。 最近幾年，隨著mpc性能的提高，軟件解壓功能也逐漸得到支持。,39,4.2.2 mpeg-1系統(tǒng),“用于數(shù)字存儲媒體運(yùn)動圖像及其伴音速率為1.5mbps的壓縮編碼”簡稱mpeg-1， 作為iso/iec 11172號建議于1992年通過。 主要用于在cd-rom存儲運(yùn)動視頻圖像， 它針對標(biāo)準(zhǔn)分辨率(ntsc制為352240； pal制為352288)的圖像進(jìn)行壓縮， 每秒30幀畫面， 具備cd音質(zhì)。 它還用于數(shù)字電話網(wǎng)絡(luò)上的視頻傳輸， 如非對稱數(shù)字用戶線路(adsl)、視頻點(diǎn)播、教育網(wǎng)絡(luò)等。 使用

17、mpeg-1的壓縮算法， 可將一部120分鐘長的電影壓縮到1.2gb左右。因此， 它被廣泛地應(yīng)用于vcd制作。,40,mpeg-1分為5個(gè)部分,(1)mpeg系統(tǒng)(11172-1)， 定義音頻、視頻及有關(guān)數(shù)據(jù)的同步； (2)mpeg視頻(11172-2)， 定義視頻數(shù)據(jù)的編碼和重建圖像所需的解碼過程，亮度信號分辨率為360240， 色度信號分辨率為180120； (3)mpeg音頻(11172-3)， 定義音頻數(shù)據(jù)的編碼和解碼； (4)一致性測試(11172-4)； (5) 軟件模擬(11172-5)。,41,圖2.15 mpeg-1解碼器原型,42,mpeg-1編解碼器原型： 多路復(fù)合而成的

18、碼流假設(shè)以介質(zhì)特定格式存儲在數(shù)字存儲介質(zhì)(dsm)或網(wǎng)絡(luò)上， 標(biāo)準(zhǔn)不規(guī)定介質(zhì)特定格式。 系統(tǒng)解碼器從輸入多路復(fù)合流中抽取定時(shí)信息，并對輸入流進(jìn)行分流處理， 輸出兩個(gè)基本流分別給視頻和音頻解碼器。 視頻和音頻解碼器分別解碼輸出視頻和聲音信號。,43,系統(tǒng)、視頻、音頻和介質(zhì)4個(gè)解碼器之間用定時(shí)信息進(jìn)行同步。 多路復(fù)合流構(gòu)造為2層： 系統(tǒng)層和壓縮層。系統(tǒng)解碼輸入的是系統(tǒng)層； 而視頻、音頻解碼器輸入的是壓縮層。,44,系統(tǒng)解碼器執(zhí)行兩類操作： 一類是作用在整個(gè)多路復(fù)合流上的操作，稱為復(fù)合流操作； 另一類是作用在單個(gè)基本流上的操作，稱為特定流操作。 系統(tǒng)層分為兩個(gè)子層： 一個(gè)子層稱為包(pack)，是復(fù)

19、合流操作對象； 另一個(gè)子層稱為組(packet)，它用于特定流操作。,45,mpeg音頻標(biāo)準(zhǔn)的特點(diǎn)： 音頻信號采樣率可以是32khz，44.1khz或48khz。 壓縮后的比特流可以按以下4種模式之一支持單聲道或雙聲道： 提供給單音頻通道的單聲道模式； 提供給兩個(gè)獨(dú)立的單音頻通道的雙-單聲道模式； 提供給立體聲通道的立體聲模式； 聯(lián)合立體聲模式，利用立體聲通道之間的關(guān)聯(lián)或通道之間相位差的無關(guān)性，或者對兩者同時(shí)利用。,46,mpeg音頻標(biāo)準(zhǔn)提供3個(gè)獨(dú)立的壓縮層次，用戶可在復(fù)雜性和壓縮質(zhì)量之間權(quán)衡選擇。 層1最簡單，使用比特率384kbps，主要用于dcc； 層2的復(fù)雜度中等，使用比特率192kb

20、ps左右， 主要應(yīng)用于數(shù)字廣播的音頻編碼、cd-rom上的音頻信號以及cd-i和vcd。 層3最為復(fù)雜，使用比特率64kbps，尤其適用于isdn上的音頻傳輸，有損壓縮但音質(zhì)保持逼真效果。 mp3音樂 是利用 mpeg audio layer 3 的技術(shù)， 聲音采用 1：10 甚至 1：12 的壓縮率,47,壓縮后的比特流具有預(yù)定義的比特率之一。mpeg音頻標(biāo)準(zhǔn)也支持用戶使用預(yù)定義的比特率之外的比特率。 編碼后的比特流支持循環(huán)冗余校驗(yàn)(crc)。 mpeg音頻標(biāo)準(zhǔn)還支持在比特流中載帶附加信息。,48,4.2.3 mpeg視頻數(shù)據(jù)流的結(jié)構(gòu),圖2.16 mpeg-1數(shù)據(jù)體系結(jié)構(gòu),運(yùn)動圖像序列,圖片

21、組,圖片,圖片切片,宏塊,塊,8像素,49,運(yùn)動序列 圖像組 圖像信號分3個(gè)部分： 一個(gè)亮度信號y和兩個(gè)色度信號u、v。,50,圖2.17 色度和亮度的位置關(guān)系 4：2：0采樣結(jié)構(gòu) 亮度信號y由偶數(shù)個(gè)行和偶數(shù)個(gè)列組成， 色度信號u、v分別取y信號在水平、垂直方向的1/2。如圖所示， 黑點(diǎn)代表色度u、v位置，亮度y位置用白圈表示。,51,4：2：2采樣結(jié)構(gòu),52,4：2：4采樣結(jié)構(gòu),53,塊： 一個(gè)塊由 一個(gè)88的亮度信息或色度信息組成。 宏塊一個(gè)宏塊由四個(gè)y塊，一個(gè)cb色差塊和一個(gè)cr色差塊組成，如圖所示。 圖2.18 宏塊的組成 圖像切片 由一個(gè)或多個(gè)連續(xù)的宏塊構(gòu)成。,y,u,v,8x8,8

22、x8,0,1,2,3,4,5,54,塊： 一個(gè)塊由 一個(gè)88的亮度信息或色度信息組成。 宏塊一個(gè)宏塊由四個(gè)y塊，兩個(gè)cb色差塊和兩個(gè)cr色差塊組成，如圖所示。,y,u,v,0,1,2,3,4,5,6,7,4：2：2宏塊結(jié)構(gòu),55,y,u,v,0,1,2,3,塊： 一個(gè)塊由 一個(gè)88的亮度信息或色度信息組成。 宏塊一個(gè)宏塊由四個(gè)y塊，兩個(gè)cb色差塊和兩個(gè)cr色差塊組成，如圖所示。,4：4：4宏塊結(jié)構(gòu),56,4.2.4 mpeg-1視頻編碼技術(shù),主要問題：一方面無法達(dá)到很高的壓縮比，另一方面用單一的靜止幀內(nèi)編碼方法能最好地滿足隨機(jī)存取的要求。 解決方法：對這兩個(gè)方面做了折衷考慮。即為了減少時(shí)間上冗

23、余性的基于塊的運(yùn)動補(bǔ)償技術(shù)和基于dct變換的減少空間上冗余性的adct技術(shù),57,在mpeg中將圖像分為3種類型： i圖像 利用圖像自身的相關(guān)性壓縮， 提供壓縮數(shù)據(jù)流中的隨機(jī)存取的點(diǎn)。 p圖像 用最近的前一個(gè)i圖像(或p圖像)預(yù)測編碼得到(前向預(yù)測)。 b圖像 b圖像在預(yù)測時(shí)， 既可使用前一個(gè)圖像作參照， 也可使用下一個(gè)圖像做參照或同時(shí)使用前后兩個(gè)圖像作為參照圖像(雙向預(yù)測)。,58,圖2.19 幀間預(yù)測,1 i,2 b,3 b,4 b,5 p,6 b,7 b,8 b,1 i,前向預(yù)測,雙向預(yù)測,59,運(yùn)動序列流的組成,圖2.20 典型的圖像類型的顯示次序,1秒,參照幀間有2個(gè)b圖像,每0.5

24、秒1幀i圖像,i b b p b b p b b p b b p b b i b b p b b p b b p b b p b b,60,傳輸順序,mpeg編碼器需對上述圖像重新排序， 以便解碼器高效工作， 因?yàn)閰⒄請D像必須先于b圖像恢復(fù)之前恢復(fù)。上述17幀圖像重排后圖像組次序?yàn)椋?4,2,1,3,7,5,6,i,p,b,b,p,b,b,61,運(yùn)動補(bǔ)償技術(shù),運(yùn)動補(bǔ)償技術(shù)主要用于消除p圖像和b圖像在時(shí)間上的冗余性提高壓縮效率。在mpeg方案中，運(yùn)動補(bǔ)償技術(shù)工作在宏塊一級。 b圖像宏塊有4種類型 幀內(nèi)宏塊， 簡稱i塊； 前向預(yù)測宏塊， 簡稱f塊； 后向預(yù)測宏塊， 簡稱b塊； 平均宏塊， 簡稱a塊

25、。 對于p圖像， 其宏塊只有i塊和f塊兩種。,62,無論b圖像和p圖像，i塊處理技術(shù)都與i圖像中采用技術(shù)一致即adct技術(shù)。 對于f塊、b塊和a塊，mpeg都采用基于塊的運(yùn)動補(bǔ)償技術(shù)。 f塊預(yù)測時(shí)其參照為前一個(gè)i圖像或p圖像 b塊預(yù)測時(shí)其參照為后一個(gè)i圖像或p圖像 對于a塊預(yù)測其參照為前后兩個(gè)i圖像或p圖像,63,基于塊的運(yùn)動補(bǔ)償技術(shù),基于塊的運(yùn)動補(bǔ)償技術(shù)，就是在其參照幀中尋找符合一定條件，當(dāng)前被預(yù)測塊的最佳匹配塊。 找到匹配塊后，有兩種處理方法： 一是在恢復(fù)被預(yù)測塊時(shí)，用匹配塊代替； 二是對預(yù)測的誤差采用adct技術(shù)編碼，在恢復(fù)被預(yù)測塊時(shí)，用匹配塊加上預(yù)測誤差。,64,表2.8 宏塊的預(yù)測方

26、式,65,4. mpeg-1視頻系統(tǒng),圖2.21 簡化的視頻編碼框圖,66,圖2.22 基本的視頻解碼器框圖,67,4.2.5 mpeg-2標(biāo)準(zhǔn),mpeg-2(iso/iec 13818)標(biāo)準(zhǔn)制定于1994年。它利用網(wǎng)絡(luò)提供的3100mbps的數(shù)據(jù)傳輸率來支持具有更高分辨率圖像的壓縮和更高的圖像質(zhì)量。 mpeg-2可支持交迭圖像序列，支持可調(diào)節(jié)性編碼，多種運(yùn)動估計(jì)方式，提供一個(gè)較廣的范圍改變壓縮比，以適應(yīng)不同畫面質(zhì)量、存儲容量和帶寬的要求。 它與mpeg-1兼容的基礎(chǔ)上實(shí)現(xiàn)了低碼率和多聲道擴(kuò)展：mpeg-2可以將一部120分鐘長的電影壓縮到48gb(dvd質(zhì)量)，其音頻編碼可提供左右中及兩個(gè)環(huán)

27、繞聲道、一個(gè)加重低音聲道和多達(dá)7個(gè)伴音聲道。,68,除了作為dvd的指定標(biāo)準(zhǔn)外，mpeg-2還可用于為廣播、有線電視網(wǎng)、電纜網(wǎng)絡(luò)等提供廣播級的數(shù)字視頻。不過對普通用戶來說，由于現(xiàn)在電視機(jī)分辨率的限制， mpeg-2所帶來的高清晰度畫面質(zhì)量(如dvd畫面)在電視上效果并不明顯， 倒是其音頻特性(如加重低音、多伴音聲道等)得到了廣泛的應(yīng)用。 mpeg-2 video 定義了不同的功能檔次(profiles) 每個(gè)檔次又分為幾個(gè)等級(levels)，一個(gè)等級為n的解碼器能夠?qū)ψ罡邽樵摰燃壍臄?shù)碼流解碼。,69,5個(gè)檔次, 簡單型（simple） 基本型（main） 信噪比可調(diào)型（snr scalabl

28、e） 空間可調(diào)型（spatial scalable） 增強(qiáng)型（high）,70,4個(gè)等級, 低級（low） 35228830， 它面向vcr并與mpeg-1兼容； 基本級（main） 72046030或72057625，它面向視頻廣播信號； 高1440級（high-1440） 1440108030或1440115225，它面向hdtv； 高級（high） 1920108030或1920115225，它面向hdtv。,71,11種規(guī)范,高級的基本型 mphl 高級的增強(qiáng)型 hphl 高-1440級的基本型 mph1440 高-1440級的空間可調(diào)型 ssph1440 高-1440級的的增強(qiáng)型 h

29、ph1440 基本級的簡單型 spml 基本級基本型 mpml 基本級的信噪比可調(diào)型 snpml 基本級的增強(qiáng)型 hpml 低級的基本型 mpll 低級的信噪比可調(diào)型 snpll,72,mpeg-2音頻,基本特性之一是向后與mpeg-1音頻兼容。 可以是5.1也可以是7.1通道的環(huán)繞立體聲。 5.1也稱為“3/2-立體聲加lfe”，其含義是播音現(xiàn)場前面可有3個(gè)喇叭通道(左、中、右)，后面可有2個(gè)環(huán)繞聲喇叭通道。lfe是低頻音效的加強(qiáng)通道。 7.1通道環(huán)繞立體聲與5.1類似，它另有中左、中右2個(gè)喇叭通道。,73,mpeg-2編碼方法,mpeg-2的編碼方法和mpeg-1區(qū)別主要是在隔行掃描制式下

30、， dct變換是在場內(nèi)還是在幀內(nèi)進(jìn)行由用戶自行選擇， 亦可自適應(yīng)選擇。 一般情況下， 對細(xì)節(jié)多、運(yùn)動部分少的圖像在幀內(nèi)進(jìn)行dct， 而細(xì)節(jié)少、運(yùn)動分量多的圖像在場內(nèi)進(jìn)行dct。 mpeg-2采用可調(diào)型和非可調(diào)型兩種編碼結(jié)構(gòu)。還可以使用一個(gè)基本層加上多個(gè)增強(qiáng)型的多層編碼結(jié)構(gòu)，這由用戶按質(zhì)量和壓縮比要求選擇使用.,74,圖2.23 mpeg-2亮度宏塊結(jié)構(gòu),75,4.2.6 mpeg-4標(biāo)準(zhǔn),國際標(biāo)準(zhǔn)mpeg-4 “甚低速率視聽編碼”于1998年11月公布， 它針對低速率下的視頻、音頻編碼， 更加注重多媒體系統(tǒng)的交互性和靈活性。 mpeg-4引入了av對象(avo)， 使得更多的交互操作成為可能：

31、“av對象”可以是一個(gè)孤立的人，也可以是這個(gè)人的語音或一段背景音樂等。 mpeg-4對av對象的操作主要有： 采用av對象來表示聽覺、視覺或者視聽組合內(nèi)容； 組合已有av對象來生成復(fù)合的av對象，并生成av場景； 對av對象的數(shù)據(jù)靈活地多路合成與同步，以便選擇合適的網(wǎng)絡(luò)來傳輸這些av對象數(shù)據(jù)； 允許接收端用戶在av場景中對av對象進(jìn)行交互操作等。,76,mpeg-4標(biāo)準(zhǔn)主要構(gòu)成部分： (1)傳輸多媒體集成框架(dmif)。主要用于解決交互網(wǎng)絡(luò)中、廣播環(huán)境下以及光盤應(yīng)用中多媒體應(yīng)用的操作問題。它是mpeg-4制訂的會話協(xié)議，用來管理多媒體數(shù)據(jù)流。通過傳輸多路合成比特信息來建立客戶端和服務(wù)器端的連

32、接與傳輸。 (2)場景描述。場景聲音視頻對象間的關(guān)系的描述體現(xiàn)在兩個(gè)層次：bifs描述場景中對象的空間時(shí)間安排，觀察者可以有與這些對象交互的可能性；在較低的層次上，對象描述子定義針對每個(gè)對象的基本流的關(guān)系，并提供諸如訪問基本流需要的url地址、譯碼器的特性、知識產(chǎn)權(quán)等其他信息。,77,mpeg-4具備與web3d x3d和w3c smil的互操作性。xmt格式可在smil播放器、vrml 和 mpeg-4 播放器間互換。 (3)音頻編碼。mpeg-4不僅支持自然聲音，而且支持合成聲音。mpeg-4的音頻部分將音頻的合成編碼和自然聲音的編碼相結(jié)合，并支持音頻的對象特征。支持midi和tts. (

33、4)視頻編碼。mpeg-4也支持對自然和合成的視覺對象的編碼。合成的視覺對象包括2d、3d動畫和人面部表情動畫等。 (5)緩沖區(qū)管理和實(shí)時(shí)解碼。mpeg-4定義了一個(gè)系統(tǒng)解碼模式(sdm)， 該解碼模式描述了一種理想的處理比特流句法語義的解碼裝置，它要求特殊的緩沖區(qū)和實(shí)時(shí)模式。通過有效地管理，可以更好地利用有限的緩沖區(qū)空間。,78,與mpeg-1和2相比，mpeg-4更適于交互av服務(wù)以及遠(yuǎn)程監(jiān)控，其設(shè)計(jì)目標(biāo)使它具有更廣的適應(yīng)性和可擴(kuò)展性：mpeg-4傳輸速率可在4.8-64kbps之間，分辨率為176144， 可以利用很窄的帶寬通過幀重建技術(shù)壓縮和傳輸數(shù)據(jù)。 它將應(yīng)用在數(shù)字電視、動態(tài)圖像、互

34、聯(lián)網(wǎng)、實(shí)時(shí)多媒體監(jiān)控、移動多媒體通信、internet/intranet上的視頻流與可視游戲、dvd上的交互多媒體等方面。 mpeg-4用mpeg-4壓縮算法的asf（高級流格式）可以將120分鐘的電影壓縮為300mb左右的視頻流；采用mpeg-4壓縮算法的divx（digital video express）編碼技術(shù)可以將120分鐘的電影壓縮600mb左右，也可以將一部 dvd影片壓縮到 2 張 cd-rom上.,79,mpeg-4屬于一種高比率有損壓縮算法，其圖像質(zhì)量始終無法和dvd的mpeg-2相比， 畢竟dvd的存儲容量較大。 要想保證高速運(yùn)動的圖像畫面不失真， 必須有足夠的碼率，目前

35、mpeg-4的碼率雖然可以調(diào)到和dvd差不多，但總體效果還有不小的差距。因此， 對圖像質(zhì)量要求較高的專業(yè)視頻領(lǐng)域暫時(shí)還不能采用。,80,圖2.25 mpeg-4視頻編碼器的算法方框圖,81,圖2.26 mpeg-4終端的構(gòu)成(接收端),82,背景全景圖+視頻對象(vo)=合成圖像 圖2.27 mpeg-4應(yīng)用實(shí)例,83,4.3 視聽通信編碼解碼標(biāo)準(zhǔn)h.26x,84,4.3.1 h.261方案,itu推薦的h.261方案標(biāo)題“64kbps視聲服務(wù)用視象編碼方式”， 又稱為p64kbps視頻編碼標(biāo)準(zhǔn)。 p取值范圍為1-30。p=1或2時(shí)，僅能支持qcif (quarter common inter

36、mediate format)(176144)分辨率格式， 每秒幀數(shù)較低的可視電話；當(dāng)p6時(shí)，則可支持圖像分辨率格式為cif (common intermediate format)(352288)的電視會議。,85,4.3.2 p64kbps視頻壓縮編碼算法,p64kbps壓縮算法采用基于dct的變換編碼和帶有運(yùn)動預(yù)測的dpcm預(yù)測編碼的混合方法。 p64kbps標(biāo)準(zhǔn)的壓縮算法與mpeg-1標(biāo)準(zhǔn)有許多共同之處， 只是傳輸速率p64kbps覆蓋較寬的信道頻帶， 而mpeg-1是基于較窄的頻帶上傳輸。,86,圖2.28 h.261編碼器,87,圖2.29 利用cif的優(yōu)點(diǎn),88,4.3.3 視頻

37、層次數(shù)據(jù)結(jié)構(gòu),p64kbps標(biāo)準(zhǔn)采用層次塊的視頻數(shù)據(jù)結(jié)構(gòu)形式， 使高壓縮視頻編碼算法得以實(shí)現(xiàn)。 p64kbps標(biāo)準(zhǔn)的視頻編碼定義一個(gè)視頻數(shù)據(jù)結(jié)構(gòu)cif保證解碼器對接收到的比特流進(jìn)行沒有二義性的正確解碼。 利用cif格式， 可使不同制式的各國電視信號變換為統(tǒng)一的中間格式， 然后輸入給編碼器， 從而使編碼器本身不必意識信號是來自哪種制式的。 h.261標(biāo)準(zhǔn)適合各種各樣實(shí)時(shí)視覺應(yīng)用，如位率不同(p不同)， 運(yùn)動效果和圖像質(zhì)量不同，位率提高、畫面質(zhì)量改善。,89,圖2.30 視頻數(shù)據(jù)結(jié)構(gòu)圖,圖像頭,qcif幀圖,塊組1,塊組2,塊組3,塊組1頭,宏塊1,宏塊2,宏塊33,宏塊1頭,亮度塊1,亮度塊4,

38、色度塊1,色度塊2,dct 系數(shù),dct 系數(shù),塊 結(jié)束,90,圖2.31 圖像數(shù)據(jù)層次結(jié)構(gòu),幀,qcif,塊組,1,2,3,4,5,6,宏塊,8,cif,塊,8,91,為了適應(yīng)b-isdn的atm傳輸需要， itu與mpeg聯(lián)合發(fā)布iso/iec 13818， 分別稱為h.262和mpeg-2標(biāo)準(zhǔn)， 它與h.261和mpeg-1兼容。 h.263是itu-t制定的適合于低速視頻信號的壓縮標(biāo)準(zhǔn)。大多數(shù)用戶相當(dāng)一段時(shí)間內(nèi)最方便的是公用電話線， 以v.34為標(biāo)準(zhǔn)的調(diào)制解調(diào)器支持在電話線中傳輸速率可達(dá)28.8kbps或33.6kbps， 甚至56kbps。 h.263是在h.261基礎(chǔ)上擴(kuò)展形成的，

39、 支持的圖像格式包括sub-qcif(12896)， qcif， cif， 4cif， 16cif (14081152)等。其中主要采用的改進(jìn)技術(shù)有：,4.3.4 視聽業(yè)務(wù)視頻壓縮標(biāo)準(zhǔn)發(fā)展,92,(1)半像素精度的運(yùn)動補(bǔ)償 在h.261中，運(yùn)動矢量的精度為1個(gè)像素， h.263運(yùn)動矢量的估值精度達(dá)到半個(gè)像素。精度的提高使運(yùn)動補(bǔ)償后的幀間誤差減少，從而降低了碼率。 (2)不受限的運(yùn)動矢量 當(dāng)運(yùn)動跨越圖像邊界時(shí)， 由運(yùn)動矢量所確定的宏塊位置可能有一部分落在邊界之外， 此時(shí)可以用邊界上的像素值表示界外的像素值，從而降低預(yù)測誤差。 (3) 用基于句法的算術(shù)編碼代替huffman編碼(可選項(xiàng)) 這是一種

40、效率較高的自適應(yīng)算術(shù)編碼。,93,(4) 先進(jìn)的預(yù)測模式(可選項(xiàng)) 對宏塊中的4個(gè)亮度塊分別進(jìn)行運(yùn)動估值獲得4個(gè)運(yùn)動矢量。雖然此時(shí)傳輸運(yùn)動矢量的比特?cái)?shù)增加一些，但由于預(yù)測誤差的大幅度降低，仍然使總碼率降低。 (5) pb幀模式(可選項(xiàng)) 雖然使用雙向預(yù)測的b幀可以降低碼率， 但是卻要引入附加的編碼延時(shí)和解碼延時(shí)。為了降低延時(shí)， h.263采用了p幀和b幀作為一個(gè)單元來處理的方式， 即將p幀和由該幀與上一個(gè)p幀所共同預(yù)測的b幀一起進(jìn)行編碼。,94,4.4 h.264視頻編碼標(biāo)準(zhǔn),h.264是由itu-t的視頻編碼專家組（vceg）與iso/iec的mpeg組成的聯(lián)合視頻工作組（jvt）共同制定的

41、新一代視頻壓縮編碼標(biāo)準(zhǔn)。 該標(biāo)準(zhǔn)于2003年3月正式獲得批準(zhǔn)。,95,4.4 h.264視頻編碼標(biāo)準(zhǔn),視頻的各種應(yīng)用必須通過各種網(wǎng)絡(luò)傳送，這要求一個(gè)好的視頻方案能處理各種應(yīng)用和網(wǎng)絡(luò)接口。h.264為了解決這個(gè)問題，提供了很多靈活性和客戶定制化特性。h.264的設(shè)計(jì)方案包含兩個(gè)層次：視頻編碼層（vcl）和網(wǎng)絡(luò)抽象層（nal）。 視頻編碼層主要致力于有效地表示視頻內(nèi)容，包括vcl編碼器與vcl解碼器，主要功能是視頻數(shù)據(jù)壓縮編碼和解碼。vcl的設(shè)計(jì)和以前的標(biāo)準(zhǔn)一樣，也是采用運(yùn)動補(bǔ)償預(yù)測、變換編碼、量化、熵編碼的混合編碼模式。但它采用了“回歸基本”的簡潔設(shè)計(jì)，不用眾多的選項(xiàng)，獲得了比h.263好得多的

42、性能。,96,h.264主要有以下特點(diǎn),編碼效率高。在相同的重建圖像質(zhì)量下，h.264與h.263+、mpeg-4基本“檔次”相比，最多可節(jié)省50%的碼率。 對信道時(shí)延的適應(yīng)性較強(qiáng)。h.264既可工作于低時(shí)延模式以滿足實(shí)時(shí)業(yè)務(wù)，如會議電視等；又可工作于無時(shí)延限制的場合，如視頻存儲等。 在編/解碼器中采用復(fù)雜度可分級設(shè)計(jì)，支持不同網(wǎng)絡(luò)資源下的分級編碼傳輸。網(wǎng)絡(luò)抽象層格式化vcl視頻表示，為vcl提供一個(gè)與網(wǎng)絡(luò)無關(guān)的統(tǒng)一接口，它負(fù)責(zé)對視頻碼流進(jìn)行封裝打包后使其在網(wǎng)絡(luò)中傳送。它采用了面向ip包的編碼機(jī)制，有利于網(wǎng)絡(luò)中的分組傳輸，支持網(wǎng)絡(luò)中視頻的流媒體傳輸。 容錯(cuò)能力強(qiáng)：h.264加強(qiáng)了對誤碼和丟包的

43、處理，提高解碼器的差錯(cuò)恢復(fù)能力，可適應(yīng)丟包率高、干擾嚴(yán)重的無線信道中的視頻傳輸，能提供連續(xù)、流暢的高質(zhì)量圖像回放。 網(wǎng)絡(luò)的適應(yīng)性強(qiáng)。h.264的碼流能容易地在不同網(wǎng)絡(luò)上傳輸。,97,h.264的主要特性,(1)運(yùn)動補(bǔ)償預(yù)測 h.264的運(yùn)動補(bǔ)償支持以往的視頻編碼標(biāo)準(zhǔn)中大部分關(guān)鍵特性，而且靈活地添加了更多的功能，除了支持p幀、幀外，h.264還支持一種新的流間傳送幀sp幀。碼流中包含sp幀后，能在類似內(nèi)容但有不同碼率的碼流之間快速切換，同時(shí)支持隨機(jī)接入和快速回放模式。,98,h.264的主要特性,(2)4*4整數(shù)變換 以前的標(biāo)準(zhǔn)，如h.263或mpeg-4，都是采用8*8的dct。h.264使用

44、了基于4*4像素塊類似于dct的變換，但使用的是以整數(shù)為基礎(chǔ)的變換，不存在反變換因取舍而存在誤差的問題。與浮點(diǎn)數(shù)相比，整數(shù)dct會引起一些額外的誤差，但因?yàn)閐ct后的量化也存在量化誤差，與之相比，整數(shù)dct引起的量化誤差影響并不大。此外，整數(shù)dct還具有減少運(yùn)算量和復(fù)雜度，有利于向定點(diǎn)dsp移植的優(yōu)點(diǎn)。,99,h.264的主要特性,(3) 基于空間預(yù)測的幀內(nèi)編碼 視頻編碼是通過去除圖像的空間與時(shí)間相關(guān)性來達(dá)到壓縮的目的。空間相關(guān)性通過有效的變換來去除，如dct、h.264的整數(shù)變換；時(shí)間相關(guān)性則通過幀間預(yù)測來去除。h.264在空域中將相鄰塊邊沿的像素值直接進(jìn)行外推，作為對當(dāng)前塊幀內(nèi)編碼圖像的預(yù)

45、測值，更有效地去除相鄰塊之間的相關(guān)性，極大地提高了幀內(nèi)編碼的效率。,100,h.264的主要特性,(4) 量化 h.264中可選32種不同的量化步長，這與h.263中有31個(gè)量化步長很相似，但是在h.264中，步長是以12.5%的復(fù)合率遞進(jìn)的，而不是一個(gè)固定常數(shù)。,101,h.264的主要特性,(5) 基于上下文的熵編碼 視頻編碼處理的最后一步就是熵編碼，h.264標(biāo)準(zhǔn)采用了兩種基于上下文的熵編碼：一種是上下文自適應(yīng)的可變長編碼（cavlc）；另一種是上下文自適應(yīng)二進(jìn)制算術(shù)編碼（cabac）。 h.264除了具有編碼效率高的特性外，還具有很強(qiáng)的容錯(cuò)能力和網(wǎng)絡(luò)適應(yīng)性。,102,4.5 聲音壓縮標(biāo)

46、準(zhǔn),103,4.5.1 聲音編碼,聲音包括語音和音樂， 是多媒體系統(tǒng)中兩類重要數(shù)據(jù)。 聲音數(shù)據(jù)表征是一個(gè)一維時(shí)變系統(tǒng)，特別對于語音數(shù)據(jù)，人們已經(jīng)找到了較合理的聲道模型，因此聲音數(shù)據(jù)的壓縮要比圖像數(shù)據(jù)的壓縮容易。,104,統(tǒng)計(jì)表明，語音過程是一個(gè)近似的短時(shí)平穩(wěn)隨機(jī)過程. 短時(shí)是指在1030ms的范圍。 由于語音信號的這一性質(zhì)，使得我們有可能將語音信號劃分為一幀一幀進(jìn)行處理，每一幀內(nèi)的信號近似地滿足同一模型這是本方法假設(shè)的基本前提。 在實(shí)用中，一般一幀的寬度為20ms。,105,語音的基本參數(shù)包括 基音周期 共振峰 語音譜 聲強(qiáng)。,106,語音生成機(jī)構(gòu)的模型,語音生成機(jī)構(gòu)的模型由3部分組成 聲源

47、共鳴機(jī)構(gòu) 放射機(jī)構(gòu) 聲源共有3類： 元音、摩擦音、爆破音。 共鳴機(jī)構(gòu) 也稱聲道，由鼻腔、口腔與舌頭組成。 放射機(jī)構(gòu) 由嘴唇和鼻孔組成，功能是發(fā)出聲音并傳播出去。,107,圖2.32 語音生成機(jī)構(gòu)的數(shù)字模型,108,模型的描述,與此語音生成機(jī)構(gòu)模型相對應(yīng)的聲源由基音周期參數(shù)描述， 聲道由共振峰參數(shù)描述， 放射機(jī)構(gòu)則由語音譜和聲強(qiáng)描述。 dpcm，adpcm等波形預(yù)測技術(shù)是音樂和實(shí)時(shí)語音數(shù)據(jù)壓縮技術(shù)的主要方法。 雖然該方法與基于語音識別的方法和基于參數(shù)分析合成的方法相比有壓縮能力差的缺點(diǎn)， 但算法簡單，容易實(shí)現(xiàn)， 以及能夠較好地保持原有聲音的特點(diǎn)等優(yōu)點(diǎn)， 因而在語音數(shù)據(jù)壓縮的標(biāo)準(zhǔn)化推薦方案中最先被考慮。,109,參數(shù)編碼的壓縮率很大， 但計(jì)算量大， 保真度不高， 適合語音信號的編碼。 混合編碼介于波形編碼和參數(shù)編碼之間， 集中了兩者優(yōu)點(diǎn)。,110,4.5.2 itu語音標(biāo)準(zhǔn)化方案,16kbps itu語音標(biāo)準(zhǔn)化方案g.728 32kbps itu語音標(biāo)準(zhǔn)化方案g.721 64kbps itu語音標(biāo)準(zhǔn)化方案g.722,111,1. 16kbps語音標(biāo)準(zhǔn)化方案g.728,使用領(lǐng)域統(tǒng)一在包括可視電話、數(shù)字移動通信、無繩電話、衛(wèi)星通信、dcme、isdn等范圍內(nèi)。 對于以上所提到的應(yīng)用范圍，約束條件是語音質(zhì)量在32kbps adpcm的同等或以上，