摘要 q l l l l ll tl l l l l l lll l l lll u l ll l l l l l l l l l l i y 19 5 8 5 71 隨著因特網(wǎng)和3 g 移動(dòng)通信技術(shù)的發(fā)展，數(shù)字視頻的傳輸和處理成了目前的 熱點(diǎn)技術(shù)，如何更好的提高數(shù)字視頻的壓縮效果是其中的關(guān)鍵技術(shù)。新一代視頻 壓縮編碼標(biāo)準(zhǔn)h 2 6 4 a v c 的提出很好的從理論上提高了目前的視頻壓縮水平，而 通過超大規(guī)模集成電路完成該算法的硬件實(shí)現(xiàn)，則可以高效的將該算法應(yīng)用于各 個(gè)領(lǐng)域。 在h 2 6 4 a v c 標(biāo)準(zhǔn)中，采用了支持1 4 像素精度的運(yùn)動(dòng)估計(jì)算法，并且支持 自適應(yīng)塊大小和幀場自適應(yīng)編碼。這些都大大增加了運(yùn)動(dòng)估計(jì)的運(yùn)算復(fù)雜度，本 文提出了一種支持m b a f f ( m a c r o b l o c ka d a p t i v ef r a m ef i e l dc o d i n g ，宏塊級(jí)幀場 自適應(yīng)編碼) 運(yùn)動(dòng)估計(jì)引擎的v l s i 實(shí)現(xiàn)。通過創(chuàng)新的并行模塊架構(gòu)和高效的s a d 匹配運(yùn)算單元，僅通過一次s a d 匹配運(yùn)算，就可以得到不同塊大小、不同編碼模 式下的s a d 結(jié)果，通過判決得到一個(gè)編碼宏塊對(duì)的最優(yōu)的塊分割和幀場模式判 決。 對(duì)本文設(shè)計(jì)進(jìn)行綜合與性能分析，結(jié)果表明，在最壞的情況下，本文中的設(shè) 計(jì)仍能夠在l1 0 9 個(gè)時(shí)鐘周期內(nèi)完成一個(gè)宏塊的運(yùn)動(dòng)估計(jì)，同時(shí)，綜合時(shí)鐘頻率可 以達(dá)到1 5 0 m h z 。因此，本文設(shè)計(jì)可實(shí)現(xiàn)高性能的運(yùn)動(dòng)估計(jì)運(yùn)算，并且能夠用于 大分辨率視頻圖像的實(shí)時(shí)編碼。 關(guān)鍵字：h 2 6 4 a v c m b a f f運(yùn)動(dòng)估計(jì)v l s i a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ei n t e m e ta n d3 gm o b i l ec o m m u n i c a t i o n st e c h n o l o g y , t h et r a n s m i s s i o na n dp r o c e s s i n go fd i g i t a lv i d e oh a sb e c o m et h ec u r r e n th o t t e c h n o l o g y , h o w t ob e t t e ri m p r o v et h ee f f e c to fd i g i t a lv i d e oc o m p r e s s i o ni st h ek e y t e c h n o l o g i e s t h ep r o p o s i t i o no fh 2 6 4 a v cv i d e oc o m p r e s s i o na n dc o d i n gf o rn e w g e n e r a t i o ns t a n d a r db e t t e ri m p r o v et h ec u r r e n tl e v e lo fv i d e oc o m p r e s s i o ni nt h e o r y , a n dt h eh a r d w a r ei m p l e m e n t a t i o no ft h ea l g o r i t h mh a sb e e nc o m p l e t e db yv l s i ，t h e a l g o r i t h mc a r lb ee f f i c i e n t l yu s e di nv a r i o u sf i e l d s i nh 2 6 4 a v cs t a n d a r d ，a d o p t e ds u p p o r t1 4p i x e lr e s o l u t i o nm o t i o ne s t i m a t i o n a l g o r i t h m ，a n ds u p p o r ta d a p t i v eb l o c ks i z ea n df r a m ef i e l da d a p t i v ec o d i n g ，t h e s ea r e g r e a t l yi n c r e a s e dt h ec o m p u t i n gc o m p l e x i t yo fm o t i o ne s t i m a t i o n , t h i sp a p e rp u t s f o r w a r do nv l s ia r c h i t e c t u r es u p p o r t i n gm b a f fm o t i o ne s t i m a t i o ne n g i n e t h r o u g hi n n o v a t i v ep a r a l l e lm o d u l es t r u c t u r ea n de f f i c i e n ts a dm a t c h i n go p e r a t i o n u n i t , w ec a ng e td i f f e r e n tb l o c ks i z e ，d i f f e r e n tc o d i n gm o d e ss a dr e s u l t sb yo n l yo n e s a dm a t c h i n gc o m p u t a t i o nt og e tt h eo p t i m a lb l o c ks e g m e n t a t i o na n df r a m ef i e l d m o d ed e c i s i o n a f t e rc o m p r e h e n s i v ea n a l y s i so ft h i sd e s i g n , t h er e s u l t ss h o w st h a ti nt h ew o r s t c a s e ，m o t i o nc o m p e n s a t i o no fo n em a c r o b l o c kc a nb ef i n i s h e di n110 9c l o c kc y c l e s 、訪t l lt h i sd e s i g n a n di ta c h i e v e sa15 0 m h zo p e r a t i o nf r e q u e n c y t h u s ，t h ep r o p o s e d a r c h i t e c t u r ec a na c h i e v eah i g hp e r f o r m a n c em o d ed e c i s i o nf o rm a c r o b l o c kc o d i n g ， a n dc a nb cu s e df o rl a r g e - r e s o l u t i o nr e a l t i m ev i d e oc o d i n g k e y w o r d s ：h 2 6 4 a v c m b a f fm o t i o ne s t i m a t i o nv l s i 第一章緒論 1 第一章緒論 1 1 引言 隨著信息技術(shù)的迅猛發(fā)展，全球化的數(shù)字網(wǎng)絡(luò)，各種多媒體終端，正將人類 社會(huì)帶入了一個(gè)全新的信息化社會(huì)。而由于語音、圖像、視頻等多媒體信息的直 觀性，在互聯(lián)網(wǎng)以及日常應(yīng)用中正扮演著越來越重要的角色，特別是細(xì)節(jié)豐富的 高質(zhì)量視頻h d t v 技術(shù)，已經(jīng)成為我們生活中必不可少的一部分。 伴隨著多媒體信息的高速發(fā)展，海量數(shù)據(jù)的存儲(chǔ)和傳輸已經(jīng)成為阻礙人們獲 取有效信息、音視頻享受的主要瓶頸。因此，除了不斷的拓展網(wǎng)絡(luò)帶寬外，在現(xiàn) 有帶寬的基礎(chǔ)上，如何提高效率，研究更為有效的數(shù)字視頻壓縮編碼方法，以壓 縮的形式存儲(chǔ)和傳輸這些信息一直是人們的努力方向之一。 多年來，國內(nèi)外許多學(xué)者和研究機(jī)構(gòu)在圖像和視頻的壓縮編碼領(lǐng)域進(jìn)行了大 量的研究，并取得了長足的進(jìn)步。這主要體現(xiàn)在一系列視頻壓縮標(biāo)準(zhǔn)的相繼問世。 由國際標(biāo)準(zhǔn)化組織i s o i e c 的聯(lián)合圖像專家組j p e g 制定的j p e g 系列標(biāo)準(zhǔn)以及 運(yùn)動(dòng)圖像專家組m p e g 制定的m p e g 系列標(biāo)準(zhǔn)為圖像和視頻壓縮編碼技術(shù)的發(fā) 展做出了重要的貢獻(xiàn)。m p e g 1 作為第一個(gè)成熟的視頻編碼標(biāo)準(zhǔn)，將視頻應(yīng)用帶 入了v c d 時(shí)代，m p e g 2 更是帶來了十余年的d v d 黃金時(shí)代，然而，這些都未 能滿足人們對(duì)高清視頻的應(yīng)用需求。由國際電信聯(lián)盟i t u t 的視頻編碼專家組 v c e g 和國際標(biāo)準(zhǔn)化組織i s o i e c 的運(yùn)動(dòng)圖像專家組m p e g 聯(lián)合推出的新一代視 頻編碼標(biāo)準(zhǔn)h 2 6 4 ，將視頻編碼技術(shù)推向了一個(gè)新的高度。 作為最新的視頻編碼標(biāo)準(zhǔn)，h 2 6 4 a v c 提出了整數(shù)4 4 d c t 變換，環(huán)內(nèi)去塊 效應(yīng)濾波，c a b a c 以及更高級(jí)的幀內(nèi)和幀間預(yù)測，這些新技術(shù)大大的增加了 h 2 6 4 的編碼效率，使其廣泛的應(yīng)用于從手持設(shè)備到高清電視的各種多媒體終端。 但是，這些新技術(shù)也大大增加了編碼的復(fù)雜度。 目前，有很多硬件資源高效的實(shí)現(xiàn)了h 2 6 4 視頻壓縮編碼：基于d s p 平臺(tái)的 開發(fā)方式主要由德州儀器公司主導(dǎo)，通過推出的d a v i n c i 系列d s p 芯片，滿足了 不同場合的多媒體應(yīng)用；富士通公司開發(fā)了成熟的專用芯片m b 8 6 h 5 1 ，滿足高 清實(shí)時(shí)編碼需求；另外，基于現(xiàn)有的m 核也可以在f p g a 上進(jìn)行開發(fā)。 1 2 數(shù)字視頻標(biāo)準(zhǔn)的發(fā)展 各個(gè)視頻編碼標(biāo)準(zhǔn)的發(fā)布一定程度上推動(dòng)了視頻壓縮編碼的研究，并且使得 對(duì)研究結(jié)果的應(yīng)用成為可能。視頻壓縮編碼標(biāo)準(zhǔn)主要由以下兩個(gè)相關(guān)組織制定： 一是國際化標(biāo)準(zhǔn)組織i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 下屬的運(yùn) 動(dòng)圖像專家組m - p e g ( m o v i n g p i c t u r ee x p e r tg r o u p ) ，制定了m p e g 1 、m p e g 2 2 支持m b a f f 運(yùn)動(dòng)估計(jì)引擎的v l s i 設(shè)計(jì)與研究 和m p e g 4 等一系列視頻壓縮標(biāo)準(zhǔn)；另一個(gè)是國際電信聯(lián)盟i t u 下屬的視頻編碼 專家組v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) ，制定了h 2 6 1 、h 2 6 3 、h 2 6 3 + 和 h 2 6 3 + + 等。這些已有的視頻編碼標(biāo)準(zhǔn)提出了很多視頻壓縮編碼的基本方法和努 力方向，在算法計(jì)算量受到當(dāng)時(shí)硬件水平制約的前提下，代表了各個(gè)時(shí)期的視頻 編碼的發(fā)展水平。最新的國際視頻編碼標(biāo)準(zhǔn)h 2 6 4 a v c 由m p e g 和v c e g 共同 組成的聯(lián)合視頻小組t ( j o i n tv i d e ot e a m ) 制定，該標(biāo)準(zhǔn)結(jié)合了多種更為先進(jìn) 的視頻編碼技術(shù)，通過更高的計(jì)算量，獲得了比以往各種編碼標(biāo)準(zhǔn)更為優(yōu)越的性 能。不僅顯著提高了壓縮比，而且增加了網(wǎng)絡(luò)親和性，被稱作新一代視頻編碼標(biāo) 準(zhǔn)【1 1 。 表1 1 給出了h 2 6 x 和m p e g x 的簡單性能概括【3 h 。7 】： 表1 1h 2 6 x 和m p e g x 視頻編碼標(biāo)準(zhǔn)的介紹 標(biāo)準(zhǔn)發(fā)布日期標(biāo)題應(yīng)用場合 m 【p e g 11 9 9 2 1 1 面向數(shù)字存儲(chǔ)的活動(dòng)圖像及v c d 、家用視頻、視 其伴音的編碼頻監(jiān)控等 m 噼e g - 21 9 9 4 1 l活動(dòng)圖像及其伴音的通用編數(shù)字電視、d v d 、高 碼清晰電視、衛(wèi)星電視 等 m p e g _ 41 9 9 9 5音頻視頻對(duì)象的通用編碼i p 網(wǎng)、交互式視頻、 移動(dòng)通信、專業(yè)視頻 等 h 2 6 11 9 9 0 1 2 p x 6 4 k b i t s s 的音視頻業(yè)務(wù)i s d n ( 綜合業(yè)務(wù)數(shù)字 的編解碼網(wǎng)) 及視頻會(huì)議 h 2 6 31 9 9 6 3低比特率的視頻編碼高效壓縮應(yīng)用、網(wǎng)絡(luò) h 2 6 3 +1 9 9 8 1 l 視頻通信 h 2 6 3 + +2 0 0 0 1 1 h 2 6 4 ，a v c2 0 0 3 3 h 2 6 4 a v c 視頻壓縮編碼標(biāo)各種場合 準(zhǔn) h 2 6 4 s v c2 0 0 3 5 h 2 6 4 增修案：可分級(jí)視頻網(wǎng)絡(luò)視頻傳輸 編碼( s v c ) 隨著大規(guī)模集成電路技術(shù)和工藝的提高，應(yīng)用層次上的視頻編碼所能接受的 運(yùn)算復(fù)雜度也不斷提高；因此，使得精度更高、壓縮性能更好但是運(yùn)算復(fù)雜度提 高的關(guān)鍵技術(shù)得以在標(biāo)準(zhǔn)中體現(xiàn)。m p e g - x 系列標(biāo)準(zhǔn)和h 2 6 x 系列標(biāo)準(zhǔn)均呈現(xiàn)了 壓縮性能和運(yùn)算復(fù)雜度都不斷提高的特點(diǎn)。在h 2 6 4 中，算法復(fù)雜度比它的上一 代算法h 2 6 3 提高了3 倍，比m p e g 4 提高了2 倍，同時(shí)，同等質(zhì)量條件下的壓 縮比比h 2 6 3 提高了2 倍，比m p e g - 4 提高了1 5 倍左右【l 】。 除了上述國際視頻編碼標(biāo)準(zhǔn)外，我國于2 0 0 3 年提出了具有自主知識(shí)產(chǎn)權(quán)的音 第一章緒論 3 視頻編碼標(biāo)準(zhǔn)a v s ( a d v a n c ev i s u a ls y s t e m s ) 標(biāo)準(zhǔn)i s 。a v s 視頻標(biāo)準(zhǔn)是在h 2 6 4 標(biāo)準(zhǔn)的框架上，采用了改進(jìn)的的核心技術(shù)實(shí)現(xiàn)編碼的，主要包括：8 x 8 整數(shù)變換、 幀內(nèi)預(yù)測、1 4 精度像素插值、熵編碼等。與h 2 6 4 視頻編碼標(biāo)準(zhǔn)相比，a v s 擁 有性能高、編碼復(fù)雜度低等特點(diǎn)；并且，該標(biāo)準(zhǔn)專利授權(quán)模式簡單，使用費(fèi)用低。 上面所述的視頻編碼標(biāo)準(zhǔn)從編碼思想上大致可以分為兩類。一類是基于信號(hào) 處理理論的編碼方法，以像素為基本處理對(duì)象，如預(yù)測編碼、正交變換、矢量量 化等，對(duì)視頻內(nèi)容進(jìn)行處理。這類算法不依賴視頻場景，算法可靠，技術(shù)成熟， h 2 6 4 a v c 是這一類編碼方式的典型代表。另一類是基于內(nèi)容的編碼方法，通過 建立編碼模型，把一個(gè)場景描述成幾個(gè)物體和背景，編碼對(duì)象是物體和背景的形 狀、紋理和運(yùn)動(dòng)。這類算法的性能依賴對(duì)圖像的理解，如局部特征的編碼、運(yùn)動(dòng) 特征、邊界、紋理特性等。m p e g - 4 面向?qū)ο蟮木幋a思想就屬于這一類型。這類 方法，算法較復(fù)雜，性能不穩(wěn)定，方法不夠成熟，因此沒有得到廣泛的采納與應(yīng) 用。 1 3 本文的研究背景、內(nèi)容及意義 高效的視頻壓縮編解碼技術(shù)是下一代多媒體通信系統(tǒng)中的關(guān)鍵技術(shù)。目前絕 大多數(shù)的視頻編碼算法都采用混合編碼框架，在這一框架下，運(yùn)動(dòng)估計(jì)是去除幀 間冗余、提高壓縮比的關(guān)鍵步驟，因此，其算法及實(shí)現(xiàn)備受關(guān)注。 在視頻編碼技術(shù)的發(fā)展過程中，運(yùn)動(dòng)估計(jì)對(duì)提高壓縮比的貢獻(xiàn)越來越大。多 幀預(yù)測、可變塊大小以及1 4 像素精度預(yù)測等多項(xiàng)技術(shù)的集成運(yùn)用極大地提高了 預(yù)測精度，但同時(shí)也使得運(yùn)算復(fù)雜度成倍地增加?？勺儔K大小技術(shù)提高了0 1 d b 到0 9 d b 的圖像質(zhì)量，而對(duì)于每一個(gè)宏塊對(duì)( m bp a i r ) 采用幀場自適應(yīng)( m b a f f ) 的技術(shù)使圖像質(zhì)量提高了大約0 5 d b t g 。編碼器復(fù)雜度的提高主要體現(xiàn)在運(yùn)動(dòng)估計(jì) 技術(shù)的提高，從最簡單的結(jié)構(gòu)到復(fù)雜結(jié)構(gòu)，運(yùn)動(dòng)估計(jì)的運(yùn)算量已占到整個(gè)編碼器 運(yùn)算量的6 0 到9 0 ，并且，下一代視頻編碼標(biāo)準(zhǔn)中運(yùn)動(dòng)估計(jì)的復(fù)雜度將會(huì)進(jìn)一 步提高【1 1 。為了滿足視頻序列實(shí)時(shí)編碼的需要，人們提出了多種運(yùn)動(dòng)估計(jì)算法， 如u m h e x a g o n s 、p i e d i c t i v ez o n a ls e a r c h 掣2 1 ，這些算法通過對(duì)搜索區(qū)域內(nèi)的部分 而不是全部位置進(jìn)行搜索得到近似最優(yōu)的運(yùn)動(dòng)向量，從而降低運(yùn)算量，提高運(yùn)算 速度。 隨著多媒體技術(shù)的發(fā)展，高清視頻在越來越多的場合被使用，并且要求實(shí)時(shí) 編解碼的應(yīng)用也越來越多。通過v l s i 來實(shí)現(xiàn)h 2 6 4 的高清實(shí)時(shí)編碼可以高效能 低功耗的滿足這個(gè)需求。由于其中運(yùn)動(dòng)估計(jì)模塊占用大部分的運(yùn)算量，基于硬件 實(shí)現(xiàn)時(shí)如何減少該模塊的資源和運(yùn)算時(shí)間是整個(gè)設(shè)計(jì)的關(guān)鍵。然而對(duì)于硬件實(shí)現(xiàn)， 典型的運(yùn)動(dòng)估計(jì)快速算法存在普遍的缺點(diǎn)【l o j ：一是由于沒有對(duì)全部位置進(jìn)行搜 4 支持m b a f f 運(yùn)動(dòng)估計(jì)引擎的v l s i 設(shè)計(jì)與研究 索，因此得到的運(yùn)動(dòng)向量是近似最優(yōu)的，并且可能出現(xiàn)運(yùn)動(dòng)失配的情況；二是這 些快速算法多是基于軟件提出的，在硬件實(shí)現(xiàn)過程中要面臨各種各樣的難題，例 如不可知的數(shù)據(jù)流，不規(guī)律的內(nèi)存讀寫，較低的資源利用率，不便于做并行處理 在蕾 寸。 并且，對(duì)于m b a f f 算法，由于對(duì)同一個(gè)宏塊對(duì)既要進(jìn)行幀模式的預(yù)測，又 要進(jìn)行場模式的預(yù)測，使運(yùn)算量增加了兩倍。因此，對(duì)于要求實(shí)時(shí)性的編碼過程 更難以實(shí)現(xiàn)。在y u 1 1 】中，提出了單次運(yùn)算解決幀場自適應(yīng)的算法。但是在y u 的 算法中，以判斷當(dāng)前宏塊運(yùn)動(dòng)劇烈程度的方式來直接確定最終進(jìn)行幀模式還是場 模式的運(yùn)算方式，對(duì)于運(yùn)動(dòng)劇烈的圖像，統(tǒng)一采用場模式來進(jìn)行運(yùn)動(dòng)估計(jì)，而對(duì) 于運(yùn)動(dòng)平緩的圖像，采用幀模式來進(jìn)行運(yùn)動(dòng)估計(jì)。這樣的做法雖然減少了計(jì)算量， 但是無疑會(huì)帶來很大的誤差。 在本文中，我們提出了一種單通道的幀場自適應(yīng)算法。通過使用創(chuàng)新的 c m e + f m e 的并行運(yùn)動(dòng)估計(jì)模塊設(shè)計(jì)，更好的分配了兩個(gè)并行模塊的工作量。在 c m e 中，對(duì)于每一個(gè)宏塊對(duì)，我們在一個(gè)s a d 通道中同時(shí)計(jì)算幀模式下的最優(yōu) 匹配位置和場模式下的最優(yōu)匹配位置，并且進(jìn)行最終的模式判別，得到4 ：l 橫向 下采用精度的運(yùn)動(dòng)估計(jì)結(jié)果?；赾 m e 的結(jié)果，在f m e 中，我們通過實(shí)時(shí)插值 完成1 4 像素精度的運(yùn)動(dòng)向量。并且，我們完成了基于該運(yùn)動(dòng)估計(jì)引擎的v l s i 設(shè)計(jì)，在支持m b a f f 、可變塊大小( a b s ，a d a p t i v eb l o c ks i z e ) 、1 4 像素精度 運(yùn)動(dòng)向量的情況下，仍然可以實(shí)時(shí)完成大分辨率序列的運(yùn)動(dòng)估計(jì)。 1 4 論文的組織與安排 本文的主要內(nèi)容和安排如下： 第一章緒論。主要介紹了數(shù)字視頻編碼標(biāo)準(zhǔn)的發(fā)展歷程以及國內(nèi)外 h 2 6 4 a v c 編碼運(yùn)動(dòng)估計(jì)技術(shù)的研究現(xiàn)狀以及課題研究的背景、內(nèi)容及意義。 第二章運(yùn)動(dòng)估計(jì)算法研究。首先介紹了h 2 6 4 a v c 的編碼器原理。然后主要 講述了h 2 6 4 a 、，c 的運(yùn)動(dòng)估計(jì)算法，特別詳述了支持幀場m b a f f 的運(yùn)動(dòng)估計(jì)算 法。 第三章支持m b a f f 運(yùn)動(dòng)估計(jì)引擎實(shí)現(xiàn)原理。首先介紹了本文中采用的適于 硬件實(shí)現(xiàn)的支持m b a f f 的運(yùn)動(dòng)估計(jì)算法的算法原理，然后介紹了其中的關(guān)鍵技 術(shù)。 第四章系統(tǒng)的硬件實(shí)現(xiàn)、綜合與性能分析。首先給出了當(dāng)前運(yùn)動(dòng)估計(jì)的整體 框架結(jié)構(gòu)，并對(duì)框架中的關(guān)鍵模塊進(jìn)行了詳細(xì)的v l s i 設(shè)計(jì)；然后給出了整體設(shè) 計(jì)的時(shí)序與周期安排；最后是綜合結(jié)果以及性能分析。 第五章結(jié)束語。對(duì)本文的主要工作進(jìn)行了總結(jié)，提出了本文中算法可以改進(jìn) 第一章緒論 s 的地方以及支持m b a f f 運(yùn)動(dòng)估計(jì)算法的研究方向。 6 支持m b a f f 運(yùn)動(dòng)估計(jì)引擎的v l s i 設(shè)計(jì)與研究 第二章運(yùn)動(dòng)估計(jì)算法研究 7 第二章運(yùn)動(dòng)估計(jì)算法研究 2 1h 2 6 4 a v c 視頻編碼標(biāo)準(zhǔn) h 2 6 4 a v c 由i s o i e c 和i t u t 組成的聯(lián)合視頻小組( t ) 制定，于2 0 0 3 年5 月正式公布。h 2 6 4 通過采用d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n 差 分脈沖編碼調(diào)制) 和變換編碼相結(jié)合的混合編碼模式及一系列高性能的關(guān)鍵技術(shù) 獲得了出色的壓縮性能。和m p e g - 4 相比，在同等的圖像質(zhì)量下，h 2 6 4 的編碼 碼率可以降低一半左右；在同樣的碼率要求下，h 2 “又可以明顯提高視頻質(zhì)量。 另外，h 2 6 4 增加了網(wǎng)絡(luò)親和性，增加了差錯(cuò)恢復(fù)能力，能夠很好的適應(yīng)各種網(wǎng) 絡(luò)應(yīng)用1 1 1 1 2 1 。 圖2 1h 2 6 4 編碼器結(jié)構(gòu)框圖 如圖2 1 所示，當(dāng)前幀或場f n 以宏塊為單位輸入到編碼器中操作。編碼器由 前向編碼通路和反向重建通路組成。在前向編碼通路中，每一個(gè)宏塊按照幀內(nèi)預(yù) 測編碼和幀間預(yù)測編碼，并通過選擇得到預(yù)測值p 。在幀內(nèi)預(yù)測模式下，p 由當(dāng) 前幀f n 中相鄰的已重建宏塊預(yù)測產(chǎn)生；在幀間模式下，p 由一個(gè)或多個(gè)參考幀經(jīng) 過運(yùn)動(dòng)估計(jì)預(yù)測得到，圖中用f n - l 表示參考圖像，即已完成編碼的重建圖像。 預(yù)測值p 與當(dāng)前宏塊相減后得到殘差塊d n ，對(duì)殘差宏塊d n 進(jìn)行d c t 變換和量 化后產(chǎn)生一組量化后的變換系數(shù)x ，對(duì)殘差系數(shù)和預(yù)測模式信息進(jìn)行熵編碼，得 到最終的壓縮后的碼流。在幀間預(yù)測過程中，為了保證解碼端參考圖像和編碼端 的一致性，預(yù)測必須使用重建圖像，這就要求編碼器必須有反向重建圖像通路， 在反向重建通路中，解碼后的宏塊量化系數(shù)x 經(jīng)過反量化與反變換形成殘差宏塊 d n ，d n 與預(yù)測值p 相加后得到u f n ( 未經(jīng)濾波) 。為了去除宏塊單位編碼過程中 產(chǎn)生的塊效應(yīng)，提高編碼圖像的主觀質(zhì)量，使u f n 經(jīng)過一個(gè)環(huán)路濾波器減輕圖像 的方塊效應(yīng)，濾波后的輸出f 1 1 ，即為重建圖像，可用作參考。 8 支持m b a f f 運(yùn)動(dòng)估計(jì)引擎的v l s i 設(shè)計(jì)與研究 2 2 運(yùn)動(dòng)估計(jì)算法介紹 在幀間預(yù)測編碼中，由于活動(dòng)圖像鄰近幀中的場景存在著一定的相關(guān)性。因 此可以將活動(dòng)圖像分成若干大小合適的塊，我們假設(shè)，這些塊在相鄰幀中也存在 并且只是進(jìn)行了簡單的線性運(yùn)動(dòng)。運(yùn)動(dòng)估計(jì)技術(shù)就是設(shè)法搜索出每個(gè)塊在鄰近幀 圖像中的位置，并得到兩者的相對(duì)運(yùn)動(dòng)偏移，這個(gè)相對(duì)偏移量就是通常所說的運(yùn) 動(dòng)向量，得到這個(gè)運(yùn)動(dòng)向量的過程叫做運(yùn)動(dòng)估計(jì)l l j 。 預(yù)測誤差和運(yùn)動(dòng)向量經(jīng)過熵編碼發(fā)送到解碼端之后，解碼端得到運(yùn)動(dòng)向量之 后，從對(duì)應(yīng)的參考幀圖像中找到相應(yīng)的塊或宏塊，和預(yù)測誤差相加后就得到了當(dāng) 前幀中當(dāng)前塊或宏塊位置的數(shù)據(jù)。 通過運(yùn)動(dòng)估計(jì)可以去除視頻序列中的時(shí)間冗余度，使得視頻傳輸?shù)谋忍財(cái)?shù)大 大減少。因此，運(yùn)動(dòng)估計(jì)是視頻壓縮編碼的重要環(huán)節(jié)。 2 2 1 運(yùn)動(dòng)估計(jì)的方法 設(shè)r 時(shí)刻的幀圖像為f ( x ，y ) ，t 時(shí)刻的幀圖像為參考幀廠( x ，y ) ；在時(shí)間上參 考幀可以超前或者滯后于當(dāng)前幀。一般的運(yùn)動(dòng)估計(jì)方法如下。如圖2 2 所示，在t 5式( 2 3 ) h = ( + 1 6 ) 5式( 2 - 4 ) 在半采樣位置添加j 由下面得到： j = 一5 d d + 2 0 h 7 + 2 0 m - 5 e e + f f 式( 2 - 5 ) 此時(shí)的中間值c c 、d d 、e e 、h 、m 和由類似h 的方式得到。最終歹的 預(yù)測值由歹= u + 5 1 2 ) 1 0 計(jì)算得到并且限制在0 到2 5 5 的范圍內(nèi)。 在1 4 像素位置，計(jì)算方法如圖2 4 所示；例如： a = ( g + 6 + 1 ) l 式( 2 6 ) 剩余位置計(jì)算方式同a ，只是采用的參考點(diǎn)位置不同。 對(duì)色度信號(hào)給定1 8 像素精度的m v ，插值方法如圖2 5 所示。其中： a = r o u n d ( ( s - d x x 8 - d y ) 彳+ 出( 8 一砂) b + ( 8 一d x ) d y c + d x d y d 】6 4 ) 瓣圈：該 一二。i i 一上 i|；1蓉薤，晤譬藩 第二章運(yùn)動(dòng)估計(jì)算法研究 1 l 式( 2 7 ) 例如，當(dāng)d ) 【_ 2 ，d y = 3 時(shí)： a = r o u n d ( 3 0 a + 1 0 b + 1 8 c + 6 d 】6 4 )式( 2 8 ) 2 2 2 運(yùn)動(dòng)搜索算法 ? a ：bj 耷 l d v t _ d x _ i- a j 8 -印 ，7 d i ：c j 7囊 圖2 5 色度信號(hào)雙線性內(nèi)插示意圖 為了獲得和當(dāng)前編碼宏塊匹配的運(yùn)動(dòng)矢量，通常采用的運(yùn)動(dòng)搜索算法是塊匹 配法，即在特定搜索窗內(nèi)尋找與當(dāng)前塊最匹配的數(shù)據(jù)塊。判定當(dāng)前塊和參考?jí)K的 匹配程度就需要匹配準(zhǔn)則，匹配準(zhǔn)則的定義直接影響了編碼的運(yùn)算復(fù)雜度和編碼 效率。常見的運(yùn)動(dòng)匹配準(zhǔn)則有以下幾種【1 】： 設(shè)當(dāng)前幀為廠，參考幀為廠7 ， 1 ) 最小均方差函數(shù)匹配 m s e ( m v ) = z f ( x ，m v ) - f ( x ) i 。 式( 2 - 9 ) 2 ) 閾值差別計(jì)數(shù) n t d ( m v ) = z g ( f ( x ，m v ) - f ( x ) )式( 2 1 0 ) 其中： 當(dāng)l a 一盧i t o 時(shí)，g ( 口一盧) = 1 ； 當(dāng)i 口一j 6 i l t o 時(shí)，g ( a 一盧) = 0 3 ) 絕對(duì)差值和準(zhǔn)則，等效于最小平均誤差準(zhǔn)則，性能好且算法簡單，得到廣 泛應(yīng)用。 s a d ( m v ) = l 廠( x ，m v ) - f ( x ) l 在通過塊匹配算法進(jìn)行運(yùn)動(dòng)估計(jì)的過程中，利用匹配準(zhǔn)則進(jìn)行匹配運(yùn)算是最 主要的計(jì)算量，因此我們可以從這一方面減少計(jì)算量，降低編碼復(fù)雜度。由于幀 支持m b a f f 運(yùn)動(dòng)估計(jì)引擎的v l s i 設(shè)計(jì)與研究 內(nèi)圖像的相鄰像素點(diǎn)仍具有較高的相關(guān)性，利用這部分相關(guān)性可以只讓圖像中的 部分像素參與運(yùn)算，即將塊中所有圖像組成集合的一個(gè)子集參與運(yùn)算，這種算法 稱為子集匹配法。實(shí)驗(yàn)表明，在匹配誤差無明顯增加的情況下，采用這種匹配算 法可以大大減少每幀圖像的平均搜索時(shí)間。 子集匹配算法的優(yōu)點(diǎn)是運(yùn)算量小，缺點(diǎn)是無法確保選取的子集能代表當(dāng)前塊 的特征。因此也可以采用對(duì)當(dāng)前編碼塊和搜索窗進(jìn)行下采樣，并在下采樣之后的 圖像上進(jìn)行運(yùn)動(dòng)搜索的算法，下采樣的圖像更好的保留了原圖像的大部分特征， 因此具有更好的匹配效果。本文中介紹的設(shè)計(jì)就是采用這種運(yùn)動(dòng)估計(jì)方法。 在運(yùn)動(dòng)搜索過程中，也有各種優(yōu)化方法可以使誤差匹配函數(shù)找到極小值或近似極 小值，即當(dāng)前塊對(duì)應(yīng)的最佳匹配位置或近似最佳匹配位置。而運(yùn)動(dòng)搜索算法的選 取，直接影響了編碼的運(yùn)算復(fù)雜度和效率。 搜索算法包括全局搜索算法及快速搜索算法，快速搜索算法雖然只能得到次 最佳的匹配結(jié)果，但是大大減少了運(yùn)算量。眾多的視頻流實(shí)驗(yàn)結(jié)果表明，快速搜 索算法更適用于一些運(yùn)動(dòng)幅度較大的場合，對(duì)于部分運(yùn)動(dòng)較為平緩的視頻序列， 它們?nèi)菀茁淙刖植孔钚≈迭c(diǎn)而導(dǎo)致匹配精度很差。下面介紹幾種常見的運(yùn)動(dòng)搜索 算法。 2 2 2 1 全局搜索算法 全局搜索算法的方法是：在預(yù)先確定的一個(gè)搜索區(qū)域內(nèi)，對(duì)所有位置進(jìn)行匹 配運(yùn)算，找到匹配函數(shù)的極小值點(diǎn)，即為最佳匹配位置，這兩個(gè)塊的相對(duì)位移就 是運(yùn)動(dòng)矢量m v 。這種算法一般會(huì)帶來很大的計(jì)算量。 該算法選擇的搜索區(qū)域一般是對(duì)稱的，即在參考幀中以當(dāng)前位置為中心建立 一個(gè)矩形搜索區(qū)域。在最簡單的情況下，搜索步長為整像素精度，這種算法也稱 為無損搜索算法。 2 2 2 2 二維對(duì)數(shù)搜索法 二維對(duì)數(shù)搜索法采用菱形的搜索模式。如圖2 6 所示，該算法首先以零位移位 置開始，每一步搜索菱形排列的四個(gè)位置和中心位置共五個(gè)搜索點(diǎn)，搜索步長一 般為最大搜索范圍的一半。下一步時(shí)，將中心移動(dòng)到前一步找到的最佳匹配位置。 當(dāng)最佳匹配位置為菱形中心或者在最大搜索區(qū)域邊界時(shí)，減小搜索步長為原來的 一半。當(dāng)步長減小到一個(gè)像素單位時(shí)，即到達(dá)最后一步，搜索中心位置周圍的九 個(gè)搜索點(diǎn)，得到最佳匹配位置。 第二章運(yùn)動(dòng)估計(jì)算法研究 i 一6i 5i - 4”i 2i 1i件li + 2i + 3 h 件5 幅 35 7 4 5 囁l 5 5 3 2 | 3 4 | 2 、| 2 | ll1 l n 表示第n 步的搜索點(diǎn) 圖2 6 二維對(duì)數(shù)搜索算法示意圖 其后的研究對(duì)這種算法做了多種改進(jìn)，如矩形模式，六邊形模式，十字形模 式等。 2 2 2 3 三步搜索法 如圖所示，三步搜索算法的起始步長從等于或者略大于最大搜索范圍的一半 開始。第一步在零位移位置和周圍的八個(gè)位置進(jìn)行誤差匹配運(yùn)算；第二步，以第 一步中匹配誤差最小的點(diǎn)為中心，搜索步長減半，計(jì)算周圍八個(gè)位置的匹配誤差， 依次類推。這樣，三步以后就可以得到最終的估計(jì)結(jié)果，這時(shí)搜索步長為一個(gè)像 素。 6 5 4 3 2 l l 2 3 4 玳 心 。h m 。心 一州 n 心 h h 1 4 支持m b a f f 運(yùn)動(dòng)估計(jì)引擎的v l s i 設(shè)計(jì)與研究 i - 6i 5i - 4i - 3i - 2i - iii + li 十2 件3i + 4 件5 佰 1 b 、 33 、 。 毪| 。 3 j2 3 2 1 。 3 3 3 l 1 | 2 ， 12 _ l 。j 。 222 1 l 1 l1 1 n 表示第n 步的搜索點(diǎn) 圖2 7 三步搜累算法不恿圖 在實(shí)際的運(yùn)動(dòng)估計(jì)過程中，可以不止單一使用上述的一種搜索算法，而是根 據(jù)各類算法特點(diǎn)靈活組合采納。比如對(duì)于運(yùn)動(dòng)幅度較大的圖像可以采用自適應(yīng)的 菱形搜索或者三步搜索算法，這樣可以在編碼質(zhì)量無明顯下降的情況下大大提高 編碼效率。在運(yùn)動(dòng)特別復(fù)雜的圖像中，可以選用全局搜索算法，使圖像質(zhì)量得以 保證。 2 3 支持m b a f f 的運(yùn)動(dòng)估計(jì)算法 在對(duì)隔行掃描的圖像進(jìn)行編碼時(shí)，每幀圖像由隔行交錯(cuò)的兩個(gè)場組成，并且 兩個(gè)場之間存在較大的掃描間隔。這樣，對(duì)于運(yùn)動(dòng)的圖像，每幀中相鄰兩行的圖 像并不是在同一時(shí)間采樣獲得，因此空間相關(guān)性相對(duì)于逐行掃描就會(huì)減少，這時(shí) 按照兩場獨(dú)立編碼反而更節(jié)省碼流，而對(duì)于靜止的圖像，逐行之間仍保留了較大 的空間相關(guān)性，按照幀模式編碼會(huì)節(jié)省碼流。因此，對(duì)當(dāng)前幀來說，存在以下三 種可選的編碼方式：一是將兩場分別編碼；二是將兩場合并成一幀進(jìn)行編碼；三 是將兩場中的垂直相鄰的頂?shù)讏龊陦K合并起來，組成一個(gè)宏塊對(duì)，自適應(yīng)的選擇 逐行編碼還是隔行編碼。前兩種方式的自適應(yīng)過程稱為p a f f ( p i c t u r ea d a p t i v e f r a m ef i e l d ，幀級(jí)幀場自適應(yīng)) ，而第三種編碼方法稱為m b a f f ( m a c r ob l o c k a d a p t i v ef r a m ef i e l d ，宏塊級(jí)幀場自適應(yīng)) ，該算法可以在宏塊層次上，對(duì)運(yùn)動(dòng)區(qū) 域選擇場模式編碼，非運(yùn)動(dòng)區(qū)域選擇幀模式編碼。 心 心 一心 一心心一m ， h k 沁 第二章運(yùn)動(dòng)估計(jì)算法研究 顯然，宏塊級(jí)幀場自適應(yīng)具有更精細(xì)的判定和編碼方式選擇，因此具有更好 的編碼效果，對(duì)于部分區(qū)域運(yùn)動(dòng)劇烈而部分區(qū)域運(yùn)動(dòng)平緩的圖像序列可以明顯的 減小碼率，提高編碼質(zhì)量。在實(shí)際使用的過程中，為了編碼的方便，通常采用p a f f 和m b a f f 聯(lián)合決策的編碼方法。 下面介紹幾種常見的支持幀場自適應(yīng)的運(yùn)動(dòng)估計(jì)算法。 2 3 1j m 中的幀場自適應(yīng)算法n 2 3 在h 2 6 4 編碼參考軟件j m l l 2 j 中，p a f f 和m b a f f 的聯(lián)合編碼方式如圖2 8 所示。通過兩路的三個(gè)編碼通道獲得最終的編碼模式，一路完成對(duì)輸入圖像的場 模式編碼，并記錄下整個(gè)編碼過程中的率失真代價(jià)；另外一路通過兩個(gè)通道完成 宏塊幀場自適應(yīng)編碼，即分別對(duì)一個(gè)宏塊對(duì)進(jìn)行幀模式編碼和場模式編碼，根據(jù) 率失真代價(jià)選擇較好的編碼方式，這一路同樣記錄整個(gè)編碼過程中的率失真代價(jià)。 一幀編碼完成后，通過比較兩路的率失真代價(jià)，選擇最終的編碼方式。 輸入幀 輸出碼流 圖2 8j m 中的幀場自適應(yīng)算法 通過正確的率失真模型，參考軟件中的編碼方式可以最優(yōu)的完成m b a f f 和 p a f f 的聯(lián)合編碼，但是三倍的計(jì)算復(fù)雜度使得單通道的幀場自適應(yīng)編碼更加有 必要。 2 3 2 單通道快速p a f f 和m b a f f 聯(lián)合算法n n 通過對(duì)三通道架構(gòu)模型的率失真統(tǒng)計(jì)分析，可以知道p a f f 和m b a f f 的判決 由圖像或者部分圖像的運(yùn)動(dòng)程度決定，高運(yùn)動(dòng)強(qiáng)度的圖像或圖像區(qū)域適合用場模 支持m b a f f 運(yùn)動(dòng)估計(jì)引擎的v l s i 設(shè)計(jì)與研究 式編碼，低運(yùn)動(dòng)強(qiáng)度的圖像或圖像區(qū)域適合用幀模式編碼。下面的算法由中國科 學(xué)院研究生院的y u 等人提出【l l 】。 2 3 2 1 算法架構(gòu) 由運(yùn)動(dòng)程度的統(tǒng)計(jì)結(jié)果，可以得到如圖所示的單通道p a f f 和m b a f f 聯(lián)合編 碼技術(shù)的架構(gòu)。 輸入幀 輸出碼流 圖2 9 單通道p a f f 和m b a f f 聯(lián)合編碼編碼器架構(gòu) 如圖2 9 所示，在預(yù)分析階段就進(jìn)行宏塊對(duì)級(jí)別的模式判別。首先計(jì)算每一個(gè) 宏塊對(duì)的運(yùn)動(dòng)強(qiáng)度從而決定選取幀模式還是場模式，然后通過m b a f f 的判決結(jié) 果確定整幀的運(yùn)動(dòng)強(qiáng)度。如果最終p a f f 選用了m b a f f 模式，則宏塊對(duì)按照第 一步中確定的模式進(jìn)行編碼，否則采用場模式編碼。 2 3 2 2m b a f f 和p a f f 的模式判決 令當(dāng)前幀伍少) 位置的像素值為c ( x ，j ，) ，它的相關(guān)像素即前一幀當(dāng)前位置的值 為f ( x ，y ) ，這樣像素c ( x ，y ) 的運(yùn)動(dòng)狀態(tài)定義為： p y ) = 牝烈裂 ) | 竭 式( 2 - 1 2 ) 其中石是預(yù)先定義的閾值，如果兩個(gè)像素的絕對(duì)差大于石，則當(dāng)前位置的像 素處于運(yùn)動(dòng)區(qū)域，否則在靜止區(qū)域。 令第i 個(gè)宏塊對(duì)為j v m p , ，該位置的運(yùn)動(dòng)強(qiáng)度定義為其中運(yùn)動(dòng)像素點(diǎn)的個(gè)數(shù)： 第二章運(yùn)動(dòng)估計(jì)算法研究 1 7 億厄以毛y ) 式( 2 1 3 ) o ，y ) e 凇日 對(duì)于具有平滑紋理的區(qū)域，上面公式并不能正確的表現(xiàn)其運(yùn)動(dòng)強(qiáng)度，所以對(duì) 于幀模式或者場模式下的紋理信息被用做運(yùn)動(dòng)判決的一個(gè)參考。幀模式和場模式 下的紋理信息分別定義為0 和： 鏟，善y ) 一c ( 訓(xùn)+ 1 ) i式( 2 1 4 ) ( ，y 垮懈弓 f f _ ，y ) 一c ( 五少+ 2 ) i式( 2 - 1 5 ) o ，y ) 毛垤，： 這樣，對(duì)宏塊對(duì)m b p j 的運(yùn)動(dòng)情況可以用肌和一個(gè)預(yù)定義的閾值瓦標(biāo)示： f 1 弘托 礦( 他( x ，y ) 五) e l s e i f ( t p 一) 正式( 2 1 6 ) o t h e r w i s e 如果口為1 ，則尬只的宏塊對(duì)處于移動(dòng)區(qū)域，采用m b a f f 模式的情況下用 場模式編碼，否則，該位置在靜止區(qū)域采用幀模式編碼。 對(duì)于當(dāng)前幀所有宏塊對(duì)的運(yùn)動(dòng)決策結(jié)果 d o ，日，鞏一， ，運(yùn)動(dòng)強(qiáng)度定義為： = 口 式( 2 1 7 ) 當(dāng)前幀的幀場模式通過比較研砌和預(yù)定義的閩值瓦得到： = 代躲 加砌) 如果等于l ，則當(dāng)前幀有一個(gè)全局的運(yùn)動(dòng)，p a f f 模式應(yīng)該采用場模式進(jìn) 行編碼，這樣，頂場和底場分別進(jìn)行編碼，如果為0 則按照m b a f f 模式進(jìn) 行編碼。 2 3 2 3 算法性能分析 當(dāng)前算法通過對(duì)宏塊對(duì)運(yùn)動(dòng)劇烈程度的判決確定編碼模式。實(shí)驗(yàn)結(jié)果表明， 這種判決方式在可以接受的質(zhì)量降低的前提下大大的減少了計(jì)算復(fù)雜度。但是依 靠對(duì)視頻運(yùn)動(dòng)程度的判決來決定編碼模式，并不能最優(yōu)的模擬率失真的情況。并 且，該算法對(duì)閾值的選擇非常敏感，對(duì)不同的圖像序列，很難確定最優(yōu)的閾值， 自適應(yīng)的閾值選擇機(jī)制有待研究。 支持m b a f f 運(yùn)動(dòng)估計(jì)引擎的v l s i 設(shè)計(jì)與研究 2 3 3 快速m b a f f 模式預(yù)測算法( f m m p 算法) n 3 3 由于h 2 6 4 標(biāo)準(zhǔn)中提議的m b a f f 算法復(fù)雜度比單獨(dú)進(jìn)行幀模式或者場模式 提高了三倍，在實(shí)現(xiàn)時(shí)需要增加的編碼時(shí)間或者資源利用往往是不可接受的。因 此開發(fā)快速的m b a f f 模式預(yù)測算法就非常必要。本節(jié)將要介紹的算法由清華大 學(xué)微波和數(shù)字通信國家重點(diǎn)實(shí)驗(yàn)室的q un x 提t(yī) g v 3 】，。 2 3 3 1 幀級(jí)幀場模式預(yù)測 根據(jù)現(xiàn)有的經(jīng)驗(yàn)，一般快速運(yùn)動(dòng)的圖像按照場模式編碼，慢速運(yùn)動(dòng)的圖像按 照幀模式編碼。下面的算法根據(jù)圖像運(yùn)動(dòng)的劇烈程度確定采用幀模式還是場模式 編碼，具體為以下三步： 1 運(yùn)動(dòng)檢測 對(duì)當(dāng)前編碼幀，按照全搜索算法對(duì)底場宏塊進(jìn)行運(yùn)動(dòng)估計(jì)，參考場為當(dāng)前幀 的頂場，得到3 2 到3 2 大小的運(yùn)動(dòng)向量。 2 m v 統(tǒng)計(jì) 首先得到m v 的統(tǒng)計(jì)圖，分別對(duì)m v 的絕對(duì)值在x 和y 方向上相同的個(gè)數(shù)統(tǒng) 計(jì)為肛和：，其中f 取值為。到3 2 ；下面是對(duì)s t e f a n 圖像的統(tǒng)計(jì)圖。 圖2 1 0 ( a ) s t e f a n 序列第8 3 幀運(yùn)動(dòng)統(tǒng)計(jì)圖，該幀為幀模式編碼較好的低運(yùn)動(dòng)圖像 第二章運(yùn)動(dòng)估計(jì)算法研究 圖2 1 0 ( b ) s t e f a n 序列第8 7 幀運(yùn)動(dòng)統(tǒng)計(jì)圖，該幀為場模式編碼較好的高運(yùn)動(dòng)圖像 根據(jù)m v 統(tǒng)計(jì)曲線，將絕對(duì)值小于弓的成為小運(yùn)動(dòng)向量，s f 和髟為小運(yùn)動(dòng) 向量在水平方向和垂直方向上的和。 s f = 杉 將絕對(duì)值大于乞的運(yùn)動(dòng)向量認(rèn)為是大運(yùn)動(dòng)向量， 的一段進(jìn)行求和，記錄將得到的最大值。 i 仃或者r ， 仃時(shí)選擇場模 式，其它情況下選擇幀模式。在上面的判決中，有六個(gè)實(shí)驗(yàn)參數(shù)，只、忍、己、 盧，、盧p 和盧b ，這六個(gè)實(shí)驗(yàn)參數(shù)均為經(jīng)驗(yàn)值，典型值為：1 、2 、5 、0 2 2 、0 4 8 和 】8 8 。 2 3 3 2 宏塊級(jí)幀場自適應(yīng)預(yù)測 宏塊級(jí)幀場自適應(yīng)預(yù)測包括鄰居宏塊對(duì)的空間預(yù)測以及當(dāng)前宏塊對(duì)的統(tǒng)計(jì)預(yù) 測，具體算法如下。 1 空間預(yù)測 根據(jù)左，左上，上，右上的宏塊進(jìn)行統(tǒng)計(jì)，得到帆和心，這四個(gè)鄰居宏塊 對(duì)如果有一個(gè)按場模式編碼，則帆加1 ，否則虬加1 。得到的結(jié)果將在第三步 中用到。 2 統(tǒng)計(jì)預(yù)測 當(dāng)前宏塊對(duì)在幀模式和場模式下的方差是決定預(yù)測方式的主要統(tǒng)計(jì)特征。這 里一個(gè)m b 的方差是指1 6 個(gè)4 x 4 子塊的方差和。 幀模式和場模式下的方差定義為砌k 和v a r 夕1 a ，其中砌一是上宏塊和下 宏塊的方差之和。砌甜計(jì)算如下： 玩知= 砌+ 口v a r b , , ,式( 2 2 6 ) 其中a 和上一節(jié)中的a 一樣。 3 模式判決 只考慮空間預(yù)測時(shí)，如果虬小于心，則對(duì)當(dāng)前宏塊對(duì)采用幀模式，否則采 用場模式。只考慮統(tǒng)計(jì)預(yù)測時(shí)，如果幀模式下的方差小于場模式下的方差，則表 現(xiàn)了好的幀相關(guān)性，采用幀模式編碼，否則采用場模式。這里將兩種預(yù)測方式一 起考慮，選取最好的幀場模式，細(xì)節(jié)如下： 第二章運(yùn)動(dòng)估計(jì)算法研究 2 1 如果以下三個(gè)條件中有一個(gè)滿足，則采用幀模式： ( 1 一仃) 謝式( 2 2 7 ) ( 1 一仃) m 孵五塒 砌k 砌塒a n d 心4 v a r 血u s j l l 瀘一m r 式( 3 - 1 ) 最終參與最佳匹配位置決策的s a d 值為匹配計(jì)算的s a d 結(jié)果和c o s t 的和， 公式中的m u l tm r 和媯沂所v 大小可調(diào)，通過實(shí)驗(yàn)獲得最優(yōu)取值。 一 第三章支持m b a f f 運(yùn)動(dòng)估計(jì)引擎的實(shí)現(xiàn)原理 進(jìn)行s a d 運(yùn)算的過程即為遍歷整個(gè)搜索窗的過程。我們采用快速的順序掃描 的方式完成整個(gè)搜索窗的遍歷。然后通過完成最優(yōu)匹配位置和運(yùn)動(dòng)向量類型的選 擇，供f m e 模塊使用。 在運(yùn)動(dòng)搜索過程中，我們首先分別對(duì)幀模式的結(jié)果和場模式的結(jié)果確定1 m v 、 2 m v 、或者4 m v 的運(yùn)動(dòng)向量。幀場模式下均通過下面的公式完成運(yùn)動(dòng)向量類型 的選擇。 m v m o d e = ( s a d , ， ( s a o l 6 x 8 + c o s t 2 。) ) 7 1 m v ： ( s a d , 6 8 s a d , 1 6 ) ? 2 心6 3 ： ( s a d , 。1 6 + c o s t 2 。 ( 鰣抑+ 翩一6 d f ) ) ? f i e t d m o d e ：f r a m e m o d e 式( 3 3 ) 3 2 2 精細(xì)運(yùn)動(dòng)估計(jì)算法流程 在通常的視頻序列中，一個(gè)宏塊以很大的概率相對(duì)參考幀運(yùn)動(dòng)向量為零。為 了避免c m e 過程中可能出現(xiàn)的匹配失誤導(dǎo)致運(yùn)動(dòng)向量為零的宏塊運(yùn)動(dòng)失配，在 進(jìn)行以c m e 運(yùn)動(dòng)結(jié)果為中心的匹配運(yùn)算之前，我們首先對(duì)運(yùn)動(dòng)向量為0 的位置 進(jìn)行匹配運(yùn)算。建立f m e 搜索窗時(shí)，我們以c m e 的運(yùn)動(dòng)向量為中心，建立一個(gè) 橫向8 列，縱向4 行共3 2 個(gè)匹配位置的窗。如圖3 2 所示。 囫c m e 指示位置 圖3 2 f m e 搜索窗 在進(jìn)行搜索之前，根據(jù)率失真模型，首先對(duì)不同的搜索位置確定不同的代價(jià)。 運(yùn)動(dòng)向量小的位置對(duì)應(yīng)小的率失真代價(jià)，運(yùn)動(dòng)向量大的位置對(duì)應(yīng)大的率失真代價(jià)。 根據(jù)c m e 運(yùn)動(dòng)向量的指向，代價(jià)的初始因子分別如圖3 3 和圖3 4 所示。根據(jù)粗 略運(yùn)動(dòng)估計(jì)得到運(yùn)動(dòng)向量的不同指向，率失真代價(jià)列表也不相同。 j 9876543 9876543 2 8765 43 赳1 7654321 3456789 23456789 1 - 2 345678 。 1 2 34567 i 寸j23 4 567 1】3 4 5678 23 45 6789 3 456789 o5432345 5 43 2123 4 4321o234 54321234 c m em v = 0 圖3 3 整像素位置的率失真代價(jià)因子 盟團(tuán)日 765 43 2 0 ，o 8765 4 3f1 98 76543 2 9876543 5j = 32o23 4 654313 d 5 765 424 56 8 76 5356 7 圖3 4 半像素和1 4 像素精度的率失真代價(jià)因子 當(dāng)進(jìn)行s a d 運(yùn)算時(shí)，首先根據(jù)c m