浙江人學(xué)碩士學(xué)位論文 摘 本文主要著眼于目標(biāo)碼率在9 6 - l 2 k b p s 控視頻編碼的實(shí)現(xiàn)平優(yōu)化。 要 典型碼率為4 4 k h p s 的基于c 6 7 1 1 低碼率監(jiān) 首先，通過(guò)對(duì)目前的低碼率視頻編碼技術(shù)的分析，結(jié)合c 6 7 1 1 硬件特點(diǎn)，我們選擇了 h 2 6 3 視頻編碼標(biāo)準(zhǔn)作為監(jiān)控視頻編碼框架，并且通過(guò)對(duì)h 2 6 3 標(biāo)準(zhǔn)的七個(gè)高級(jí)編碼選項(xiàng)的 測(cè)試和分析，選取了其中無(wú)限制運(yùn)動(dòng)矢量、高級(jí)預(yù)測(cè)和去塊濾波等三個(gè)編碼選項(xiàng)作為監(jiān)控視 頻編碼的主要方案。分析了低碼率監(jiān)控視頻的特點(diǎn)后，我們對(duì)編碼算法進(jìn)行了修改，提山了 基于鉆石搜索的背景塊運(yùn)動(dòng)搜索算法和全零塊預(yù)判算法，提高了編碼程序的效率。 隨后，針對(duì)c 6 7 1 1 的硬件特點(diǎn)，我們對(duì)程序的結(jié)構(gòu)、具體代碼以及總線(xiàn)讀寫(xiě)進(jìn)行了多方 面的優(yōu)化。在d s p 嵌入式環(huán)境中，提高了視頻編碼的速度，使優(yōu)化后的編碼程序不但能滿(mǎn)足 目前的監(jiān)控系統(tǒng)要求，也為以后的系統(tǒng)升級(jí)打下了良好的基礎(chǔ)。除了對(duì)監(jiān)控系統(tǒng)的核心 c 6 7 1 1 d s p 的程序移植、優(yōu)化工作以外，我們還分析了系統(tǒng)中的采集模塊和串口輸出模塊對(duì) d s p 的中斷通訊，通過(guò)對(duì)d s p 中斷向量表和中斷響應(yīng)程序的編寫(xiě)，完成了d s p 系統(tǒng)的集成。 分析c 6 7 1 1 的r o m 引導(dǎo)過(guò)程，編寫(xiě)了f l a s hb o o t 程序，最終使整個(gè)系統(tǒng)在上電后能夠獨(dú)立 啟動(dòng)，正常、穩(wěn)定運(yùn)行。 最后，為了在客戶(hù)端程序中更好的提升圖像分辨率，對(duì)超分辨率算法做了相應(yīng)的研究。 我們借鑒了基于f f t 超分辨率算法中的頻域處理方法，采用了更適應(yīng)人眼視覺(jué)特性的小波變 換作為空域到頻域的方法，結(jié)合雙線(xiàn)性插值算法對(duì)高頻區(qū)進(jìn)行插值，最后再利用逆小波變換 得到重建圖像。這個(gè)算法具有良好的時(shí)間效率，并且能夠較好的恢復(fù)圖像的邊緣信息。 關(guān)鍵詞：c 6 7 1 lo s e , 監(jiān)控視頻編碼，h 2 6 3 標(biāo)準(zhǔn)，超分辨率，小波變換 浙江大學(xué)碩：f ：學(xué)位論文 a b s t r a c t t h i st h e s i sp r o p o s e dt h er e a l i z a t i o na n do p t i m i z a t i o no fl o wb i t r a t em o n i t o r v i d e oe n c o d i n ga p p l i c a t i o ni nc 6 7 1 1d s p t h eo u t p u tb i t r a t ei sb e t w e e n9 6 k p b sa n d 11 2 k b p s ，t y p i c a ll y4 4 k b p s f i r s t l y ，b a s e do nt h ec 6 7 1 1d s ph a r d w a r ec h a r a e t e r i s t i c s ，h 2 6 3w a sc h o s e n a st h ec o r ev i d e oc o m p r e s s i o nf r a m e w o r k a f t e rs e v e na d v a n c e do p t i o n so fh 2 6 3w a s t e s t e d ，w ea n a l y z e dt h et e s tr e s u l t sa n du s e dt h r e eo p t i o n sw h i c ha r eu n l i m i t e d m o t i o nv e c t o r ，a d v a n c e dm o t i o np r e d i c t i o na n dd e b l o c kf i i t e ra st h es c h e m eo ft h e l o wb i t r a t em o n i t o rv i d e oe n c o d i n g c o n s o i d e r i n gt h el o wb i t r a t ev i d e oe n c o d i n g c h a r a c t e r i s t i c s ，b a c k g r o u n db l o c ks e a r c ha l g o r i t h m ，w h i c hi sb a s e do nd i a m o n ds e a r c h a l g o r i t h mw a su s e dt oi m p r o v et h em o t i o ne s t i m a t i o ns p e e d a n dd e t e c t i o no fa 1 l z e r o b l o c ka l g o r i t h mw a sc h o s e nf o rt h er e a s o no fs t a t i cb a c k g r o u n ds e n c ei nm i n o t o rr i d e o e n c o d i n ga p p l i c a t i o n s e c o n d l y ，w eo p t i m i z e dt h ee n c o d i n ga p p l i c a t i o ni nc 6 7 1 1d s pe m b e d d e dp l a t f o r m t h ea p p l i c a t i o no p t i m i z a t i o ni nd s pe m b e d d e ds y s t e mw a sm a i n l yb a s e do nt h et h r e e s i d e s ：a p p l i c a t i o na r c h i t e c t u r e ，f u n c t i o na s s e m b l yc o d e sa n db u so p e r a t i o n s a f t e r t h eo p t i m i z a t i o n ，t h ea p p l i c a t i o nn o to n l ym e e tw i t ht h e r e q u i r e m e n t so ft h em o n i t o r s y s t e m ，b u ta l s om a k eag o o dp r e p a r a t i o nf o rt h es y s t e mu p d a t ei nt h ef u t u r e b e s i d e s c 6 7 11d s p ，t h em o n i t o rs y s t e mi n c l u d e dv i d e oc a p t u r e m o d u l e ，u a r to u t p u tm o d u l ea n d f l a s hm o d u l e w es e t i n t e r r u p tt a b l ev e c t o r sa n df i n i s h e dt h e c o r r e s p o n d i n g i n t e r r u p tf u n c i o n t st oi n t e g r a t ev i d e oc a p t u r em o d u l ea n du a r to u t p u tm o d u l e f l a s h b o o tp r o g r a mw a su s e dt ob o o td s ps y s t e mf r o mf l a s hr o m l a s t l y ，w er e a l i z e dt h ec l i e n ta p p l i c a i o n ta n dt h es u p e r r e s o l u t i o n a l g o r i t h m w ep r o p o s e dam e t h o dc o m b i n i n gw a v e l e tt r a n s f o r ma n db i l i n e a ri n t e r p o l a t i o ni nt h e s u p e r r e s o l u t i o na l g o r i t h m t h i sm e t h o dd i dt h er e s o l u t i o n i m p r o v e m e n t i nt h e w a v e l e tf r e q u e n c yd o m a i na n do b t a i n e dg o o dt i m e e f f i c i e n c ya n dv i s u a le f f e c t k e yw o r d s ：c 6 7 1 1d s p ，m i n o t o rv e d i oe n c o d i n g ，h 2 6 3 ，s u p e r r e s o l u t i o n w a v e l e t t r a n s f o r m 塑堊查蘭堡生蘭堡壘蘭 -_-_。_。，_。_。一 第一章概述 1 1 視頻監(jiān)控技術(shù)簡(jiǎn)介 隨著科學(xué)技術(shù)的發(fā)展和信息時(shí)代的到來(lái)，具有智能化、網(wǎng)絡(luò)化、數(shù)字化特征的各種高科 技新技術(shù)不斷涌現(xiàn)。在社會(huì)生產(chǎn)和人們?nèi)粘Ｉ钪械姆椒矫婷?，這些技術(shù)得到了目益廣泛的 應(yīng)用，降低了社會(huì)生產(chǎn)成本，提高了生產(chǎn)效率，節(jié)省了大量的人力物力，也給人們的生活帶 來(lái)了更多的便捷、舒適和享受。 視頻監(jiān)控技術(shù)正是其中之一。它綜合利用了現(xiàn)代視頻圖像處理、光電傳感、計(jì)算機(jī)網(wǎng)絡(luò)、 自動(dòng)控制和人工智能等高新技術(shù)，實(shí)現(xiàn)了現(xiàn)場(chǎng)語(yǔ)音視頻信息實(shí)時(shí)再現(xiàn)、數(shù)據(jù)存儲(chǔ)、自動(dòng)檢測(cè) 報(bào)警、自動(dòng)遠(yuǎn)程控制等功能，以其直觀(guān)、方便、信息內(nèi)容豐富的特點(diǎn)，日益受到人們的青睞， 被廣泛應(yīng)用于安全防范、無(wú)人職守、信息獲取和指揮調(diào)度場(chǎng)合，如；銀行柜臺(tái)監(jiān)控、交通違 章和流量監(jiān)控、邊防監(jiān)控、智能小區(qū)安全監(jiān)控等等。 傳統(tǒng)的視頻監(jiān)控技術(shù)的發(fā)展大致經(jīng)歷了三個(gè)階段 1 。在九十年代以前，主要是以模擬 設(shè)備為主的閉路屯視監(jiān)控系統(tǒng)，稱(chēng)為第一代模擬監(jiān)控系統(tǒng)。主要特點(diǎn)是：使用黑向模擬攝象 機(jī)，采用模擬方式傳輸圖像信號(hào)，抗干擾能力低，圖像質(zhì)量差，系統(tǒng)功能單一。傳輸距離一 般不能太遠(yuǎn)，主要應(yīng)用于小范圍內(nèi)的監(jiān)控，如大樓監(jiān)控等，監(jiān)控圖像一般只能在控制中心查 看。 九十年代初，隨著計(jì)算機(jī)微處理器技術(shù)和彩色視頻技術(shù)的發(fā)展與普及，視頻監(jiān)控技術(shù)有 了第一次質(zhì)的飛躍，原來(lái)的黑白圖像變成了富有生機(jī)的彩色圖像。人們利用計(jì)算機(jī)的高速數(shù) 據(jù)處理能力進(jìn)行視頻的采集和處理，利用顯示器的高分辨率實(shí)現(xiàn)圖像的多畫(huà)面顯示，從而大 大提高了圖像質(zhì)量。但由于網(wǎng)絡(luò)技術(shù)和視頻壓縮技術(shù)的滯后，無(wú)法組建大型監(jiān)控系統(tǒng)監(jiān)控 信息局限于本地。這種基于p c 機(jī)的多媒體主控臺(tái)系統(tǒng)稱(chēng)為第二代數(shù)字化本地視頻監(jiān)控系統(tǒng)。 九十年代末，隨著喇絡(luò)帶寬、計(jì)算機(jī)處理能力和存儲(chǔ)容量的快速提高，以及各種實(shí)用視 頻壓縮處理技術(shù)的出現(xiàn)，視頻監(jiān)控步入了全數(shù)字化的嘲絡(luò)時(shí)代，稱(chēng)為第三代遠(yuǎn)程數(shù)字視頻監(jiān) 控系統(tǒng)。第三代視頻監(jiān)控系統(tǒng)以網(wǎng)絡(luò)為依托，以數(shù)字視頻的壓縮、傳輸、存儲(chǔ)和播放為核心， 以智能實(shí)用的圖像理解和分析為特色引發(fā)了視頻監(jiān)控行業(yè)的技術(shù)革命。新的監(jiān)控技術(shù)完全 打破了傳統(tǒng)的結(jié)構(gòu)，依靠功能日益強(qiáng)大的計(jì)算機(jī)，不僅可以處理文本、數(shù)據(jù)、圖形等，還可 以處理視頻、聲音等信息，成為真正的多媒體監(jiān)控終端。再加上網(wǎng)絡(luò)和通信技術(shù)的發(fā)展，多 浙江大學(xué)碩 學(xué)位論文 媒體信息的交互和共享趨向更j 。闊的空間。從局域網(wǎng)絡(luò)到廣域網(wǎng)絡(luò)，從一個(gè)城市到另一個(gè)城 市，從一個(gè)國(guó)家到另一個(gè)國(guó)家，都能完成在現(xiàn)場(chǎng)所能完成的一切任務(wù)。數(shù)字化、網(wǎng)絡(luò)化的第 三代視頻監(jiān)控技術(shù)，與傳統(tǒng)的模擬監(jiān)控技術(shù)相比較，還具有：便于模塊化，通用性、可擴(kuò)展 性強(qiáng)；便丁智能化、支持遠(yuǎn)程控制，監(jiān)控效率更高；信號(hào)抗干擾強(qiáng)，便于對(duì)信號(hào)進(jìn)行存取、 查找、再次處理；易丁安裝管理維護(hù)，等優(yōu)點(diǎn)。 第三代網(wǎng)絡(luò)視頻監(jiān)控技術(shù)，融合了新興的網(wǎng)絡(luò)技術(shù)、多媒體技術(shù)、視頻技術(shù)，是技術(shù)發(fā) 展和社會(huì)進(jìn)步的一次巨大飛躍，具有深遠(yuǎn)的現(xiàn)實(shí)意義。例如：交通監(jiān)控系統(tǒng)不僅能實(shí)時(shí)收集 交通流量參數(shù)，對(duì)違章車(chē)輛的拍照記錄加強(qiáng)了交通監(jiān)管力度，由此產(chǎn)生的警示作用有利于司 機(jī)的行為自律，保障交通安全，倡導(dǎo)遵章守紀(jì)的良好社會(huì)風(fēng)尚。對(duì)便捷的遠(yuǎn)程網(wǎng)絡(luò)訪(fǎng)問(wèn)能力 支持，使得視頻監(jiān)控技術(shù)可以進(jìn)入普通百姓家庭，應(yīng)用于幼兒看護(hù)，智能家居等場(chǎng)合，改變 人們傳統(tǒng)的生活方式。視頻監(jiān)控技術(shù)還可以應(yīng)用于企業(yè)管理和生產(chǎn)經(jīng)營(yíng)管理，提高生產(chǎn)效率。 第三代網(wǎng)絡(luò)視頻監(jiān)控技術(shù)具有廠(chǎng)闊的發(fā)展前景和巨大的商機(jī)，加之其強(qiáng)大實(shí)用的功能，可拓 展的技術(shù)空間，良好的社會(huì)價(jià)值，因此受到了學(xué)術(shù)界、產(chǎn)業(yè)界和相關(guān)使用部門(mén)的高度重視， 是當(dāng)前信息產(chǎn)業(yè)發(fā)展的熱點(diǎn)之一。 1 2 t i c 6 0 0 0 系列d s p 的簡(jiǎn)介 1 9 9 7 年，美國(guó)t i 公司發(fā)布了新一代d s p s 芯片t m s 3 2 0 c 6 0 0 0 ，包括了定點(diǎn)系列和浮點(diǎn) 系列 2 】。其中定點(diǎn)系列是t m s 3 2 0 c 6 2 x x ，浮點(diǎn)系列是t m s 3 2 0 c 6 7 x x ，二者能夠相互兼容。 其中最早推出的c 6 2 0 1 的運(yùn)算速度已經(jīng)達(dá)到了1 6 0 0 m i p s ，成為了當(dāng)時(shí)業(yè)界首次突破 1 0 0 0 m i p s 的d s p 產(chǎn)品，在數(shù)字信號(hào)處理器處理能力上創(chuàng)造了新的里程碑。在2 0 0 0 年3 月， t i 發(fā)布了新的c 6 4 x x 的內(nèi)核，主頻可以達(dá)到1 1 g h z ，處理速度接近了9 0 0 0 m i p s ，使6 4 系 列的總體性能比6 2 系列提高了l o - 1 5 倍，成為了當(dāng)今業(yè)界最強(qiáng)大的d s p 產(chǎn)品之一，被廣泛 的應(yīng)用在音視頻多媒體領(lǐng)域。 t i c 6 0 0 0 系列d s p 最主要的特點(diǎn)是在體系結(jié)構(gòu)上采用了v e l o c i t i 的甚長(zhǎng)指令字( v l i w , v e r yl o n gi n s t r u c t i o nw o r d ) 結(jié)構(gòu)。在t i 的v l i w 體系結(jié)構(gòu)中由一個(gè)超長(zhǎng)的機(jī)器指令字來(lái)驅(qū) 動(dòng)內(nèi)部的8 個(gè)功能單元，每個(gè)指令字包含了8 個(gè)字段( 指令) ，字段之間相互獨(dú)立，各自控 制一個(gè)功能單元，因此可以在單周期內(nèi)發(fā)射出多條指令，實(shí)現(xiàn)很高的指令級(jí)并行效率，最多 可以在單周期內(nèi)同時(shí)執(zhí)行8 條指令。編譯器在對(duì)匯編程序進(jìn)行編譯的過(guò)程中，決定代碼中哪 些指令合成一個(gè)甚長(zhǎng)機(jī)器指令，在一個(gè)周期內(nèi)并行執(zhí)行。這種指令上的并行安排是靜態(tài)的， 也就是說(shuō)所有的指令都是在編譯期間決定的，一旦決定以后，無(wú)論d s p 任何時(shí)候運(yùn)行，它 2 浙江大學(xué)煩f 學(xué)位論文 都保持不變。t i 這樣的v l i w 指令體系結(jié)構(gòu)也可以看作一種依賴(lài)丁- 編澤器的超標(biāo)量( s u p e r s c a l a r ) 實(shí)現(xiàn)方案，而且比起一般的超標(biāo)量結(jié)構(gòu)更易丁實(shí)現(xiàn)。同時(shí)c 6 0 0 0 的v l i w 采用了類(lèi) r i s c 指令集，多數(shù)指令擁有的相同流水級(jí)數(shù)，便丁程序進(jìn)行流水的優(yōu)化。 t l 考慮到d s p 面向的都是數(shù)據(jù)密集型的應(yīng)用，頻繁的數(shù)據(jù)訪(fǎng)問(wèn)和存儲(chǔ)會(huì)大大的影響系 統(tǒng)整體性能的發(fā)揮。在總線(xiàn)結(jié)構(gòu)上，為了更有效的處理d s p 上數(shù)據(jù)密集性算法，c 6 0 0 0 摒 棄了傳統(tǒng)計(jì)算機(jī)所采用的馮諾依曼總線(xiàn)結(jié)構(gòu)，采用了程序總線(xiàn)和數(shù)據(jù)總線(xiàn)分離的修正哈佛 總線(xiàn)結(jié)構(gòu)，提供了一套2 5 6 位的程序總線(xiàn)，兩套3 2 位的數(shù)據(jù)總線(xiàn)以及一套3 2 位的d m a 專(zhuān) 用總線(xiàn)，大大提高了總線(xiàn)上的數(shù)據(jù)吞吐量，使得在單周期內(nèi)能夠同時(shí)完成對(duì)程序代碼以及兩 個(gè)操作數(shù)據(jù)的讀取，緩解了數(shù)據(jù)瓶頸對(duì)系統(tǒng)性能的限制。同時(shí)，隨著頻繁的數(shù)據(jù)訪(fǎng)問(wèn)，數(shù)據(jù) 地址計(jì)算的時(shí)間也會(huì)線(xiàn)性的增長(zhǎng)，如果不在地址計(jì)算上做特殊的考慮，有時(shí)計(jì)算地址的時(shí)間 比實(shí)際的算術(shù)操作的時(shí)間還長(zhǎng)，因此d s p 通常都提供了支持地址計(jì)算的算術(shù)單元地址 產(chǎn)生器。地址產(chǎn)生器與a l u 并行工作，因此地址的計(jì)算不再額外占用c p u 的時(shí)間。c 6 0 0 0 有2 個(gè)地址產(chǎn)生器，可以滿(mǎn)足單周期同時(shí)讀取兩個(gè)操作數(shù)據(jù)的目的，并且支持循環(huán)尋址模式。 存儲(chǔ)器的訪(fǎng)問(wèn)速度d s p 的處理性能也有很大的影響。c 6 0 0 0 d s p 內(nèi)部集成有i - 8 m b i t s 的程 序r a m 和數(shù)據(jù)r a m ，對(duì)于有些片種，這些存儲(chǔ)器還可以配制為程序c a c h e 或者數(shù)據(jù)c a c h e 使用。 除了以上所提及的特點(diǎn)以外，流水技術(shù)是c 6 0 0 0 d s p 具有高性能的另外一個(gè)主要原因。 流水技術(shù)可以使得2 個(gè)或者更多不同的操作重疊執(zhí)行。在c 6 0 0 0 d s p 中所有的指令都按照取 指( f e t c h ) 、譯碼e c o d e ) 、和執(zhí)行( e x e c u t e ) 3 級(jí)流水運(yùn)行，每級(jí)又包含了不同的節(jié)拍( p h a s e ) ， 每一個(gè)節(jié)拍可以被稱(chēng)為一級(jí)流水。流水處理使得若干條指令的不同執(zhí)行階段可以并行執(zhí)行， 理想情況下，條k 段流水能夠在k + ( n - 0 個(gè)周期內(nèi)處理n 條指令，而無(wú)流水的處理器處理 n 條指令則需要n k 個(gè)周期，因此c 6 0 0 0 的流水機(jī)制能夠大大的提高程序的執(zhí)行速度。 圖1 1 ：c 6 0 0 0 d s p 結(jié)構(gòu)圖 浙江人學(xué)刨_ 上學(xué)位論文 l 。3 低碼率監(jiān)控系統(tǒng)的結(jié)構(gòu) 無(wú)線(xiàn)網(wǎng)絡(luò)技術(shù)的發(fā)展，使得人們不再受電纜的束縛局限于有限的活動(dòng)區(qū)域。2 5 代無(wú)線(xiàn) 通信網(wǎng)絡(luò)g p r s 和c i ) i c d 、2 0 0 0 1 x 都已經(jīng)可以提供理論達(dá)到1 1 2 k b p s 左右的帶寬，而即將投入使 用的第3 代無(wú)線(xiàn)網(wǎng)絡(luò)更可以把帶寬提高到3 0 0 k b p s 以上。無(wú)線(xiàn)網(wǎng)絡(luò)也由傳統(tǒng)的語(yǔ)音信號(hào)傳輸， 發(fā)展為可以支持圖像和視頻的寬帶傳送。這些網(wǎng)絡(luò)技術(shù)的發(fā)展為視頻監(jiān)控技術(shù)開(kāi)拓了更為廣 闊的應(yīng)用領(lǐng)域也帶來(lái)了新的挑戰(zhàn)，無(wú)線(xiàn)監(jiān)控系統(tǒng)就是其中之一。 圖1 2 就是針對(duì)無(wú)線(xiàn)信道設(shè)計(jì)的低碼率監(jiān)控系統(tǒng)的原理圖，其核心部件是t ic 6 7 1 1 d s p ， 用于對(duì)采集的原始圖像數(shù)據(jù)進(jìn)行壓縮編碼，壓縮后的含有視頻信息的碼流發(fā)送至u a r t 異步 串1 3 芯片，通過(guò)串1 3 連接m o d e m 采用p s t n 信道進(jìn)行傳輸，或者是通過(guò)無(wú)線(xiàn)信道進(jìn)行傳輸。 由于整個(gè)監(jiān)控系統(tǒng)的輸出碼率受到異步串口的限制，在9 6 k b p s 一1 1 2 k b p s 之間。p s t n 網(wǎng)絡(luò) 理論帶寬是5 6 k b p s 左右，但是考慮到實(shí)際信道的狀況以及用于報(bào)文頭的開(kāi)銷(xiāo)，能夠用于視 頻碼流的典型帶寬在4 4 k b p s 左右，這也是目前2 5 g 無(wú)線(xiàn)技術(shù)數(shù)據(jù)業(yè)務(wù)的應(yīng)用帶寬，屬于低 碼率視頻監(jiān)控系統(tǒng)。要實(shí)現(xiàn)這樣的低碼率監(jiān)控系統(tǒng)除了硬件設(shè)計(jì)以外更重要的是如何針對(duì) 低碼率監(jiān)控視頻的特點(diǎn)選擇合適的編解碼方案，并在以( ：6 7 1 1d s p 為核心的硬件系統(tǒng)上實(shí)現(xiàn) 和優(yōu)化。 圖1 2 ：監(jiān)控系統(tǒng)原理圖 1 。4 本文的工作 本文的工作著重于對(duì)9 6 k p b s - 1 1 2 b p s 串口信道，特別是在典型的4 4 k b p s 低碼率信道 中，監(jiān)控視頻編碼解決方案的研究和基于c 6 7 1 1d s p 系統(tǒng)的優(yōu)化。通過(guò)選取合適的視頻編碼 手段，配合客戶(hù)端的超分辨率算法，以及基于c 6 7 1 1d s p 的視頻編碼優(yōu)化，在監(jiān)控系統(tǒng)的串 口低碼率的范圍內(nèi)獲取到較好的主客觀(guān)質(zhì)量。下面簡(jiǎn)單介紹本文的主要工作和創(chuàng)新點(diǎn)。 4 一 i；：；l；k 浙江人學(xué)碩上學(xué)位論文 第一二章中對(duì)現(xiàn)有的低碼率視頻壓縮編碼技術(shù)和國(guó)際標(biāo)準(zhǔn)進(jìn)行了回顧和比較，并結(jié)合實(shí)際 監(jiān)控系統(tǒng)的軟硬件條件，選擇了h 2 6 3 國(guó)際視頻壓縮標(biāo)準(zhǔn)作為監(jiān)控視頻編碼算法的框架。 第三章中測(cè)試?yán)治鰄 2 6 3 壓縮算法主要高級(jí)壓縮選項(xiàng)的性能，根據(jù)這些測(cè)試和分析結(jié) 果，結(jié)臺(tái)低碼率監(jiān)控視頻和c 6 7 1 1 d s p 系統(tǒng)的特點(diǎn)，選取合適的編碼方案。然后對(duì)編碼程序 中運(yùn)動(dòng)搜索算法和全零塊預(yù)判算法進(jìn)行了改進(jìn)和優(yōu)化。 第四章是本文的主要部分，其中主要針對(duì)t i c 6 7 1 1 的特點(diǎn)，從編碼程序的結(jié)構(gòu)、函數(shù)代 碼和總線(xiàn)操作三個(gè)方面，進(jìn)行優(yōu)化和改進(jìn)。根據(jù)整個(gè)監(jiān)控系統(tǒng)的結(jié)構(gòu)，集成視頻采集模塊和 串口輸出模塊，并對(duì)d s p 系統(tǒng)的f l a s h 引導(dǎo)做了相應(yīng)的研究。 在第五章中我們給出了客戶(hù)端軟件的實(shí)現(xiàn)，并且提出了一種基于小波變換的圖像超分辨 率算法。 最后，在第六章中，對(duì)基于t 1 6 7 1 i d s p 的低碼率監(jiān)控視頻編碼的研究工作進(jìn)行了總結(jié)， 為將來(lái)的發(fā)展提出了展望和規(guī)劃。 本文的主要貢獻(xiàn)和創(chuàng)新之處有： 1 通過(guò)對(duì)h 2 6 3 最主要的七個(gè)高級(jí)編碼選項(xiàng)的性能測(cè)試，根據(jù)測(cè)試結(jié)果和d s p 硬件特 點(diǎn)，確定了低碼率監(jiān)控視頻的編碼方案。針對(duì)監(jiān)控視頻碼率低、背景固定等特點(diǎn)，改進(jìn)了 h 2 6 3 的運(yùn)動(dòng)搜索算法，在編碼程序中采用了全零塊預(yù)判算法，提高編碼效率。 2 針對(duì)t i c 6 7 1 i d s p 的特點(diǎn)對(duì)視頻編碼程序的結(jié)構(gòu)、算法和總線(xiàn)操作進(jìn)行了優(yōu)化。其中 包括根據(jù)d s p 硬件資源限制，對(duì)編碼程序結(jié)構(gòu)進(jìn)行調(diào)整，使調(diào)整后的程序?qū)ο到y(tǒng)資源的需求 更小，流程更規(guī)撼；針對(duì)c 6 7 1 1 d s p 的v l i w 指令體系，對(duì)程序局部函數(shù)代碼進(jìn)行匯編流水優(yōu) 化，提高程序的整體效率：針對(duì)d s p 片內(nèi)外總線(xiàn)結(jié)構(gòu)的特點(diǎn)，對(duì)編碼過(guò)程中的內(nèi)存調(diào)用進(jìn)行 e d m a 操作優(yōu)化以及緩存結(jié)構(gòu)的優(yōu)化。經(jīng)過(guò)優(yōu)化后的編碼程序在程序結(jié)構(gòu)上更為緊湊、運(yùn)行 效率更高、數(shù)據(jù)流動(dòng)更為順暢。 3 針對(duì)監(jiān)控系統(tǒng)硬仲設(shè)計(jì)的結(jié)構(gòu)，完成系采集和傳輸模塊與d s p 視頻編碼模塊之間的 集成，同時(shí)通過(guò)對(duì)f l a s hb o o t 系統(tǒng)引導(dǎo)的研究，保證了監(jiān)控系統(tǒng)能夠正常的脫機(jī)獨(dú)立工作。 4 提出了基于小波變換的圖像超分辨率算法，利用小波變化多分辨率的特點(diǎn)，結(jié)合雙 線(xiàn)性插值算法，使提升分辨率后的圖像最大程度保留了原有的細(xì)節(jié)，達(dá)到較好的主客觀(guān)效果。 下面，將分章節(jié)詳細(xì)介紹這些具體的工作情況。 塑堊奎蘭堡蘭些絲塞 第二章低碼率視頻壓縮編碼技術(shù) 視頻編碼壓縮算法是監(jiān)控系統(tǒng)的核心算法，選擇一個(gè)合適的編碼算法是能否成功實(shí)現(xiàn)整 個(gè)系統(tǒng)的關(guān)鍵。由于整個(gè)監(jiān)控系統(tǒng)的目標(biāo)碼率在9 6 k h p s 到1 1 2 k b p s 之間，典型碼率是在 4 4 k b p s 左右，所以所選用的算法必須能夠勝任這樣的低碼率視頻壓縮編碼，并且在實(shí)現(xiàn)復(fù) 雜度上能夠符合c 6 7 1 1 d s p 的硬件能力。可喜的是，近年來(lái)圍繞低碼率視頻壓縮編碼新技術(shù) 的研究一直非常活躍，i t u 和i s o 也相應(yīng)陸續(xù)發(fā)布了針對(duì)甚低碼率視頻壓縮編碼的新標(biāo)準(zhǔn)， 如h 2 6 3 、i p e g 4 、h 2 6 l 以及最近提出的h 2 6 4 等。本章，將對(duì)這些技術(shù)和標(biāo)準(zhǔn)作簡(jiǎn)單的介 紹和對(duì)比，從中選擇合適的編碼技術(shù)，作為低碼率監(jiān)控系統(tǒng)的核心編碼算法。 2 1h 2 6 3 視頻編碼標(biāo)準(zhǔn) h 2 6 3 是i t u t 于1 9 9 6 年制訂的專(zhuān)門(mén)針對(duì)甚低碼率視頻通信應(yīng)用的視頻壓縮標(biāo)準(zhǔn)。1 9 9 6 年3 月h 2 6 3 推出了第一版，有4 個(gè)高級(jí)模式 8 ；1 9 9 8 年1 月推出了第二版，又稱(chēng)為h 2 6 3 + ， 修正了一個(gè)高級(jí)模式，增加了1 0 個(gè)高級(jí)模式 9 ；2 0 0 0 年1 1 月推出了第三版，稱(chēng)為h 2 6 3 + + ， 再新增了3 個(gè)高級(jí)模式 1 0 。h 2 6 3 版本的升級(jí)對(duì)舊版本保持兼容，但功能有了增強(qiáng)，提高 了視頻壓縮效率，增強(qiáng)了傳輸魯棒性，擴(kuò)大了適用范圍。 h 2 6 3 具有高壓縮比、較強(qiáng)魯棒性等特點(diǎn)，尤其適用于p s t n 及無(wú)線(xiàn)或i n t e r n e t 網(wǎng)絡(luò)環(huán) 境下的視頻傳輸，已被工業(yè)界廣泛采用，如：可視電話(huà)標(biāo)準(zhǔn)i t u t h 3 2 4 ( p s t n ) 、h 3 2 0 ( i s d n ) 和h 3 1 0 ( b - i s d n ) 等均采用了h 2 6 3 為視頻部分的編碼標(biāo)準(zhǔn)。i s o i e ch i p e g q 標(biāo)準(zhǔn)也大量借 鑒了h 2 6 3 的視頻壓縮方案。最初i t 2 6 3 確定目標(biāo)比特率低于6 4 k b p s ，現(xiàn)在已無(wú)此限制， 對(duì)4 c i f 、1 6 c i f 的支持使得h 2 6 3 可以與高比特率視頻編碼m p e g 系列標(biāo)準(zhǔn)相抗衡。 h 2 6 3 標(biāo)準(zhǔn)是在h 2 6 1 標(biāo)準(zhǔn)的基礎(chǔ)上發(fā)展起來(lái)的，兩者的編碼框架相似，不同的是在基 本算法中，h 2 6 3 采用了更為精確的半象索運(yùn)動(dòng)估計(jì)取代h 2 6 1 的整象素運(yùn)動(dòng)估計(jì)和環(huán)路濾 波。h 2 6 3 采用的基本編碼方式是幘內(nèi)編碼( i n t p a ) 和基于運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)膸g編碼 ( i n t e r ) 。 h 2 6 3 處理4 ：1 ：1 的y u v 空間視頻信號(hào)，壓縮處理的基本數(shù)據(jù)結(jié)構(gòu)單元是1 6 1 6 宏塊 ( m a c r o b l o c k ) ，一個(gè)宏塊由4 個(gè)8 8 亮度塊( b l o c k ) 和2 個(gè)色度塊組成，相鄰的若干宏 塊被定義為一個(gè)塊組g o b 。運(yùn)動(dòng)估計(jì)在常規(guī)模式中是對(duì)1 6 x1 6 的宏塊進(jìn)行，得到的運(yùn)動(dòng)矢 6 浙江大學(xué)碩上學(xué)位論文 量為半象素精度。協(xié)議本身沒(méi)有規(guī)定具體運(yùn)動(dòng)估計(jì)算法。對(duì)經(jīng)過(guò)預(yù)測(cè)的運(yùn)動(dòng)補(bǔ)償幀間誤差采 j = f j | 8 8 的分塊d c t 變換去除空間冗余信息。d c t 系數(shù)經(jīng)過(guò)量化、熵編碼( h u f f m a n ) 后形成 碼流。h 2 6 3 還引入了m p e g 中p 、b 圖像的思想，規(guī)定了p b 幀、b 幀模式。 h 2 6 3 的高級(jí)模式主要有： 1 無(wú)限制的運(yùn)動(dòng)矢量：運(yùn)動(dòng)估計(jì)的匹配塊可以部分位于圖像域之外，使得圖像邊界 處的宏塊仍然可以得到較好的預(yù)測(cè)。對(duì)攝像機(jī)運(yùn)動(dòng)和大圖像格式的情況特別有用。 2 高級(jí)預(yù)測(cè)模式：運(yùn)動(dòng)估計(jì)是基于8 8 塊，而不是基于1 6 1 6 的宏塊，這樣每個(gè)宏 塊可以具有四個(gè)運(yùn)動(dòng)矢量運(yùn)動(dòng)估值更精確。解碼器由預(yù)定義的加權(quán)表采用交迭塊運(yùn)動(dòng)補(bǔ)償 技術(shù)( o v e r l a p p e db l o c km o t i o nc o m p e n s a t i o n ，o b m c ) 得到預(yù)測(cè)的象素值，o b m c 能消除 塊效應(yīng)，改善解碼圖像質(zhì)量。 3 p b 幀模式：p b 幀統(tǒng)一編碼，p b 幀對(duì)應(yīng)的宏塊數(shù)據(jù)( 共1 2 個(gè)b l o c k ) 接在同一個(gè)宏 塊頭后面。p b 幀中的b 幀作斛向預(yù)測(cè)。 4 基于語(yǔ)法的算術(shù)編碼( s a c ) ：可以獲得比h u f f m a n 編碼更高的壓縮比，但編解碼器 的復(fù)雜度會(huì)有所提高。 5 修正的非限制運(yùn)動(dòng)矢量模式：對(duì)運(yùn)動(dòng)矢量采用一種新的單精度的可逆變長(zhǎng)編碼 ( r v l c ) ，支持任意大小的運(yùn)動(dòng)矢量編碼。 6 高級(jí)幀內(nèi)編碼模式：由于幀內(nèi)( i n i r a ) 數(shù)據(jù)和幀間( i n t e r ) 預(yù)測(cè)誤差數(shù)據(jù)具有不 同的統(tǒng)計(jì)特性，對(duì)幀內(nèi)數(shù)據(jù)采用單獨(dú)的v l c 編碼表。同時(shí)，對(duì)幀內(nèi)數(shù)據(jù)可以采用三種不同的 預(yù)測(cè)方式：只對(duì)直流系數(shù)進(jìn)行、對(duì)水平第一行系數(shù)進(jìn)行、對(duì)垂直第一列系數(shù)進(jìn)行。 7 去除塊效應(yīng)濾波模式：濾波可以很好地去除編碼過(guò)程中引進(jìn)的塊效應(yīng)。 8 片斷結(jié)構(gòu)( s l i c e ) 模式：形狀位置可變的靈活片斷結(jié)構(gòu)( s l i c e ) 代替塊組( g o b ) 。 9 追加增強(qiáng)信息模式：支持圖像凍結(jié)、圖像快照、視頻分段等功能。 1 0 改進(jìn)的p b 幀模式：b 幀允許作雙向、前向、后向預(yù)測(cè)。 11 參考i 虱像選擇模式：可靈活選擇參考圖像，克服幀間編碼誤差傳播。 1 2 時(shí)間、空間、信噪比可伸縮模式：分級(jí)擴(kuò)展，在同一碼流中支持不同的時(shí)空分辨率， 或不同信噪比的圖像。 1 3 參考圖像再抽樣模式：對(duì)參考圖像作變換后再用于預(yù)測(cè)。當(dāng)參考圖像i 【貞與源圖像格 式不同時(shí)很有用。 1 4 簡(jiǎn)化的分辨率更新模式：編碼器發(fā)送更新信息給較低分辨率圖像l 幀來(lái)得到高分辨率 圖像。此模式對(duì)有復(fù)雜背景且運(yùn)動(dòng)劇烈的圖像幀很有用。 7 浙江人學(xué)碩j j 學(xué)位論文 1 5 獨(dú)立的分段解碼模式：限制運(yùn)動(dòng)欠暈估計(jì)丁i 割像的某一分段內(nèi)部。5 制了錯(cuò)誤傳播。 1 6 可選的幀間v l c 模式：對(duì)某些人量化系數(shù)小零游群較多的幀間塊使用幀內(nèi)v l c 編碼 表。 1 7 修改的量化模式：對(duì)宏塊、色度塊、d c t 系數(shù)的量化作了更好的規(guī)定。 1 8 數(shù)據(jù)分割模式：將圖像幀中所有的宏塊頭信息、運(yùn)動(dòng)向量、d c t 系數(shù)集中在一起分 別傳輸。這樣便于分級(jí)保護(hù)。 h 2 6 3 的主要高級(jí)模式適合于不同的應(yīng)用場(chǎng)合，能在不同程度上提高系統(tǒng)性能。 2 2m p e g - 4 視頻編碼標(biāo)準(zhǔn) i s om p e g 組織t1 9 9 9 年1 月正式公布了m p e g 一4 ( i s o i e c1 4 4 9 6 ) v 1 0 版本，1 9 9 9 年1 2 月又公布了m p e g 一4v 2 0 版本。m p e g 一4 制定的初衷是針對(duì)視頻會(huì)議、視頻電話(huà)的甚低 碼率編碼。但在制定的過(guò)程中，m p e g 組織深切感受到，軟硬件技術(shù)的發(fā)展和應(yīng)用需求的變 化，迫切要求將編碼與基于內(nèi)容的檢索綜合起來(lái)考慮。于是m p e g 組織修改了計(jì)劃，制定了 現(xiàn)在意義上的基于內(nèi)容( 對(duì)象) 的壓縮編碼標(biāo)準(zhǔn)：m p e g 一4 。 m p e g 一4 標(biāo)準(zhǔn)為多媒體數(shù)據(jù)壓縮提供了一個(gè)更為廣闊的平臺(tái)，它更多定義的是一種格式 和框架，而不是具體的算法。人們可以在系統(tǒng)中隨時(shí)加入新的有效算法模塊，可以將各種各 樣的多媒體技術(shù)充分用于編碼中，如壓縮工具和算法、計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形、圖像分析 合成、虛擬現(xiàn)實(shí)和語(yǔ)音合成等。m p e g 一4 具有面向基于內(nèi)容的交互性、高壓縮率、靈活多樣 的存取模式等特點(diǎn)，在這里就不一一贅述，而只詳細(xì)討論m p e g 一4 的甚低碼率視頻編碼特點(diǎn)。 m p e g - 4 視頻支持的碼率和相應(yīng)的功能如圖2 1 所示。可以看到，其功能集的底層核心 是甚低碼率視頻壓縮。m p e g 4 視頻壓縮算法借鑒了很多h 2 6 3 中的思想和算法，但也有其 獨(dú)到的地方。 為支持面向?qū)ο蟮慕换?，m p e g 一4 中引入了視頻對(duì)象( v i d e oo b j e c t ) 的概念。視頻碼 流的語(yǔ)法分為視頻會(huì)話(huà)( v s ，v i d e os e s s i o n ) 、視頻對(duì)象( v o ，v i d e oo b j e c t ) 、視頻對(duì)象平 面層( v o l ，v i d e oo b j e c tl a y e r ) 、視頻對(duì)象平面組( g v o ) 和視頻對(duì)象平面( v o p ，v i d e oo b j e c t p l a n e ) 五層。一個(gè)視頻序列由若干個(gè)v s 構(gòu)成。v o 是場(chǎng)景中的某個(gè)物體。由時(shí)間上連續(xù)的 許多幀構(gòu)成，是用戶(hù)能夠存取和操作( 如剪切、粘貼等) 的實(shí)體。若干個(gè)v 0 構(gòu)成一個(gè)v s 。 v o l 對(duì)應(yīng)著一個(gè)v 0 的不同空間或時(shí)間分辨率，每個(gè)v o 可以有多個(gè)v o l 。v o p 是v o 或v o l 在 某一時(shí)刻的表象，即某一幀v o 。根據(jù)采用的編碼方式，v o p 可以分為i 、p 、d 和s 四種類(lèi)型， 分別對(duì)應(yīng)幀內(nèi)編碼、幀間預(yù)測(cè)、雙向幀間預(yù)測(cè)、全景圖( s p r i t e ) 編碼方式。多個(gè)v o p 構(gòu)成 8 浙江大學(xué)碩士學(xué)位論文 一個(gè)g o v 。g o v 是一個(gè)可選層，主要目的是為了提供隨機(jī)訪(fǎng)問(wèn)、重同步、數(shù)據(jù)恢復(fù)等能力。 v o p 是m p e g 一4 中重要的數(shù)據(jù)結(jié)構(gòu)，通過(guò)v o p ，高壓縮比和基于內(nèi)容的訪(fǎng)問(wèn)得以實(shí)現(xiàn)。v o p 的獲取往往涉及圖像分割、運(yùn)動(dòng)圖像分析等技術(shù)，目前實(shí)時(shí)分割v o p 還具有較大的難度。 v o p 由形狀、紋理、運(yùn)動(dòng)三部分編碼信息組成。其中紋理、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償在原理 上同n2 6 3 是一致的，如半象素運(yùn)動(dòng)搜索、無(wú)限制的運(yùn)動(dòng)估計(jì)、高級(jí)預(yù)測(cè)模式、交迭塊運(yùn)動(dòng) 補(bǔ)償o b m c 、d c t 變換及量化、h u f f m a n 編碼等。當(dāng)v o p 的形狀取為傳統(tǒng)的船矩形時(shí)，編碼 算法和h 2 f i 3 、m p e g l 、b l p e g - 2 是相近的。 形狀編碼是圖像編碼中第一次引入的技術(shù)。基于1 6 x1 6 宏塊的形狀編碼算法可對(duì)任意 形狀的v o p 進(jìn)行編碼。形狀編碼分為二進(jìn)制和灰度a l p h a 平面格式兩種。二進(jìn)制平面中的 點(diǎn)只能取0 和2 5 5 兩個(gè)值，而灰度a l p h a 平面中的點(diǎn)可以在0 到2 5 5 之間取值。m p e g 一4 允 許采用基于語(yǔ)義的算術(shù)編碼( c a e ) 或其他基于幾何輪廓的編碼技術(shù)對(duì)二進(jìn)制形狀塊( b a b ) 編碼。對(duì)灰度a l p h a 值則視為二進(jìn)制形狀的紋理特征，附加在二進(jìn)制形狀編碼之后。 m p e g 一4 中還引入了全景s p r i t e 圖像的概念。s p r i t e 主要是針對(duì)背景圖像提出的，為了 有效編碼背景視頻對(duì)象，可以將其在一段時(shí)間的內(nèi)容拼接成一副完整的背景圖像這樣的圖 像就叫做s p r i t e 圖像。s p r i t e 圖只需編碼傳輸一次并存放在解碼端，隨后的圖像只需要傳 輸攝影機(jī)相對(duì)于背景的運(yùn)動(dòng)參數(shù)，就可以從s p r i t e 上恢復(fù)所有的圖像背景。s p r i t e 作為 m p e g - 4 的重要概念之一，極大地提高了編碼的效率。但s p r i t e 編碼的實(shí)現(xiàn)，必須滿(mǎn)足兩個(gè) 前提條件：一個(gè)是前景與背景要能很好地分開(kāi)，另一個(gè)是要做到無(wú)痕跡地從一段視頻中拼接 出s p r i t e 圖像。 圖2 1 ；m p e g - 4 視頻支持的碼率段和相應(yīng)的功能組成 2 3 h 2 6 4 視頻編碼標(biāo)準(zhǔn) h 2 6 4 標(biāo)準(zhǔn)的主導(dǎo)思想是與其他的視頻編解碼標(biāo)準(zhǔn)一致的基于塊的混合編碼方法 9 塑堊盔蘭堡土蘭竺絲苧 但是它同時(shí)運(yùn)剛了大量不同的技術(shù)，使得其視頻編碼性能優(yōu)于現(xiàn)有的其他任何標(biāo)準(zhǔn)【1 4 】。 h 2 6 4 與以往的編碼方法不同的是如f 幾個(gè)方面： 1 h 2 6 4 采用了不同大小平形狀的宏塊分割與弧分割的方法。一個(gè)宏塊的1 6 x 1 6 亮度 值可以按照1 6 x 1 6 、1 6 x 8 、8 x 1 6 或8 x 8 進(jìn)行分割，而如果選擇了8 x 8 分割，那么還可以按照 8 x 8 、8 x 4 、4 x 8 或4 x 4 進(jìn)行亞分割，這些宏塊分割與亞分割的模式可以組合山許多種宏塊的 分割方法。 2 h 2 6 4 可以達(dá)到四分之一像素的運(yùn)動(dòng)精度這是通過(guò)利用攘像素點(diǎn)的亮度值進(jìn)行內(nèi) 差得到的。內(nèi)差過(guò)程先是通過(guò)6 抽頭的濾波器來(lái)獲得半像素精度，然后用線(xiàn)性濾波器來(lái)獲得 四分之一像素的精度。又由于4 ：2 ：0 采樣的關(guān)系，色度的運(yùn)動(dòng)精度就達(dá)到八分之一像素，這 也是通過(guò)線(xiàn)性濾波器插值得到的。 3 h 2 6 4 還可以采用多參考圖像( 最多前向和后向各5 幀) 來(lái)進(jìn)行運(yùn)動(dòng)預(yù)測(cè)。 4 h 2 6 4 也在b 圖像中利用后向運(yùn)動(dòng)預(yù)測(cè)，這和以前的標(biāo)準(zhǔn)是一致的，但不同的是b 圈像通過(guò)加權(quán)也能作為其他圖像的參考圖像。 5 h 2 6 4 根據(jù)相鄰像素可能有相同的性質(zhì)，利用了相鄰像素的相關(guān)性，采用了新的i n t r a 預(yù)測(cè)這種模式。通過(guò)當(dāng)前像素塊的左邊和上邊的像素( 已編碼重建) 進(jìn)行預(yù)測(cè)，只對(duì)實(shí)際值 和預(yù)測(cè)值的差值進(jìn)行編碼，這樣就能用較少的比特?cái)?shù)來(lái)表達(dá)i n t r a 編碼的像素塊信息 6 h 2 6 4 把運(yùn)動(dòng)估值和i n t r a 預(yù)測(cè)的殘差結(jié)果從時(shí)域變換到頻域，使用了類(lèi)似于4 x 4 離 散余弦變換d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 的整數(shù)變換。 7 h 2 6 4 使用了兩種熵編碼方法，即基于上下文的自適應(yīng)變長(zhǎng)編碼c a v l c ( c o n t e x t - b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) 與一致變字長(zhǎng)變碼u v l c ( u n i v e r s a l v a r i a b l e t e n g t hc o d i n g ) 相結(jié)合的編碼和基于上下文的自適應(yīng)= 進(jìn)制算術(shù)編碼c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。 以上所有的這些新技術(shù)使得h 2 6 4 有著令人驚訝的壓縮效率，但是同時(shí)也造成了編解碼 復(fù)雜度的大大增加，在p 42 0 g h z ，2 5 6 m d d r 的p c 上，h 2 6 4 壓縮一幀c i f 格式的圖像 就需要近一秒的時(shí)間，顯然這樣的壓縮效率離實(shí)際應(yīng)用的要求還有不小的差距。 2 4 小結(jié)：視頻壓縮標(biāo)準(zhǔn)的選擇 在前面幾節(jié)中，我f j 對(duì)當(dāng)前最流行的三個(gè)低碼率視頻壓縮編碼標(biāo)準(zhǔn)做了簡(jiǎn)單的介紹。 仲e g 一4 基于對(duì)象的壓縮算法引入了很多新的思想和模型，基于形狀的編碼、s p r i t e 編碼、 i o 浙江大學(xué)碩十學(xué)位論文 網(wǎng)格對(duì)象編碼、人臉對(duì)象編碼等等，都有助于提高壓縮性能。但我們也應(yīng)該看到，上述的這 些新穎的算法思想，或者針對(duì)特定的對(duì)象模型，或者在現(xiàn)有的圖像理解、計(jì)算機(jī)視覺(jué)發(fā)展水 平階段，并不具備實(shí)時(shí)性或普遍適用性。要戍t i _ j 于監(jiān)控系統(tǒng)視頻編碼，仍然還有待相關(guān)算法 的研究和硬件計(jì)算速度的提高。 h 2 6 4 是性能最優(yōu)異視頻編碼標(biāo)準(zhǔn)，它引入了c a b a c 、幀內(nèi)預(yù)測(cè)、多幀參考幀、多塊分 割等最新的視頻編碼技術(shù)，達(dá)到出色的視頻壓縮效果，但是同時(shí)我們也可以看到優(yōu)異的性能 是以高復(fù)雜的運(yùn)算和高要求的資源所換取的，所以要在t ic 6 7 1 1d s p 上實(shí)現(xiàn)h 2 6 4 編碼標(biāo) 準(zhǔn)，也不太現(xiàn)實(shí)。 h 2 6 3 是性能優(yōu)異的，針對(duì)低碼率視頻壓縮的國(guó)際標(biāo)準(zhǔn)。其多種高級(jí)編碼模式，有助于 用戶(hù)根據(jù)不同的應(yīng)片! i 需求選取晟優(yōu)的編碼方案。對(duì)比起其他兩個(gè)標(biāo)準(zhǔn)，h 2 6 3 在壓縮性能和 計(jì)算復(fù)雜度上都有比較出色的表現(xiàn)，目前被廣泛的應(yīng)用在低碼率嵌入式視頻領(lǐng)域。 綜合考慮算法的計(jì)算量、壓縮性能、成熟度、資源開(kāi)銷(xiāo)等各方面的因素，考慮到c 6 7 1 1 d s p 系統(tǒng)開(kāi)發(fā)的需求，我們決定選用h 2 6 3 作為低碼率監(jiān)控視頻壓縮編碼的核心框架。在r 一章中，我們將對(duì)h 2 6 3 的各個(gè)高級(jí)編碼模式的性能進(jìn)行考察，從中選定適用于監(jiān)控場(chǎng)景低 碼率視頻編碼和6 7 1 1 d s p 硬件系統(tǒng)的編碼方案，并且對(duì)相關(guān)的算法進(jìn)行優(yōu)化和改進(jìn)。 浙江人學(xué)碩士學(xué)位論文 第三章編碼方案的選擇及其優(yōu)化 h 2 6 3 的第二版本h 2 6 3 + 發(fā)布的時(shí)候，h 2 6 3 體系的高級(jí)編碼模式已經(jīng)多達(dá)1 4 個(gè)了。 這些高級(jí)編碼模式，有的著眼于提高壓縮效率，有的著眼于提高壓縮厲圖像的質(zhì)量，有的擴(kuò) 展了h 2 5 3 算法的適用范圍。不同的高級(jí)編碼模式適用于不同的應(yīng)用環(huán)境。圖3 1 就是h 2 6 3 視頻壓縮編碼的基本框架。本章中我們將根據(jù)該框架，詳細(xì)分析h 2 6 3 視頻編碼器的各個(gè)模 塊特點(diǎn)以及相關(guān)高級(jí)選項(xiàng)的性能，針對(duì)低碼率監(jiān)控視頻的特點(diǎn)以及c 6 7 1 1d s p 的硬件資源狀 況，選取最合適的編碼選項(xiàng)，并對(duì)一些相關(guān)的算法進(jìn)行改進(jìn)和優(yōu)化 7 ，8 ，9 ，1 0 。 圖3 1h 2 6 3 編碼器框圖 3 1 h 2 6 3 的編碼方案選擇 本節(jié)中將對(duì)提高壓縮率或圖像質(zhì)量有宜的h 2 6 3 的最主要七個(gè)高級(jí)編碼模式做簡(jiǎn)單介 紹，并實(shí)際考察其對(duì)編碼性能的提升情況，結(jié)合監(jiān)控場(chǎng)景低碼率視頻編碼特點(diǎn)和c 6 7 1 i d s p 的硬件要求，確定可以應(yīng)用于實(shí)際c 6 7 1 1d s p 編碼方案中的高級(jí)編碼模式。 為保證測(cè)試的客觀(guān)性和可重復(fù)性，在這一章中針對(duì)h 2 6 3 高級(jí)模式的性能測(cè)試，除p b 幀模式的測(cè)試以外，都是在t m n e n c3 2 中進(jìn)行的。使用的測(cè)試視頻序列，是f o r e m a t l y u v 標(biāo)準(zhǔn)測(cè)試視頻，該測(cè)試序列前1 7 0 幀，背景固定，攝像機(jī)參數(shù)變化不大，和監(jiān)控場(chǎng)景視頻有 相近的特點(diǎn)。f o r e m a n y u v 序列是q c i f 格式，幀率為每秒3 0 幀。 浙江人學(xué)頓上學(xué)位論文 3 1 1 無(wú)限制的運(yùn)動(dòng)矢量模式 在普通情況卜，運(yùn)動(dòng)估計(jì)的范同限丁圖像邊界之內(nèi)，運(yùn)動(dòng)矢量的大小也只能在【一1 6 ，1 5 5 內(nèi)取值。而在無(wú)限制運(yùn)動(dòng)矢量模式下，運(yùn)動(dòng)估計(jì)的范圍可以超出圖像區(qū)域，使得圖像邊界處 的宏塊可以得到更好的運(yùn)動(dòng)預(yù)測(cè)。運(yùn)動(dòng)矢量指向的點(diǎn)如果位于圖像邊界之外，則用圖像邊界 點(diǎn)的值代替。運(yùn)動(dòng)矢量的人小的范圍也得到擴(kuò)展。 在h 2 6 3 第一版的碼流語(yǔ)義環(huán)境下( p l u s p t y p e 不山現(xiàn)) ，運(yùn)動(dòng)矢最的值域從默認(rèn)的 _ 1 6 ，1 5 5 增加到 一3 1 5 , 3 1 5 】。此時(shí)運(yùn)動(dòng)矢量的編碼表不變，只是運(yùn)動(dòng)矢最m v c 的取值范圍 變得和其預(yù)測(cè)值尼相關(guān)： - 3 1 5 慨s 0礦一3 1 5 尸c 一1 6 一1 6 + ，0 慨1 5 5 + p c 礦1 5 5 p c 1 6 0 m v c 3 1 5礦1 6 5 5 3 1 5 在h 2 6 3 第二版( h 2 6 3 + ) 的碼流語(yǔ)義環(huán)境卜( p l u s p t y p e 出現(xiàn)) ，運(yùn)動(dòng)矢量范圍和 預(yù)測(cè)值無(wú)關(guān)，而分為范同有限利范圍無(wú)限制兩種情況。在范圍有限的情況下，運(yùn)動(dòng)矢量值域 和圖像格式有關(guān)。對(duì)c i f 為 - 3 2 ，3 1 5 】，對(duì)4 c i f 為【- 6 4