基于紋理及JND建模的視頻編解碼研究當前典型的通用視頻編碼標準采用基于預測、變換架構的混合編碼技術框架,其基本原理建立在香農(nóng)信息論基礎之上,壓縮思想仍停留在數(shù)字信號處理的層面,主要從去除數(shù)據(jù)冗余角度入手,編碼效率的提高主要依賴于以運算復雜度大幅增加為代價的技術細節(jié)的微調。隨著視頻編碼技術的發(fā)展,目前基于香農(nóng)信息論的視頻編碼技術面臨著較大的發(fā)展瓶頸,以提高計算復雜度來提升壓縮效率的改進思路的發(fā)展空間越來越小。如何進一步高效率的提升壓縮效率成為視頻編碼領域一個亟待解決的問題。視覺感知編碼從圖像內容的角度出發(fā)、基于人眼視覺理論來指導視頻壓縮,在保持圖像主觀感知效果基本不變的條件下能極大降低碼率,對于解決這一難題具有重要意義。本文首先對視覺感知編碼中的典型代表技術紋理合成、JND建模技術進行綜述分析,并以其為核心具體從視頻編碼的時域預測技術、“隱含運動估計”的幀間預測技術、基于JND模型的編碼技術三個方面進行綜述并得出結論：由于人類對視覺感知機理認識的不足,完全從人眼視覺系統(tǒng)HVS出發(fā)探索新編碼途徑的工作仍然進展緩慢,存在不少不足之處。但是基于局部視覺特征、將某些較為成熟的視覺合成技術無縫引入到傳統(tǒng)視頻編碼框架內,不僅在一定程度避免了單純基于視覺特征編碼技術面臨的難點,還能突破現(xiàn)有視頻標準依靠提升計算復雜度來改進壓縮效率的傳統(tǒng)思路?；谝陨戏治?本文在國家自然科學基金青年基金項目“基于紋理建模的預測編碼技術研究”(No.61003184)、國家自然科學基金面上項目“基于反向紋理合成的視頻編碼技術研究”(No.60970160)和微軟亞洲研究院創(chuàng)新計劃項目“基于Contourlet變換和圖像結構信息的JND模型”(No.FY09-RES-OPP-013)的資助下,對視覺編碼領域中的紋理建模和JND建模技術展開研究,提出了兼容傳統(tǒng)混合視頻編碼框架的紋理合成、JND建模編碼方案,形成了基于視覺特性的改進編碼算法,提高了視頻編碼效率,具有較高的理論價值。對于滿足高清視頻應用中提升壓縮效率的需求和寬帶移動環(huán)境下提升視頻容錯能力的需求而言,具有重要的應用價值。具體來講,本論文的主要研究成果如下：(1)基于動態(tài)紋理模型的視頻編/解碼算法傳統(tǒng)動態(tài)紋理模型求解方法采用前面若干幀圖像的平均值作為合成圖像的基準值,使得合成的虛擬幀表現(xiàn)的是一段時間內圖像的整體運動趨勢。該方法合成的圖像雖然主觀效果較好,但是由于合成圖像與當前待預測幀的相關性較低,降低了幀間預測效率。雖然有學者提出了改進的求解方法,但是為了保證編／解碼端的數(shù)據(jù)匹配而省略噪聲項,使得動態(tài)紋理模型沒有了噪聲驅動項,理論上導致模型無法驅動。針對這一問題,本文提出一種改進的動態(tài)紋理模型求解方法,通過引入偽隨機函數(shù)作為模型驅動項,采用逐幀更新迭代的方法使得合成的虛擬幀具有更小的圖像合成誤差值。在此基礎上,在編碼端提出一種虛擬幀算法,改善了現(xiàn)有多參考幀預測技術對于非線性運動、背景光照變化時預測效率不高的影響；在解碼端提出一種幀級錯誤掩蓋方法,改善了整幀丟失情況下傳統(tǒng)錯誤掩蓋算法對于復雜運動場景恢復效果不佳的影響。(2)基于STALL模型的幀間預測算法原始STALL紋理模型以像素點為基本處理單元、形成逐點合成的處理框架,而現(xiàn)有視頻編碼標準采用基于塊的處理框架(如H.264標準以4×4塊為最小處理單元)。將STALL模型用在基于塊為最小處理單元的視頻標準有損壓縮時,由于空域鄰居點無法實時獲取到,只能利用時域鄰居點信息來建模,降低了模型預測精度。針對這一問題,本文提出以4×4塊為處理單元的時、空鄰居點自適應選擇方法,建立適合視頻有損壓縮的改進STALL模型,提出了一種新的幀間預測模式,提高了幀間預測的預測精度。(3)基于彩色JND模型的殘差自適應濾波算法傳統(tǒng)彩色JND模型的建模方法通?；赗GB、YCbCr等色彩空間,由于這些色彩空間不是均勻色差系統(tǒng),不具有進行彩色圖像分析與處理所需的獨立性和均勻性指標,使得在計算色度JND閾值時的精度有待提高。針對這一問題,本文基于均勻色差空間CIELAB彩色系統(tǒng),提出對應的彩色JND模型建模方法,使得該JND模型在色度分量上能更準確的表征人眼感知特性,具有更好的感知峰值信噪比,進而將其應用到視頻編碼中的自適應殘差系數(shù)濾波模塊中,在主觀質量基本相同的條件下進一步提高了編碼的壓縮效率。綜上所述,本文基于紋理及JND建模理論建立一套高效視頻編碼框架,突破傳統(tǒng)視頻編碼技術單純以提升計算復雜度來提高壓縮效率的局限,提出了一套兼容傳統(tǒng)混合視頻編碼框架的增強編碼工具集,具有較為重要的理論意義和應用價值。在此基礎上,本文最后總結了