中圖分類號： 學(xué)校代碼： 10055 密級： 公開 碩 士 專 業(yè) 學(xué) 位 論 文 解碼器性能評估系統(tǒng)的設(shè)計與實現(xiàn) of or 文摘要 I 中文 摘要 近 年發(fā)展起來的能夠顯著提高 視頻 壓 縮效率 的視頻標(biāo)準(zhǔn)， 該 標(biāo)準(zhǔn)已被廣泛應(yīng)用到 視頻會議、視頻監(jiān)視、遠程教育、視頻點播 、高清晰數(shù)字電視等多媒體 領(lǐng)域 。 然而，由于 解碼器的運算量大，當(dāng)被應(yīng)用在一些計算資源有限或者實時性要求比較高的場合時，開發(fā)者需要依據(jù)具體計算平臺的特性，對 解碼器進行適當(dāng)?shù)牟眉艋蛘咝薷?。由?構(gòu)復(fù)雜，僅其初始化參數(shù)就有 100 多個。除此之外，目前有多種運動估計以及補償算法 、碼率控制算法 可供選擇 。這些因素導(dǎo)致開發(fā)者將面對多種可能的配置，并且需要對這些配置對 解碼器的性能，尤其是碼率、處理后圖像質(zhì)量等 指標(biāo)進行快速評估。為了解決這個問題，本文開發(fā)了一個 解碼器性能評估系統(tǒng)。 本文 介紹了對視頻信息進行編碼解碼的三個標(biāo)準(zhǔn)系列： 列，中國自主制定的 準(zhǔn)以及 定的 列。 闡述了將 為本文研究對象的原因。定義了 解碼器性能評估系統(tǒng)應(yīng)該完成的功能。給出了系統(tǒng)的總體設(shè)計，主要是闡述了 系統(tǒng) 總體的數(shù)據(jù)處理流程，介紹了本系統(tǒng)所采用的 解碼器的特點 以及對應(yīng)的總體移植思路，將 定為本系統(tǒng)視頻開發(fā)工具的 原因。 接下來，本文闡述了主界面模塊以及實驗結(jié)果處理模塊的概要設(shè)計，主要是介紹了系統(tǒng)的界面設(shè)計，闡述了各界面應(yīng)該完成的功能， 介紹了 上述兩個模塊所包含的子模塊的概要設(shè)計。最后，本文詳細論述了 主界面模塊以及實驗結(jié)果處理模塊 的詳細設(shè)計以及實現(xiàn)，重點闡述了 如何使用 制指標(biāo)的曲線圖，以及如何使用 口將實驗結(jié)果保存為 件，供用戶定量分析實驗結(jié)果。 本文所開發(fā)的系統(tǒng)可供用戶快速評估各種初始化參數(shù)、運動估計與預(yù)測算法、碼率控 制算法組合情形下 解碼器的性能，供開發(fā)者快速遴選出適用于特定應(yīng)用場合的 置。 關(guān)鍵詞 ： 準(zhǔn) ； 解碼器 ； 運動估計與預(yù)測算法 ； 碼率控制算法 I is in to of to of on to of by in a of or of to to of a it 00 In a of to a of to of in To we a of of x VS TU we as an of . 264 of of M is by In we as of a of of in of is on to to to to to II a to of JM 錄 錄 中文摘要 I 錄 一章 緒論 1 第一節(jié) 視頻編解碼標(biāo)準(zhǔn)概述 1 定的 列 2 中國自主制定的 準(zhǔn) 4 定的 列 4 第二節(jié) 本項目背景 6 第三節(jié) 論文的組織 7 第二章 系統(tǒng)功能定義與總體設(shè)計 9 第一節(jié) 碼器概述 9 第二節(jié) 性能評估系統(tǒng)的功能定義 11 第三節(jié) 系統(tǒng)總體設(shè)計 11 第四節(jié) 解碼器的移植策略 12 第五節(jié) 視頻開發(fā)工具的選擇 13 第六節(jié) 主控模塊的總體設(shè)計 15 第三章 系統(tǒng)概要設(shè)計 17 第一節(jié) 系統(tǒng)的界面設(shè)計 17 第二節(jié) 主界面模塊的概要設(shè)計 18 初始化參數(shù)設(shè)置模塊的設(shè)計 21 視頻源選擇模塊的設(shè)計 22 播放控制模塊的設(shè)計 23 圖像顯示模塊的設(shè)計 25 目 錄 V 第三節(jié) 實驗結(jié)果處理模塊的設(shè)計 25 第四章 系統(tǒng)詳細設(shè)計與實現(xiàn) 27 第一節(jié) 開發(fā)環(huán)境簡介 27 第二節(jié) 主界面模塊的詳細設(shè)計與實現(xiàn) 28 初始化參數(shù)設(shè)置模塊的詳細設(shè)計與實現(xiàn) 28 播放控制模塊的詳細設(shè)計與實現(xiàn) 31 圖像顯示模塊的詳細設(shè)計與實現(xiàn) 33 第三節(jié) 實驗結(jié)果顯示與導(dǎo)出模塊的詳細設(shè)計與實現(xiàn) 34 曲線圖的顯示 36 以 式導(dǎo)出實驗結(jié)果 43 第四節(jié) 評估指標(biāo)詳解與系統(tǒng)測試 48 線圖性能指標(biāo)說明 48 出指標(biāo)詳解 49 系統(tǒng)測試與評估性能反饋 49 第五章 總結(jié)與展望 52 第一節(jié) 工作總結(jié) 52 第二節(jié) 展望 52 參考文獻 54 致 謝 56 個人簡歷 57 第一章 緒論 1 第一章 緒論 隨著計算機技術(shù)以及互聯(lián)網(wǎng)的迅猛發(fā)展，人們對多媒體信息處理以及傳輸?shù)男枨笤絹碓狡惹?。本?0 節(jié)介紹了對視頻信息進行編碼解碼的三個標(biāo)準(zhǔn)系列：定的 列，中國自主制定的 準(zhǔn)以及 定的 所有這些標(biāo)準(zhǔn)中， 準(zhǔn)由于技術(shù)先進、碼率低、編碼質(zhì)量高、適于網(wǎng)絡(luò)應(yīng)用，因而在數(shù)字電視廣播、視頻實時通信、網(wǎng)絡(luò)視頻媒體傳遞以及多媒體短信等領(lǐng)域得到了廣泛的應(yīng)用。 該標(biāo)準(zhǔn)對應(yīng)的編解碼器也被本系統(tǒng)選作研究對象。 本章 0 節(jié) 闡述了本文開發(fā)“ 解碼器性能評估系統(tǒng)”的目的以及該系統(tǒng)的主要功能。 第一節(jié) 視頻編解碼標(biāo)準(zhǔn)概述 隨著計算機技術(shù)以及互聯(lián) 網(wǎng)的迅猛發(fā)展，人們對多媒體信息處理以及多媒體信息在網(wǎng)絡(luò)上的傳輸需求越來越迫切。在視頻會議系統(tǒng)，視頻以及音頻信息被壓縮，通過專用網(wǎng)絡(luò)或者互聯(lián)網(wǎng)傳輸?shù)竭h方，經(jīng)過解碼后，視頻以及音頻信息將重現(xiàn)給接受者。在網(wǎng)上教育領(lǐng)域，開發(fā)者使用多媒體技術(shù)，將教師的授課內(nèi)容、相關(guān)的材料制作成多媒體教學(xué)資源放在網(wǎng)絡(luò)上，遠方的學(xué)習(xí)者通過在線或者下載后播放的形式，播放這些多媒體資源，通過自學(xué)的方式學(xué)習(xí)，這種方式能夠?qū)?yōu)質(zhì)的教育資源以非常低的成本呈現(xiàn)給學(xué)習(xí)者。在娛樂領(lǐng)域，多媒體制作者將電影、短片、動畫等多媒體資源放在網(wǎng)絡(luò)上或者刻錄在 媒體介質(zhì)中，用戶通過在線或者離線的方式，播放這些娛樂資源。隨著計算機處理能力的迅速提升，并行處理技術(shù)的迅猛發(fā)展以及存儲 設(shè)備單位存儲價格的明顯下降，人們對多媒體方面的需求越來越迫切。 多媒體信息主要包括視頻信息以及音頻信息兩個方面。其中，視頻信息能夠向用戶提供 70%左右的信息量。然而，和音頻信息相比，視頻信息所占的存儲量或者帶寬遠遠大于音頻信息所占用的。因此，研究者在視頻信息處理領(lǐng)域投入了大量精力和資金。 在視頻信息處理領(lǐng)域，圖像以及視頻壓縮編解碼起著非常重要的作用。如果不壓縮， 1 秒鐘的電視信號將占用 216M 的存儲容量，在網(wǎng)絡(luò)上傳輸時，要求第一章 緒論 2 網(wǎng)絡(luò)具有 216M 的傳輸帶寬。對于目前大部分用戶，這是一個很高的要求。即使這個要求能被滿足，少數(shù)幾個這樣的視頻傳輸通道將使整個網(wǎng)絡(luò)變得非常繁忙，使得網(wǎng)絡(luò)沒有能力處理其他類型的網(wǎng)絡(luò)請求。即使不是通過網(wǎng)絡(luò)發(fā)布視頻信息，按照上述碼率，一部 2 小時的電影 將需要 194G 的存儲 空間 ，這是一般用戶不能接受的。為了使得用戶能夠 快速而廉價地得到高質(zhì)量的靜態(tài)或者動態(tài)畫面 ，必須要對視頻或者圖像進行快速、高效的壓縮。 可喜的是，經(jīng)過研究者多年的努力，已經(jīng)有性能優(yōu)異的視頻、圖像壓縮編解碼算法問世，實際上 ，這些算法目前已經(jīng)被廣泛使用在 絡(luò)以及移動設(shè)備中。在圖像壓縮領(lǐng)域，已經(jīng)存在 無損壓縮算法以及 有損壓縮算法。在視頻壓縮領(lǐng)域 1， 國際標(biāo)準(zhǔn)化組織 （ 定了 列視頻編解碼標(biāo)準(zhǔn)，這種標(biāo)準(zhǔn)已被廣泛應(yīng)用在 多媒體介質(zhì)的制作中。另一方面， 國際電信聯(lián)盟 （ 定了 列標(biāo)準(zhǔn)。和 列相比，該系列標(biāo)準(zhǔn)更多地考慮了多媒體信號在各種網(wǎng)絡(luò)介質(zhì)的傳輸問題。 上述標(biāo)準(zhǔn)涉及大量的專利，采用這些標(biāo)準(zhǔn)的芯片制造商、設(shè)備制造商需要長期繳納大筆的專利許可費。為了節(jié)省這筆 不菲的費用，我國自主研發(fā)了 列標(biāo)準(zhǔn)。 在這三個系列中， 列標(biāo)準(zhǔn)更適用于以 者 存儲設(shè)備來存儲視頻信息的場合，同時，該系列標(biāo)準(zhǔn)也適用于廣電網(wǎng)絡(luò)的數(shù)字電視機頂盒應(yīng)用。而 列標(biāo)準(zhǔn)更適用于 實時視頻通信如視頻會議和可視電話 應(yīng)用方面。起始時，這兩個標(biāo)準(zhǔn)組織 僅在 制定 及 準(zhǔn) 時有過合作，在大部分時間里兩個組織各自獨立的研究、制定各自的標(biāo)準(zhǔn)。但是，自 上世紀(jì)90 年代末期 開始，這兩個組織開始 合作開發(fā)由 先提出的 準(zhǔn) 2。 接下來我們將分別介紹這三 個系列的標(biāo)準(zhǔn)。 0小節(jié)將介紹 小節(jié)將介紹 列標(biāo)準(zhǔn)， 0 小節(jié)將介紹本文工作涉及的 列標(biāo)準(zhǔn)。 定的 列 定的 列標(biāo)準(zhǔn)主要包括 準(zhǔn)， 準(zhǔn)以及 準(zhǔn)。下面我們簡要介紹這三個標(biāo)準(zhǔn)。 1. 初是為了將音頻、視頻信息壓縮存放在 制定的。這個標(biāo)準(zhǔn)考慮了以下三個問題：（ 1）播放 音頻、視頻信息所要考慮的 視頻和音頻復(fù)接多路技術(shù) 以及其他播放系統(tǒng)所要解決的問題；（ 2）視頻信息第一章 緒論 3 的壓縮；（ 3）音頻信息的壓縮。 時采用了 幀內(nèi) 以及 幀間圖像壓縮技術(shù) 。 幀內(nèi)壓縮 部分 采用 了圖像壓縮領(lǐng)域廣泛采用的離散余弦變化（ 技術(shù)， 以減少 二維 空間上的信息冗余。 幀間壓縮 部分采用了 預(yù)測法和插補法。 該標(biāo)準(zhǔn) 對 預(yù)測誤差 也實施 換，以 進一步 提高壓縮比 。幀間 預(yù)測壓縮 技術(shù)可減少時間軸方向 各幀圖像之間的 冗余信息。 頻壓縮技術(shù)的特點： （ 1） 能夠 隨機存取 多媒體信息； （ 2） 快速正向 /逆向搜索； （ 3） 逆向重播； （ 4） 視聽同步； （ 5） 具有一定的 容錯 能力。 準(zhǔn)存在以下不足：（ 1） 視頻壓縮比是 26： 1，這個壓縮比不夠大 ； （ 2）圖像分辨率太低。 最大清晰度僅為 352 X 288， 回放清晰度不高；（ 3） 幀率被固定為每秒 25 幀，不能丟幀錄像，不適合網(wǎng)絡(luò)應(yīng)用場合。 2. 稱為 “ 21 世紀(jì)的電視標(biāo)準(zhǔn) ” ，最重要應(yīng)用時數(shù)字視頻廣播。它在 基礎(chǔ)上作了許多重要的擴展和改進，但基本算法和 同。 該標(biāo)準(zhǔn)制定于 1994 年，是在 基礎(chǔ)之上發(fā)展而來， 基本算法和同 ，但是對 了許多重要的擴展和改進 。該標(biāo)準(zhǔn)的分辨率可達 720 X 486，其碼率位于 3間。該標(biāo)準(zhǔn)被 廣泛應(yīng)用在 ，用來壓縮視頻、音頻信息，然后將處理后的信息存放在 質(zhì)中。除此之外，該標(biāo)準(zhǔn)還被有線電視網(wǎng)以及衛(wèi)星直播場合，能夠提 供廣播級的數(shù)字視頻。 在音頻處理方面，支持較低頻率（ 16 及 24 采樣，支持支持雙聲道以及多聲道編碼，采用了被稱為 更高級音頻編碼算法。 3. 然 準(zhǔn)在 領(lǐng)域得到了廣泛的應(yīng)用，但是這種標(biāo)準(zhǔn)不太適合于視頻會議、 可視電話 等領(lǐng)域所要求的更低碼率，比如小于 64Kb/s。另外，準(zhǔn)也不適用于視頻內(nèi)容檢索與編輯等領(lǐng)域。為了解決以上問題，準(zhǔn)應(yīng)運而生。 和此前的 準(zhǔn)不同， 義的是一個多媒體 數(shù)據(jù)壓縮編解碼框架， 而不單單是 一套具體的編解碼算法。該標(biāo)準(zhǔn)的制定者希望將這個體系定義為一個開放的系統(tǒng)，以 支持多種多媒體的應(yīng)用，特別是多媒體信息 檢索 方面第一章 緒論 4 的應(yīng)用。該標(biāo)準(zhǔn)允許應(yīng)用程序依據(jù)不同的用戶需要， 現(xiàn)場配置解碼器， 或者隨時 加入新的 編解碼算法模塊。 中國自主制定的 準(zhǔn) 由我國數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組 制定的 編碼標(biāo)準(zhǔn)。 該工作組在 準(zhǔn)化委員會的支持下，于 2012 年成立了 作組，并于2013 年公布了標(biāo)準(zhǔn)號為 857 的 頻編碼標(biāo)準(zhǔn)。 該標(biāo)準(zhǔn) 與 準(zhǔn)的主要技術(shù)差異包括： 采用了 8數(shù)變換 ， 1/4 精度像素插值 ， 特殊的幀間預(yù)測 以及 運動補償 算法，采用了 二維熵編碼 ，采用了 去塊效應(yīng)環(huán)內(nèi)濾波等 技術(shù)。 在數(shù)字電視、 流媒體和多媒體通信等領(lǐng)域 ， 該 標(biāo)準(zhǔn) 將 為我國 打造一個具有自主知識產(chǎn)權(quán)的 “ 技術(shù)專利標(biāo)準(zhǔn)芯片與軟件整機與系統(tǒng)制造數(shù)字媒體網(wǎng)絡(luò) ” 產(chǎn)業(yè)鏈 ，將為我國節(jié)省使用國外標(biāo)準(zhǔn)所導(dǎo)致的大筆專利使用許可費。例如，我們目前大約有 6 億個支持 準(zhǔn)的電視機或機頂盒，假設(shè)其中有 2 億臺電視機需要接入網(wǎng)絡(luò)電視， 估計 需要繳納的在設(shè)備中使用專利的費用大 約為 70 多億元，每年還要繳納的在節(jié)目點播中使用專利的費用大約為 200 多億元。如果使用 準(zhǔn)，由于該標(biāo)準(zhǔn)的使用費用遠遠低于 而可以節(jié)省大筆費用。 定的 列 定的 列標(biāo)準(zhǔn)主要包括 準(zhǔn) ， 準(zhǔn)以及 4下面我們分別簡要介紹這些標(biāo)準(zhǔn)。 1. 準(zhǔn) 準(zhǔn) 起初是為了在 開展可視電話以及視頻會議而設(shè)計的。它的算法和 類似但是計算量少得多。和 準(zhǔn)不同，這 個標(biāo)準(zhǔn)會將碼率固定為 64整數(shù)倍，倍數(shù)的范圍是 1 到 30，這個設(shè)計和 絡(luò)的特性密切相關(guān)。 該標(biāo)準(zhǔn)會采用固定的帶寬來處理視頻中包含快速運動以及只包含運動速度較慢物體的兩種情形，這 會 導(dǎo)致包含快速運動的情形下視頻的處理效果差。因此，這屬于一種恒定碼流可變質(zhì)量編碼算法。為了保證視頻會議的質(zhì)量，算法的延遲不超過 150 第一章 緒論 5 準(zhǔn) 也采用了 運動補償?shù)膸g預(yù)測 ， 換 ， 自適應(yīng)量化 ， 熵編碼等壓縮技術(shù)。運動估計 的 精度 只達到 像素級 ，沒有 1/4 或者 1/8 像素級的運動估計。由于該標(biāo)準(zhǔn)的應(yīng)用場合只是基于 絡(luò)的可視電話以及視頻會議，因而該標(biāo)準(zhǔn)的圖像分辨率只能達到 176 x 144 像素 或者 352 x 288 像素 。 準(zhǔn)的優(yōu)點是 復(fù)雜度 低 ，缺點是 壓縮比 仍然不夠大，算法也缺乏靈活性。 2. 準(zhǔn) 準(zhǔn) 是在 基礎(chǔ)上發(fā)展而來。該標(biāo)準(zhǔn)的 基本原理 、 原始數(shù)據(jù)和碼流組織 都和 類似。但是，該標(biāo)準(zhǔn)吸納了 準(zhǔn)中的一些算法，比如 半像素精度的運動估計、 預(yù)測等 ，使得 準(zhǔn) 能夠達到更小的碼率、更好的視頻質(zhì)量。 碼可以處理以下 5 種圖像分辨率： 4及16和 同，其碼率可以低于 64 且，其碼率可變，以適應(yīng)不同特點的視頻信號。 4. 準(zhǔn) 準(zhǔn) 的研究工作 始于 1997 年。到 2001 年底時，由 頻編碼專家組 設(shè)計研發(fā)的 法的視頻壓縮質(zhì)量已經(jīng)超越了當(dāng)時的 準(zhǔn) 3。鑒于此， 組加入到 了 成了一個聯(lián)合視頻小組 （ 經(jīng)過 聯(lián)合視頻小組 數(shù)年的努力，該小組制定的 準(zhǔn)于 2003 年被 國 際電信聯(lián)盟正式批準(zhǔn) 。 準(zhǔn) 4采納了其他標(biāo)準(zhǔn)的優(yōu)點，吸取了 以往標(biāo)準(zhǔn)制定中積累的經(jīng)驗 和教訓(xùn)， 采用 了 簡潔 的 設(shè)計 思路 。 準(zhǔn) 創(chuàng)造性 的使用了 多參考幀 技術(shù)， 多 個塊類型 技術(shù)， 整數(shù)變換 技術(shù)以及 幀內(nèi)預(yù)測等新的壓縮技術(shù) 。在運動估計方面，使用了 低至 1/4 像素甚至 1/8 像素的 運動矢量 以及 新一代的環(huán)路濾波器 技術(shù)。這些技術(shù)的采用，使其 和 及 比 ， 碼率 可被壓縮一半 ，存儲容量 也 大大降低 。而且，該標(biāo)準(zhǔn)可以在 不同分辨率、不同碼率下 都能提供 較高的視頻質(zhì)量 。 在 列的標(biāo)準(zhǔn)中， 準(zhǔn) 是一個里程碑。和此前的其他編解碼標(biāo)準(zhǔn)相比，該標(biāo)準(zhǔn)的碼率更低，輸出的視頻質(zhì)量更好，更適于在網(wǎng)絡(luò)等實際應(yīng)用中推廣使用。由于以上原因，自 準(zhǔn)被確定以來，很多視頻應(yīng)用產(chǎn)品都將其作為產(chǎn)品必備功能。 該標(biāo)準(zhǔn) 在數(shù)字電視廣播、視頻實時通信、網(wǎng)絡(luò)視頻媒第一章 緒論 6 體傳遞以及多媒體短信等各個方面發(fā)揮 了 重要 的 作用。 在電視廣播領(lǐng)域， 現(xiàn)在各個國家都 在逐步減少或者停止 模擬電視廣播， 轉(zhuǎn)而使用 數(shù)字電視廣播 技術(shù)。在 傳輸費用 方面 ， 如果 采用 準(zhǔn) ， 可以降低 3/4 的傳輸費用 ， 這對電視廣播運營公司來說是一件非常利好的技術(shù)。 僅具有優(yōu)異 的壓縮性能， 由于設(shè)計之初已經(jīng)考慮了視頻信號在網(wǎng)絡(luò)上的傳輸問題，該標(biāo)準(zhǔn) 具有良好的網(wǎng)絡(luò)親和性，這對實時視頻通信 是非常有利的。 第二節(jié) 本項目背景 準(zhǔn)之所以能夠?qū)崿F(xiàn)比其他編解碼標(biāo)準(zhǔn)更低的碼率以及更高的圖像質(zhì)量，是由于該標(biāo)準(zhǔn)采用了以下復(fù)雜度較高的算法或者技術(shù)：（ 1）采用了 1/4甚至 1/8 像素級的運動估計以及運動補償算法，再加上多參考幀技術(shù)，使得該標(biāo)準(zhǔn)能夠更精確地預(yù)測物體的運動；（ 2）采用了多種碼率控制策略，來進一步壓低碼率；（ 3）采用了 新的整數(shù) 換技術(shù) ，這種技術(shù)解決了經(jīng)典 換所帶來的反變換匹 配誤差 問題；（ 4） 幀間采用不同 的 塊大小來 更加 準(zhǔn)確 地 描述物體的實際運動情況 5；（ 5）采用 自適應(yīng)濾波器以去除圖像的邊界效應(yīng)，采用基于上下文的二進制編碼技術(shù)以縮減 碼率 6。 雖然采用這些技術(shù)使得 準(zhǔn)能實現(xiàn)更低的碼率以及更高的圖像質(zhì)量，但是， 由于這些技術(shù)需要更大的計算量，從而限制了該標(biāo)準(zhǔn)在一些實時或者計算能力較弱場合的應(yīng)用。 在實際應(yīng)用中，由于以下原因，我們常常需要對 準(zhǔn)進行裁剪或者修改：（ 1）在不同的計算平臺上，可以使用該平臺所具有的優(yōu)勢來優(yōu)化 解碼器的上述算法。例如，當(dāng)系統(tǒng)中 具有支持 并行處理硬件時，系統(tǒng)可以將哪些適于并行化的算法在 可以大幅提升壓縮速度。或者，在一些配備有 系統(tǒng)中，可以采用專門設(shè)計的 序來完成 的濾波、換等核心模塊，這也可以明顯提高處理速度。（ 2）當(dāng)應(yīng)用程序所運行的平臺的計算能力的確較低時，可以考慮使用計算量較小的算法去替代 準(zhǔn)中的標(biāo)準(zhǔn)算法，以部分實現(xiàn) 準(zhǔn)。 （ 3） 準(zhǔn)的編解碼模塊具有許多初始化參數(shù)，這些參數(shù)可被用來控制編解碼器的行為。開發(fā)者常常需要嘗試設(shè)置各種不同的初始化參數(shù)，以使 解碼器滿足自己特定的需求。 第一章 緒論 7 因此，在實際應(yīng)用中，開發(fā)者可以對 各種配置以滿足該應(yīng)用的需求。然而， 解碼可供配置的算法、參數(shù)很多，開發(fā)者需要一個平臺，能夠快速實現(xiàn)各種配置，而且，解碼器的碼率、圖像質(zhì)量、計算量等指標(biāo)。為了滿足開發(fā)者的這個需求，本論文開發(fā)了一個 解碼器算法性能評估 系統(tǒng)。 該 系統(tǒng) 使用簡潔的界面，允許用戶設(shè)置 解碼器的初始化參數(shù)，允許用戶選擇 運動估計 與補償算法，允許用戶選擇 碼率控制算法 。在做完以上配置后，系統(tǒng)對用戶指定的視頻信號進行 編碼、解碼、播放 ，讓用戶能夠直觀地感受到指定配置情形下的編碼質(zhì)量、編碼速度。同時，系統(tǒng)計算客觀的圖像質(zhì)量評價指標(biāo) to 將每幀的 標(biāo)以曲線圖的方式呈現(xiàn)給用戶。系統(tǒng)還會將碼率等評估指標(biāo)以曲線圖的方式呈現(xiàn)給用戶。用戶還可以將以上評估信息導(dǎo)出為 件，進一步以定量的 方式比較各種配置條件下 解碼器的行為。這些信息為用戶裁剪 解碼器提供了重要的參考資料。 系統(tǒng)在 臺 上的 具上開發(fā)，使用 C/C+語言 ， 用到了微軟的 在 開發(fā) 過程中 ，我們盡量遵循 了 以下原則。 合理性 。 在系統(tǒng)設(shè)計時， 考慮 了不同計算平臺的計算能力，因而系統(tǒng) 對運行環(huán)境 （ 硬件設(shè)備、 操作系統(tǒng)等 ） 具有較好的適應(yīng)性。 實用性 。 本系統(tǒng) 應(yīng)該 提供清晰、簡潔、友好的中文人機交互界面，操作簡便、靈活、易學(xué)易用，便于管理和維護。 規(guī)范性 。 系統(tǒng) 采用 了符合 國家標(biāo)準(zhǔn) 以及 行業(yè)標(biāo)準(zhǔn) 的 控制協(xié)議、編 解碼協(xié)議 、媒體文件格式、傳輸協(xié)議等 ，因而 具有良好的兼容性和互聯(lián)互通性。 第三節(jié) 論文 的 組織 論文的主要內(nèi)容如下 。 第 1 章，緒論。介紹了對視頻信息進行編碼解碼的三個標(biāo)準(zhǔn)系列： 列，中國自主制定的 準(zhǔn)以及 定的 列。在所有這些標(biāo)準(zhǔn)中， 準(zhǔn)由于技術(shù)先進、碼率低、編碼質(zhì)量高、適于網(wǎng)絡(luò)應(yīng)用，因而在數(shù)字電視廣播、視頻實時通信、網(wǎng)絡(luò)視頻媒體傳遞以及多媒體短信等領(lǐng)域得到了廣泛的應(yīng)用。該標(biāo)準(zhǔn)對應(yīng)的編解碼器也被本系統(tǒng)選作研究對象。第一章 緒論 8 這章闡述了本文開發(fā)“ 解 碼器性能評估系統(tǒng)”的目的以及該系統(tǒng)的主要功能。 第 2 章 ， 系統(tǒng) 功能定義 與總體設(shè)計 。介紹了 解碼器性能評估系統(tǒng)應(yīng)該完成的功能，給出了這個系統(tǒng)的總體設(shè)計思路以及主要模塊的總體設(shè)計方案。具體地說，該章簡要介紹了 碼器的架構(gòu)以及相關(guān)的主要技術(shù)。闡述了系統(tǒng)應(yīng)該完成的主要功能。介紹了系統(tǒng)總體的數(shù)據(jù)處理流程。介紹了本系統(tǒng)所采用的 解碼器的特點，闡述了總體的移植思路。介紹了 臺上常用的視頻開發(fā)工具，以及將 定為本系統(tǒng)視頻開發(fā)工具的原因。介紹了主 控模塊的流程以及開發(fā)中需要考慮的問題。 第 3 章 ， 系統(tǒng)概要設(shè)計 。 解碼器性能評估 系統(tǒng) 主要 包括主界面模塊以及 實驗 結(jié)果 處理 模塊。其中 ， 主界面模塊主要負責(zé) 系統(tǒng)各 模塊的銜接 、多線程的調(diào)度等，實驗 結(jié)果 處理 模塊主要負責(zé) 實驗 結(jié)果 顯示、導(dǎo)出。 這一章介紹這兩個主要模塊的概要設(shè)計。具體地說，該章 介紹了系統(tǒng)的界面設(shè)計，闡述了各界面應(yīng)該完成的功能。介紹了主界面模塊的概要設(shè)計，重點闡述了初始化參數(shù)設(shè)置模塊，視頻源選擇模塊，播放控制模塊以及圖像顯示模塊的概要設(shè)計。介紹了實驗結(jié)果處理模塊的概要設(shè)計。 第 4 章 ， 系統(tǒng)詳細設(shè)計和 實現(xiàn) 。 本系統(tǒng)的主要功能由主界面模塊以及實驗結(jié)果處理模塊完成。本系統(tǒng)在 008 平臺上開發(fā)，使用 C+語言，開發(fā)中用到了微軟出品的 本章首先介紹了 細闡述了主界面模塊的詳細設(shè)計與實現(xiàn)，重點介紹了初始化參數(shù)設(shè)置模塊、播放控制模塊以及圖像顯示模塊的的詳細設(shè)計與實現(xiàn)。介紹了實驗結(jié)果處理模塊的詳細設(shè)計與實現(xiàn)，詳細闡述了 如何使用 制 指標(biāo)的 曲線圖 ，以及如何使用 口將實驗結(jié)果保存為 件，供用戶定量分析實驗結(jié)果。 第 5 章 ，總結(jié)與展望。 總結(jié) 了論文工作 ， 提出了 系統(tǒng)將來 可能的改進方向。 第二章 系統(tǒng)功能定義與總體設(shè)計 9 第二章 系統(tǒng) 功能定義 與總體 設(shè)計 本章介紹了 解碼器性能評估系統(tǒng)應(yīng)該完成的功能，給出了這個系統(tǒng)的總體設(shè)計思路以及主要模塊的總體設(shè)計方案。 0 節(jié)簡要介紹了 碼器的架構(gòu)以及相關(guān)的主要技術(shù) ，給出了評價處理后圖像質(zhì)量的 標(biāo)的定義。0 闡述了系統(tǒng)應(yīng)該完成的主要功能。 0 節(jié)介紹了系統(tǒng)總體的數(shù)據(jù)處理流程。準(zhǔn)有三個流行的 C/C+實現(xiàn)：由德國 究所開發(fā)的 解碼器；由 起的 碼器；由中國視頻編碼自由組織開發(fā)的 解碼器。 0 節(jié)介紹了本系統(tǒng)所 采用的 解碼器的特點，闡述了總體的移植思路。 解碼器只是負責(zé)底層的視頻信號編碼以及解碼操作，并不負責(zé)視頻信號的采集、格式轉(zhuǎn)換、播放等操作， 0 節(jié)介紹了 臺上常用的視頻 開發(fā)工具，以及將 定為本系統(tǒng)視頻開發(fā)工具的原因。0 節(jié)介紹了主控模塊的流程以及開發(fā)中需要考慮的問題。 第 一節(jié) 碼器 概述 由于 碼器所執(zhí)行的操作與編碼器的簽好相反，本節(jié)只介紹 碼器的 總體 框架 如圖 示 7。 變 換 量 化 Z i g Z a g 掃 描 熵 編 碼當(dāng) 前 幀 估 計參 考 幀 1運 動 補 償重 建 幀 濾 波 反 量 化幀 內(nèi) 預(yù) 測模 式幀 內(nèi) 預(yù) 測反 變 換+-+N A 預(yù) 測幀 內(nèi) 預(yù) 測變 換 編 碼熵 編 碼圖 0碼器的總體框架 各主要模塊的功能如下。 幀內(nèi)預(yù)測 。 給定一幀圖像，將該圖像細分為若干個子塊，對各子塊分別進行編碼。 對某個子塊進行編碼時，由于通常情況下，當(dāng)前子塊和 其周圍子塊有第二章 系統(tǒng)功能定義與總體設(shè)計 10 著密切的相關(guān)性，我們可以利用這個相關(guān)性，在已知周圍子塊的信息的前提下，使用更少的位數(shù)來對當(dāng)前子塊進行編碼。 “幀內(nèi)預(yù)測”模塊依據(jù)當(dāng)前塊的上方和左上方子塊的信息，來預(yù)測當(dāng)前塊的取值，再計算這個預(yù)測值和當(dāng)前塊實際值的誤差 8。由于這些誤差值的取值范圍比當(dāng)前塊的實際值的取值范圍要小得多，因而可以通過較少的二進制位對其進行編碼，從而減少碼率。 幀間 預(yù)測 。 由于現(xiàn)實世界中大部分物體的運動速度較慢，在一個較短時間內(nèi)，一個物體的圖像會出現(xiàn)在這段時間內(nèi)所有幀中。我們可以利用這個物體首次出現(xiàn)時的圖像信息 來預(yù)測后續(xù)幀中該物體的圖像信息。這就是 “幀間預(yù)測”模塊的工作原理 9。 其中的“運動估計”部分能夠計算物體的運動方向以及位移量 11。 將位移量的精度提高到 1/8 像素單位。該模塊的“運動補充”部分使用一個樹狀結(jié)構(gòu)運動補償算法，利用一個物體先前的圖像信息預(yù)測當(dāng)前塊的取值，計算這個預(yù)測值和當(dāng)前塊實際值的誤差，再對這個誤差值進行編碼，從而可以減少碼率。 整數(shù)變換與量化 。 從頻域角度看，一幅圖像的能量主要集中在 直流和低頻部分，只有少量能量 散布在 高頻成分 。前者對應(yīng)著圖像中緩慢變化或者不變的部分， 比如天空的藍色背景或者云彩內(nèi)部的灰白過渡，后者對應(yīng)著圖像中的快速變化部分，比如藍天和白云的交界部分。因此，將圖像變換到頻域后，將形成一些幅值很小的系數(shù)，忽略或者只使用很少的二進制為對這些系數(shù)進行編碼，并不會顯著影響圖像的質(zhì)量，從而可以降低碼率 10。 圖 0“變換編碼”模塊實現(xiàn)上述功能。由于傳統(tǒng)圖像壓縮算法采用的 88離散余弦變換 以及 逆變換 可能出現(xiàn) 失配問題 ，所以 用了 44 整數(shù)離散余弦變換 算法 對圖像或者預(yù)測殘 差進行變換編碼。 該 算法 的核心部分只使用了加法和移位運算，沒有使用乘法運算，因而運算速度更快。另外，由于處理的基本單位是 44 像素塊 ，而不是 傳統(tǒng)的 88 像素塊，因而對 運動物體的劃分更精確，有助于減少塊效應(yīng) 12。 另外，為了比較不同參數(shù)配置情況下算法的性能，我們使用了視頻編解碼研究領(lǐng)域常 用 的 峰值信噪比 (衡量被視頻編解碼算法處理后的圖像的質(zhì)量。這個評價指標(biāo) 依賴原始信號和 處理后 信號的均方差（ ，其定義為 (第二章 系統(tǒng)功能定義與總體設(shè)計 11 其中 表示在原始圖像中每個像素點所占的二進制位。雖然在某些情形下依據(jù) 出的評價結(jié)果和主觀評價結(jié)果有較明顯的不同，但是，由于該指標(biāo)可被快速、方便地計算出來，因而在視頻編解碼研究領(lǐng)域被廣泛采用。 第二節(jié) 性能評估 系統(tǒng)的 功能定義 解碼器性能評估系統(tǒng) 可以 實現(xiàn) 視頻的實時 捕捉 、編碼、解碼、播放等基本功能。 應(yīng)該支持 格式為 本地 件 、從 攝像頭捕獲 的視頻信號以及來自網(wǎng)絡(luò)的 碼流 數(shù)據(jù)。 同時 ，用戶應(yīng)該 可以 設(shè)置不同的編解碼器初始化參數(shù)， 選擇不同的 運動估計 以及 補償算法 ，選擇不同的 碼率控制算法 ，以體驗不同的編解碼 效果， 更直觀、全面 地 理解 解碼算法。 具體地說，系統(tǒng)應(yīng)該完成以下功能。 允許用戶設(shè)置各種 編解碼器 初始化參數(shù) 。例如， 文件格式方面，允許用戶指定 件的文件頭的長度，指定從 件的哪一幀開始處理以及將被處理的總幀數(shù)。 編碼器控制參數(shù)方面，允許用戶指定 13的周期、是否使用換、參考幀的數(shù)目以及是否使用快速運動估計算法 14。 解碼器的初始化參數(shù)多達 100 多個，系統(tǒng)應(yīng)該提供一個良好的界面，允許用戶快速、方便地設(shè)置這些初始化參數(shù)。 允許用戶選擇 在以下 4 種不同的 運動估計 以及 運動補償 算法 中選擇一種：（ 1）未優(yōu)化算法；（ 2）優(yōu)化算法 A；（ 3）優(yōu)化算法 B；（ 4）優(yōu)化算法 C。 允許用戶選擇 在以下 5 種 不同的 碼率控制算法 中選擇一種 15,16：（ 1） 基于碼率控制算法； （ 2） 基于基本單元層碼率控制改進算法； （ 3） 基于圖像直方圖碼率控 制改進