1、第六章 視頻編碼標準簡介,6.1 H26X 6.2 MPEG-x,6.1 H.26X,6.1.1 H.261 1.概述 早期的ISDN應用主要是視頻電話和視頻會議系統(tǒng)。這些對話應用需要在實時中進行編碼和解碼。在1984年, CCITT（ITU的前身）的研究組XV建立了一個專家委員會，為運動圖片壓縮擬訂一個標準。 在五年工作之後，產生了CCITT推薦標準H.261，稱為在 px64Kbit/s 音視服務的視頻編解碼（Video CoDec for Audiovisual Services at px64Kbit/s），并在1990年12月得到接受。,H.261,1.概述 北美采用此推薦標準并做了

2、細微修改。因為考慮的數據傳送速率是 px64Kbit/s，所以推薦標準又被稱為 px64。 ITU 研究組XV推薦標準H.261的開發(fā)是為了實時處理編碼和解碼。編碼和解碼的組合信號延遲最大值不能超過 150ms。如果使用這個標準的對話應用的端到端延遲太大，將會影響到主體交互性。,H.261,2.圖象格式 不像JPEG, H.261定義一種非常精確的圖像格式。在輸入處圖像刷新頻率必須是30000/1001=29.97幀/s。在編碼期間，可能用產生一個具有較低幀率（例如每秒10 15幀）的被壓縮圖像序列。圖像不能夠使用隔行掃描在輸入處呈現到編碼器。圖像依照CCIR 601子抽樣方案（2:1:1）被

3、編碼成一個亮度信號 (Y) 和兩個色度信號Cb 、Cr（此方式后來被MPEG采用）。,H.261,2.圖象格式 二種分辨率格式, 每個定義的寬高比都是 4:3。所謂公共中間格式（CIF，Common Intermediate Format）定義一個352行的亮度成分, 每個成分具有288像素。依照每個2:1:1的需求，色度成份是用176行進行子抽樣，每個有144像素。四等分CIF（QCIF，Quarter CIF）是所有成分分辨率的一半（即亮度為176 x 144個像素，其余為88 x 72個像素）。所有的 H.261實現必須能夠編碼和解碼 QCIF。CIF是可選擇的。,H.261,2.圖象格

4、式 下面的例子說明編碼用于一個ISDN B通道帶寬的低QCIF分辨率圖像需要的壓縮率。在 29.97幀/s時，未壓縮的QCIF數據流的傳送速率是9.115Mbit/s。相同的幀率時，CIF未壓縮的數據傳送速率是36.45Mbit/s。待處理的圖像應該在以每秒10幀的比率壓縮。因此QCIF需要的壓縮比約為1:47.5，容易被今天的技術支持。,H.261,2.圖象格式 對於CIF，可能對應縮少大約六個ISDN B通道。H.261把Y及 Cb 和Cr 成分分為88像素塊（block）。一個宏塊（macro block）是組合4個Y矩陣塊以及Cb 和Cr 成分各一塊的結果。一個塊組（A group o

5、f blocks ）由311個宏塊組成。如此，一個 QCIF圖像由3個塊組組成，而一個CIF圖像由12個塊組組成。,3.H.261圖象類型,Decoded Sequence,3. H.261 Codec,3. H.261 Codec,4.H.261 比特流,H.261比特流,* Picture Start Code - PSC 圖象開始碼 * Temporal Reference - TR 時間參考 * Picture Type - PType 圖象類型 * Groups of Blocks - GOB 塊組 Group Number - Grp 組號 Group Quantization V

6、alue - GQuant組量化值,6.1.2 H.263,1.概述 H.263標準出版在1996年，是一個替換H.261的ITU-T標準。H.263被設計來作低的位傳輸率傳輸。早期 的設計要求數據率在64Kbit/s之下，當然后來做了更正。作為ITU-T標準H.320系列（推薦用于在傳統(tǒng)GSTN 電話網絡上通過V.34調制解調器的實時聲音、數據和視頻) 的一部分，H.263適用于很寬的位率范圍（不只是低位率應用）。,2. H.263圖象格式,H.263支持五種分辨率。除了支持H.261的QCIF和CIF外，H.263也支援SQCIF、4CIF和16CIF。SQCIF 約為QCIF分辨率的一半

7、。4CIF和16CIF分別對應4和16倍CIF的分辨率。支持4CIF和16CIF意謂著codec無疑地能與其他的高位輸率編碼標準如MPEG等競爭 .,圖像格式,3.H.263編碼,H.263 包括四個可選可協商的參數以改進性能： 無限制的運動矢量模式； 基于語法的算術編碼模式； 先進的預測模式； 前向和后向幀預測（類似于MPEG中的 P 和 B幀）。 借助改進的可協商的選項，H.263通常能使用少一半的位率而達到H.261一樣質量的性質。,6.1.3 H.264,1.概述 H.264是ITU-T視頻編碼專家組(VCEG)和ISO/IEC活動圖像編碼專家組(MPEG)的聯合視頻組(JVT)開發(fā)的

8、一個新的數字視頻編碼標準，它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10部分。2002年6月JVT第5次會議通過了H.264的FCD板。H.264的壓縮率比MPEG-2高23倍，1Mb/s速率的圖像效果接近MPEG-2中DVD的圖像質量，是目前手機電視中最為理想的信源壓縮編碼標準。,H.264,H.264是DPCM加變換編碼的混合編碼模式。它不用眾多的選項，獲得比H.263好得多的壓縮性能；增強了對各種信道的適應能力，采用“網絡友好”的結構和語法，有利于對誤碼和丟包的處理；應用范圍較寬，以滿足不同速率、不同解析度及不同傳輸(存儲)場合的需求；它的基本系統(tǒng)是開放的。,2.

9、H.264 編碼,H.264 編碼,H.264在編碼框架上還是沿用以往的MC-DCT結構，即運動補償加變換編碼的混合結構，因而保留了先前標準的一些特點，如不受限制的運動矢量、對運動矢量的中值預測等。然而，由于它采用了以下技術，因而在性能上有了很大的提高。,H.264 編碼,(1)幀內預測: 幀內預測編碼就是用周圍鄰近的象素值來預測當前的象素值，然后對預測誤差進行編碼。這種預測是基于塊的，對于亮度分量，塊的大小可以在1616和44之間選擇，1616塊有4種預測模式，44塊有9種預測模式；對于色度分量，預測是對整個88塊進行的，有4種預測模式。除了DC預測外，其他每種預測模式對應不同方向上的預測。

10、,H.264 編碼,(2)幀間預測: 更精細的預測精度 預測時所用塊的大小可變 多參考幀 去塊效應濾波器,H.264 編碼,(3)熵編碼 : H.264標準采用的熵編碼有兩種：一種是基于內容的自適應變長編碼(CAVLC)與統(tǒng)一的變長編碼(UVLC)結合；另一種是基于內容的自適應二進制算術編碼(CABAC)。CAVLC與CABAC根據相臨塊的情況進行當前塊的編碼，以達到更好的編碼效率。CABAC比CAVLC壓縮效率高，但要復雜一些。,6.1.4H.265/HEVC和H.264/AVC區(qū)別,Video Codec Team,1. 編解碼框架差異,H.265仍然采用混合編解碼，編解碼結構域H.264

11、基本一致，主要的不同在于： 編碼塊劃分結構：采用CU、PU及TU的遞歸結構 并行工具：增加了Tile以及WPP等并行工具集以提高編碼速度 基本細節(jié)：各功能塊的內部細節(jié)有很多差異 濾波器：在去塊濾波之后增加了SAO（sample adaptive offset）濾波模塊,1. 編解碼框架差異,在H.264基礎上增加了SAO濾波器,2. 壓縮性能比較,PSNR計算方式 H.265/HEVC HM-9.0 和H.264 JM-18.4 的BD-rate 比較： All Intra case: 22% Random Access case: 34% Low Delay case: 37%,3. 各模塊

12、技術差異匯總,3.各模塊技術差異匯總(續(xù)),4. 塊劃分結構,采用CU (Coding Unit)、PU(Prediction Unit)和TU(Transform Unit)的塊劃分結構 這三者之間的關系主要是以LCU為基本編碼單元，在LCU遞歸劃分為CU塊，每個CU塊可以劃分成不同的PU塊，同時也在CU的基礎上可以進行TU塊的遞歸劃分,5.幀內預測模式,H.264幀內預測方向,H.265幀內預測方向,6.幀間預測,本質上H.265是在H.264基礎上增加插值的抽頭系數個數，改變抽 頭系數值以及增加運動矢量預測值的候選個數，以達到減少預測殘差的目的。 H.265與H.264一樣插值精度都是亮

13、度到1/4，色度到1/8精度，但插值濾波器抽頭長度和系數不同 H.265的增加了運動矢量預測值候選的個數，而H.264預測值只有一個,H.265空域候選項,H.265時域共同位置候選項,7.去塊濾波,本質上H.265的去塊濾波與H.264的去塊濾波及流程是一致的，做了如下最顯著的改變： 濾波邊界： H.264最小到4x4邊界濾波；而H.265適應最新的CU、PU和TU劃分結構的濾波邊緣，最小濾波邊界為8x8， 濾波順序：H264先宏塊內采用垂直邊界，再當前宏塊內水平邊界；而H.265先整幀的垂直邊界，再整幀的水平邊界,8.SAO濾波,SAO(sample adaptive offset)濾波其

14、實就是對去塊濾波后的重建像素按照不同的模板進行分類，并對每一種分類像素進行補償, 分類模板分為BO(Band offset)和EO(Edge offset)。,BO分類,EO分類模板：,9.Tile,Tile： 將圖像分割為矩形區(qū)域。其主要目的增強并行處理性能。每個tile區(qū)域相當于一幅子圖像，可以獨立的以LCU塊為單位進行編解碼。一個Tile塊為基本的并行單元，每個Tile為一個子碼流,10.WPP,WPP: 全稱為wavefront parallel process，以LCU行為基本的編碼單位。以一行LCU塊為基本的并行單元，每一行LCU為一個子碼流,11.Dependent slice,

15、Dependent slice：該技術可以理解為對原先Slice NALU的數據劃分，使其可以適合更加靈活的打包方式。Slice 和dependent slice 的示意圖如下,12.其他相關技術,Transform_skip模式：transform_skip_flag，該模式不進行變換，但是要進行量化，該模式對文本桌面視頻有較好效果 內部比特深度增加：為了保證中間預測、變換以及量化過程中的內部比特精度，以達到更好的壓縮性能,6.2 MPEG-x,1.概述 MPEG開發(fā)的標準通常稱為MPEG標準。到目前為止，已經開發(fā)和正在開發(fā)的MPEG標準有： MPEG-1：信息技術用于數據速率高達大約1.5

16、 Mbit/s的數字存儲媒體的活動圖像和伴音編碼（Information technology - Coding of moving pictures and associated audio for digital storage media at up to about 1.5 Mbit/s），由五個部分組成，標準號ISO/IEC 11172。 MPEG-2：信息技術活動圖像和伴音信息的通用編碼（Information technology - Generic coding of moving pictures and associated audio information），由九個部分

17、組成，標準號ISO/IEC 13818。,1.概述,MPEG-4：甚低位率音視編碼（Very-low bitrate audio-visual coding），由八個部分組成，標準號ISO/IEC 14496。 MPEG-7：多媒體內容描述接口（Multimedia Content Description Interface），由七個部分組成，標準號ISO/IEC 15938。 MPEG-21：多媒體框架（Multimedia Framework），這是一個正投入開發(fā)的標準。2001年9月通過技術報告。已開始了四個部分，標準號ISO/IEC 21000。,2.MPEG1,(1)Part 1:

18、Systems 第1部分“系統(tǒng)”涉及了數據流組合的問題。數據流從符合MPEG-1標準的視頻和音頻組件出來，攜帶著定時信息，需要將這些數據流組合，形成一個單一的數據流。這是一個重要的功能，因為一旦組合成一個單一的流，數據才能適合數字儲存或傳輸。,MPEG1,2.MPEG1,(2)Part 2: Video 第2部分“視頻”規(guī)定了一種編碼的表示，可用于將625行和525行兩種視頻序列壓縮成大約1.5Mbps位率。第2部分開發(fā)主要用于操作存儲介質，這些介質提供大約1.5Mbps連續(xù)傳輸速率。當然，也可更廣泛地使用第2部分，因為它采用的是通用的方法。,2.MPEG1,(3)Part 3: Audio

19、第3部分“音頻”規(guī)定了一種可以用于壓縮音頻序列（包括單聲和立體聲兩種）的編碼表示。,2.MPEG1,(4)Part 4: Compliance testing 第4部分“依從測試”詳細說明如何測試比特數據流和解碼器是否滿足MPEG-1前三個部分(Part1，2和3)中所規(guī)定的要求。這些測試可像下面那樣使用： 編碼器制造商和用戶，驗證編碼器是否產生合理的位流。 解碼器制造商和用戶，驗證解碼器是否滿足第1、2和3 部分關于解碼器能力規(guī)定的要求。 應用，驗證所得到的位流特性是否滿足該應用要求。例如已編碼的圖片尺寸是否超過該應用允許的最大值。,2.MPEG1,(5)Part 5: Software s

20、imulation 第5部分“軟件仿真”從技術上看不是一個標準，而是一個技術報告，給出了用軟件實現MPEG-1標準前三個部分的結果。,3.MPEG2,MPEG-2標準現在由9部分及若干勘誤和修正案組成 (1)系統(tǒng) MPEG-2的第1部分涉及了視頻、音頻以及其他數據的基本流組合成單一或多個流，以便適合儲存或運輸的問題。規(guī)定了兩種形式的流：程序流（program stream）和運輸流（transport stream）。每一種流都被優(yōu)化以滿足各種不同應用的要求。,MPEG2,程序流類似于MPEG-1的系統(tǒng)多路復用，是將一個或者多個有共同時間基的已包裝基本數據流（PES，Packetised El

21、ementary Streams）組合成單個流的結果。程序流用在出現錯誤相對比較少的環(huán)境下，適合使用軟件處理的應用。程序流包長度可能可變且長度相對大些。 運輸流將一個或者多個有獨立時間基的已包裝基本流（PES，Packetised Elementary Streams）組合成單個流。共享一個共同時間基的基本流形成程序流。運輸流用在出現錯誤相對比較多的環(huán)境下，例如在有損失或者有噪聲的存儲或傳輸系統(tǒng)中。運輸流包188個字節(jié)長。,3.MPEG2,3.MPEG2,(2) Part 2- Part 5 MPEG-2第2部分建立在MPEG-1標準強勁的視頻壓縮能力上，提高了很廣范圍的編碼工具。第3部分是M

22、PEG-1音頻的后向兼容的多聲道擴展。第4和5部分與MPEG-1的第4和5部分相對應。第7部分是多聲道聲音編碼算法標準 。第8部分原計劃用于采樣精度為10比特的視頻編碼。由于工業(yè)界缺乏興趣而終止。,3.MPEG2,(3)DSM-CC MPEG-2第6部分數字存儲媒體命令和控制（DSM-CC，Digital Storage Media Command and Control）擴展，是一組協議，提供了控制功能和操作規(guī)范，用于管理MPEG-1和MPEG-2的數據流。這些協議可支持在單機和異構網絡(即用類似設備構造但運行不同協議的網絡)兩種環(huán)境下的應用。在DSM-CC模型中，服務器(server)和客

23、戶器(client)都被認為是DSM-CC網絡的用戶(user)，DSM-CC定義了一個稱為會話和資源管理SRM(Session and Resource Manager)的實體，用來集中管理網絡中的會話和資源。,MPEG2 DSM-CC參考模型,3.MPEG2,(4)RTI MPEG-2第9部分是系統(tǒng)解碼器實時接口擴展規(guī)范，這是與運輸流(Transport Stream)解碼器的實時接口（RTI，real-time interface）標準，它可以用來適應來自網絡的載送運輸流。第10部分是DSM-CC的一致性測試。,MPEG2 RTI參考模型,4.MPEG4,（1）組成 第 1 部分：系統(tǒng)（ Systems）； 第 2 部分：視頻（ Visual）； 第 3 部分：音頻（ Audio ）； 第 4 部分：一致性測試（ Conformance Testing ）； 第 5 部分：參考軟件（ Reference Software）；,4.MPEG4,（1）組成 第 6 部分：遞交多媒體集成框架（ Delivery Multimedia Integration Framework (DMIF) ）； 第 7 部分：優(yōu)化的 MPEG-7 工具軟件（