1、Chapter 3流媒體編解碼技術3.1 MPEG 簡介MPEG：Moving Pictures Experts Group運動圖像專家組擔任制定適用于數(shù)字存儲媒介、電視廣播和通訊等運用場所的視頻和音頻數(shù)據(jù)的緊縮編碼規(guī)范MEPG-1，MEPG-2，MEPG-4，MEPG-7 和 MEPG-213.2 MPEG-1 和 MPEG-2 規(guī)范MPEG-1 規(guī)范全稱：Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5Mbp/sMPEG-1 規(guī)范包括五個部分：系統(tǒng)層；圖像層

2、；聲音層；一致性測試層；軟件仿真技術報告。第一部分闡明了如何根據(jù)第二部分視頻以及第三部分音頻的規(guī)定，對音頻和視頻進展復合編碼。第四部分闡明了檢驗解碼器或編碼器的輸出比特流符合前三部分規(guī)定的過程。第五部分是一個用完好的C言語實現(xiàn)的編碼和解碼器。MPEG-2 規(guī)范全稱：Generic Coding of Moving Pictures and Associated Audio Information3.2.1 MPEG-1/-2 規(guī)范中的三種編碼類型圖像I 幀采用幀內DCT離散余弦變換編碼只利用單幀圖像內的空間相關性由于I幀不依賴其它幀，所以是隨機存取的插入點，同時是解碼的基準幀。I幀圖像可作為B

3、幀和P幀圖像的預測參考幀。I幀圖像是周期性出如今圖像序列中的，出現(xiàn)頻率可由編碼器選擇。 P 幀根據(jù)前面最接近的I幀或P幀進展前向預測采用帶運動補償?shù)膸g預測編碼方式同時利用空間和時間上的相關性B 幀雙向預測內插幀既用已傳輸?shù)脑谝曨l序列中處于該幀前的“過去幀I幀或P幀作預測參考幀。進展前向運動補償預測；又用后面的“未來幀I幀或P幀作預測參考幀，進展后向運動補償預測B幀不能用來作為其他幀進展運動補償預測的參考幀采用B幀進展雙向運動補償預測是MPEG算法的一個重要特點。適宜處理景物中由于物體運動對被遮擋區(qū)的預測困難。如對雙向預測的結果進展平均，可降低噪聲，因此使序列圖像的編碼效率提高 3.2.2 視

4、頻碼流的分層構造視頻數(shù)據(jù)經(jīng)過緊縮編碼后構成視頻根本碼流ESMPEG 用句法規(guī)定了一個分層構造對分層要求：支持通用性、靈敏性和有效性MPEG 視頻根本碼流的分層構造MPEG視頻根本碼流的分層構造：3.2.2 視頻碼流的分層構造GOP層圖像組層在兩個參考幀之間插入幾個B幀？B幀數(shù)目的添加會降低B幀和參考幀之間以及參考幀與參考幀之間的相關性；B幀數(shù)目的添加要求增大參考幀中運動估計的搜索范圍；B幀數(shù)目的添加會添加接納的延遲時間和要求添加接納機內緩存器的容量。3.2.2 視頻碼流的分層構造圖像層包括不同編碼類型的圖像，即I、B、P幀1. MPEG-1中，逐行掃描幀格式；亮度和色度的采樣格式是 4:2:0

5、2. MPEG-2中，逐行或隔行場格式掃描；亮度和色度的采樣格式是 4:2:0 或 4:2:2 或 4:4:43.2.2 視頻碼流的分層構造宏塊條層包括假設干個延續(xù)宏塊，其順序和行掃描順序一致從一個宏塊行16行寬的任何一個宏塊開場MPEG-2 MPML 中，一個宏塊條必需在同一宏塊行中起始和終了，且一個宏塊條至少包括一個宏塊比特流重新同步的根本單元3.2.2 視頻碼流的分層構造宏塊層運動補償預測的根本單元。MPEG 算法在 P 幀和 B 幀中以宏塊為單位自順應地選擇適宜的運動補償預測方式在 I 幀中全部宏塊都采用幀內編碼方式。P 幀中的宏塊采用前向運動補償預測方式；當預測效果不佳時，切換到幀內

6、編碼方式。B 幀中的宏塊采用何種方式取決于哪一種方式下對該宏塊進展編碼時所需的比特數(shù)最少。3.2.2 視頻碼流的分層構造像塊層MPEG 算法中最小的編碼單位88 個像素亮度信號Y、色差信號 Cb 或 Cr 三種圖像信息中的一種信息DCT 的根本單元3.2.3 MPEG-1/-2 視頻編碼關鍵技術MPEG-1/-2 視頻緊縮的原理：利用序列圖像中的空間相關性和時間相關性?？臻g相關性：一個像素與其周圍的某些像素在亮度和色度上存在的關系時間相關性：一個視頻序列中前后幀圖像間存在的關系采用帶運動補償?shù)膸g預測編碼和幀內 DCT 編碼相結合的方案幀內編碼與幀間編碼流程的區(qū)別：能否經(jīng)過預測環(huán)的處置3.2.

7、3 MPEG-1/-2 視頻編碼關鍵技術Contd1. 離散余弦變換DCT2. 量化器3. “之字形掃描與游程編碼4. 熵編碼5. 運動估計6. 運動補償3.2.4 MPEG-2 和 MPEG-1 的區(qū)別1. MPEG-2 定義了“Profile和“Level的概念規(guī)定了6個語法子集Profile：Simple Profile, Main Profile, 4:2:2 Profile, SNR Scalable Profile, Spatial Profile, High Profile按編碼圖像的分辨率分成4個 Levels：High Level, High-1440 Level, Main

8、 Level, Low LevelProfile 規(guī)定了可以運用哪些語法要素，以及如何運用這些語法元素；Level 規(guī)定了這些語法元素的取值范圍3.2.4 MPEG-2 和 MPEG-1 的區(qū)別Contd2. MPEG-2 有“按幀編碼和“按場編碼兩種方式MPEG-1 只支持逐行掃描；MPEG-2 支持逐行掃描和隔行掃描，針對隔行掃描的常規(guī)電視圖像專門設置了“按幀編碼和“按場編碼兩種方式。MPEG-1 中，宏塊被逐行地分割成像塊；MPEG-2 中，逐行掃描圖像采用逐行分割方式；隔行掃描的幀圖像采用逐行分割與隔行分割兩種方式。3.2.4 MPEG-2 和 MPEG-1 的區(qū)別Contd3. MP

9、EG-2 添加了可分級性1空間可分級性2時間可分級性3信噪比可分級性3.3 MPEG-4 視頻編碼規(guī)范為了支持眾多的多媒體運用，MPEG-4 視頻規(guī)范將支持8種新的功能，這8種新功能可歸為3類：1. 基于內容的交互性1基于內容的多媒體數(shù)據(jù)存取工具MPEG-4經(jīng)過運用各種存取工具，例如索引、超鏈接、查詢、閱讀、下載、上載、刪除，提供基于音/視頻內容的數(shù)據(jù)存取。2基于內容的碼流支配和編輯 MPEG-4的基于內容的編碼表示，允許對景物種的視頻對象進展靈敏的解碼、表示與支配。 3自然數(shù)據(jù)與合成數(shù)據(jù)的混合編碼MPEG-4支持一種有效的組合方法，用于自然或對象與合成的景物或對象的組合如文本和圖形的覆蓋，并

10、具有對自然和合成音/視頻數(shù)據(jù)進展編碼和處置的才干，MPEG-4還支持解碼器可控制的方法，該方法可將合成數(shù)據(jù)和原始音/視頻組合在一同且便于交互。 4加強的時間域隨機存取MPEG-4提供一種有效的存取方法，能在有限的時間間隔內，以較高的分辨率，隨機地從某個音/視頻序列中存取其中的一部分如視頻幀或任不測形的圖像內容。 2. 高緊縮比針對需求對視聽信息進展有效存儲或傳送及同步的運用，將加強如Internet上的信息閱讀、虛擬現(xiàn)實等一些已有的運用。1改良的編碼效率2對多個并發(fā)數(shù)據(jù)流的編碼對一景物的多視角進展有效的編碼。 3. 靈敏多樣的存取 3.4 MPEG-7 規(guī)范ISO/IEC 15938 正式稱號

11、：多媒體內容描畫接口Multimedia Content Description Interface是一種多媒體內容描畫的規(guī)范，而非信息緊縮編碼規(guī)范定義了描畫符、描畫言語和描畫方案，以便于處置多媒體內容主要目的是對多媒體信息內容進展各種規(guī)范化的描畫和有效的檢索3.4 MPEG-7 規(guī)范運用1. “拉運用1視頻數(shù)據(jù)庫的存儲和檢索2專業(yè)媒體制造方面的圖片和視頻提交3商業(yè)音樂運用卡拉OK和音樂銷售4聲音效果庫5歷史言語數(shù)據(jù)庫6經(jīng)過聽覺事件進展電影場景檢索7商標庫的注冊和檢索3.4 MPEG-7 規(guī)范運用2. “推運用1用戶代理驅動的媒體選擇和過濾2個性化電視效力3智能多媒體表現(xiàn)4個性化閱讀、過濾和搜

12、索5特殊的信息存取3.4 MPEG-7 規(guī)范運用3. 特殊的專業(yè)運用和控制運用1遠程購物2醫(yī)學運用3遙感運用4教育運用5監(jiān)測運用6基于視覺的控制3.4.2 MPEG-7 與 MPEG 系列其他規(guī)范的關系運用背景：MPEG-1用于多媒體和 VHS 質量的廣播電視；MPEG-2用于常規(guī)數(shù)字電視和高明晰度電視；MPEG-4用于無線窄帶可視通訊以及可視電視；從一個角度來看，MPEG-1、 MPEG-2和MPEG-4均涉及到視聽信息的編碼表示，在某種意義上，編碼可看作是一種描畫，因此MPEG-7與MPEG的其他規(guī)范有共同點另一方面，MPEG-7與其他規(guī)范相對獨立，其目的是為信息時代的人們提供多媒體效力，

13、實現(xiàn)的關鍵在于建立多媒體數(shù)據(jù)庫和相應的搜索引擎之間的接口共同遵照的原那么：只規(guī)定最后的數(shù)據(jù)格式，而不論采用何種方法獲得這些數(shù)據(jù)格式3.5 MPEG-21 規(guī)范ISO/IEC 21000正式稱號：多媒體框架Multimedia Framework。其制定任務于2000年6月開場。創(chuàng)建一個開放的多媒體傳輸和消費的框架，經(jīng)過將不同的協(xié)議、規(guī)范和技術結合在一同，運用戶可以經(jīng)過現(xiàn)有的各種網(wǎng)絡和設備透明地運用網(wǎng)絡上的多媒體資源。MPEG-21 中的用戶可以是任何個人、團體、組織、公司、政府和其它主體，在 MPEG-21 中，用戶在數(shù)字項的運用上擁有本人的權益，包括用戶出版/發(fā)行內容的維護、用戶的運用權和用

14、戶隱私權等。3.5 MPEG-21 規(guī)范Contd包括7個根本要素：數(shù)字項聲明Digital Item Declaration，數(shù)字項識別和描畫，內容處置和運用，知識產(chǎn)權管理和維護，終端和網(wǎng)絡，內容表示，事件報告。數(shù)字項是 MPEG-21 框架中的根本單元，它由資源、原數(shù)據(jù)metadata和構造共同組成，是一個帶有規(guī)范化的構造化數(shù)字對象。要素中的資源包括采用 MPEG-1、MPEG-2、MPEG-4 規(guī)范的多媒體信息。經(jīng)過數(shù)字項的定義，MPEG-21 集成了 MPEG 系列的其它規(guī)范，因此 MPEG-21 是建立在其它規(guī)范的根底之上的。3.5 MPEG-21 規(guī)范Contd支持以下功能：內容創(chuàng)

15、建，內容消費，內容分配，內容的消費和運用，內容的分組，知識產(chǎn)權管理和維護，內容識別和描畫，用戶權限，終端和網(wǎng)絡資源提取，內容表示和事件報告等。從商業(yè)內容和與內容相關效力的前景等角度開發(fā)同已有的其它 MPEG 系列規(guī)范等進展適當結合，從而運用戶對視頻、音頻的處置更加方便和有效，最終為多媒體信息的用戶在全球范圍內提供透明而有效的視頻通訊運用環(huán)境。MPEG-21 的出臺可以將現(xiàn)有的規(guī)范一致同來，消費者將可以自在運用音視頻內容而不被不兼容的格式、編解碼器、媒體數(shù)據(jù)類型及諸如此類的東西所干擾。3.6 H.261 規(guī)范正式稱號：P64Kb/sP=130視聽業(yè)務的視頻編解碼器P1或2時，僅支持 QCIF 的

16、輸入圖像格式，用于幀頻低的可視；P6時，支持 CIF 的輸入圖像格式的會議電視利用 CIF 格式，可使各國運用的不同制式的電視信號變換為通用中間格式，然后輸入給編碼器，從而使編碼器本身思索信號是來自哪種制式的。中心：采用帶有運動補償?shù)念A測編碼以及基于 DCT 的變換編碼相結合的混合編碼方法3.6 H.261 規(guī)范Contd3.6.1 視頻編碼器原理3.6.2 視頻數(shù)據(jù)復用格式3.6.3 緊縮編碼方式根本判決準那么：哪一種方式給出較小的編碼比特，就采用這種方式。運動估計以1616像素的宏塊為單位進展，搜索范圍為15。采用全搜索的塊匹配算法計算運動矢量。運用二維空域濾波器對88預測塊內的像素進展操

17、作，可以改良預測過程。3.6.4 量化編碼32個線性量化器一個用于幀內 DCT 變化的直流分量；其他31個用于交流分量。除幀內 DCT 的直流分量，一個宏塊內運用同一個量化器。幀內直流分量是一個量化步長為8的線性量化器，其他31個量化器的量化步長為2，4，62。量化器的選擇由編碼控制器決議。DCT 變換后的88系數(shù)塊中的各個系數(shù)按“之字型掃描，便于量化后編碼。3.7 H.263 規(guī)范是ITU-T為低碼率會議電視/可視系統(tǒng)制定的視頻編碼規(guī)范支持的輸入圖像格式：Sub-QCIF12896、QCIF、CIF、4CIF 或者 16CIF 的彩色 4:2:0 亞取樣圖像88 DCT變換宏塊運用一樣的量化

18、步長一個宏塊運用一個運動矢量；或宏塊的每個子塊各運用一個運動矢量 塊運動補償才干，改善幀間預測采用半像素精度的運動補償3.7 H.263 規(guī)范 Contd與H.261相比，添加的緊縮編碼方式：1無限制的運動矢量方式2基于句法的算術編碼方式3先進的預測方式4PB-幀方式3.8 H.263+ 和 H.263+ 規(guī)范H.263+ 允許更大范圍的圖像輸入格式，自定義了圖像的尺寸，從而拓寬了規(guī)范運用的范圍，使之可以處置基于視窗的計算機圖像、更高幀頻的圖像序列及寬屏圖像。為提高緊縮效率：采用先進的幀內編碼方式；加強的PB-幀方式改良了 H.263 的缺乏，加強了幀間預測的效果；去塊效應濾波器不僅提高了緊縮

19、效率，且提供重建圖像的客觀質量。為順應網(wǎng)絡傳輸：添加了時間分級、信噪比和空間分級，對在噪聲信道和存在大量包喪失的網(wǎng)絡中傳送視頻信號很有意義。另外，片構造方式、參考幀選擇方式加強了視頻傳輸?shù)目拐`碼才干。3.8 H.263+ 和 H.263+ 規(guī)范ContdH.263+ 在 H.263+ 根底上添加了3個選項，主要是為了加強碼流在惡劣信道上的抗誤碼性能，同時也為了提高編碼效率。 選項U：加強型參考幀選擇；可以提供加強的編碼效率和信道錯誤再生才干特別是在包喪失的情形下，需求設計多緩沖區(qū)用于存儲多參考幀圖像。選項V：數(shù)據(jù)分片；可以提供加強型的抗誤碼才干特別是在傳輸過程中本地數(shù)據(jù)被破壞的情況下，經(jīng)過分流

20、視頻碼流中DCT的系數(shù)頭和運動矢量數(shù)據(jù)，采用可逆編碼方式維護運動矢量。選項W：在 H.263+ 的碼流中添加補充信息，保證加強型的反向兼容性。3.9 H.264 規(guī)范概述由ITU-T的視頻編碼專家組VCEG與ISO/IEC的MPEG組成的結合視頻任務組JVT共同制定的新一代視頻緊縮編碼規(guī)范。設計方案包含：視頻編碼層VCL和網(wǎng)絡籠統(tǒng)層NAL。3.9 H.264 規(guī)范特點編碼效率高對信道時延的順應性較強在編/解碼器中采用復雜度可分級設計，支持不同網(wǎng)絡資源下的分級編碼傳輸容錯才干強網(wǎng)絡的順應性強3.9.1 H.264 的主要特性高編碼效率1. 運動補償預測1不同大小和外形的宏塊分割2高精度的亞像素運

21、動預測3多參考幀的運動補償4自順應去方塊效應濾波器5運動補償預測的其他特性3.9.1 H.264 的主要特性高編碼效率Contd2. 44 整數(shù)變換3. 基于空域預測的幀內編碼4. 量化5. 基于上下文的熵編碼3.9.1 H.264 的主要特性強容錯才干和網(wǎng)絡順應性1. 參數(shù)集構造2. NAL 單元語法構造3. 靈敏的像條大小4. 靈敏的宏塊排序FMO5. 恣意像條排序6. 冗余圖像7. 數(shù)據(jù)分割3.9.2 H.264 的網(wǎng)絡籠統(tǒng)層規(guī)范了視頻數(shù)據(jù)的格式，包括單個字節(jié)的包頭信息、多個字節(jié)的視頻數(shù)據(jù)與組幀、邏輯信道信令、定時終了信號等。包頭中包含存儲標志和類型標志；存儲標志用于指示當前數(shù)據(jù)不屬于被參考的幀；類型標志用于指示圖像數(shù)據(jù)的類型。3.9.2 H.264 的網(wǎng)絡籠統(tǒng)層Contd支持的網(wǎng)絡類型：任何運用 RTP/IP 協(xié)議的實時有線和無線 Internet 效力作為 MP4 文件存儲和多媒體信息文件效力MPEG-2 系統(tǒng)其他網(wǎng)絡3.9.3 H.264 的視頻編碼層1. 圖像、幀和場2. YCbCr 顏色空間和4:2:0采樣3. 宏塊劃分4. 像條和像條組5. 宏塊的編/解碼過程6. 自順應幀/場編碼操作3.9.3 H.264 的視頻編碼層Contd7