IP視頻流處理系統(tǒng)技術方案2010年10月21日目錄TOC一、項目需求 3二、系統(tǒng)主要技術及功能介紹 32.1、視頻流壓縮編碼技術： 32.2、服務器處理技術： 42.3、網(wǎng)絡傳輸協(xié)議： 52.4、對端流媒體播放技術（解碼） 5三、系統(tǒng)組成 63.1編碼硬件（服務器）介紹； 63.1.1編碼硬件（服務器）構架 63.1.2編碼硬件（服務器）組成 63.1.3編碼硬件（服務器）編碼技術介紹及轉換格式說明 73.1.4編碼硬件（服務器）編碼流程介紹及GPU并行處理技術介紹 73.1.5編碼硬件（服務器）編碼指標說明（壓縮比、分辨率、帶寬、信號類型、流媒體格式、碼流、幀數(shù)等指標） 83.1.6編碼硬件（服務器）處理性能 93.1.7編碼硬件（服務器）擴展能力 103.2解碼器介紹； 103.2.1解碼器介紹 103.2.2解碼技術介紹 103.2.3解碼后最終顯示性能 113.2.4解碼器與編碼器協(xié)同工作原理 113.2.5窗口顯示性能 12四、IP視頻流處理系統(tǒng)技術點實現(xiàn)方式 12五、IP視頻流處理系統(tǒng)優(yōu)勢所在及對比 12六、系統(tǒng)圖 14七、新版本介紹 157.1、版本介紹 157.2、BlendOneV2窗口管理介紹： 17八、系統(tǒng)測試 18一、項目需求支持多路IP流媒體信號源并行輸入；可以將外部視頻信號轉換為IP流媒體以窗口的形式在大屏幕上顯示；所有操作均兼容集中控制主機、操作電腦等控制設備；完美實現(xiàn)多窗口顯示，并且可以進行窗口放大、縮小、漫游、疊加、拉伸等功能；支持顯示模式預存、調用、修改等功能；二、系統(tǒng)主要技術及功能介紹2.1、視頻流壓縮編碼技術：視頻流壓縮編碼技術。由于存在視頻信息數(shù)據(jù)量大而網(wǎng)絡帶寬有限的矛盾，壓縮技術一直是網(wǎng)絡視頻通信的關鍵技術。網(wǎng)絡流媒體技術面臨著網(wǎng)絡帶寬的波動和多種應用的挑戰(zhàn)，高壓縮率的分級編碼技術是很好的解決途徑。它能提供根據(jù)帶寬而自適應變化的視頻碼流，以滿足不同質量的服務。功能：此技術主要用于編碼器進行視頻流的轉碼工作，將具有分辨率和行場頻率的VGA、RGB、DVI信號轉換為可以通過網(wǎng)絡進行傳輸?shù)牧髅襟w格式；編碼體系結構圖：2.2、服務器處理技術：服務器處理技術。編碼服務器是流媒體系統(tǒng)的核心設備，它通過對視頻流的發(fā)送和控制，保證了通信的服務質量。為了解決時延和帶寬的限制，服務器必須根據(jù)實際的可用帶寬把壓縮的數(shù)據(jù)打包成合適的碼并響應網(wǎng)絡的反饋控制信息；同時為了實現(xiàn)客戶與服務器的交互功能（VOD），服務器還要有對用戶發(fā)來的服務請求（VCR）進行有效處理的功能。典型流媒體服務器技術包括數(shù)據(jù)放置策略、磁盤調度算法、內存緩沖區(qū)管理算法等功能：編碼服務器不但負責各類信號的轉換工作，并且負責轉換后的流媒體網(wǎng)絡推送工作，并且根據(jù)不同的情況提供不同的策略、算法及緩沖；2.3、網(wǎng)絡傳輸協(xié)議：網(wǎng)絡傳輸協(xié)議。由于我們的設備應用于局域網(wǎng)，并且要求有1000M的帶寬流量，但是由于流媒體的傳輸應避免網(wǎng)絡丟包情況，因此我們選擇比較適合實時視頻傳輸?shù)膮f(xié)議主要有：網(wǎng)絡層的IP協(xié)議，傳輸層的用戶數(shù)據(jù)報協(xié)議(UDP)、實時傳輸協(xié)議（RTP）、會話層的RTSP（實時流協(xié)議）。在傳輸層的下層，為了減小時延，視頻數(shù)據(jù)傳輸使用盡力轉發(fā)的UDP。RTP是在UDP的上層為數(shù)據(jù)傳輸提供丟包檢測和同步的實時傳輸協(xié)議，RTCP是配合RTP的控制協(xié)議；功能：此技術對應的功能主要負責流媒體在網(wǎng)絡上廣播推送服務，通過相應的協(xié)議及我們針對網(wǎng)絡廣播的軟體限制，避免丟包，延遲的現(xiàn)象出現(xiàn)；2.4、對端流媒體播放技術（解碼）接收端的流播放技術。由于流媒體采用的是IP\UDP等非可靠傳輸協(xié)議，數(shù)據(jù)可能不會按原來的順序到達接收端而且可能存在丟包，所以在解碼前開辟一個緩沖區(qū)進行重排和錯誤掩蓋。為了實現(xiàn)實時連續(xù)播放并且拒絕丟包情況，我們開辟一個適當大小的播放緩沖區(qū)，以避免網(wǎng)絡帶寬的波動帶來的緩沖區(qū)下溢；而我們采用的編碼技術是MPEG-4標準，因此在解碼方面同時采用MPEG-4的解碼標準；通過我們自主研發(fā)的播放軟體，配合相應的解碼算法，最終實現(xiàn)對端接受設備的連續(xù)播放；三、系統(tǒng)組成3.1編碼硬件（服務器）介紹；3.1.1編碼硬件（服務器）構架編碼服務器的構架為服務器軟硬結合方式的構架，通過我們自主研發(fā)的集成了編碼、網(wǎng)絡、并行處理的機制的軟體，結合定制的高性能圖形卡共同實現(xiàn)實時各類信號的并行轉碼及網(wǎng)絡并行推送功能；數(shù)據(jù)采集數(shù)據(jù)采集編碼器傳輸控制3.1.2編碼硬件（服務器）組成（1）采集模塊，進行RGB/DVI信號采集，為編碼模塊提供數(shù)據(jù)（2）編碼模塊，以MPEG4標準對圖像數(shù)據(jù)進行壓縮編碼（3）控制模塊，對外提供控制接口，對采集模塊和編解碼模塊進行參數(shù)設置（4）傳輸模塊，接受通訊連接，對外傳輸壓縮數(shù)據(jù)3.1.3編碼硬件（服務器）編碼技術介紹及轉換格式說明采集信號保存為YUV信號后傳送給編碼器，編碼器按照MPEG4標準對采集信號進行編碼。編碼格式為4:2:0格式，幀格式采用I幀，P幀和B幀。3.1.4編碼硬件（服務器）編碼流程介紹及GPU并行處理技術介紹（1）編碼流程介紹 編碼器采用的是變換和預測的混合編碼法。編碼原理由圖一所示，輸入的幀或場Fn以宏塊為單位被編碼器處理。首先，按幀內或幀間預測編碼的方法進行處理。如果采用幀內預測編碼，其預測值PRED（圖中用P表示）是由當前片中前面已編碼的參考圖像經(jīng)運動補償（MC）后得出，其中參考圖像用F’n-1表示。為了提高預測精度，從而提高壓縮比，實際的參考圖像可在過去或未來（指顯示次序上）已編碼解碼重建和濾波的幀中進行選擇。預測值PRED和當前塊相減后，產生一個殘差塊Dn，經(jīng)塊變換、量化后產生一組量化后的變換系數(shù)X，再經(jīng)熵編碼，與解碼所需的一些邊信息（如預測模式量化參數(shù)、運動矢量等）一起組成一個壓縮后的碼流，在將該碼流傳輸?shù)骄W(wǎng)絡。如上所述，為了提供進一步預測用的參考圖像，編碼器必須有重建圖像的功能。因此必須使殘差圖像經(jīng)反量化、反變換后得到的Dn’與預測值P相加，得到uFn’（未經(jīng)濾波的幀）。為了去除編碼解碼環(huán)路中產生的噪聲，提高參考幀的圖像質量，從而提高壓縮圖像性能，編碼器還設置了一個環(huán)路濾波器，濾波后的輸出Fn’即重建圖像可用作參考圖像。圖一編碼器流程框圖（2）編碼并行處理在各宏塊進行變化和量化的過程中，存在大量的計算，因此利用計算機強大的數(shù)據(jù)處理功能，將各個宏塊數(shù)據(jù)進行并行處理，從而提高編碼速度。3.1.5編碼硬件（服務器）編碼指標說明（壓縮比、分辨率、帶寬、信號類型、流媒體格式、碼流、幀數(shù)等指標）（1）編碼器輸入信號：RGB信號流（2）編碼格式：MPEG44:2:0格式（3）編碼幀結構：支持三種類型I/IPP/IBBP（4）工作方式：VBR(可變碼率編碼)/CBR（固定碼率編碼）（5）支持分辨率：1024x768、1280x960、1280x1024、1400x1050、1600x900、1680x1050、1920x1080、1920x1200、1920x1440等（6）編碼幀率：（25～30）fps（7）壓縮比：根據(jù)圖像內容因素的不同，如圖像細節(jié)，運動和靜止，編碼圖像質量等方面因素，壓縮比和碼率會不同，理論上MPEG4壓縮比最大可達到4000:1。實際中測試的壓縮比約為：（8）碼率：（1～50）Mbps（9）帶寬：200Mbps編碼器輸入信號分辨率 幀結構編碼格式幀數(shù)(fps)編碼圖像質量平均碼率（Mbps）帶寬要求壓縮率RGB241024x768GOP=100IBBP4：2：030QP=00.7Mbps1Mbps808.901440x10504：2：030QP=01Mbps3Mbps1099.631920x10804：2：030QP=02.5Mbps3Mbp597.191920x12004：2：030QP=02.5Mbps3Mbp663.553.1.6編碼硬件（服務器）處理性能（1）編碼器可支持1～4路信號同時采集（2）最多支持4路信號（3）支持最高分辨率為2048x1536（4）最大碼流達到40Mbps（5）壓縮比：在質量最好的情況下，壓縮比約為100~8003.1.7編碼硬件（服務器）擴展能力分辨率最大支持路數(shù)1024x76881400x105041920x108041920x120043.2解碼器介紹；3.2.1解碼器介紹解碼器采用MPEG4解碼標準進行解碼。解碼器從網(wǎng)絡接收到編碼后的數(shù)據(jù)后，按照標準對編碼數(shù)據(jù)進行解碼。3.2.2解碼技術介紹解碼流程介紹：由圖二可知，解碼器得到由編碼器輸出的數(shù)據(jù)后，經(jīng)熵解碼得到量化后的一組變換系數(shù)X，再經(jīng)反量化、反變換，得到殘差Dn’。利用從該比特流中解碼出的頭信息，解碼器就產生一個預測塊PRED，它和編碼器中的原始PRED是相同的。當該解碼器產生的PRED與殘差Dn’相加后，就產生uFn’，再經(jīng)濾波后，最后就得到濾波后的Fn’，這個Fn’就是最后的解碼輸出圖像。圖二解碼框圖3.2.3解碼后最終顯示性能解碼幀率：最高可達60fps支持分辨率：4x4~8192x8192，寬度或高度必須為2的倍數(shù)流量：24bit/像素3.2.4解碼器與編碼器協(xié)同工作原理（1）編碼器收到原始采集數(shù)據(jù)后進行壓縮編碼，服務器將編碼后的數(shù)據(jù)傳輸?shù)娇蛻舳耍?）客戶端接收到編碼數(shù)據(jù)后，解碼器盡最大能力進行解碼，以最快的速度顯示（3）編碼器與解碼器都在“推模式”下工作（4）由于MPEG本身的特點，解碼器只有在收到關鍵幀才能正式啟動解碼，而關鍵幀的間隔與編碼設定有關，所以開始解碼時可能出現(xiàn)短暫的等待，當關鍵幀到達才進入解碼，顯示圖像3.2.5窗口顯示性能（1）采用DirectX獨占顯示技術，直接進行顯卡顯示操作，充分發(fā)揮顯卡性能；（2）支持多核CPU并行處理技術，通過DMA模式進行數(shù)據(jù)傳輸，發(fā)揮PCI-E的帶寬優(yōu)勢，傳輸速度可達16GB/s，窗口顯示具有刷新速度快，占有資源小的特點。四、IP視頻流處理系統(tǒng)技術點實現(xiàn)方式（1）編解碼：支持并行處理，支持多核CPU，SIMD技術優(yōu)化（2）圖像顯示：DMA傳輸，采用DirectX顯示技術（3）圖像傳輸：基于TCP/IP的可靠傳輸方式五、IP視頻流處理系統(tǒng)優(yōu)勢所在及對比隨著視頻應用的不斷深入和網(wǎng)絡技術、圖像技術的不斷成熟，視頻系統(tǒng)正在邁入數(shù)字化、網(wǎng)絡化、大型化時代，視頻信號數(shù)量多，距離遠。傳統(tǒng)方式下，為了在遠程觀看視頻，就需要部署專用傳輸線路，線路的數(shù)量隨著視頻數(shù)量的增長而增長，考慮到信號的線路損耗，需要根據(jù)實際條件添加中繼設備。傳統(tǒng)方式下的系統(tǒng)無法復用建設好的線路，重復建設多，成本高。（1）多網(wǎng)融合。IP視頻處理系統(tǒng)能夠使用網(wǎng)絡線路，無需進行線路鋪設，系統(tǒng)建設快，成本低，具有多網(wǎng)融合的特點，現(xiàn)有網(wǎng)絡不但能夠進行局域網(wǎng)通訊，還能實現(xiàn)視頻網(wǎng)的搭建。（2）利于擴容。視頻通過壓縮，使用網(wǎng)絡接入，在保證質量的同時，降低帶寬占用，大大提高并行傳輸視頻的數(shù)量。當網(wǎng)絡線路的帶寬能夠滿足同時觀看視頻數(shù)量的需要時，添加視頻點只需添加一臺采集設備即可，擴容簡單、迅速。（3）節(jié)約成本。IP視頻處理系統(tǒng)充分利用現(xiàn)有資源，擴容便捷，使得整個系統(tǒng)建設成本大大降低，建設時間快，同時以其優(yōu)良的升級能力，也為未來的建設節(jié)約成本。六、系統(tǒng)圖七、新版本介紹7.1、版本介紹由于IP流媒體技術得研發(fā)成功，因此在設備應用中我們對對端解碼器也做了軟體的升級，由第一代融合解碼器升級為第二代融合處理器（BLENDONEV2）BlendOneV2其中包括：服務器端BlendOneV2SEVER控制客戶端：BlendOneV2Manage上一代融合解碼器并不具備IP流媒體的解碼、采集功能并且針對Ip流媒體的窗口管理機制也沒有被集成；而為了配合對端編碼器的應用，我們在第二代融合解碼服務器中不但集成了最新的IP流媒體的解碼、采