摘要 i 基于流媒體技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn) 摘要 基于流媒體技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn) 摘要 隨著網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的應(yīng)用越來(lái)越廣泛，但 其視頻數(shù)據(jù)流在網(wǎng)絡(luò)傳輸過(guò)程中的實(shí)時(shí)性和傳輸質(zhì)量得不到很好的保證。 流媒體技術(shù)的 興起較好的解決了這個(gè)問(wèn)題， 將其應(yīng)用于網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中顯然是數(shù)字監(jiān)控領(lǐng)域的巨 大突破。但目前的很多監(jiān)控系統(tǒng)都跟具體的硬件相關(guān)，所以有必要開(kāi)發(fā)一種具有通用性 的基于流媒體技術(shù)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)。 本文通過(guò)采用流媒體技術(shù)及其開(kāi)發(fā)工具 directshow 完成了一個(gè)用 usb 攝像頭作為 視頻采集設(shè)備，完全用軟件的方法實(shí)現(xiàn)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)。directshow 是微軟公司開(kāi) 發(fā)的一套基于 windows 平臺(tái)的軟件開(kāi)發(fā)包，它為 windows 平臺(tái)上處理各種格式的媒體 文件播放、 音/視頻采集等高性能要求的多媒體應(yīng)用提供了完整的解決方案。 本文的研究 內(nèi)容和成果如下： 1、研究了流媒體技術(shù)的原理及流媒體傳輸協(xié)議 rtp/rtcp 的實(shí)現(xiàn)機(jī)制和應(yīng)用，以 及視音頻數(shù)據(jù)的壓縮、解碼標(biāo)準(zhǔn)； 2、選用了 visual c+6.0 作為開(kāi)發(fā)平臺(tái)，運(yùn)用微軟的 directshow 技術(shù)進(jìn)行了視音頻 的采集、播放、編碼、解碼、回放等開(kāi)發(fā)編程； 3、對(duì)流媒體網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的總體結(jié)構(gòu)和各功能模塊進(jìn)行了設(shè)計(jì)，并編程實(shí)現(xiàn) 了系統(tǒng)服務(wù)器端和客戶端軟件功能， 對(duì)網(wǎng)絡(luò)傳輸模塊的實(shí)現(xiàn)主要是建立了網(wǎng)絡(luò)發(fā)送和網(wǎng) 絡(luò)接收兩個(gè)過(guò)濾器，實(shí)現(xiàn)了視音頻由發(fā)送端過(guò)濾器發(fā)送到網(wǎng)絡(luò)，接收端可以順利地回放 視頻圖像和聲音； 最后對(duì)完成的系統(tǒng)進(jìn)行了相關(guān)的調(diào)試和實(shí)驗(yàn)，驗(yàn)證了系統(tǒng)方案的有效性，并對(duì)系統(tǒng) 的進(jìn)一步完善工作進(jìn)行了展望。本系統(tǒng)軟件原型具有較好的規(guī)范性和重用性，不僅可用 于遠(yuǎn)程監(jiān)控系統(tǒng)，還可用于多媒體遠(yuǎn)程教學(xué)、網(wǎng)絡(luò)視頻會(huì)議、視頻聊天等軟件系統(tǒng)，具 有較好的應(yīng)用前景 關(guān)鍵詞：關(guān)鍵詞：流媒體，視頻監(jiān)控系統(tǒng)，directshow，rtp/rtcp，filter abstract ii research and realization of network video monitor system based on streaming media technology research and realization of network video monitor system based on streaming media technology abstract with the development of network and multimedia technology, the application of the network video monitor system is more and more extensive. however, the network video monitor system often cannot adapt well to the high real-time requirement, and low-level efficiency of the video streaming transmission cannot satisfy the system requirement. the development of streaming media technology gives a chance to better solve this problem. obviously, it is a great breakthrough in digital monitoring field that streaming media technology used for network video monitor system.but many monitor system relevant to concrete hardware, so it is necessary to develop a kind of commonality network video monitor system based on streaming media technoloy. this paper completed a network monitor system using the usb camera as the video collecting equipment, which realized with pure software by adopting the streaming media technique and directshow.directshow is a software development kit, which microsoft corporation develops based on the windows platform software.it provides a whole solution for the windows platform to process the preview and the audio/video collection of the media document.the study contents and results in the paper are as follows: 1. researched the principle of streaming media technology, the implementation mechanism and application of transport protocol rtp/rtcp, and the video and audio data compression, decoding standards; 2. selected vc+6.0 and directshow tech as developing platform to make gathering, playing, encoding, decoding, replaying program; 3. designed the overall structure of the streaming media network monitor system and each functional module, and realized the software function of both the server-end and client-end by programming. the network transmission module has mainly realized by establishing the network send filter and network receive filter, which can send the audio/video datas to the network and the receiver can playback the video images and sound smoothly. at last, it has completed the relevant debugging and proved the effectiveness of the system , and the further improve work has been presented.with the quality of service and reusability as the design goals, the prototype can be applied not only in remote supervisory system but also in multimedia distanceeducation system, network video conference and so on. key words: : streaming media, video monitor system, directshow, rtp/rtcp, filter 獨(dú)創(chuàng)性聲明獨(dú)創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文是我個(gè)人在導(dǎo)師指導(dǎo)下進(jìn)行的研究 工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝的地方 外，論文中不包含其他人已經(jīng)發(fā)表和撰寫的研究成果，也不包含為獲得華 東交通大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書所使用過(guò)的材料。與我一同工作 的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說(shuō)明并表示了謝 意。 本人簽名 日期 關(guān)于論文使用授權(quán)的說(shuō)明關(guān)于論文使用授權(quán)的說(shuō)明 本人完全了解華東交通大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué) 校有權(quán)保留送交論文的復(fù)印件，允許論文被查閱和借閱。學(xué)校可以公布論 文的全部或部分內(nèi)容，可以采用影印、縮印或其他復(fù)制手段保存論文。 保密的論文在解密后遵守此規(guī)定，本論文無(wú)保密內(nèi)容。保密的論文在解密后遵守此規(guī)定，本論文無(wú)保密內(nèi)容。 本人簽名 導(dǎo)師簽名 日期 第一章 緒論 1 第一章第一章 緒論緒論 1.1 視頻監(jiān)控系統(tǒng)的發(fā)展視頻監(jiān)控系統(tǒng)的發(fā)展 視頻監(jiān)控系統(tǒng)系統(tǒng)是安全防范系統(tǒng)的組成部分，它是一種防范能力較強(qiáng)的綜合系 統(tǒng)。隨著社會(huì)的發(fā)展和技術(shù)的進(jìn)步，人們對(duì)方便、快捷的視頻監(jiān)控的要求越來(lái)越高，涉 及的領(lǐng)域也越來(lái)越廣1。視頻監(jiān)控系統(tǒng)從最早的局限于金融業(yè)的應(yīng)用，逐漸遍布各行各 業(yè)，如：大型公共設(shè)施的安防、電力系統(tǒng)、交通領(lǐng)域、社區(qū)物業(yè)管理等。近年來(lái)，隨著 計(jì)算機(jī)、 網(wǎng)絡(luò)以及圖像處理、 傳輸技術(shù)的飛速發(fā)展， 視頻監(jiān)控技術(shù)也取得了長(zhǎng)足的發(fā)展。 視頻監(jiān)控系統(tǒng)發(fā)展大概經(jīng)歷了三個(gè)發(fā)展階段：在 90 年代初以前，主要是以模擬設(shè) 備為主的閉路電視監(jiān)控系統(tǒng)，稱為第一代視頻監(jiān)控系統(tǒng)，即模擬視頻監(jiān)控系統(tǒng)；90 年代 中期，隨著計(jì)算機(jī)處理能力的提高和視頻技術(shù)的發(fā)展，人們利用計(jì)算機(jī)的高速數(shù)據(jù)處理 能力進(jìn)行視頻的采集和處理，從而大大提高了圖像質(zhì)量，增強(qiáng)了視頻監(jiān)控的功能。這種 基于多媒體計(jì)算機(jī)的系統(tǒng)稱為第二代視頻監(jiān)控系統(tǒng)，即模擬與數(shù)字混合監(jiān)控系統(tǒng)；90 年代末，隨著網(wǎng)絡(luò)帶寬、計(jì)算機(jī)處理能力和存儲(chǔ)容量的迅速提高，以及各種實(shí)用視頻信 息處理技術(shù)的出現(xiàn)，視頻監(jiān)控進(jìn)入了全數(shù)字化的網(wǎng)絡(luò)時(shí)代，稱為第三代視頻監(jiān)控系統(tǒng)， 即全數(shù)字視頻監(jiān)控系統(tǒng)或網(wǎng)絡(luò)數(shù)字視頻監(jiān)控系統(tǒng)2。 第三代視頻監(jiān)控系統(tǒng)以網(wǎng)絡(luò)為依托， 以數(shù)字視頻的壓縮、傳輸、存儲(chǔ)和播放為核心，以智能實(shí)用的圖像分析為特色，引發(fā)了 視頻監(jiān)控行業(yè)的技術(shù)革命。 1.1.1 模擬視頻監(jiān)控系統(tǒng) 1.1.1 模擬視頻監(jiān)控系統(tǒng) 模擬視頻監(jiān)控系統(tǒng)一般是以攝像機(jī)、 控制設(shè)備(云臺(tái)、 解碼器)和中心設(shè)備(視頻矩陣、 畫面分割器、磁帶錄像機(jī))為核心，采用模擬方式傳輸信號(hào)，通過(guò)手動(dòng)方式對(duì)各個(gè)被控 站點(diǎn)的情況進(jìn)行切換顯示2。主要應(yīng)用于小范圍內(nèi)的控制，監(jiān)控圖像一般只能在監(jiān)控中 心查看。其基本結(jié)構(gòu)如圖 1-1 所示： 圖 1-1 模擬視頻監(jiān)控系統(tǒng)示意圖 fig.1-1 analog video monitor system diagram 第一章 緒論 2 1.1.2 數(shù)字視頻監(jiān)控系統(tǒng) 1.1.2 數(shù)字視頻監(jiān)控系統(tǒng) 數(shù)字視頻監(jiān)控系統(tǒng)一般是在監(jiān)控現(xiàn)場(chǎng)，設(shè)置若干臺(tái)攝像機(jī)、各種檢測(cè)、報(bào)警探頭與 數(shù)據(jù)設(shè)備，它們通過(guò)各自的傳輸線路，匯聚到控制單元上，進(jìn)行信號(hào)編碼壓縮，再以數(shù) 字的方式經(jīng)過(guò)傳輸系統(tǒng)到監(jiān)控中心，監(jiān)控中心通過(guò)信號(hào)解碼進(jìn)行實(shí)時(shí)監(jiān)控。其核心就是 將模擬的視頻、音頻和控制信號(hào)轉(zhuǎn)化成數(shù)字信號(hào)，形成實(shí)現(xiàn)某種功能的數(shù)據(jù)流，有效地 傳輸和控制2。由于需要建設(shè)大規(guī)模的傳輸系統(tǒng)，成本高，因此主要適用于近距離監(jiān)控 （如：大樓監(jiān)控等） 。其基本結(jié)構(gòu)如圖 1-2 所示： 圖 1-2 數(shù)字視頻監(jiān)控系統(tǒng)示意圖 fig.1-2 digital video monitor system diagram 1.1.3 ip 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng) 1.1.3 ip 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng) ip 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)是在傳統(tǒng)視頻監(jiān)控的基礎(chǔ)上， 通過(guò)以太局域網(wǎng)、 pstn 電話網(wǎng)、 internet 等網(wǎng)絡(luò)完成數(shù)據(jù)傳輸，借助于數(shù)字光纖、數(shù)字微波、無(wú)線通信、atm、ddn、 isdn、衛(wèi)星通信等多種遠(yuǎn)程數(shù)字傳輸媒介，使用點(diǎn)對(duì)點(diǎn)、廣播、組播等多種傳輸方式， 使監(jiān)控的圖像在網(wǎng)絡(luò)上進(jìn)行傳輸，實(shí)現(xiàn)遠(yuǎn)程監(jiān)控，完全不受空間的局限3。其基本結(jié)構(gòu) 如圖 1-3 所示： 圖 1-3 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)示意圖 fig.1-3 network video monitor system diagram 第一章 緒論 3 1.1.4 基于移動(dòng)通信的視頻監(jiān)控系統(tǒng)基于移動(dòng)通信的視頻監(jiān)控系統(tǒng) 基于移動(dòng)通信的視頻監(jiān)控系統(tǒng)是指運(yùn)用現(xiàn)代移動(dòng)通信技術(shù)（如：gprs、cdma） ， 采用無(wú)線 modem 將采集、編碼壓縮的視頻圖像通過(guò)通信網(wǎng)絡(luò)傳送到移動(dòng)終端（手機(jī)、 移動(dòng) pc 等） ，從而實(shí)現(xiàn)無(wú)線遠(yuǎn)程實(shí)時(shí)監(jiān)控。其基本結(jié)構(gòu)如圖 1-4 所示4： 圖 1-4 基于移動(dòng)通信的視頻監(jiān)控系統(tǒng)示意圖 fig.1-4 video monitor system based on mobile communication diagram 1.1.5 智能視頻監(jiān)控系統(tǒng)智能視頻監(jiān)控系統(tǒng) 智能視頻監(jiān)控以數(shù)字化、網(wǎng)絡(luò)化視頻監(jiān)控為基礎(chǔ)，但又有別于一般的網(wǎng)絡(luò)化視頻監(jiān) 控，是一種更高端的視頻監(jiān)控應(yīng)用，它區(qū)別于傳統(tǒng)意義上的監(jiān)控系統(tǒng)在于其智能性。智 能視頻監(jiān)控系統(tǒng)以計(jì)算機(jī)視覺(jué)分析技術(shù)為主，能夠識(shí)別不同的物體，發(fā)現(xiàn)監(jiān)控畫面中的 異常情況，并能夠以最快和最佳的方式發(fā)出警報(bào)和提供有用信息，從而能夠更加有效的 協(xié)助安全人員處理危機(jī)，并最大限度的降低誤報(bào)和漏報(bào)現(xiàn)象。簡(jiǎn)單而言就是，不僅用攝 像機(jī)代替人眼，而且用計(jì)算機(jī)代替人、協(xié)助人，來(lái)完成監(jiān)視或控制任務(wù)，從而減輕人的 負(fù)擔(dān)。視覺(jué)監(jiān)控以其強(qiáng)大的功能、靈活的使用方式、廣泛的應(yīng)用前景及巨大的潛在經(jīng)濟(jì) 價(jià)值，從而激發(fā)了世界上廣大科研工作者及相關(guān)商家的濃厚興趣5。 在技術(shù)的不斷前進(jìn)發(fā)展中，視頻監(jiān)控系統(tǒng)必然沿著數(shù)字化、網(wǎng)絡(luò)化和智能化的方向 繼續(xù)迅速發(fā)展。系統(tǒng)功能綜合化、視頻數(shù)字化、監(jiān)控網(wǎng)絡(luò)化、系統(tǒng)集成開(kāi)放及標(biāo)準(zhǔn)化是 視頻監(jiān)控系統(tǒng)發(fā)展的必然趨勢(shì)。 1.2 流媒體技術(shù)概述流媒體技術(shù)概述 1.2.1 流媒體的發(fā)展現(xiàn)狀流媒體的發(fā)展現(xiàn)狀 流媒體（streaming media）技術(shù)是從互聯(lián)網(wǎng)上發(fā)展起來(lái)的一種多媒體應(yīng)用技術(shù)。 所謂流媒體，是指在 internet/intranet 中使用流式傳輸技術(shù)的連續(xù)時(shí)基媒體，如：音 頻、視頻或多媒體文件6。流媒體不同于傳統(tǒng)的多媒體，它的主要特點(diǎn)就是運(yùn)用可變帶 寬技術(shù)，以流的形式進(jìn)行數(shù)字媒體的傳送。流媒體在播放前并不下載整個(gè)文件，數(shù)據(jù)流 隨時(shí)傳送隨時(shí)播放，只是在開(kāi)始時(shí)有一些延遲，這樣可以使人們?cè)诰€欣賞到連續(xù)不斷的 第一章 緒論 4 高品質(zhì)的音頻和視頻節(jié)目，避免了用戶必須等待整個(gè)文件全部從 internet 上下載才能 觀看的缺點(diǎn)。流媒體技術(shù)起源于窄帶互聯(lián)網(wǎng)時(shí)期，當(dāng)時(shí)互聯(lián)網(wǎng)的通信網(wǎng)絡(luò)還比較落后， 用戶僅能以非常低的連接速率，通過(guò)網(wǎng)絡(luò)獲得靜態(tài)的圖文。隨著技術(shù)的發(fā)展，流媒體的 定義已不再是單一的流式傳輸技術(shù)，它衍生出了適合流式傳輸?shù)木W(wǎng)絡(luò)通信技術(shù)、多媒體 數(shù)據(jù)采集技術(shù)、多媒體數(shù)據(jù)壓縮技術(shù)、多媒體數(shù)據(jù)存儲(chǔ)技術(shù)等更多的基礎(chǔ)技術(shù)?，F(xiàn)在的 流媒體已經(jīng)發(fā)展成為一個(gè)產(chǎn)業(yè)?；ヂ?lián)網(wǎng)的發(fā)展更是決定了流媒體市場(chǎng)的廣闊前景。商業(yè) 網(wǎng)站利用流媒體播放新聞、音樂(lè)直播和點(diǎn)播，企業(yè)和一些機(jī)構(gòu)采用點(diǎn)播和流媒體進(jìn)行員 工培訓(xùn)、信息發(fā)布、公司介紹等，可提高效率，節(jié)約開(kāi)支。這樣巨大的市場(chǎng)吸引越來(lái)越 多的企業(yè)參與競(jìng)爭(zhēng)。一個(gè)全球化的媒體市場(chǎng)和競(jìng)爭(zhēng)格局已經(jīng)初步形成，如何在這個(gè)市場(chǎng) 取得份額，成為當(dāng)前諸多企業(yè)關(guān)注的焦點(diǎn)。國(guó)內(nèi)外廠商的紛紛涌入，將使我國(guó)的流媒體 市場(chǎng)更加活躍，更加成熟，當(dāng)然競(jìng)爭(zhēng)也將更加激烈7。 目前，internet 中最通用的流媒體系統(tǒng)包括 realnetworks，microsoft window media player，apple quicktime 等，realnetworks，window media player 流媒體播放器甚至已 成為 pc 標(biāo)準(zhǔn)配置6。 1.2.2 流媒體技術(shù)的應(yīng)用 1.2.2 流媒體技術(shù)的應(yīng)用 流媒體技術(shù)改變了傳統(tǒng)互聯(lián)網(wǎng)的呆板形象，豐富了互聯(lián)網(wǎng)的功能，使之成為一種有 強(qiáng)大吸引力的新媒體。流媒體技術(shù)正逐漸應(yīng)用到社會(huì)的各行各業(yè)中，現(xiàn)在流媒體技術(shù)廣 泛應(yīng)用在多媒體新聞發(fā)布、網(wǎng)絡(luò)直播、電子商務(wù)、視頻點(diǎn)播、視頻會(huì)議、視頻監(jiān)控、遠(yuǎn) 程教育、遠(yuǎn)程醫(yī)療等網(wǎng)絡(luò)信息服務(wù)的各個(gè)方面，為提供人們的生活品質(zhì)做出了巨大的貢 獻(xiàn)8。下面是幾個(gè)典型的應(yīng)用例子9： 在線直播(live video)：娛樂(lè)是流媒體的重要應(yīng)用場(chǎng)合。用攝像機(jī)或其它裝置獲得視 頻信號(hào)后，就可以通過(guò)站點(diǎn)進(jìn)行基于 internet 的現(xiàn)場(chǎng)直播，或者保存為流媒體格式的文 件，以供按需播放。需要在一臺(tái)較高配置的 pc 機(jī)或服務(wù)器上安裝上普通視頻采集卡和 聲卡， 然后通過(guò)視頻采集卡輸入視頻和通過(guò)聲卡輸入聲音信號(hào)就可以用實(shí)時(shí)編碼工具來(lái) 進(jìn)行直播或錄制成流媒體文件。在這種應(yīng)用中可加入一定的計(jì)費(fèi)手段，從而能夠提供有 償多媒體內(nèi)容服務(wù)。 遠(yuǎn)程教育(remote learning)：遠(yuǎn)程教學(xué)將為更多的人提供接受教育的機(jī)會(huì)。教學(xué)者 事先在 internet 上發(fā)出通知，聽(tīng)眾在講座開(kāi)始前訪問(wèn)某個(gè) url 地址，當(dāng)講座開(kāi)始時(shí)，聽(tīng) 眾可以看到演講者的演講畫面并聽(tīng)到他的聲音。 整個(gè)講座也可以流媒體文件的形式記錄 下來(lái)，用于以后按需播放。教學(xué)者事先把流媒體文件傳給遠(yuǎn)程教學(xué)服務(wù)器，當(dāng)聽(tīng)眾需要 聽(tīng)講座時(shí)，同樣訪問(wèn)相應(yīng)的 url 地址，請(qǐng)求獲取服務(wù)器中的流媒體內(nèi)容。媒體數(shù)據(jù)通 過(guò)流式傳輸下載到用戶的瀏覽器高速緩存中，由媒體播放器實(shí)時(shí)回放。 視頻會(huì)議(video conference)：視頻會(huì)議和遠(yuǎn)程教學(xué)有很多類似之處，但它對(duì)實(shí)時(shí)性 的要求更高。在一個(gè)視頻會(huì)議中，各個(gè)會(huì)議點(diǎn)用音視頻采集設(shè)備得到多媒體內(nèi)容信息， 第一章 緒論 5 經(jīng)過(guò)數(shù)字化后用某種壓縮方法進(jìn)行壓縮。 壓縮數(shù)據(jù)可以通過(guò)網(wǎng)絡(luò)直接在各個(gè)會(huì)議點(diǎn)之間 組播，或傳到多點(diǎn)處理器經(jīng)過(guò)合成或轉(zhuǎn)換后再向各與會(huì)點(diǎn)組播。但不管采用哪種方式， 都需要保證以盡量小的時(shí)延在各個(gè)點(diǎn)進(jìn)行回放，這正是流媒體技術(shù)發(fā)揮作用的地方。 遠(yuǎn)程監(jiān)控(remote surveillance)：流媒體技術(shù)也可以應(yīng)用于遠(yuǎn)程監(jiān)控。近年來(lái)，一 些公司已經(jīng)開(kāi)發(fā)了一類所謂 web camera 的產(chǎn)品，基本上它就是把圖像采集、壓縮、web server 和 internet 接入集成在一個(gè)設(shè)備中，使得遠(yuǎn)程監(jiān)控可以通過(guò) internet 完成，這與傳 統(tǒng)的遠(yuǎn)程監(jiān)控系統(tǒng)相比， 在可控制性、 監(jiān)控距離、 架設(shè)方便性等方面都有很強(qiáng)的競(jìng)爭(zhēng)力。 1.2.3 流媒體技術(shù)的發(fā)展趨勢(shì) 1.2.3 流媒體技術(shù)的發(fā)展趨勢(shì) 正如幾年前的 ip 網(wǎng)絡(luò)和 web 技術(shù)，流媒體應(yīng)用正處于高速持續(xù)增長(zhǎng)時(shí)期。流媒體 市場(chǎng)將呈現(xiàn)巨大的收入潛能，未來(lái)幾年里，流媒體將會(huì)呈現(xiàn)出以下幾個(gè)發(fā)展趨勢(shì)10： （1） mpeg-4 多媒體解碼標(biāo)準(zhǔn)的發(fā)展勢(shì)頭會(huì)越來(lái)越猛； （2） 通過(guò)電視觀看流媒體； （3） 拓展流媒體在通信領(lǐng)域內(nèi)應(yīng)用； （4） 流媒體標(biāo)準(zhǔn)之爭(zhēng)日漸白熱化； （5） 利用內(nèi)容分發(fā)網(wǎng)絡(luò)（cdn）來(lái)傳輸流媒體。 1.3 視頻監(jiān)控和流媒體技術(shù)結(jié)合 1.3 視頻監(jiān)控和流媒體技術(shù)結(jié)合 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)在其發(fā)展過(guò)程中遇到了許多的技術(shù)難題， 最主要的就是視頻數(shù)據(jù) 流在網(wǎng)絡(luò)傳輸過(guò)程中的實(shí)時(shí)性和傳輸質(zhì)量不能得到很好的保證， 這主要是因?yàn)樵诂F(xiàn)階段 存在著網(wǎng)絡(luò)帶寬不足、數(shù)據(jù)的傳輸效率低下、傳輸過(guò)程中丟包率較高等因素。 如何在現(xiàn)有的網(wǎng)絡(luò)帶寬條件上實(shí)現(xiàn)遠(yuǎn)程監(jiān)控， 并且在價(jià)格與圖像質(zhì)量上求得最佳的 平衡，成了目前迫切需要解決的問(wèn)題。流媒體技術(shù)的興起和廣泛應(yīng)用，為這個(gè)問(wèn)題的解 決提供了一個(gè)新的思路， 它根據(jù)自身特性將連續(xù)媒體流壓縮封裝后按照一定的時(shí)序要求 發(fā)給接收端，保證了接收端可以邊接收數(shù)據(jù)邊實(shí)時(shí)播放，從而提高了系統(tǒng)的實(shí)時(shí)性；同 時(shí)，它的流量控制和網(wǎng)絡(luò)擁塞控制機(jī)制也提高了網(wǎng)絡(luò)傳輸效率的穩(wěn)定性，進(jìn)而保證了接 收端的播放質(zhì)量。 而網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)則以數(shù)字視頻處理技術(shù)為核心， 綜合了網(wǎng)絡(luò)技術(shù)、 多媒體技術(shù)、圖像壓縮技術(shù)于一體，有效的克服了模擬監(jiān)控的缺點(diǎn)；提高了數(shù)據(jù)傳輸?shù)?實(shí)時(shí)性、系統(tǒng)的并行處理能力和系統(tǒng)存儲(chǔ)容量，并支持多種有線、無(wú)線傳輸介質(zhì)，集視 頻切換、智能控制、遠(yuǎn)程傳輸?shù)裙δ苡谝簧?。流媒體技術(shù)應(yīng)用于網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)顯然 是數(shù)字監(jiān)控領(lǐng)域的巨大突破，能有效克服其他傳輸方式存在的局限性。 無(wú)論從技術(shù)角度還是市場(chǎng)角度來(lái)說(shuō)， 流媒體技術(shù)應(yīng)用于網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)都有其他 技術(shù)無(wú)可比擬的優(yōu)越性。特別對(duì)窄帶遠(yuǎn)程監(jiān)控尤為顯著，用戶不必等遠(yuǎn)端監(jiān)控信息傳輸 完畢即可實(shí)時(shí)、連續(xù)播放，有效克服其它方式播放的等待問(wèn)題，且實(shí)時(shí)性較好。雖然， 第一章 緒論 6 該方式可能影響視頻圖像質(zhì)量，但是，隨著數(shù)字視頻技術(shù)的發(fā)展、圖像壓縮質(zhì)量的提高 以及網(wǎng)絡(luò)帶寬的增大，流媒體技術(shù)的應(yīng)用完全可以滿足視頻圖像監(jiān)控和記錄的需求。因 此，流媒體技術(shù)和視頻監(jiān)控技術(shù)的融合應(yīng)用是它們發(fā)展的必然趨勢(shì)，它們的綜合應(yīng)用在 將來(lái)也必然越來(lái)越廣泛。 1.4 論文研究?jī)?nèi)容及章節(jié)安排 1.4.1 課題相關(guān)領(lǐng)域的現(xiàn)狀及發(fā)展趨勢(shì) 1.4 論文研究?jī)?nèi)容及章節(jié)安排 1.4.1 課題相關(guān)領(lǐng)域的現(xiàn)狀及發(fā)展趨勢(shì) 在國(guó)內(nèi)外市場(chǎng)上，主要推出了數(shù)字控制的模擬視頻監(jiān)控和數(shù)字視頻監(jiān)控兩類產(chǎn)品。 前者技術(shù)發(fā)展已經(jīng)非常成熟、性能穩(wěn)定，在實(shí)際工程中得到廣泛應(yīng)用，特別是在大、中 型視頻監(jiān)控工程中的應(yīng)用尤為廣泛； 后者是新近崛起的以計(jì)算機(jī)技術(shù)及圖像視頻壓縮為 核心的新型視頻監(jiān)控系統(tǒng)， 該系統(tǒng)解決了模擬系統(tǒng)部分弊端， 但仍需進(jìn)一步完善和發(fā)展。 視頻監(jiān)控應(yīng)用具有巨大的市場(chǎng)前景，所以視頻監(jiān)控系統(tǒng)的研究和開(kāi)發(fā)受到了學(xué)術(shù)界、產(chǎn) 業(yè)界和使用部門的高度重視，研究成果和開(kāi)發(fā)的產(chǎn)品層出不窮。 流媒體技術(shù)發(fā)展也非常迅猛，目前 internet 上每周約有 45000 小時(shí)的廣播節(jié)目， 58 個(gè)美國(guó)電視臺(tái)提供 web 廣播，34 個(gè)電視臺(tái)提供點(diǎn)播服務(wù)。有近半數(shù)的跨國(guó)企業(yè)公司 在內(nèi)部使用流媒體實(shí)現(xiàn) web 廣播。 來(lái)自國(guó)際權(quán)威機(jī)構(gòu)的調(diào)查， 2000 年在網(wǎng)上訪問(wèn)流媒體 的人數(shù)增加65%， 西方網(wǎng)絡(luò)發(fā)達(dá)國(guó)家訪問(wèn)流媒體的人數(shù)已達(dá)到1.1億人， 約占網(wǎng)民的1/3， 在亞洲也迅速增加到 2500 萬(wàn)人，約占網(wǎng)民的 1/9。與用戶增長(zhǎng)相呼應(yīng)，去年 internet 上視頻流媒體技術(shù)應(yīng)用增長(zhǎng)幅度達(dá) 251%。在美國(guó)己經(jīng)有三分之一的 internet 用戶使用 流媒體業(yè)務(wù)，有近百家的 isp 提供流媒體業(yè)務(wù)，在 2000 年己有 40 億左右的市場(chǎng)；在歐 洲、亞洲等地這樣的用戶也有一定的規(guī)模11。 在歐美等發(fā)達(dá)國(guó)家，視頻監(jiān)控的發(fā)展比較快，應(yīng)用也十分廣泛。但是他們的產(chǎn)品價(jià) 格較高、帶寬要求較大、培訓(xùn)和維護(hù)也很不方便，而且從國(guó)外引進(jìn)的產(chǎn)品本地化程度較 差，在功能、接口、使用環(huán)境等方面均或多或少地存在一些與我國(guó)國(guó)情及現(xiàn)場(chǎng)需要不太 吻合的地方。我國(guó)視頻監(jiān)控行業(yè)最初是由閉路電視監(jiān)控(cctv)逐漸發(fā)展起來(lái)的，已近二 十年的歷史，從簡(jiǎn)單模擬視頻監(jiān)控到現(xiàn)在的純數(shù)字化網(wǎng)絡(luò)視頻監(jiān)控，監(jiān)控系統(tǒng)在國(guó)內(nèi)目 前應(yīng)用已經(jīng)相當(dāng)廣泛。國(guó)內(nèi)長(zhǎng)城集團(tuán)、網(wǎng)通電子商務(wù)有限公司、北京微電子技術(shù)有限責(zé) 任公司等也自主開(kāi)發(fā)了國(guó)產(chǎn)的數(shù)字視頻監(jiān)控系統(tǒng)。 國(guó)內(nèi)高校也在監(jiān)控系統(tǒng)的研發(fā)方而發(fā) 揮著重要的作用?？偟恼f(shuō)來(lái)，流媒體服務(wù)以及流媒體技術(shù)應(yīng)用在視頻監(jiān)控系統(tǒng)中在我國(guó) 處于起步階段，也有一些關(guān)鍵技術(shù)性問(wèn)題還待于解決和完善。 1.4.2 課題研究的目的及意義 1.4.2 課題研究的目的及意義 流媒體的應(yīng)用廣泛，如何充分應(yīng)用這種優(yōu)秀的新技術(shù)于傳統(tǒng)的監(jiān)控系統(tǒng)，讓監(jiān)控系 統(tǒng)的應(yīng)用范圍更加廣闊，并且滿足網(wǎng)絡(luò)化的需要，在現(xiàn)有的網(wǎng)絡(luò)帶寬條件上實(shí)現(xiàn)遠(yuǎn)程監(jiān) 第一章 緒論 7 控，并且在價(jià)格與圖像質(zhì)量上求得最佳的平衡，是本論文著眼研究的課題。通過(guò)對(duì)本課 題的關(guān)鍵技術(shù)的研究和應(yīng)用， 以達(dá)到能夠設(shè)計(jì)并實(shí)現(xiàn)一種具有通用性的基于流媒體技術(shù) 的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)， 并且該監(jiān)控系統(tǒng)不跟具體的硬件相關(guān)， 完全用軟件的方式來(lái)實(shí)現(xiàn)， 系統(tǒng)采用模塊化結(jié)構(gòu)設(shè)計(jì)，易于更新和擴(kuò)展，也可以有效降低系統(tǒng)集成的困難和成本， 在工程應(yīng)用中具有一定的實(shí)用價(jià)值。因此，本系統(tǒng)適應(yīng)了監(jiān)控系統(tǒng)數(shù)字化、網(wǎng)絡(luò)化、集 成化的發(fā)展趨勢(shì)，具有良好的發(fā)展前景。 1.4.3 課題的主要內(nèi)容及章節(jié)安排 1.4.3 課題的主要內(nèi)容及章節(jié)安排 本文的研究目標(biāo)是：探索如何利用流媒體技術(shù)，實(shí)現(xiàn)基于流媒體技術(shù)的網(wǎng)絡(luò)視頻監(jiān) 控系統(tǒng)。該方案將使用 visual c+ 6.0 為開(kāi)發(fā)平臺(tái)，服務(wù)器端軟件采用 directshow 技 術(shù)實(shí)現(xiàn)對(duì) ubs 攝像頭的視頻采集、預(yù)覽、mpeg-4 壓縮、錄像、回放等功能；客戶端軟件 采用 directshow 技術(shù)實(shí)現(xiàn)對(duì)視頻數(shù)據(jù)的解壓，預(yù)覽、錄像、回放等功能。網(wǎng)絡(luò)傳輸模 塊的重點(diǎn)是對(duì)網(wǎng)絡(luò)發(fā)送過(guò)濾器和網(wǎng)絡(luò)接收過(guò)濾器的設(shè)計(jì)和實(shí)現(xiàn)。采用 c/s 結(jié)構(gòu)，完整構(gòu) 架了一個(gè)基于流媒體技術(shù)的小型網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)。 根據(jù)本課題的研究思路和設(shè)計(jì)模塊 劃分，本論文共分為 7 章，各章安排如下： 第一章，緒論。闡述了課題研究背景，介紹了視頻監(jiān)控系統(tǒng)和流媒體技術(shù)的現(xiàn)狀及 發(fā)展、論文研究的內(nèi)容和完成的工作。 第二章，介紹了流媒體相關(guān)技術(shù)，包括流媒體傳輸技術(shù)、流媒體原理，rtp/rtcp 協(xié)議等。 第三章，深入剖析了 directshow 技術(shù)，從 directshow 的結(jié)構(gòu)，工作原理及內(nèi)部實(shí) 現(xiàn)機(jī)制等方面進(jìn)行了分析和闡述。 第四章，詳細(xì)闡述了系統(tǒng)的設(shè)計(jì)。首先，介紹了系統(tǒng)的整體設(shè)計(jì)思想，然后對(duì)服務(wù) 器端和客戶端各模塊的設(shè)計(jì)，其后闡述了開(kāi)發(fā)網(wǎng)絡(luò)發(fā)送和接收過(guò)濾器的過(guò)程。 第五章，詳細(xì)介紹了各種技術(shù)實(shí)現(xiàn)系統(tǒng)功能的具體過(guò)程，包括服務(wù)器端和客戶端軟 件的各功能模塊的實(shí)現(xiàn)，及網(wǎng)絡(luò)模塊的網(wǎng)絡(luò)發(fā)送和接收過(guò)濾器的實(shí)現(xiàn)過(guò)程。 第六章，展示了系統(tǒng)的調(diào)試、運(yùn)行與測(cè)試結(jié)果，測(cè)試主要在局域網(wǎng)中進(jìn)行。 第七章，結(jié)束語(yǔ)。對(duì)本文的工作進(jìn)行總結(jié)和展望。 第二章 流媒體相關(guān)技術(shù)介紹 8 第二章 流媒體相關(guān)技術(shù)介紹 第二章 流媒體相關(guān)技術(shù)介紹 2.1 流式傳輸基礎(chǔ) 2.1 流式傳輸基礎(chǔ) 流媒體是指在 internet/intranet 中使用流式傳輸技術(shù)的連續(xù)時(shí)基媒體，如音頻、視頻 或多媒體文件。流式媒體在播放前并不下載整個(gè)文件，只將開(kāi)始部分內(nèi)容存入內(nèi)存，流 式媒體的數(shù)據(jù)流隨時(shí)傳送隨時(shí)播放，只是在開(kāi)始時(shí)有一些延遲。流媒體實(shí)現(xiàn)的關(guān)鍵技術(shù) 就是流式傳輸6。流式傳輸定義很廣泛，現(xiàn)在主要指通過(guò)網(wǎng)絡(luò)傳送媒體（如視頻、音頻） 的技術(shù)總稱。 實(shí)現(xiàn)流式傳輸有兩種方法： 實(shí)時(shí)流式(real-time streaming)傳輸和順序流式 (progressive streaming)傳輸。一般說(shuō)來(lái)，如視頻為實(shí)時(shí)廣播，或使用流式傳輸媒體服務(wù) 器，或應(yīng)用如 rtsp 的實(shí)時(shí)協(xié)議，即為實(shí)時(shí)流式傳輸。如使用 http 服務(wù)器，文件即通 過(guò)順序流發(fā)送，這種傳輸方式就稱為順序流式傳輸。采用哪種傳輸方法依賴于用戶的具 體需求，當(dāng)然，流式文件也支持播放前完全下載到硬盤后再播放12。 2.1.1 順序流式傳輸 2.1.1 順序流式傳輸 順序流式傳輸是順序下載， 在下載文件的同時(shí)用戶可以觀看在線媒體。 在給定時(shí)刻， 用戶只能觀看已下載的那部分，而不能跳到還未下載的其他部分。順序流式傳輸不像實(shí) 時(shí)流式傳輸在傳輸期間根據(jù)用戶連接的速度做調(diào)整。 由于標(biāo)準(zhǔn)的 http 服務(wù)器可發(fā)送這 種形式的文件，也不需要其他特殊協(xié)議，它經(jīng)常被稱作 http 流式傳輸13。順序流式傳 輸比較適合高質(zhì)量的短片段，如片頭、片尾和廣告，由于該文件在播放前觀看部分是無(wú) 損下載的，所以這種方法能夠保證電影播放的最終質(zhì)量。但這就意味著用戶在觀看前， 必須經(jīng)歷延遲，對(duì)較慢的連接尤其如此。 對(duì)通過(guò)調(diào)制解調(diào)器發(fā)布短片段，順序流式傳輸顯得很實(shí)用，它允許用比調(diào)制解調(diào)器 更高的數(shù)據(jù)速率創(chuàng)建視頻片段。盡管有延遲，畢竟可發(fā)布較高質(zhì)量的視頻片段。 順序流式文件是放在標(biāo)準(zhǔn) http 或 ftp 服務(wù)器上， 易于管理， 基本上與防火墻無(wú)關(guān)。 順序流式傳輸小適合長(zhǎng)片段和有隨機(jī)訪問(wèn)要求的視頻，如：講座、演說(shuō)與演示，它也不 支持現(xiàn)場(chǎng)廣播。嚴(yán)格說(shuō)來(lái)，順序流式傳輸其實(shí)是一種點(diǎn)播技術(shù)。 2.1.2 實(shí)時(shí)流式傳輸 2.1.2 實(shí)時(shí)流式傳輸 實(shí)時(shí)流式傳輸是指保證媒體信號(hào)帶寬與網(wǎng)絡(luò)連接配匹，使媒體可被實(shí)時(shí)觀看到。實(shí) 時(shí)流與 http 流式傳輸不同，它需要專用的流媒體服務(wù)器與傳輸協(xié)議。實(shí)時(shí)流式傳輸總 是實(shí)時(shí)傳送，特別適合現(xiàn)場(chǎng)事件，也支持隨機(jī)訪問(wèn)，用戶可快進(jìn)或后退以觀看前面或后 面的內(nèi)容。理論上，實(shí)時(shí)流一經(jīng)播放就可不停止，但實(shí)際上，可能發(fā)生周期暫停13。 實(shí)時(shí)流式傳輸必須配匹連接帶寬， 這意味著在以調(diào)制解調(diào)器速度連接時(shí)圖像質(zhì)量較 第二章 流媒體相關(guān)技術(shù)介紹 9 差。而且，由于出錯(cuò)丟失的信息被忽略掉，網(wǎng)絡(luò)擁擠或出現(xiàn)問(wèn)題時(shí)，視頻質(zhì)量很差。如 欲保證視頻質(zhì)量， 順序流式傳輸也許更好。 實(shí)時(shí)流式傳輸需要特定服務(wù)器， 如 quicktime streaming server ，real server 與 windows media server。這些服務(wù)器允許用戶對(duì)媒體發(fā) 送進(jìn)行更多級(jí)別的控制，因而系統(tǒng)設(shè)置、管理比標(biāo)準(zhǔn) http 服務(wù)器更復(fù)雜。實(shí)時(shí)流式傳 輸還需要特殊網(wǎng)絡(luò)協(xié)議，如：rtsp（real-time streaming protocol）或 mms（microsoft media server） 。這些協(xié)議在防火墻存在的情況下有時(shí)會(huì)出現(xiàn)問(wèn)題，導(dǎo)致用戶不能看到一 些地點(diǎn)的實(shí)時(shí)內(nèi)容。 2.2 流媒體技術(shù)原理 2.2 流媒體技術(shù)原理 首先，流式傳輸?shù)膶?shí)現(xiàn)需要緩存。這是因?yàn)?internet 是以包傳輸為基礎(chǔ)進(jìn)行斷續(xù)的 異步傳輸。數(shù)據(jù)在傳輸中它們要被分解為許多包，由于網(wǎng)絡(luò)是動(dòng)態(tài)變化的，各個(gè)包的選 擇路由可能不盡相同，故到達(dá)客戶端的時(shí)間延遲也就不等。為此，要使用緩存系統(tǒng)來(lái)彌 補(bǔ)延遲和抖動(dòng)的影響，并保證數(shù)據(jù)包的順序正確，從而使媒體數(shù)據(jù)能連續(xù)輸出，而不會(huì) 因?yàn)榫W(wǎng)絡(luò)暫時(shí)擁塞使播放出現(xiàn)停頓。通常高速緩存所需容量并不大，因?yàn)楦咚倬彺媸褂?環(huán)形鏈表結(jié)構(gòu)來(lái)存儲(chǔ)數(shù)據(jù)，通過(guò)丟棄已經(jīng)播放的內(nèi)容，流可以重新利用空出的高速緩存 空間來(lái)緩存后續(xù)尚未播放的內(nèi)容。 再次，流式傳輸?shù)膶?shí)現(xiàn)需要合適的傳輸協(xié)議。www 技術(shù)是以 http 為基礎(chǔ)的，而 http 又建立在 tcp 基礎(chǔ)之上。由于 tcp 需要較多的開(kāi)銷，故不太適合傳輸實(shí)時(shí)數(shù)據(jù)。 在流式傳輸?shù)膶?shí)現(xiàn)方案中，一般采用 http/tcp 來(lái)傳輸控制信息，而用 rtp/ udp 來(lái)傳 輸實(shí)時(shí)視音頻數(shù)據(jù)。 流式傳輸?shù)倪^(guò)程一般是這樣的：用戶選擇某一流媒體服務(wù)后，web 瀏覽器與 web 服務(wù)器之間使用 http/tcp 交換控制信息， 以便把需要傳輸?shù)膶?shí)時(shí)數(shù)據(jù)從原始信息中檢 索出來(lái)；然后客戶機(jī)上的 web 瀏覽器啟動(dòng)流媒體播放程序，使用 http 從 web 服務(wù)器 檢索相關(guān)參數(shù)對(duì)流媒體播放程序初始化。 這些參數(shù)可能包括目錄信息、 a/ v 數(shù)據(jù)的編碼 類型或與 a/ v 檢索相關(guān)的服務(wù)器地址。流式傳輸?shù)倪^(guò)程如圖 2-1 所示14。 web瀏覽器web服務(wù)器 播放器a/v服務(wù)器 http/tcp 源文件 控制信息rtsp/tcp (udp) 數(shù)據(jù)信息rtp/udp 圖 2-1 流式傳輸基本原理 fig.2-1 fundamental principle of stream transmission 第二章 流媒體相關(guān)技術(shù)介紹 10 流媒體播放程序及 a/v 服務(wù)器之間運(yùn)行實(shí)時(shí)流控制協(xié)議(rtsp)，以交換 a/v 傳輸 所需的控制信息。與 cd 播放機(jī)或錄像機(jī)所提供的功能相似，rtsp 提供了操縱播放、 快進(jìn)、快倒、暫停及錄制等命令的方法。a/v 服務(wù)器使用 rtp/ udp 協(xié)議將 a/v 數(shù)據(jù)傳 輸給 a/v 客戶程序(一般可認(rèn)為客戶程序等同于 helper 程序)，一旦 a/v 數(shù)據(jù)抵達(dá)客戶 端，流媒體播放程序即可播放輸出。 2.3 流媒體傳輸協(xié)議 2.3 流媒體傳輸協(xié)議 2.3.1 rtp/rtcp 協(xié)議介紹協(xié)議介紹 1996 年 ietf 的視頻/音頻工作組制訂了 rtp/rtcp 協(xié)議， 專門用于支持網(wǎng)絡(luò)實(shí)時(shí)傳 輸服務(wù)，提供數(shù)據(jù)實(shí)時(shí)傳輸?shù)臉?biāo)準(zhǔn)15。rtp/rtcp 是端對(duì)端的協(xié)議。在協(xié)議層次中， rtp/rtcp 雖然位于應(yīng)用層，但多數(shù)應(yīng)用還要在 rtp/rtcp 之上建立更符合應(yīng)用要求的 協(xié)議。在網(wǎng)絡(luò)傳輸過(guò)程中，rtp/rtcp 不處理連接建立工作，其下層網(wǎng)絡(luò)既可以是有連 接的，也可以是無(wú)連接的。如果傳輸流媒體，rtp/rtcp 一般基于組播協(xié)議；它并不要 求特定的地址格式，而僅要求下層提供相對(duì)好的分幀、合幀及分段、合段的工作；該協(xié) 議不提供可靠性保障，作為應(yīng)用層的一部分，該協(xié)議并不是操作系統(tǒng)的內(nèi)容。rfc1889 中定義 rtp/rtcp 協(xié)議族由兩個(gè)相關(guān)的協(xié)議構(gòu)成： 1)實(shí)時(shí)傳輸協(xié)議 rtp 用來(lái)傳輸具有實(shí)時(shí)特點(diǎn)的數(shù)據(jù)。 2)實(shí)時(shí)傳輸控制協(xié)議 rtcp 用于統(tǒng)計(jì)、管理和控制 rtp 傳輸。rtp 和 rtcp 協(xié)同工作 完成任務(wù)。 目前最新的版本是 2003 年公布的 rfc3550。rtp 是一個(gè)輕量級(jí)的網(wǎng)絡(luò)協(xié)議，它沒(méi) 有對(duì)下一層的傳輸協(xié)議做硬性規(guī)定，在 ip 網(wǎng)絡(luò)上，我們一般使用 udp 協(xié)議作為下一層 協(xié)議傳輸數(shù)據(jù)，圖 2-2 顯示了它在 tcp/ip 協(xié)議棧中的位置。 圖 2-2 rtp 在 tcp/ip 協(xié)議棧中的位置 fig.2-2 the position of rtp in tcp/ip protocol stack 第二章 流媒體相關(guān)技術(shù)介紹 11 2.3.2 rtp/rtcp 協(xié)議工作原理協(xié)議工作原理 rtp 和 rtcp 協(xié)作操作，完成數(shù)據(jù)的實(shí)時(shí)傳輸，為了控制會(huì)話，它還可能和其他的 網(wǎng)絡(luò)協(xié)議共同工作，比如在多媒體應(yīng)用中的實(shí)時(shí)流協(xié)議 rtsp（real-time streaming protocol） ，如圖 2-3 所示。 圖 2-3 rtp/rtcp 協(xié)作工作圖 fig.2-3 cooperation work chart of rtp/rtcp 在整個(gè)工作過(guò)程中它們各自完成自己的任務(wù)： 1）rtp 協(xié)議用來(lái)傳輸實(shí)時(shí)數(shù)據(jù)。在 rtp 包中包括數(shù)據(jù)包序列號(hào)、時(shí)間戳等信息。 2）rtcp 協(xié)議用來(lái)監(jiān)控?cái)?shù)據(jù)傳輸質(zhì)量和統(tǒng)計(jì)參加在當(dāng)前會(huì)話中的成員的一些信息。 這些統(tǒng)計(jì)信息可能對(duì)那些“松散控制”的應(yīng)用是足夠的， 比如像免費(fèi)的網(wǎng)絡(luò)直播等對(duì)成 員沒(méi)有具體限制的應(yīng)用。 但對(duì)于一些特殊要求， 需要使用其他的非 rtp 手段來(lái)加以保證。 3）會(huì)話控制協(xié)議，比如 rtsp，用來(lái)傳輸和會(huì)話控制有關(guān)的數(shù)據(jù)，比如用戶的管理、 用戶數(shù)據(jù)的設(shè)置和媒體的操作。 2.3.3 rtp/rtcp 傳輸流程傳輸流程 rtp 與 rtcp 傳輸視頻流的工作流程如下：在視頻服務(wù)器端，流媒體視頻流按照 rtp 數(shù)據(jù)傳輸協(xié)議的數(shù)據(jù)包格式被裝入 rtp 數(shù)據(jù)包的數(shù)據(jù)載荷段，并配置 rtp 數(shù)據(jù)包 頭部的時(shí)間戳、同步信息、順序號(hào)等參數(shù)，即數(shù)據(jù)包被“流”化了；同時(shí)周期性地接收 rtcp 包，利用這些信息動(dòng)態(tài)地改變自身參數(shù)設(shè)置?？蛻舳耸盏綌?shù)據(jù)包后先分析 rtp 包 頭，判斷版本、載荷類型等信息的有效性，更新緩沖區(qū)的 rtp 信息，如收到的字節(jié)數(shù)、 視頻幀數(shù)、包數(shù)、順序號(hào)等信息；按照 rtp 時(shí)間戳和順序號(hào)等進(jìn)行信源同步，整理 rtp 包順序，重構(gòu)視頻幀；最后根據(jù)載荷類型標(biāo)識(shí)進(jìn)行解碼，將數(shù)據(jù)放入緩存供解碼器解碼 輸出，同時(shí)客戶端根據(jù) rtp 包中的信息周期性回送包含服務(wù)質(zhì)量(qos)反饋控制信息的 rtcp 包(接收?qǐng)?bào)告包 rr)到服務(wù)器以檢測(cè)發(fā)送端和接收端數(shù)據(jù)的一致性。圖 2-4 是基于 rtp/udp/ip 的傳輸系統(tǒng)結(jié)構(gòu)框圖，在 udp 協(xié)議的基礎(chǔ)上，使用 rtp 協(xié)議傳輸視頻流， 使用 rtcp 協(xié)議進(jìn)行傳輸控制。 第二章 流媒體相關(guān)技術(shù)介紹 12 udp rtprtcp 壓縮編碼qos反饋控制 udp rtcp rtp qos反饋控制 緩存 解碼 ipipinternet 視頻流 rrrr 圖 2-4 基于 rtp/udp/ip 的傳輸系統(tǒng)結(jié)構(gòu)框圖 fig.2-4 structure chart of transmission system based on rtp/udp/ip 2.3.3 rtp 協(xié)議協(xié)議 rtp 是英文 real-time transport protocol 的縮寫，中文名稱是實(shí)時(shí)傳輸協(xié)議，是一 種提供端對(duì)端傳輸服務(wù)的實(shí)時(shí)傳輸協(xié)議， 用來(lái)支持在單目標(biāo)廣播和多目標(biāo)廣播網(wǎng)絡(luò)服務(wù) 中傳輸實(shí)時(shí)數(shù)據(jù)， 而實(shí)時(shí)數(shù)據(jù)的傳輸則由rtcp協(xié)議來(lái)監(jiān)視和控制。 rtp定義在rfc1889 中15。其報(bào)文結(jié)構(gòu)包含廣泛用于多媒體的若干個(gè)域，包括聲音點(diǎn)播、影視點(diǎn)播、internet 電話和電視會(huì)議等。rtp 沒(méi)有對(duì)聲音和電視的壓縮格式制定標(biāo)準(zhǔn)，它可以被用來(lái)傳輸普 通格式的文件。rtp 協(xié)議與 tcp 協(xié)議十分相似，只是當(dāng)差錯(cuò)造成分組丟失時(shí)，不要求 重發(fā)，同時(shí) rtp 規(guī)范中還定義了實(shí)時(shí)傳輸控制協(xié)議 rtcp，用于提供 qos 監(jiān)視機(jī)制。 rtp 協(xié)議位于傳輸層之上， 它沒(méi)有連接的概念， 雖然它既可以建立在面向連接的協(xié)議上， 也可以建立在面向無(wú)連接的協(xié)議上，但是一般來(lái)說(shuō)，rtp 作為實(shí)時(shí)數(shù)據(jù)傳輸而設(shè)計(jì)的， 而建立在 udp 協(xié)議之上，rtp/rtcp/udp 協(xié)議一起用于視頻音頻流的實(shí)時(shí)傳輸。rtp 用于 udp 數(shù)據(jù)封裝時(shí)的情景如圖 2-5 所示。 圖 2-5 rtp 數(shù)據(jù)包的封裝過(guò)程 fig.2-5 encapsulation process of rtp packet 第二章 流媒體相關(guān)技術(shù)介紹 13 rtp 協(xié)議對(duì)于實(shí)時(shí)多媒體數(shù)據(jù)的傳輸?shù)奶攸c(diǎn)有如下： 1）rtp 是一種輕型的傳輸協(xié)議，提供端到端的實(shí)時(shí)媒體傳輸功能，但并不提供機(jī) 制來(lái)確保實(shí)時(shí)傳輸和服務(wù)質(zhì)量。 協(xié)議本身相對(duì)輕型、 快捷， 常常與具體應(yīng)用結(jié)合在一起。 2）靈活性：rtp 協(xié)議將數(shù)據(jù)實(shí)時(shí)傳輸與控制策略分開(kāi)。協(xié)議本身只提供實(shí)時(shí)傳輸 機(jī)制，不具體規(guī)定控制策略。開(kāi)發(fā)者可以根據(jù)不同的應(yīng)用環(huán)境，選擇實(shí)現(xiàn)效率較高的算 法及控制策略。 3）獨(dú)立性：rtp 協(xié)議與下層協(xié)議無(wú)關(guān)，可以在 udp/ip、ipx、atm 的 aal 層上 實(shí)現(xiàn)。 4）良好的擴(kuò)展性：不僅支持單播，還支持組播。 rtp 協(xié)議的核心是其報(bào)文格式。報(bào)文是 rtp 對(duì)數(shù)據(jù)傳輸?shù)姆庋b單位，典型的報(bào)文 由報(bào)頭和負(fù)載組成，在協(xié)議中僅定義了報(bào)頭的數(shù)據(jù)結(jié)構(gòu)，而不限制負(fù)載的大小。rtp 報(bào) 頭由 16 個(gè)字節(jié)組成，其中最后 4 個(gè)字節(jié) csrc 域可選，格式如圖 2-6 所示。 v(2)p(1)x(1)cc(4)m(1)pt(7)seq number(16) timestamp(32) ssrc(32) csrc(32) 031 圖 2-6 rtp 報(bào)頭格式 fig.2-6 format of rtp packet header v：rtp 版本號(hào)，2 位； p：填充標(biāo)識(shí)，1 位，置”1”表示用戶數(shù)據(jù)最后有填充位，用戶數(shù)據(jù)中最后一個(gè)字節(jié) 是填充位計(jì)數(shù)，它表示一共加了多少個(gè)填充位。在兩種情況下可能要填充，一是某些加 密算法要求數(shù)據(jù)塊大小固定；二是在一個(gè)低層協(xié)議數(shù)據(jù)包中裝載多個(gè) rtp 分組； x：擴(kuò)展位標(biāo)識(shí)，1 位，置“1”表示 rtp 報(bào)頭后緊隨一個(gè)擴(kuò)展報(bào)頭； cc：csrc 計(jì)數(shù)，4 位，表示在定長(zhǎng)的 rtp 報(bào)頭后的 csrc 標(biāo)識(shí)符的數(shù)量； m：標(biāo)記，l 位，置“1”對(duì)于視頻標(biāo)識(shí)表示最后一幀；對(duì)于音頻表示談話開(kāi)始。 pt(數(shù)據(jù)類型)：7 位，標(biāo)識(shí) rtp 報(bào)文內(nèi)負(fù)載的數(shù)據(jù)類型； seqnumber(序列號(hào))：2 字節(jié)，一個(gè) rtp 傳輸會(huì)話中的所有 rtp 報(bào)文依次編號(hào)，其 中第 1 個(gè) rtp 包的編號(hào)可為 0 或?yàn)橐粋€(gè)隨機(jī)數(shù)。每發(fā)送一個(gè) rtp 報(bào)文，序列號(hào)就加 1， 接收端可以用它來(lái)檢查報(bào)文是否有丟失并按順序處理報(bào)文。 timestamp(時(shí)間戳)：4 字節(jié)，標(biāo)識(shí) rtp 報(bào)文內(nèi)負(fù)載的時(shí)間信息。它反映 rtp 數(shù)據(jù) 信息中第 1 個(gè)字節(jié)的采樣時(shí)刻(時(shí)間)。接收端可以利用這個(gè)時(shí)間戳去除由網(wǎng)絡(luò)引起的信 第二章 流媒體相關(guān)技術(shù)介紹 14 息包的抖動(dòng)，并且在接收端為播放提供同步功能。 ssrc(同步源標(biāo)識(shí))：4 字節(jié)，用于標(biāo)識(shí)數(shù)據(jù)源，該標(biāo)識(shí)符在一次會(huì)話中是唯一的， 如果有兩個(gè)參與者的 ssrc 相同，就會(huì)產(chǎn)生沖突。 csrc(混合器列表)：僅用于有混合器的情況下。可以有 0 到 15 項(xiàng)，每項(xiàng) 32 位，對(duì) 一個(gè) rtp 混合器(mixer)產(chǎn)生的組合流有貢獻(xiàn)的 rtp 分組源。csrc 列表識(shí)別在此包中 負(fù)載的有貢獻(xiàn)源，識(shí)別符的數(shù)目在 cc 域中給定。若有貢獻(xiàn)源多于 15 個(gè)，僅識(shí)別 15 個(gè)。 rtp 協(xié)議本身包括兩部分：rtp 數(shù)據(jù)傳輸協(xié)議和 rtcp 傳輸控制協(xié)議。為了可靠、 高效地傳送實(shí)時(shí)數(shù)據(jù)，rtp 和 rtcp 必須配合使用，通常 rtcp 包的數(shù)量占所有傳輸量 的 5%。rtp 實(shí)時(shí)傳輸協(xié)議主要用于負(fù)載多媒體數(shù)據(jù)，并通過(guò)包頭時(shí)間參數(shù)的配置使其 具有實(shí)時(shí)的特征。rtp 本身并不能為按順序傳送數(shù)據(jù)包提供可靠的傳送機(jī)制，也不提供 流量控制或擁塞控制，它依靠 rtcp 傳輸控制協(xié)議提供這些服務(wù)。 2.3.4 rtcp 協(xié)議協(xié)議 rtcp 是英文 real-time transport control protocol 的縮寫，中文名稱是實(shí)時(shí)傳輸控 制協(xié)議，是一種用來(lái)傳輸控制數(shù)據(jù)的協(xié)議，它主要向會(huì)話中的所有參與者定期發(fā)送控制 數(shù)據(jù)報(bào)文，其發(fā)送的方式和 rtp 數(shù)據(jù)包相同16。rtcp 由多種不同的數(shù)據(jù)報(bào)文組成，每 種報(bào)文傳輸不同的信息。這些報(bào)文包括以下 5 類： 發(fā)送者報(bào)告（sr） ：用來(lái)發(fā)布數(shù)據(jù)發(fā)送者的傳輸信息； 接收者報(bào)告（rr） ：用來(lái)發(fā)布數(shù)據(jù)接收者的數(shù)據(jù)接收質(zhì)量統(tǒng)計(jì)信息，有時(shí) rr 也包 括在數(shù)據(jù)發(fā)送者報(bào)告中； 描述信息（sdes） ：用來(lái)描述一個(gè)參與者； 離開(kāi)報(bào)告（bye） ：用來(lái)通知會(huì)話中其他參與者自己要離開(kāi)會(huì)話； 特殊應(yīng)用報(bào)告（app） ：用來(lái)傳輸應(yīng)用程序自定義的數(shù)據(jù)信息。 每個(gè) rtcp 分組以一個(gè)固定首部開(kāi)始，如圖 2-7 所示，分組中其它字段的格式取決 于分組首部中的類型字段。 verprcpt報(bào)文長(zhǎng)度 031 數(shù)據(jù)區(qū) 12816 圖 2-7 rtcp 固定首部 fig.2-7 fixe