第九節(jié)多媒體流技術一、網上多媒體流技術原理1·多媒體流的特點多媒體流(MultimediaStream)就是多媒體數據在網絡上傳輸時的數據流，它不同于一般的文件下載數據。多媒體流有以下特點:A. 數據量大:多媒體數據，尤其是視頻數據，數據量很大，必須使用特殊多媒體傳輸協(xié)議才能保證順利傳輸。B. 對帶寬要求高:由于多媒體數據量大，雖然經過壓縮，仍然需要大量帶寬。C. 數據的忽略:在不影響播放效果的前提下，允許忽略一些數據;這為在低中帶寬網絡下實現(xiàn)多媒體數據流的查詢提供了可能。D. 流式傳送:所謂流(Streaming)，也叫"流式"或"串流"，是一種傳輸數據信息的方式。采用這種方式，數據能夠用穩(wěn)定的速率從發(fā)送端傳轉至接收端，而接收端可以在發(fā)送端還沒有完全傳輸完畢之前即可開始處理這些數據信息，這特別適合于實現(xiàn)網絡廣播。E. 當采用流式技術傳送時，可以讓計算機一邊接收，一邊處理，節(jié)約了時間和存儲空間。F. 多數流式傳送技術使用專門的數據格式和緩沖系統(tǒng)，以實現(xiàn)連續(xù)播放。2·實時多媒體流

實時多媒體流就是實時采集、壓縮并傳送，茌客戶端實時接收的多媒體數據流。具體說，就是使用特定的視頻/音頻采集設備，采集實時數據，并立即遵從某些特定的標準進行壓縮，同時在網絡上傳輸?？蛻舳司彌_區(qū)不斷更新用以接收壓縮后的數據，即時解壓縮并播放。

在目前的Internet上，由于多種因素的影響，要實現(xiàn)完全的實時傳輸還不可能，只能是近似實時的，這是由于多媒體數據流傳送的端到端延遲較大的緣故。它的實際概念是:當前的實時多媒體數據在一定時間內可傳送到發(fā)出請求的客戶端，并且視頻和音頻保持同步關系。這個延時的具體時間由服務器端的多媒體數據的壓縮速度、采用的壓縮方法以及網絡傳輸的實際情況決定的。文件格式擴展名媒體類型與名稱壓縮情況movQuicktimeVideo(Apple)可以mpgMPEG-IVideo有mp3MPEGLayer-3Audio有wavWaveAudio沒有aifAudioInterchangeFormat沒有sndSoundAudioFileFormat沒有auAudioFileFormat(SunOS)沒有aviAudioVideoInterleaved(MicrosoftWindows)可以3·網絡模型和相關協(xié)議A. 多媒體流技術在網絡上的應用，可概括為"多媒體服務器——客戶端"的模式。B. 通常，在WWW服務器端，多媒體服務器與Web服務器集成在一起，而WWW客戶端則只需Web瀏覽器和播放多媒體數據的瀏覽器插件。C. 多媒體服務器主要起客戶端進行通信和傳輸多媒體數據的作用。D. 在網絡上傳送多媒體數據流涉及不同的協(xié)議，包括:·TCP/IP-傳輸控制協(xié)議，是在WWW客戶與Web之間建立可靠的連接協(xié)議。Web瀏覽器與Web服務器之間通過HTTP，協(xié)議進行通信?！DP:用戶數據包協(xié)議，它是TCP的一種替代協(xié)議，是無連接的，沒有TCP的差錯糾正，允許丟棄那些被破壞的或遲到的數據包，所以它更適合傳輸連續(xù)多媒體數據。·RTP:實時協(xié)議，它是專門為Internet實時數據傳輸指定的協(xié)議，它使用專門時序重建方法來保證多種媒體的同步。·RTSP:實時流協(xié)議。RTSP設計了客戶端與服務器之間特定的通訊方式，專門用于數據流的傳輸?！SVP:它允許為那些嚴重增加網絡負荷的數據流指定優(yōu)先級，通過優(yōu)先級來為它們預留一定帶寬，以達到某個QoS。4·網上多媒體服務的過程用戶進行網上多媒體活動時，其一般過程可描述為:·客戶端通過Web瀏覽器發(fā)送HTTP請求給指定的WWW服務器?！し掌魇艿娇蛻粽埱?，做出響應，發(fā)送已收到的信息給客戶?！た蛻舳嗽谑盏秸埱笄闆r下，激活瀏覽器的插件，向指定的多媒體服務器發(fā)送請求?！ざ嗝襟w服務器收到客戶端的請求，通過UDP協(xié)議開始向客戶端發(fā)送數據。·客戶端收到數據，進行順序化、解壓縮后播放。例1：校園網視頻點播、直播和廣播系統(tǒng)系統(tǒng)支持B/S架構，支持安全認證，遠程管理，遠程上傳節(jié)目等功能，針對流媒體在校園網中應用的特點，特別對系統(tǒng)進行了優(yōu)化，可以更方便的實現(xiàn)，課堂直播、電視直播、以及課件、電影的點播，廣泛的應用在網絡教學、校園電視臺、校園廣播、校園監(jiān)控、校園電影點播中。例2：酒店VOD系統(tǒng)酒店VOD（VideoOnDemand）系統(tǒng)，出現(xiàn)于90年代中期。它是旅游服務業(yè)和現(xiàn)代計算機網絡寬帶科技發(fā)展的產物。在國外VOD服務、信息服務已廣泛應用于各大星級酒店和高檔住宅小區(qū)、娛樂場所、有線電視臺，成為其提高服務水準，增加競爭力的必備設施。美國、日本普及率全在90%以上，香港也在80%以上?，F(xiàn)代酒店顧客已不止?jié)M足于視頻點播的需要，還需要更多更方便的信息服務。為順應社會、科技的發(fā)展需要，我們將具有VOD系統(tǒng)功能及能提供更多信息服務的系統(tǒng)，統(tǒng)稱為“客房信息服務系統(tǒng)HISS”。也便于區(qū)別局限于單純的VOD系統(tǒng)。5·單點傳送和多點傳送

客戶機/服務器模型的通信只描述了點對點連接的情形。實際上每個客戶都可與服務器建立點對點的連接，這種方式即單點傳送(Unicast)。單點傳送的一個明顯弊病是Web服務器、多媒體服務器與數量較多的客戶進行通信時，性能會明顯下降，客戶端將需要很長的響應時間和很低的傳輸速率。

多點傳送(Multicast)則解決了上述問題，主機使用IP地址中的D類地址向網絡中的一組能識別D類地址的主機發(fā)送數據，即多點傳送需要主機網卡和路由器的支持。通常，路由器中保存組成員的信息，它能根據多點傳送的數據包目的地址，把它轉發(fā)到相應的組中。由于多點傳送的發(fā)送方只需要發(fā)送依次數據包，不必為每個請求都建立相應的連接，因此降低了對網絡帶寬的需求，提高了傳輸的質量。6.視頻/音頻壓縮l

1980年以來，國際電話咨詢委員會陸續(xù)完成了各種數據壓縮和通訊標準，與數字視頻壓縮相關的有:JPEG、H.261、H.263、MPEG-1、MPEG-2、MPEG音頻壓縮方法有:MPEG-1、G.723。二、流媒體軟件目前幾種典型的流產品為:·Microsoft公司的WindowsNTServerNetShowServices.(WindowsMedia)·RealNetworks公司的RealSystemG2.·Macromedia公司的Shockwave.1.Netshow1) Netshow是一個在網絡上提供流式多媒體服務的平臺，它既適用于撥號接入的Internet網絡，也適用于帶寬富裕的局域網。2) 利用Netshow，開發(fā)人員可以快捷地開發(fā)出需要多媒體服務的網絡應用，滿足培訓、英語學習、娛樂、及廣告等領域的需要。3) 在客戶端的播放器為WindowsMediaPlayer，可播放ASF、AVI、MP3等格式的網上視音頻。4) MicroSoft的Netshow提供了兩種服務類型:NetshowServiceforWindowsNT和NetShowTheaterServer系統(tǒng)，其中后者是使用在ATM和快速以太網上。5) NetShowService是使用在中低帶寬網絡中傳輸多媒體數據流，是一個純軟件環(huán)境，其主要特點是:·支持Multicast，可以通過創(chuàng)建"站(Station)"來建立Multicast通信。·與視頻音頻壓縮/解壓縮方法相獨立，通過ASF(ActiveStreamFormat)文件來實現(xiàn)壓縮、解壓縮方法的自動下載?！ぶС侄喾N協(xié)議，包括TCP.UDP和HTTP.·提供了多媒體內容制作工具，包括實時視頻音頻壓縮工具，以及Netshow服務器管理器。6)NetShow提供了Unicast和Multicast兩種傳輸模式服務。多媒體數據點播和實時多媒體流都可通過這兩個方式傳給對方，它的服務模式如圖所示：MicrosoftMediaServer2·RealSystema) RealNetworks公司的RealSystemG2的目的是使任何基于TCP/IP協(xié)議的網絡都可以使用視頻和音頻流技術。b) 它是第一個基于開放、擴展標準的流式媒體系統(tǒng)。通過它的同步性和對多種媒體的重播，用戶可體驗到全新的多媒體感覺。c) 新的StreamSmart傳輸技術使實際網絡環(huán)境下的重播更為可靠穩(wěn)定。d) 新加入的兩種媒體格式(Realtext和Realpix)與同步性多媒體集成語言(SMIL)相結合便可使大量的多媒體程序在窄帶網絡上傳輸。e) 它采用流傳輸方式是基于Internet的流式傳輸協(xié)議RTSP(實時同步傳輸協(xié)議).f) RealSystemG2系統(tǒng)作為一個客戶機/服務器架構的流媒體系統(tǒng)，產品包括客戶端軟件:.RealplayerG2及RealplayerplusG2，用于播放Real流式媒體特有的格式;流媒體生成軟件:RealProduceProG2及RealProducePlusG2，用于制作生成流媒體;服務器端軟件RealServerG2，用于控制Real系統(tǒng)。新的系統(tǒng)支持AVI.MPEG和WAV及SWF等格式。3.ShocKwave1) Shockwave流技術與普通HTTP，(超文本傳輸協(xié)議)緊密結合，網上多媒體內容可由Macromedia公司的Director、Authorwave、Flash軟件制作。2) Macromedia與Microsoft、Netscape達成協(xié)議，將ShocKwave技術嵌入在它們的網絡瀏覽器中，正式成為網絡多媒體標準?，F(xiàn)在Shockwave已成為Internet上多媒體的標準。3) Snockwave的內容可以滿足Web上豐富的內容而不必在乎Internet的傳輸速度。4) Shockwave對于交互式多媒體處理有著十分重要的作用，在教育上使用的一些網上多媒體應用與它關系緊密。5) 以著作工具Autnorwave的網上多媒體作品制作為例，一般做法為:·壓縮原文件，資源放在外部，引用格式為甙、Jpg、swa等?！ぶ匦戮幾g原文件為A4R?！で懈钐幚?，生成映射文件AAM、分段文件AAS，每段4k-500k，按網絡通訊速度設置，將AAM文件嵌到HTML網頁中。·將AAM、AAS文件和外部文件放到服務器上?！た蛻舳税惭bShockkwaveforrAuthorwave插件，內容流式傳送進行交互學習。6）新的Authorwave5Attain進展是向"智能化"發(fā)展，出現(xiàn)了"知識流"(KnowledgeStreeam)技術，知識流是一種智能流式技術，它能預測并在適當時間預先下載所需要的應用片段，與標準的流式技術不同的是，知識流針對具有復雜分支結構的交互式多媒體學習應用進行了優(yōu)化。三、流技術在網上教學中的應用a) Netshow和RealSystemG2能使我們在網上方便地實現(xiàn)音視頻點播及實時廣播。b) Shockwave則能使我們容易地在網上實現(xiàn)交互式多媒體學習。c) 通過集成視頻流和傳統(tǒng)遠程教學及培訓，WebFORCEMediaBase已使教室和公司環(huán)境下的網上教學和培訓成為現(xiàn)實。利用WebFORCEMediaBase。技術，得克薩斯大學和3Com公司的工程師們已經開始進行網上教學和培訓項目。d) WebFORCEMediaBase將音頻流和視頻流輸出到桌面，在學生和老師之間用Web環(huán)境架設了一座橋梁。e) 這種按需選課的好處在于學生既可以接受現(xiàn)場的教學，也可以課后再聽取這些課程。這種實時的Web廣播的特性在于，學生有充分的自主性，通過桌面類似于瀏覽器的一些工具，就可以在異地看到現(xiàn)場的講解。使用DDN或專網，一般運行在300kbps-2mbps速率下。提供高質量的多點控制會議服務，配有高檔攝像、音響與顯示設備，具有高質量的多媒體效果例：多媒體流技術應用產品（一）——高檔會議室型

使用DDN或專網，一般運行在300kbps-2mbps速率下。提供高質量的多點控制會議服務，配有高檔攝像、音響與顯示設備，具有高質量的多媒體效果產品（二）——桌面會議系統(tǒng)；較高檔的通常在DDN與ISDN環(huán)境中運行。在112-768kbps速率下，可提供每秒25-30幀CIF或QCIF圖像；低檔的通常在LAN/WAN環(huán)境中運行。384kbps速率下提供每秒15-20幀圖像質量產品（三）——可視電話型運行在Internet和普通公共電話網（PSTN）上，在28.8kbps或33.6kbps等速率下，一般可提供5-10幀QCIF格式的圖像。視頻會議系統(tǒng)多點視頻會議系統(tǒng)視頻輸入輸出視頻視頻編解碼器音頻輸入輸出視頻音頻編解碼器時延信息通信設備系統(tǒng)控制多路復用/信號分離設備會議電視終端設備B會議電視終端設備C用戶/網絡接口MCUH.320建議H.261H.221G.703G.711,G.722,G.728T.120系列H.200/AV.270H.242,H.230,H.221,H.243,H.281會議電視終端設備A傳輸信道MCU為多點控制器視頻編、解碼器及附屬設備視頻部分有輸入（攝像機）、輸出設備（電視機或監(jiān)視器）。數據碼流視頻信號模擬視頻信號

圖像顯示終端設備的核心部件是視頻解碼器，應符合

ITU的H.261標準，設置CIF

數字化，壓縮信道傳送解碼音頻編、解碼器及附屬設備音頻部分同樣有輸入（話筒）、輸出（揚聲器）設備。音頻解碼部分主要有符合ITU標準G.711建議、G.722建議、G.728建議的音頻編、解碼器。在音頻編、解碼中必須對編碼的音頻信號增加適當的時延，以使解碼器中的視頻信號和音頻信號同步。信息通信設備信息通信設備是指有關靜態(tài)圖像的傳輸設備。一些信息通信設備應符合ITU-TT.120系列標準的有關靜態(tài)圖像和加釋規(guī)程、多點二值文件傳輸規(guī)程。還包括傳真機、書寫電話等另一類信息通信設備。多路復用/信號分離設備本設備是能把視頻、音頻、數據等數字信號按照H.211建議規(guī)格組合成64-1920kbps數字碼流，是與用戶/網路接口兼容的信號格式。用戶/網路接口為用戶端的終端設備與網絡信道的連接點（接口），且為數字電路接口。對于接口的物理與電氣個性應滿足ITU-TG.703建議，進入PCM信道的視頻會議信號的時隙的配置應符合ITU-TG.704建議的信道幀結構的要求。多點控制設備（MCU）MCU是一個數字處理單元，也具有交換的功能，端口一般可以為8、12個。MCU在數字域中實現(xiàn)音頻、視頻、數據、信令等數字信號的混合與切換，并確定將某一會場終端的視頻、音頻信號分配到哪些會場。符合ITU-TH.231規(guī)范。系統(tǒng)控制部分包括端到端的通信規(guī)程。兩終端互通的約定、協(xié)商，大家按照統(tǒng)一的規(guī)程去進行，一經完成握手協(xié)議的要求，便建立起正常的通信。符合H.242建議的要求；在多通信時，有MCU時的通信規(guī)程應符合H.243建議的要求。會議系統(tǒng)的標準產生在80年代，國際電信聯(lián)盟（ITU）專門成立了一個小組研究視頻會議，從那時起建立了一系列的建議和標準，關于視頻會議最著名的標準是H.320系列和T.120系列建議。H系列的建議和標準是專門針對交互式電視會議業(yè)務而制定的，而T系列是針對其他媒體的管理功能做出規(guī)定，連中協(xié)議的結合將使多媒體會議的通信有更完善的依據。

1994年以Intel為首的90多家計算機和通信公司聯(lián)合制定了一個個人會議標準PCS（PersonalConferencingSpecification）。

H.320標準

H.320系列標準是會議系統(tǒng)中應用最早，最為成熟的協(xié)議，支持ISDN，E1，T1，帶寬從64Kbps到2Mbps，幾乎所有的會議系統(tǒng)廠家都支持。甚至許多LAN會議系統(tǒng)的產品也支持H.320.H.320標準包括視頻、音頻的壓縮和解壓縮、靜止圖像、多點會議、加密等特性。

H.320可分為五個部分：通用系統(tǒng)，音頻，多點會議，加密，數據傳送等。

H.320標準

包括的15個標準（一）H.221定義了視聽服務中64K-1290K信道的幀結構，后又增加了多點會議及加密內容。

H.230傳遞幀同步控制和指示信號，負責處理基于H.320的CODEC設備之間傳送的控制信息。H.242描述了在高至2M的數字信道上，會議電視終端之間建立通信和設置呼叫的規(guī)程，定義了基于H.320設備之間傳送壓縮食品和音頻信號的協(xié)議。

H.320標準

包括的15個標準（二）H.261又稱Px64,它是視頻編輯解碼器的標準，采取中間格式兼容不同電視制式間的差異，是一種有運動補償的幀間預測編碼+變換編碼（ZDDCT）+量化+可變長編碼+傳輸緩存器控制的混合編碼方式。視頻編碼器按照圖像內容進行幀內/幀間判決和處理。G.71164KbpsPCM電話質量（3.5kHz）語言壓縮標準。

G.72248/56/64KbpsADPCM高保真質量（7kHz）語音壓縮標準。G.72816kbpsLD-CELP語音壓縮標準。H.320標準

包括的15個標準（三）H.231定義了多點控制單元及如何連接3個或更多的基于H.320CODEC設備。H.243主要處理多個終端之間建立通信的過程，它定義了H.320CODEC與MCU之間控制過程。H.244是使用H.221LSD/HSD/MCP信道的遠端攝像機控制協(xié)議。H.281與H.244相同也是遠端攝像機控制協(xié)議，指示采用數據鏈路協(xié)議。H.233提供H.320設備加密標準。H.234確定了如何在不同點之間傳送密鑰管理標準。H.323標準H.323是為在局域網、廣域網上運行多媒體系統(tǒng)而設計的。它描述了將實時的語音、圖像數據傳輸到PC機和視頻電話中所需要提供的設備和服務。H.323提供多層次的多媒體通信，包括局域網上聲音、視頻以及數據通信，可以建立點播型、交互式多媒體會議，在共享數據的同時，用戶可互相聽到和看到對方。H.323是一個傘式標準，它參考了其他ITU－T標準，提供了系統(tǒng)和組件描述，呼叫模型描述以及呼叫信號處理。H.323系列視頻。H.261:Px64kbps下音頻視頻業(yè)務的視頻編碼解碼器；H.263:低速率通信的視頻編碼解碼器。音頻。G.711,G.722,G.728同上；G.723:5.3kbps和6.3kbps多媒體通信的雙速率語音編碼，將改名G.723.1。

H.324標準H.324是運行在低速率傳統(tǒng)電話線和無線通信信道上的視頻會議框架標準。其視頻標準采用H.263，音頻標準用G.723.1.1。多路復用/分接協(xié)議H.223把音頻視頻和數據集眾道一個流中，按邏輯通道傳輸，用H.245協(xié)議控制。網絡訪問用V.34調制解調器。H.324/M是無線網絡上超低比特率可視通信的標準基本功能基本功能各會議點的多媒體終端反映各會場的場景、人物及相關資料以及聲音同時進行數字化壓縮。根據控制模式，經過數字通信系統(tǒng)，沿指定方向進行傳輸。各會點的多媒體計算機上，通過數字通信系