第7章視頻會議系統

7.1視頻會議系統概述7.2數據會議與雙視頻流傳輸7.3視頻會議系統的主要功能7.4視頻會議性能要求7.5基于DSP的視頻會議終端設計7.1視頻會議系統概述

7.1.1視頻會議系統的基本概念

視頻會議(VideoConference)早期亦稱會議電視或電視會議,是利用多媒體通信技術和設備通過傳輸信道在兩地或多個地點之間實現圖像、語音及數據實時交互的一種可實現遠程會議功能的多媒體通信手段。利用攝像機和麥克風將一個地點會場的圖像和聲音傳送到其它的一個或多個地點,并通過電視機顯示和揚聲器輸出,使與會者既能看到對方發(fā)言人和會場場景,也能聽到對方的聲音;若輔以電子白板、共享應用(如共享PowerPoint文件或VGA屏幕)計算機等輔助設備,還可與對方會場的與會人員進行研討與磋商,在效果上完全可以代替現場會議。視頻會議的多媒體通信方式有點到點、一點到多點和多點三種形式。我們所講的會議方式一般特指后兩種,有時也使用“多點會議”這個概念。

在多點視頻會議中,會場(參會終端)的身份有主席、聽眾和選中聽眾三種。圖像用于播放的會場稱為“主席”;所有接收主席圖像的會場稱為“聽眾”;主席接收圖像的發(fā)送者稱為“選中聽眾”。會場的身份可以根據會議的需要確定和更改。7.1.2視頻會議系統的組成

視頻會議系統一般由具有不同功能的實體組成,主要的功能實體有終端、網守、多點控制單元(MultipointControlUnit,MCU)和網關。

1.終端

終端是視頻會議系統的基本功能實體,為會場提供基本的視頻會議業(yè)務。它在接入網守的控制下完成呼叫的建立與釋放,接收對端發(fā)送的音視頻編碼信號,并在必要時將本地(近端)的多媒體會議信號編碼后經由視頻會議業(yè)務網絡進行交換。終端可以有選擇地支持數據會議。

終端屬于用戶數字通信設備,在視頻會議系統中處在會場的圖像、音頻、數據輸入/輸出設備和通信網絡之間。由于終端設備的核心是編解碼器,所以終端設備常常又稱為編解碼器。來自攝像機、麥克風、數據輸入設備的多媒體會議信息,經編解碼器編碼后通過網絡接口傳輸到網絡;來自網絡的多媒體會議信息經編解碼器解碼后通過各種輸出接口連接顯視器、揚聲器和數據輸出設備。2.網守

網守是視頻會議系統的呼叫控制實體。在H.323標準中,網守(GateKeeper,有時又稱網閘)提供對端點和呼叫的管理功能,它是一個任選部件,但是對于公用網上的視頻會議系統來說,網守是一個不可缺少的組件。在邏輯上,網守是一個獨立于端點的功能單元,然而在物理實現時,它可以裝備在終端、MCU或網關中。

網守相當于H.323網絡中的虛擬交換中心,其功能是向H.323節(jié)點提供呼叫控制服務,主要包括呼叫控制、地址翻譯、帶寬管理、撥號計劃管理。3.MCU

MCU是多點視頻會議系統的媒體控制實體。在進行多點會議時,除視頻會議終端外,還需要設置一臺中央交換設備,用來實現視頻圖像及語音信號的合成、分配及切換。

MCU是多點視頻會議的核心設備,其作用類似于普通電話網中的交換機,但本質不同。多點控制單元對視頻圖像、語音和數據信號進行交換和處理,即對寬帶數據流(384～1920kb/s)進行交換,而不對模擬話音信號或64kb/s數字話音信號進行切換。

MCU可以由單個多點控制器(MultipointController,MC)組成,也可以由一個MC和多個多點處理器(MultipointProcessor,MP)組成。MCU可以是獨立的設備,也可以集成在終端、網關或網守中。MC和MP只是功能實體,而并非物理實體,都沒有單獨的IP地址。4.網關

網關是不同會議系統間互通的連接實體。例如要實現一個H.323標準的視頻會議系統與一個H.320標準的視頻會議系統之間的數字連接,就需要設置一個H.323/H.320網關。7.1.3視頻會議系統關鍵技術

視頻會議是多媒體通信的一種主要應用形式,因此多媒體通信中使用的關鍵技術也是視頻會議中的關鍵技術,主要包括音視頻數據壓縮技術、同步技術和網絡傳輸技術。

(1)音視頻數據壓縮技術。計算機中對結構化數據(如文字、數值)都是經過編碼存放的。同樣,對于非結構化數據,如圖形、圖像、語音,也必須轉化成計算機可以識別和處理的編碼。多媒體計算機實時綜合處理聲音、文字、視頻信息的數據量是非常大的。一幅640×480中等分辨率的彩色圖像(24位每像素)數據量約為7.03Mb/幀,若是運動圖像,要以30幀每秒的速度播放時,則視頻信號的傳輸速率為211Mb/s,如果存放在600MB的光盤中,則只能播放20秒左右。對于音頻信號,其情況與視頻信號相似?？梢?視頻和音頻數字信息的數據量大,同時要求傳輸速度快,考慮到一般通信網絡傳輸速度的限制,要實時處理和傳輸視頻和音頻數據,不進行數據壓縮是無法實現的。另外,視頻和音頻信號的原始數據存在很大的冗余度,人的視覺和聽覺特性都使得數據壓縮得以實現。從20世紀80年代起,視頻會議領域技術進步的中心內容之一,就是如何在保證圖像質量和聲音質量的前提下,尋求一種更有效的壓縮算法,將視頻、聲音數據量壓縮到最小。視頻會議系統中常用的視頻壓縮算法有H.261、H.263、H.263+和H.264等,常用的音頻壓縮算法有G.711、G.722、G.723.1、G.728和G.729等。

(2)同步技術。在視頻會議系統中,除了音視頻媒體的同步(唇音同步)外,由于不同地區(qū)的多個用戶所獲得的不同媒體信息也需要同步顯示,因而一般采用存儲緩沖和時間戳標記的方法來實現信息的同步。存儲緩沖法在接收端設置一些大小適宜的存儲器,通過對信息的存儲來消除來自不同地區(qū)的信息時延差。時間戳標記法把所有媒體信息打上時間戳(RTS),凡具有相同RTS的信息將被同步顯示,以達到不同媒體間的同步。

(3)網絡傳輸技術?，F有的各種通信網絡可以在不同程度上支持視頻會議傳輸。公共交換網(PSTN)由于信息傳輸速率較低,因而只適于傳輸話音、靜態(tài)圖像、文件和低質量的視頻圖像。傳統的共享介質計算機局域網(如以太網、令牌環(huán)網、FDDI網)在基于分組交換的H.323標準出臺之后,也可勝任視頻會議。窄帶綜合業(yè)務數字網(N－ISDN)采用電路交換方式,其基本速率接口可以傳輸可視電話質量級的音視頻信號,基群速率接口可以傳輸家用錄像機質量級和會議電視質量級的音視頻信號。理論上,最適用于多媒體通信的網絡是寬帶綜合業(yè)務數字網(B－ISDN),它采用異步傳輸模式(ATM)技術,能夠靈活地傳輸和交換不同類型(如聲音、圖像、文本、數據)、不同速率、不同性質(如突發(fā)性、連續(xù)性、離散性)、不同性能要求(如時延、抖動、誤碼等)、不同連接方式(如面向連接、無連接等)的信息。由于視頻會議必然會涉及到多點通信和多連接通信等多種連接方式,因此除了對網絡傳輸能力方面的要求之外,還要求網絡具備靈活的控制管理能力,包括控制虛信道和虛通道連接的能力,支持點到點、點到多點、多點到多點和廣播通信配置,在呼叫過程中建立和釋放一個或多個連接,重新配置多方呼叫,支持用戶到用戶信令、信道復用,等等。7.1.4視頻會議系統的分類

視頻會議可以在政府行政會議、公司遠程會議、公用會議出租或個人臨時會議中使用。根據視頻會議系統終端設備的檔次及應用場合等因素,可把視頻會議系統分為專業(yè)會議室型、標準會議室型、桌面寬帶可視電話型和基于計算機平臺的軟終端型四大類。

1.專業(yè)會議室型視頻會議系統

由于會議室與會者較多,因此對視聽效果要求較高。一套典型的基于會議室的視頻會議系統一般應包括:一臺高性能的編解碼器,兩臺大屏幕監(jiān)視器,高質量攝像機,高分辨率的專用圖形攝像機,復雜的音響設備、控制設備及其它可選設備。系統的最高傳輸速率可達4Mb/s,可以提供高質量的音頻和視頻。視頻會議室的裝修、色彩、照明及聲學環(huán)境應符合會議電視用會議室標準要求。系統設備配置及安裝位置相對固定,移動不方便。該系統價格比較昂貴,一般適用于政府機構、大型企業(yè)的專用會議室。

2.標準會議室型視頻會議系統

對于中小型企業(yè)來說,標準會議室型視頻會議系統能提供良好的圖像質量,系統安裝簡單,操作方便,價格合理,適合ISDN和IP網絡傳輸,最高傳輸速率可達到2Mb/s。該系統設備一般應包括:一臺高性能的編解碼器,一個可旋轉的攝像機,一臺或兩臺顯示器,一個文件攝像機和幾個麥克風等。如果某個客戶僅將視頻會議當作應急的必要措施,那么該系統將是最有效的方案。

3.桌面寬帶可視電話型視頻會議系統

桌面寬帶可視電話型視頻會議系統并沒有專用的會議室,主要用于遠程辦公。一個桌面終端通常只為一個人服務,終端多采用高性能的可視電話機,包括:一個彩色液晶顯示屏,內置攝像機,視頻編解碼器,電話手柄、撥號鍵盤和各種功能控制按鍵。由于本身處理能力的限制,該系統圖像質量較低。

4.基于計算機平臺的軟終端型視頻會議系統

軟終端沒有專用的硬件設備,為計算機上的應用程序。軟終端通過計算機提供的通信接口與簡單的音視頻輸入輸出設備連接;圖像顯示使用計算機的顯示器;編解碼器使用計算機的CPU及內存資源。軟終端具有基本的會議功能,可以為廣大個人用戶和企業(yè)辦公室提供操作簡單、接入便利的視頻會議服務。7.1.5視頻會議系統的發(fā)展歷史

視頻會議系統的歷史可追溯到20世紀60年代初,當時美國電報電話公司(AT&T)曾推出過模擬視頻會議系統Picturephone。

進入70年代以后,視頻會議開始采用數字信號處理技術和數字傳輸方式。

到80年代中期,通信技術發(fā)展迅猛,信息編解碼技術的成熟,使得視頻會議設備的實用性大為提高。但此時的視頻會議系統由于價格和技術的因素,仍只限于高檔會議室的視頻會議應用,從而限制了視頻會議的進一步普及。在90年代初期,第一套國際標準H.320獲得通過,不同品牌產品之間的兼容性問題得到解決。配合H.261視頻壓縮集成電路技術的開發(fā),視頻會議系統呈現小型化發(fā)展的趨勢。在1992～1995年期間,中小型視頻會議系統成為視頻會議應用中的主要產品。視頻會議系統在90年代中期的另一個發(fā)展趨勢是桌面型產品開始成熟。

在90年代后期,隨著IP網絡的迅速發(fā)展和普及,人們對視頻業(yè)務的需求量急劇增加,這促進了基于TCP/IP協議的視頻會議標準的形成和視頻會議產品的發(fā)展。目前基于IP網絡的H.323標準的視頻會議已經成為視頻會議產品的主流。從大型會議室型視頻會議系統到桌面型視頻會議系統,從嵌入式產品到計算機機上的軟件產品,應有盡有。 7.2數據會議與雙視頻流傳輸

7.2.1數據會議

視頻會議主要以語音和圖像遠程發(fā)送和接收的方式來實現面對面的交流。數據會議則以數據交流為核心,通過計算機實現實時遠程文檔和信息的交流。在很多場合下,視頻會議需要建立起與數據會議的協同工作,以適應用戶的特殊需求,如遠程教育、遠程辦公等。數據會議與視頻會議的協同工作指的是在視頻會議進行過程中,同時進行應用程序共享、文件傳輸等數據應用。數據會議主要可以提供如下形式的數據協作:

(1)應用程序共享。會議參與者可以把運行在一臺計算機上的程序共享給其他會議參與者,其他會議參與者可輪流編輯和控制該程序,而無需在自己的計算機上安裝應用程序。

(2)文件傳輸。會議參與者可把文件選擇發(fā)送給幾個或所有的會議參與者。文件傳送可在后臺進行。

(3)電子白板。電子白板是一個多頁面、多用戶的畫圖應用程序,會議參與者可通過點擊和拖曳操作,與其他會議參與者共同勾畫草圖或機構圖表。

(4)遠程聊天。會議參與者可以通過鍵入文字信息的方式和其他會議參與者交流。7.2.2視頻會議與數據會議協同工作的技術實現

視頻會議與數據會議的協同工作主要有兩種實現方式:T.120協議實現方式和雙視頻流傳送方式。

1.T.120協議實現方式

T.120系列協議是ITU制定的一整套多點數據會議的通信、會議管理和數據應用的協議總稱。T.120系列協議是個多層次的協議族,包括必選項和可選項兩部分。必選項主要是T.122、T.123、T.124、T.125等,定義了T.120協議的基礎框架和核心實現機制?？蛇x項包括T.126、T.127、T.128,定義了T.120協議的各種應用,其中T.126為靜態(tài)圖像傳輸和注釋應用,T.127為二進制文件傳輸應用,T.128為應用程序共享應用。在T.120數據會議系統中,上述協議通常通過配置T.120服務器來實現。T.120服務器是數據會議系統的核心設備,與所有參與數據會議的終端建立連接,負責管理和控制整個會議,并實現數據會議相應信息的多點存儲轉發(fā)功能。

T.120系列協議既可以作為ITU制定的H.320、H.323系列視頻會議的一個組成部分,又可以作為數據會議協議單獨工作,因此,相應地就可以通過帶內和帶外兩種方式實現與視頻會議系統的協同工作。

1)T.120帶內數據會議

T.120帶內數據會議協作直接通過在H.323視頻系統中嵌入T.120系列協議實現,支持視頻會議和數據會議的協同工作。

終端向MCU發(fā)送請求,召集視頻會議同時申請數據會議。MCU接受請求,一方面,在終端和MCU之間建立正常音視頻邏輯通道;與此同時,MCU向T.120服務器發(fā)起申請建立T.120數據會議通道,T.120服務器確認該申請后,在終端和T.120服務器之間建立T.120邏輯通道。數據會議召集成功。結束會議時,MCU接到結束會議的指令后,在關閉與終端的音視頻通道的同時,發(fā)送消息給T.120服務器,T.120服務器關閉與終端的數據通道,數據會議和視頻會議同時結束。

在帶內方式下,數據與音視頻通道共用帶寬。在會議過程中音視頻的帶寬由MCU控制,數據帶寬由T.120服務器進行控制。這種方式可以很好地實現視頻會議和數據會議的同步,但要求視頻會議終端支持T.120帶內數據會議功能,同時要求MCU支持數據會議功能,這增加了系統實現的復雜度。

2)T.120帶外數據會議

帶外數據會議直接采用T.120系列協議組網,H.323視頻會議和T.120數據會議完全獨立,數據與音視頻流分開,各自占用帶寬。數據通道和音視頻流通道的建立過程是完全獨立的。數據會議終端直接和T.120服務器進行消息交互,建立連接。這種方式實現簡單,對于視頻會議終端和MCU來說,無需支持T.120系列協議。其缺點是音視頻與數據完全分離,不便于實現視頻會議和數據會議的同步,不便于操作與管理。

2.雙視頻流傳送方式

T.120協議能夠滿足一般數據會議用戶的要求,但在實際應用中,往往不盡如人意,特別是T.120和視頻會議標準混合使用時,往往會出現不能滿足客戶需求的情況。例如:在共享大容量的應用程序時,很容易造成視頻會議系統癱瘓。為了很好地解決多數據流的應用問題,國際電信聯盟草擬了一個新的標準——H.239。區(qū)性目前,視頻領域討論較多的雙流技術實際上就是H.239標準一種較好的應用形式。從傳統的視頻會議來看,如果一個主會場有兩個分會場,通常只是把攝像機的圖像傳到每一個分會場。如果采用文件傳輸,以T.120的方式傳送高分辨率的圖文,速度是很慢的。雙流技術是指在傳輸活動圖像的同時,在帶內把高清晰度的圖文信息一起傳送給對方。對方的編解碼設備可以解出活動圖像和高分辨率圖文,這樣可以通過相同的帶寬將圖像傳送到多個會場,并能清晰地顯示文件。具體的操作方法是:把計算機機輸出的VGA信號直接作為視頻源輸入到視頻會議終端上,該計算機桌面信號和活動音視頻圖像同時傳送給會議中的其他與會終端。這種方法可以將類似PowerPoint幻燈片、Word文檔或其他形式的計算機桌面圖文信息實時傳送到會議中的所有會場。

2003年7月,ITU批準了H.239標準,該標準支持“AdditionalMediaChannelsforH.3xxSystem”。H.239定義在一個視頻會議中使用兩條視頻通道,并使用角色和任務標識來控制和標注這兩個同步視頻通道。H.239協議使得會議終端在視頻會議系統中可以使用多條媒體通道,可同時發(fā)送活動視頻和計算機桌面內容(如幻燈片、瀏覽器屏幕等)?；诖隧椉夹g,用戶可以得到雙流視頻服務。H.239協議所提供的方案同時也適用于基于信令的H.320和H.245(H.310、H.323和H.324)系統,可以實現在會議系統中同時傳送和顯示多路視頻信息。目前,主流的視頻會議終端都支持H.239協議。實現雙視頻流傳送需要終端和MCU同時支持H.239協議。對于用戶而言,在任何支持H.239協議的終端和MCU之間召開點對點或多點會議均能夠傳送雙視頻流。需要注意的是,在H.239協議中,附加的視頻流被定義為單向的(例如讓人們看到演講者的演講內容),不過H.239可以允許用戶容易地在會議兩點之間切換發(fā)言者,這將在一定程度上解決這一問題。另一方面,盡管H.239標準為H.320和H.245會議系統增加了附加的媒體通道,也規(guī)定了在多點會議中如何創(chuàng)建和定義附加通道,如何控制視頻會議,然而由于這一標準缺乏相關的行業(yè)標準支持,因而雙視頻流技術目前僅能用于內部平臺,兼容性還不夠好。雙路視頻功能有多種實現方式,主要的實現方式有以下四種。

(1)動態(tài)視頻+靜止圖片。在20世紀90年代,H.320標準發(fā)展之初,該功能就已出現。根據H.320協議棧中視頻編碼標準H.261AnnexD,視頻會議終端在進行正常視頻通信的同時,可以將主攝像機畫面以4CIF的格式進行“抓拍”,然后將抓拍到的靜止圖片傳送到對方終端。這種雙路傳輸出現在視頻會議應用的早期,到目前為止,大多數會議終端仍然支持該功能,但由于抓拍的只是靜止的圖片,因而其使用受到限制。

(2)動態(tài)視頻＋靜態(tài)文本。20世紀90年代后期,有的視頻廠商推出了一路動態(tài)視頻加一路靜態(tài)文本的傳輸方式,即在普通視頻會議的同時,將一方終端所連接計算機中的PPT文檔內容以靜態(tài)方式傳送到對方。這種雙路傳輸比起“動態(tài)視頻+靜止圖片”的方式有了進步,它所傳輸的第二路內容不局限于攝像機所拍取的圖像,已經可以將某種計算機內容傳輸到對方。

但同時,這種雙路視頻也存在著不可避免的弱點:首先,在計算機內容傳輸之前,需要將計算機中的PPT文檔內容讀取到終端內,文檔的大小有限制,而且讀取的過程十分緩慢,會議中使用非常不便;其次,所傳輸的文檔格式只能局限于PPT文檔,其它類型的文檔,如Word、Excel或Txt等都無法傳輸,應用受到很大限制;第三,傳輸只能以靜態(tài)的方式進行,PPT文檔只能以單幅畫面的形式傳送,無法適應于各類演示性講解。

(3)動態(tài)視頻＋動態(tài)文本。在以上雙路傳輸的基礎上,視頻會議廠商們又開發(fā)出了改進的動態(tài)視頻＋動態(tài)文本方式,即所傳輸的第二路計算機內容采用硬件VGA接口的方式,因而傳輸內容也不局限于文檔格式,計算機屏幕內容均可傳輸到對方。

這種雙路視頻模式也因各廠商產品技術水平差別而有所不同。如有的產品本身并不具備VGA接口,需要外接一個雙流接口盒。有的雙流接口盒所傳輸的文本內容動態(tài)性較差,丟幀較多,在進行動態(tài)文本講解演示時給與會者的直觀感覺較差。在一些高端視頻會議終端上都集成有VGA接口,可以將1024×768的全動態(tài)XGA畫面以第二路方式傳送到對端并還原。

(4)雙路動態(tài)視頻。在設備具有超強運算能力的前提下,一路通信連接中可以傳輸兩路全動態(tài)視頻信號,即雙路動態(tài)視頻傳輸。與會者可以在主顯示設備上看到會議發(fā)言者的圖像;在輔助顯示設備上看到主講者所展示給大家的視頻信息(另一路現場攝像機拍攝的內容,或者是錄像機、DVD播放的內容,或者是文件攝像機或實物展臺所呈現給大家的高清晰度動態(tài)圖像)。在視頻會議系統中,雙路視頻將會給視頻會議提供方便靈活的應用模式。它可以在普通會議的同時傳送計算機所展示的各類文檔(包含動態(tài)演示),用于有各類報表的會議(如銷售類會議);也可以將發(fā)言會場文件攝像機或實物展臺的內容作為第二路視頻進行動態(tài)傳送,用于新產品的遠程協作設計開發(fā)。當然,作為遠程培訓教學應用,雙路視頻更為不可缺少的功能。

3.技術比較

T.120帶內方式通過在H.323視頻會議系統中集成T.120系列協議,可較好地實現數據會議與視頻會議的協同工作。其主要缺點是:一方面,需要終端和MCU同時支持T.120協議,而T.120協議實現比較復雜,這增加了視頻平臺和終端的成本;另一方面,集成方式使得系統的穩(wěn)定性降低,如H.323視頻會議的連接中斷將會同時導致T.120數據會議的中斷;另外,T.120數據服務器需要配置帶寬控制功能,如果沒有帶寬控制,數據突發(fā)會導致音視頻的丟包。

T.120帶外方式下,數據會議與視頻會議分離,容錯性能和穩(wěn)定性更高,但相應地帶來了操作與管理上的復雜性。

雙視頻流傳送方式不需復雜的T.120協議支持,實現簡單,并制定了統一的H.239標準,其缺點是僅能實現部分數據會議功能,未能實現真正的交互式數據協作。 7.3視頻會議系統的主要功能

1.應用層協議支持功能

系統支持H.323協議,提供在H.225.0建議中描述的服務,對H.245控制信道、數據信道和呼叫信令信道,必須提供可靠的(如TCP、SPX)端到端服務;對音頻信道、視頻信道和RAS信道,必須提供非可靠的(如UDP、IPX)端到端服務。服務可以是雙工或單工、單播或多播,取決于應用、終端能力和網絡配置。

2.參加會議能力

系統應該具備預約會議的能力,能夠進行點對點呼叫和多點音視頻會議呼叫,能夠實現自動或人工控制應答呼叫的功能,能夠選擇音頻會議或視頻會議。

3.語音編解碼功能

終端必須支持G.711編碼格式,可以根據需要選擇支持G.722、G.723.1、G.728、G.729等標準編碼格式或其它非標準專用編碼格式。終端之間每次通信使用的音頻編解碼算法必須在能力交換期間由H.245控制消息確定。終端應能對本身所具有的音頻編解碼能力進行非對稱的操作,例如以G.711編碼發(fā)送而以G.728解碼接收。

1)聲音編碼動態(tài)轉換

終端可以根據會議需要在MC的控制下進行聲音編碼動態(tài)轉換,即在較高速率編碼與較低速率編碼方式之間進行切換。當網絡擁塞時,可將高速率編碼方式轉換為低速率編碼方式,以便從媒體流的源端進行流量控制以緩解擁塞狀況;當網絡資源寬松時,可以將低速率編碼方式轉為高速率編碼方式,以提高語音質量。

2)音頻混合

終端可以接收多個音頻信道。終端需要進行音頻混合來向用戶提供一個混合的音頻信號。終端必須使用H.245并發(fā)能力來指示它能夠同時對多少個音頻流進行解碼。終端的并發(fā)能力不應限制會議中的多播音頻流數目。

3)最大音視頻傳輸偏離

終端應發(fā)送H.225.0MaximumSkewIndication消息來指示傳輸到網絡傳輸層的音頻和視頻信號之間的最大偏離,以便終端能適當設置其接收緩存的大小。對于每一對相關的音頻和視頻邏輯信道,必須發(fā)送H.225.0MaximumSkewIndication,音頻會議或混合會議則不需要。如果要求唇音同步,必須通過時間戳來實現。

4)低比特率操作

在比特率小于56kb/s鏈路或網段的會議中,G.711編碼不能使用,終端應當具有G.723.1語音編解碼能力。在每次呼叫開始時,端點通過H.245能力交換指示其接收音頻的能力。在端到端連接包含單個或多個低比特率網段時,沒有低速率音頻能力的端點可能不能工作。

4.回聲抵消

IP網上傳輸時延較大,產生的回聲對通話質量影響較大,為此終端設備應該具有回聲補償功能。目前,典型的回聲補償器設計可參考PolycomAcousticPlus716建議。

5.圖像編解碼功能

終端必須支持H.261QCIF,可以根據需要支持H.261CIF、H.263QCIF、H.263CIF等編碼格式,也可以采用國內技術成熟、互通性好的壓縮編碼格式。

1)圖像編碼動態(tài)轉換

終端可以根據會議需要在MC的控制下進行編碼速率的動態(tài)轉換,即終端能夠根據MC的要求,在較高速率編碼與較低速率編碼方式之間進行切換。當網絡擁塞時,可將高速率編碼方式轉換為低速率編碼方式,以便從媒體流的源端進行流量控制以緩解擁塞;當網絡資源寬松時,可以將低速率編碼方式轉為高速率編碼方式,以提高圖像質量。

2)圖像分辨率和幀頻

在不同的速率下,終端幀頻應滿足如下要求。

(1)速率小于384kb/s(CIF&QCIF):PAL為12.5F/s,NTSC為15F/s;

(2)速率大于等于384kb/s(CIF&QCIF):PAL為25F/s,NTSC為30F/s;

(3)速率小于512kb/s(4CIF):PAL為12.5F/s,NTSC為15F/s;

(4)速率大于等于512kb/s(4CIF):PAL為25F/s,NTSC為30F/s。

6.多視頻流顯示功能

終端可以接收多于一個的視頻信道。終端需要具備視頻混合或切換的能力,以便向用戶顯示視頻信號,包括將多個終端的視頻顯示給用戶。終端應使用H.245并發(fā)能力來指示它能夠同時解碼多少個視頻流。一個終端的并發(fā)能力不應當限制一個會議中多播的視頻流數目(該選項由MC選擇)。

7.數據通信功能

數據通信功能用于支持諸如靜態(tài)圖像、二進制文件等的傳輸以及實現電子白板等。H.323協議規(guī)定支持數據通信功能是可選的；數據通信采用T.120系列協議,其中的T.126對應多點電子白板,T.127對應多點文件傳輸,T.128對應多點應用共享。

8.QoS功能

視頻會議系統支持RTP/RTCP流控傳輸。RTP是H.323標準中規(guī)定的在傳輸時延較低的UDP上實現實時傳輸的協議,其目的是提供時間信息和實現流同步;提供數據傳輸和服務質量的端到端監(jiān)控,用于管理傳輸質量和提供QoS信息,增強RTP的功能。當應用程序開始一個RTP會話時將使用兩個端口:一個給RTP,一個給RTCP。RTP本身不能為按順序傳送數據包提供可靠的傳送機制、流量控制和擁塞控制,只能通過RTCP來提供。

9.主席控制功能

1)主席終端

如果終端具備主席功能,則在會議中可通過申請成為主席。主席終端應具備以下會議控制功能:

(1)選看會場——主席終端可以在會議進程中瀏覽任意一個會場。

(2)廣播會場——獲得主席控制權的會場終端可以將某一會場的圖像廣播到其它會場。

(3)查詢終端列表——主席終端可以看到會議中所有會場名稱列表。

(4)點名發(fā)言——主席終端可以點名某個會場發(fā)言。

(5)申請發(fā)言——分會場可以申請發(fā)言,經主席終端批準后,會場將自動切換為發(fā)言會場。

(6)釋放主席令牌——主席終端可以釋放主席控制權。

(7)結束會議——主席終端可以結束會議,此時各會場終端自動退出會議。主席終端除支持基本會議控制功能以外,可以支持的擴展會議控制功能有:

(1)添加和刪除會場——在會議的進行過程中,獲得主席控制權的會場終端可以通過呼叫一個終端添加分會場,也可以刪除一個分會場。

(2)聲音控制——主席終端具有閉音和取消閉音、靜音和取消靜音等控制功能;主席終端可以設置語音激勵會場,即發(fā)言聲音最大的會場圖像被廣播到其它會場。

(3)延長會議——主席終端可以申請延長會議。

(4)攝像機遠程遙控——主席具有對分會場攝像機進行遠程控制的功能。

2)非主席終端

非主席終端具有以下功能:

(1)申請主席——非主席終端可以申請主席令牌,在會場中沒有主席時獲得主席控制權。

(2)查詢終端列表——非主席終端可以看到會議中所有會場名稱列表。

(3)申請發(fā)言——非主席終端可以申請發(fā)言,獲得主席批準后,會場將自動切換為發(fā)言會場。

(4)退出會議——會議中視頻終端可以中途退出會議。

(5)數據會議——終端實現數據會議功能,包括電子白板、文件傳輸、應用共享和文本交談數據會議功能。

10.網絡協議支持功能

系統應該支持TCP/IP協議族,至少應能支持TCP/UDP協議。為保證信息在IP網上傳輸,終端應該支持RTP協議,建議支持RTCP協議,DTMF信號可以承載于H.245信令或RTP包中(符合IETFRFC2833的規(guī)定);為方便系統版本更新,可以支持TFTP協議或FTP協議;為動態(tài)獲取IP地址,可以支持DHCP協議;為提供與時鐘相關的附加功能,可以支持NTP協議;為提供遠程網管能力,可以支持SNMP協議。

11.維護管理功能

1)控制和連通性保證

終端設備應該及時地向接入網守報告由于重新啟動、故障、設備恢復或維護管理而造成終端自身狀態(tài)的改變,終端應自動將狀態(tài)變化報告給接入網守。

終端應能接收接入網守的命令,按照命令要求回送資源狀態(tài)信息,使接入網守保存的資源狀態(tài)與終端保持一致。

終端應能與接入網守在失去聯系的情況下(例如通信鏈路故障/擁塞、終端代理故障等),針對不同情況進行處理,盡量減少通信的損失。

在接入網守發(fā)生故障的情況下,終端中處于運行狀態(tài)的媒體流應能夠繼續(xù)維持至本次呼叫結束。

2)故障處理

終端設備比接入網守先行中斷或被釋放,則其應能向接入網守報告原因并請求拆除該連接。

3)環(huán)回

終端應能通過環(huán)回測試進行資源維護和故障定位。環(huán)回包括本地視頻環(huán)回和本地音頻環(huán)回,本地音頻環(huán)回還可以分為硬件環(huán)回和軟件環(huán)回。根據需要,環(huán)回還可以包括遠端視頻環(huán)回、遠端音頻環(huán)回等功能。

4)本地維護和系統升級

終端設備應提供菜單或命令行方式的本地維護接口(可以是按鍵鍵盤或EIA232接口),用于實現端口、號碼、編碼方式等配置和維護功能。設備應支持其配置文件的導入和導出。建議設備支持TFTP方式的系統在線升級和自動升級。終端可以支持PC控制臺的維護方式。

5)遠程維護管理

終端可以支持Telnet或Web方式遠程管理。終端實現管理信息庫(MIB)為可選項,包括H.323Terminal、H.245CallSignaling、H.245、RTP、RAS、Ethernet和接口組,詳細內容可參見YD/T1164-2001IP電話系統的MIB技術要求。

7.4視頻會議性能要求

1.時延的影響

系統時延包括網絡傳輸時延和設備時延。

當網絡QoS滿足端到端延時小于200ms,丟包率小于1％,網絡抖動小于50ms的條件時,終端所提供的視頻服務質量不應該受到影響。當網絡QoS質量出現瞬間變化,但端到端延時不超過400ms,丟包率不超過10％,網絡抖動不大于100ms的時候,終端所提供的視頻服務質量不應受到永久性影響。設備時延由編解碼時延和為防止時延抖動而設定的緩沖區(qū)引起的時延兩部分組成。視頻編碼時延相對于音頻來說較大,因此在視頻會議終端中應對音頻進行一定的延時,以保證“唇音同步”。不同的視頻編碼標準,不同的硬件實現平臺,其延時也不一樣,如基于DSP的H.264標準編碼器的時延就比一般編碼器的時延大很多,因而其實現也復雜得多。

H.323視頻會議終端設備可以在終端代理的命令下從一種編碼方式切換到另一種,或在同一種編碼方式的不同速率間進行切換,其動態(tài)切換時間應不大于60ms。

2.語音質量的主觀和客觀評價

語音質量的評價分為主觀評價和客觀評價,實際應用中主要以主觀評價方法為主。

整個視頻會議系統的語音質量不僅與終端設備有關,也與IP承載網絡以及會議室聲學環(huán)境有關。在網絡條件好的情況下(網絡無丟包和時延損傷),MOS評分應達到4.0分以上;在網絡條件一般的情況下(網絡有1％丟包,時延在100ms的基礎上有20ms抖動),MOS評分應達到3.5分以上;在網絡條件較差的情況下(網絡有5％丟包,時延在400ms的基礎上有60ms抖動),MOS評分應達到3.0分以上。

對于語音質量的客觀評價,與G.711、G.722、G.723、G.729建議書中對音頻客觀指標的要求相同。

3.圖像質量的評價

圖像質量的評價也分為主觀評價和客觀評價兩種。

圖像主觀評價的測試環(huán)境和方法可參考ITU－RBT.500建議書或GY/T134-1998中5.1的規(guī)定執(zhí)行,評價方法采用DSCQS(雙刺激連續(xù)質量標度)。關于圖像質量的客觀評價,主要通過測試一些影響視頻圖像質量的失真參數進行(參見第4章)。主觀評價和客觀評價的結果應一致。

7.5基于DSP的視頻會議終端設計

7.5.1實時數字媒體信號處理器

隨著網絡的飛速發(fā)展以及視頻會議系統的推廣與普及,人們對視頻會議終端和MCU提出了越來越高的要求。要不斷提高終端和MCU的處理能力,就需要不斷進步的微電子技術支持。20世紀70年代末,誕生了第一片數字信號處理器芯片,給DSP的發(fā)展帶來了巨大的機遇。近年來,隨著半導體制造工藝的發(fā)展和計算機軟件可編程技術的進步,DSP處理器的功能越來越強大,運算速度已完全滿足語音和視頻圖像實時處理的要求。

DM642是一款高性能的可編程數字媒體處理器,與TI的C64x系列DSP目標代碼完全兼容,同時還能提供片上集成的高清晰度視頻端口、無縫以太網接口、多通道音頻接口及66MHz的PCI接口。DM642每個時鐘周期能夠進行四次16位的乘法累加運算,或者八次8位的乘法累加運算,有針對于應用的硬件邏輯、片上存儲器以及類似于C6000系列其它芯片的片上外圍設備。由于圖像領域絕大多數運算采用8位操作,因此C64x內核增強了對8位和16位操作的支持,增加了很多專用指令,如SUBABS4、BITC4、AVGx、MPYHL、DOTP2,這些專用指令使得運動補償運算速度平均提升7倍,而四種8位運算則使得每時鐘周期運動估計的8×8最小絕對差(MAD)的計算能力提高到7.6倍。7.5.2

DM642的結構特點及組成

DM642采用548腳BGA封裝,擁有可靈活操作的高速控制器和一些陣列處理器。它的計算能力為4800MIPS,內部工作時鐘600MHz(1.67ns),外部總線時鐘100MHz。DM642芯片的基本結構包括哈佛結構、流水線、專用的硬件乘法器、特殊的DSP指令、快速的指令周期。這些特點使得DM642芯片可以實現快速的DSP運算,并使大部分運算(例如乘法)能夠在一個指令周期內完成。

1.DM642的結構特點

1)哈佛結構

哈佛結構是不同于傳統馮·諾依曼(JohnVonNeumann)結構的并行體系結構,其主要特點是將程序和數據存儲在不同的存儲空間中,即程序存儲器和數據存儲器是兩個相互獨立的存儲器,每個存儲器獨立編址,獨立訪問。與兩個存儲器相對應的是系統中設置了程序總線和數據總線兩條總線,從而使數據的吞吐率提高了一倍。而馮·諾依曼結構則將指令、數據、地址存儲在同一存儲器中,統一編址,依靠指令計數器提供的地址來區(qū)分是指令、數據還是地址,取指令和取數據都訪問同一存儲器,數據吞吐率低。在哈佛結構中,由于程序和數據存儲器在兩個分開的空間中,因而取指和指令執(zhí)行能完全重疊運行。為了進一步提高運行速度和靈活性,DM642芯片在基本哈佛結構的基礎上又作了改進:一是允許數據存放在程序存儲器中,并被算術運算指令直接使用,增強了芯片的靈活性;二是指令存儲在高速緩沖器(Cache)中,當執(zhí)行此指令時,不需要再從存儲器中讀取指令,節(jié)約了一個指令周期的時間。

2)流水線

與哈佛結構相關,DM642芯片采用流水線以減少指令執(zhí)行時間,從而增強了處理器的處理能力。流水線深度為4級,即可以并行處理4條指令,每條指令處于流水線上的不同階段。

3)專用的硬件乘法器

DSP采用有限脈沖響應(FiniteImpulseResponse,FIR)數字濾波器來消除噪聲。FIR濾波器需要進行大量的乘法操作,對濾波器每個抽頭,必須做一次乘法和一次加法運算。一次乘法運算需要四條指令:

LT

;裝乘數到T寄存器

DMOV

;在存儲器中移動數據以實現時延

MPY

;相乘

APAC

;將乘法結果加到ACC中

因此,若采用256抽頭的FIR濾波器,這四條指令必須重復執(zhí)行256次,且256次乘法必須在一個抽樣間隔內完成。

在通用的微處理器中,乘法指令是由一系列加法來實現的,故需要多個指令周期來完成。DSP處理器為提高性能,均采用專用的硬件乘法器,乘法可在一個指令周期內完成。

4)特殊的DSP指令

為了進一步提高速度,DSP芯片采用特殊的指令。例如,采用DMOV指令完成數據移位功能,實現操作延時;采用LTD指令在一個指令周期內完成LT、DMOV和APAC三條指令,將FIR濾波器抽頭計算從4條指令降為2條指令;采用RPT和MACD指令進一步將每個抽頭的運算指令數從2條降為1條:

RPTK255;重復執(zhí)行下條指令256次

MACD;LT,DMOV,MPY及APAC

5)快速的指令周期

哈佛結構、流水線、專用的硬件乘法器、特殊的DSP指令再加上集成電路的優(yōu)化設計,可使DSP芯片的指令周期在200ns以下。DM642的指令周期已經降低至20ns以下,這對實時多媒體通信尤為重要。2.DM642的功能結構圖7－1

DM642功能結構框圖

1)C64xDSPCore(CPU內核)

C64x是C6000系列DSP的CPU內核。為了滿足視頻和圖像處理的需要,C64x采用VelociTI體系結構,并采用超長指令字(Very－Long－Instruction－Word,VLIW)結構,使得在一個指令周期能夠并行處理多條指令。

InstructionFetch為程序取指單元,InstructionDispatch為指令分配單元,InstructionDecode為指令譯碼單元,ControlRegister為控制寄存器,ControlLogic為控制邏輯單元,InterruptControl為中斷控制,AdvancedIn－CircuitEmulation為高級電路仿真單元,Test為測試單元。

DataPathA和DataPathB為兩個可進行數據處理的數據通路。每個通路有四個功能單元和一個由32個32位寄存器組成的寄存器組。功能單元執(zhí)行邏輯運算、移位、乘法、加法和數據尋址操作。除了取指令和存指令之外的所有其它指令均對寄存器產生影響。兩個數據尋址單元專門負責寄存器組與存儲器之間的數據傳遞。每個數據通路的4個功能單元有單一的數據總線連接到CPU另一側的寄存器上,以便兩側的寄存器組交換數據。每條32位指令占用一個功能單元。取指令、指令分配和指令譯碼單元每周期可以從程序存儲單元向功能單元傳遞8條32位指令,這些指令的執(zhí)行發(fā)生在兩個數據通路(A和B)中的每個單元內?？刂萍拇嫫鹘M控制著各種操作的操作方式。當從內部存儲器讀取一個256位長的取指包時,說明VLIW處理流程已經開始。并行執(zhí)行的指令(最多可達8條指令)連在一起形成一個執(zhí)行包。

2)DM642存儲器結構

在DSP上進行程序開發(fā)與在PC機上進行程序開發(fā)一個重要的區(qū)別是DSP上的存儲資源非常有限,合理安排程序空間和數據空間是程序能否高效運行的關鍵。DM642的存儲器分為片內存儲器和片外存儲器。

片內存儲器最主要的特點是使用兩級存儲結構:第一級為L1PCache(16KB)程序存儲器和L1DCache(16KB)數據存儲器;第二級為L2CacheMemory(256KB),由數據和程序共享。片內兩級存儲結構由EnhancedDMAController控制。只有片內存儲器是不能滿足程序開發(fā)需要的,例如,在DM642開發(fā)板上自帶有32MB的SDRAM,這32MB的外部存儲器是通過EMIFA與片內其它單元連接的。CPU必須通過EMIF訪問片外存儲器。擴展的直接存儲器訪問控制是DM642獨有的特征,與其它幾種C6000芯片相比,DM642中的EDMA控制器在結構上有很大的不同,它可以提供16個通道,通道優(yōu)先級可設置,可實現數據傳輸的鏈接。利用EDMA,可以實現片內存儲器L2、片外存儲器以及外部設備之間的數據轉移。

3)外圍接口

DM642包括以下外圍接口：

(1)三個可配置的視頻接口VP0、VP1和VP2,可以和視頻輸入、輸出或傳輸流輸入建立無縫連接;

(2)VCXO內插控制端口(VIC);

(3)10/100Mb/s以太網口(EMAC);

(4)數據管理輸入/輸出模塊(MDIO);

(5)多通道音頻串行端口(McASP)。

4)總線模塊

DM642采用I2C總線模塊(I2C0)，包括：多通道緩存串口(McBSP),三個32位通用定時器(Timer0、Timer1、Timer2),用戶可配置的16位或32位的主端口接口(HPI16/HPI32),66MHz32位的PCI接口(PCI－66),通用I/O端口(GP0)以及64位的外部存儲單元接口(EMIFA),支持與同步或異步存儲單元的連接。

5)Cache結構

在DM642中,CPU和一級程序高速緩存(L1PCache)及一級數據高速緩存(L1DCache)直連,兩塊Cache分別為16KB,工作在CPU全速訪問狀態(tài)。二級緩存有256KB。二級緩存的分段和大小分配有很多變化:一種配置是二級緩存全部用來作為外部內存的映射;其它的配置方式為既有直接映射又有4路集合相關映射的方式。被映射的內存被用作存儲流媒體數據或者中斷服務程序等。

6)增強DMA控制器(EDMA)

DM642的EMDA能提供超過2Gb/s的外部帶寬。EDMA支持64路獨立觸發(fā)的事件傳輸,總共有85個參數用來對“Linking”或“Chaining”功能進行配置?！癓inking”在一個事件被觸發(fā)時,允許一個序列進行傳輸?！癈haining”當一個通道的數據傳輸完畢時,觸發(fā)另一個通道的數據傳輸?！癓inking”和“Chaining”使得僅僅被CPU初始配置之后,DMA能夠連續(xù)自動運行。

7)DM642的視頻端口

視頻端口外設能夠運行在視頻捕獲、視頻顯示或者傳輸流接口(TSI)捕獲等方式下。它能提供以下功能。

(1)視頻捕獲模式:捕獲速率達80MHz,兩路YUV422格式的8/10位數字視頻輸入,一路YUV422格式的Y/C16/20位數字視頻輸入,能夠同時與兩路10位或一路20位原始視頻通過A/D轉換器直連。

(2)視頻顯示模式:顯示速率能達到110MHz;一路連續(xù)視頻輸出,數字視頻輸出為YUV422格式,8/10位精度;一路連續(xù)Y/C16/20位數字視頻輸出,YUV422格式。

(3)TSI捕獲模式:能以8位并行,速率接收數據最大達30Mb/s;將音頻、視頻、數據、程序流全部復合成一個傳輸流;支持同步檢測,數據捕獲在時鐘上升沿來臨時并行接收,并使用時間戳糾錯機制。

8)以太網接口

以太網口(EMAC)在DSP核及網絡之間提供高效的連接,10Mb/s或100Mb/s模式自適應,能工作在半雙工或全雙工模式下,具有硬件流控制及服務質量保證(QoS)支持。

9)多路音頻串口(McASP)

DM642為了支持多路音頻應用,對通用音頻串口進行了優(yōu)化。McASP使用IIS協議,也支持DIT協議。McASP包括發(fā)射與接收兩部分,它們可以使用不同的時鐘、不同的傳輸模式,工作完全獨立,發(fā)射和接收能夠工作在同步狀態(tài)。此外,McASP的管腳能被配置成通用I/O管腳。

McASP使用相當靈活,能夠和音頻模/數轉換、數/模轉換、編碼器、數字音頻接口接收器(DIR)等無縫直連。

10)擴展內存接口(EMIF)

DM642的EMIF和同步內存高速直連,最大總線速度為133MHz。EMIF有四個片使能控制,能夠支持64位、32位、16位、8位的外部器件。EMIF有三個內存控制器:SDRAM控制器支持16～256Mb的SDRAM器件;可編程同步控制器提供和各種同步存儲設備的直連;可編程異步控制器提供同異步存儲設備的直連。

11)主端口接口(HPI/PCI)

HPI能夠運行在32位或16位模式下。HPI能作為從端口,使得主設備通過它訪問DSP,通過HPI,主控制器能夠訪問DSP的整個內存空間。32位HPI可以與多種工業(yè)標準的主處理器或PCI橋芯片相連。32位的HPI被復合成PCI端口,總線頻率為66MHz。

12)通用I/O端口(GP0)

GP0提供通用I/O端口支持,當配置成輸出端口時,用戶能控制驅動狀態(tài)為輸出;當配置成輸入端口時,用戶能檢測到狀態(tài)為輸入。GP0總共有16個通用輸入輸出(GPIO)管腳,其中有一些被其它器件復用。此外,GPIO外設能夠在不同中斷/事件生成模式下產生CPU中斷及EDMA的事件。7.5.3

CCS軟件開發(fā)平臺

CCS(CodeComposerStudio)是TI公司推出的DSP軟件開發(fā)工具。圖7－2是CCS的開發(fā)環(huán)境。

CCS采用主機－目標機的開發(fā)方式。主機選用PC機或工作站,目標機為裝有目標DSP處理器的硬件系統或軟件模擬的目標處理器。圖7－2中Host為主機系統,Target為目標機系統,二者通過JTAG接口并采用RTDX技術連接。圖7－2

CCS開發(fā)環(huán)境在一個開放式的插件結構下,CCS內部集成了以下軟件工具:

(1)C6000代碼產生工具(包括C6000的C編譯器、匯編優(yōu)化器、匯編器和連接器);

(2)軟件模擬器(Simulator);

(3)實時基礎軟件DSP/BIOS;

(4)主機和目標機之間的實時數據交換技術軟件RTDX;

(5)實時分析和數據可視化軟件。

1.DSP/BIOS操作系統

DSP/BIOS可以看做是一個準實時操作系統(支持TIDSP的各種實時操作系統都是以DSP/BIOS為底層軟件的)。它為嵌入式應用提供基本的運行服務,如時鐘管理、硬件中斷控制、軟件中斷控制、主機通道管理、周期函數管理、存儲器段的管理、緩存區(qū)管理等,還能夠實時獲取目標機信息,并將這些信息傳給主機上的BIOScope工具,這樣就可以實現對應用程序的實時分析。

DSP/BIOS提供的運行服務包括基于優(yōu)先級的任務調度、中斷處理、I/O服務。在軟件開發(fā)階段,它們?yōu)閷崟r應用提供底層軟件,從而簡化實時應用的系統軟件設計