支持IPv6的多視點視頻點播系統(tǒng)

多視點視頻［1］（multi—viewvideo/3Dvideo）是視頻處理領(lǐng)域中一種全新的應(yīng)用，其通過在場景中放置多臺攝像機，記錄下多個視點視頻數(shù)據(jù)，提供給用戶以視點選擇與場景漫游的交互能力。多視點視頻所使用的多臺攝像機按照一定的規(guī)律組合放置。一般有平行、匯聚和發(fā)散三種基本方式，如圖1所示。多視點視頻的提出體現(xiàn)了下一代多媒體應(yīng)用的發(fā)展方向一一網(wǎng)絡(luò)化、交互性和真實感。在未來高速的網(wǎng)絡(luò)環(huán)境下，多視點視頻將在面向高寬帶與高密度存儲介質(zhì)的交互式多媒體應(yīng)用領(lǐng)域具有廣泛的應(yīng)用前景。

目前，國際標(biāo)準(zhǔn)化組織如MPEG已經(jīng)充分認識到多視點視頻這一新的數(shù)字媒體的重要性和應(yīng)用前景，正在著手制定這方面標(biāo)準(zhǔn)。2001年MPEG會議提出多視點視頻標(biāo)準(zhǔn)；2002年MPEG會議正式發(fā)出了3DAV的需求文檔；2005年MPEG會議形成了3DAV的技術(shù)征集文檔。國際上多視點視頻系統(tǒng)的相關(guān)工作尚處在初級階段。歐洲的ATTEST建立了向下2D兼容的3D視頻廣播系統(tǒng)，使用基本層（遵循標(biāo)準(zhǔn)的DVB編碼格式）+增強層（深度信息，采用MPEG—2/4/7編碼）的編碼方案［2］。Mitsubishi實現(xiàn)了一個全功能端到端的3D—TV系統(tǒng)，它采用具有可擴展性的多路視頻獨立編碼、傳輸?shù)姆桨?，在傳輸部分直接用高速局域網(wǎng)代替數(shù)字電視的信號調(diào)制、鏈路傳輸、接收解調(diào)等環(huán)節(jié)°ETRI開發(fā)了一系列3DTV直播設(shè)備并進行了一定范圍的試播。它采用的是將兩路視頻的視頻幀分別降低垂直分辨率拼成一個視頻幀后編碼、傳輸和解碼的視頻幀復(fù)用的系統(tǒng)方案［3］。這些已有的成型系統(tǒng)均存在對硬件要求過高、無法很好支持視點選擇和場景漫游等用戶的交互功能。

本文將支持IPv6的高帶寬網(wǎng)絡(luò)環(huán)境中構(gòu)建多視點視頻點播系統(tǒng)作為研究目標(biāo)，提出了面向較小規(guī)模的高質(zhì)量交互要求應(yīng)用。筆者建立了支持視點選擇和平滑視點切換等功能的多視點視頻點播系統(tǒng)，采用基于視點間預(yù)測的多視點分組編碼方案，提高了編碼效率，降低了網(wǎng)絡(luò)帶寬的需求。

1多視點視頻點播系統(tǒng)的結(jié)構(gòu)框架及關(guān)鍵技術(shù)

1結(jié)構(gòu)框架

多視點視頻點播系統(tǒng)結(jié)構(gòu)框架如圖2所示。

系統(tǒng)包括服務(wù)器和客戶端兩部分，它們之間通過高速網(wǎng)絡(luò)相連。客戶端的交互控制模塊和服務(wù)器端的交互響應(yīng)模塊分別與各自模塊相連，它們通過高速網(wǎng)絡(luò)鏈路進行通信。視頻數(shù)據(jù)處理包括采集、編碼、傳輸、解碼、合成［4］和顯示等。其中的數(shù)據(jù)采集、編碼與合成部分是在服務(wù)器端預(yù)先處理完成的，數(shù)據(jù)的傳輸、解碼和顯示功能是在線實時交互點播的。

1.2多視點編碼

高效的多視點視頻編/解碼是多視點點播系統(tǒng)研究的關(guān)鍵技術(shù)之一。在編碼端多路視點的數(shù)據(jù)必須利用多攝像機之間的空間冗余大幅度降低用于傳輸和存儲的碼流，與傳統(tǒng)視頻碼流相比，增加的三維數(shù)據(jù)應(yīng)不超過一定的上限，以增加新的應(yīng)用的可接受性；同時，編碼體系還要考慮解碼端基于視點的解碼需求，能夠在有限增加解碼系統(tǒng)復(fù)雜度的前提下支持用戶進行交互選擇視點和觀察方向。

由于多路視頻除了本身具有前后時間上的關(guān)聯(lián)外，在拍攝空間上還有相互的關(guān)聯(lián)，需要利用這些時空關(guān)聯(lián)信息以實現(xiàn)高效的多視點視頻的編碼［5］。

1.2.1視點組中關(guān)鍵幀的編碼

在一個視點編碼組內(nèi)，關(guān)鍵幀是包含信息量最大的視頻幀，同時同一視點軸上的關(guān)鍵幀采集于同一場景的同一時刻，采集的攝像機又是位置相鄰，所以它們之間包含了較大的空間冗余信息。于是筆者采用視點間預(yù)測的辦法來進行視點組中關(guān)鍵幀的編碼，以提高總的多視頻編碼效率。由于在視點軸上的視頻幀都是同步采集，不存在先后順序關(guān)系，而位于采集位置中央的視點顯然包含有與其他視點的差異最小、最適合作為其他視點的參考視點，于是選取位于視點組中間視點的關(guān)鍵幀采用幀內(nèi)編碼模式最先編碼，兩旁的視頻幀依次向中間參考直至中間視點［6］。其編碼預(yù)測結(jié)構(gòu)如圖3所示。

在一個視點組內(nèi)關(guān)鍵幀視點間的預(yù)測被限定在一定的范圍

內(nèi)，位于視點組中間的視點的關(guān)鍵幀采用幀內(nèi)編碼，其無須參考任何其他視點；解碼需要最多的其他視點參考幀的是視點組內(nèi)的

位于最兩邊的視點，不過其關(guān)鍵幀解碼也僅限于需要橫向參考該

視點組內(nèi)一半數(shù)目的視點。

采用這種關(guān)鍵幀預(yù)測結(jié)構(gòu)設(shè)計，可以基于視點分組策略，在單個視點組內(nèi)進一步地降低視點間關(guān)聯(lián)程度，降低單路視點視頻解碼代價以及視點切換延時。

2.2視點組中非關(guān)鍵幀的編碼

在一個視點編碼組內(nèi)，關(guān)鍵幀采用視點間同一時刻對應(yīng)視頻幀預(yù)測提高了整個視點組的編碼效率。在多視點視頻的視頻序列中，通常會出現(xiàn)平移或者旋轉(zhuǎn)的運動。圖4中的第二個視點的當(dāng)前時刻視頻幀無法在第一個視點當(dāng)前時刻對應(yīng)幀找到合適的參考。不過，它卻可以在第一視點已經(jīng)過去了的前面時刻視頻幀找到非常合適的參考。這樣，非同一時刻的視點間預(yù)測在這種情況下可以得到非常好的編碼效果。

基于這樣的考慮，在編碼方案設(shè)計中，視點編碼組內(nèi)的非關(guān)鍵幀編碼采用非同一時刻的視點間預(yù)測。非關(guān)鍵幀之間的視點間預(yù)測，在編碼方案中不再被使用。即各非關(guān)鍵幀編碼參考其視點GOP內(nèi)關(guān)鍵幀和時間順序前一幀，除此以外，各非關(guān)鍵幀編碼還可以參考其視點GOP內(nèi)關(guān)鍵幀所參考的其他視點關(guān)鍵幀。這樣做除了基于多視點視頻的視頻內(nèi)容特點考慮外，更重要的是為了降低單路視點視頻的提取代價。由于在時間軸上各個視頻幀相關(guān)性非常大，各非關(guān)鍵幀通過時間軸的預(yù)測已有很高的編碼效率。不采用非關(guān)鍵幀之間的視點間預(yù)測，可以很好地降低視點間相關(guān)性，使得單路視點視頻的提取代價大為降低，同時總的編碼效率也不會有明顯損失。

1.2.3視點組的編碼預(yù)測結(jié)構(gòu)

多視點視頻編碼方案是一種綜合考慮多視點視頻的壓縮效率、單路視點解碼代價、視點切換延時、并行處理等需求的完整的多視點視頻編碼方案。各個視點組均按照這樣的方案編碼，視點組之間編碼過程相互獨立。例如包含五個視點的視點組編碼預(yù)測結(jié)構(gòu)如圖5所示。

編碼方案中在關(guān)鍵幀上采用視點間預(yù)測編碼，其余幀和Simulcast同樣采用時間軸的預(yù)測編碼，所以編碼整個視頻流所能獲得的收益取決于關(guān)鍵幀的間隔，而多視點視頻的應(yīng)用通常要求較小的關(guān)鍵幀間隔以實現(xiàn)快速的視點切換，這樣編碼方案可以較明顯地提高整個視頻流的編碼效率，同時又支持低延時的隨機訪問。

1.3交互功能

支持視點選擇和平滑視點切換等交互功能也是多視點點播系統(tǒng)研究的關(guān)鍵技術(shù)。由于用戶能夠交互地選擇場景視點，即實際傳輸?shù)接脩艚K端的視頻流可以是多視點視頻碼流中的一路或多路，多視點視頻流化傳輸研究將集中在系統(tǒng)層的多路視頻流/解復(fù)用、交互控制通路、基于交互請求的多視點視頻轉(zhuǎn)碼，以及網(wǎng)絡(luò)自適應(yīng)碼流剪裁。

多視點視頻點播系統(tǒng)除了普通視頻點播功能之外，還需要提

供以下交互功能來支持多視點視頻應(yīng)用。

1.3.1視點的交互選擇

在線用戶從服務(wù)器磁盤存儲的多路視頻流中任意選擇一路進行播放。播放過程中可以在不同視頻流的同一時刻上進行切換，即從多路視頻流中任意選擇一路進行播放。

1.3.2時間暫停的視點切換

多攝像機連續(xù)切換。在用戶選擇的切換點，服務(wù)器將同一時刻的各路攝像機視頻幀按位置順序?qū)懭刖彺婧蟀l(fā)送給用戶，形成某一時刻的場景全景，如圖6所示。用戶利用收到的各路攝像機在該時刻的視頻幀進行本地的視頻合成，形成連續(xù)平滑的切換過程，作為比賽中的精彩全景畫面進行回放。用戶可以在觀看回放過程中選擇最佳的視點繼續(xù)播放。

3.3時間連續(xù)的視點切換

連續(xù)視點切換過程按照攝像機位置順序和時間順序，服務(wù)器一次選取各路視頻流中對應(yīng)時刻的視頻幀寫入緩存后發(fā)送給用戶，相當(dāng)于體育比賽中的回放，如圖7所示。交互機制與時間暫停的后臺合成視點切換相同。合成過程需要解碼起始視點到中止視點中間各路視頻合成時間段內(nèi)的碼流，進行每一時刻兩幀圖像間的插值合成。

2多視點視頻點播系統(tǒng)的實現(xiàn)

1播放器功能界面

本文實現(xiàn)的多視點視頻點播系統(tǒng)如圖8所示。用戶指定服務(wù)器地址和服務(wù)目錄信息來連接到視頻服務(wù)器；服務(wù)器響應(yīng)客戶可用的視點數(shù)和相關(guān)配置信息；用戶在選擇相應(yīng)播放模式后可以同時播放四路視點視頻，播放的同時也可以進行視頻切換和播放暫停、停止等功能控制。

當(dāng)用戶選擇平滑切換時，客戶端進行切換視頻的合成，用戶可以對合成好的視頻進行播放、反向播放以及拖動進度條等操作來選擇最佳視點繼續(xù)觀看視頻。其中最右下角視頻框為平滑選擇切換窗口。

2.2多路播放功能的實現(xiàn)

利用DirectShow提供的一系列標(biāo)準(zhǔn)模塊來進一步實現(xiàn)多視點點播功能。傳統(tǒng)的DirectShow軟件FilterGraph結(jié)構(gòu)在程序初始化時就已經(jīng)確定，標(biāo)準(zhǔn)的DirectShowFilterGraph鏈路只支持一個媒體對象的播放控制，如圖9所示。其中主要包括三個部分：sourcerilter負責(zé)讀取文件，提供視頻源；decoderfilter負責(zé)視頻解碼和視頻處理；renderfilter負責(zé)顯示，但是它無法在程序運行的過程中動態(tài)地創(chuàng)建或者刪除視頻流，只能銷毀已有的FilterGraph結(jié)構(gòu)，再重新創(chuàng)建。當(dāng)前視頻流的播放必須被中止，這樣將花費大量的系統(tǒng)開銷。這在多視點視頻系統(tǒng)中是無法接受的。顯然，如何設(shè)計軟件的FilterGraph結(jié)構(gòu)是在多視點視頻點播系統(tǒng)實現(xiàn)中所面臨的重大挑戰(zhàn)。

為了支持多路視頻同時播放，筆者構(gòu)建了如圖10所示的

FilterGraph鏈路。使用一個videomixingrenderer的filter可以接收多路解碼后的視頻流輸入在屏幕上顯示。但這種

FilterGraph鏈路仍然無法獨立分別控制多路視頻的播放，既不能在一路播放的過程中對另一路視頻進行暫停、停止、搜索等操作，也無法在一路視頻的播放過程中不受影響地打開新的視頻播放或進行其他處理。

在實現(xiàn)多路視頻能夠同時播放后，為了實現(xiàn)相互獨立的播放控制以及對其中一路視頻進行倒播或?qū)Χ嗦芬曨l進行平滑切換等功能，筆者采用了一種特殊的FilterGraph結(jié)構(gòu)設(shè)計共享Allocator-presenter的FilterGraph結(jié)構(gòu)，如圖11所示。

這種結(jié)構(gòu)能夠很好地解決多視點視頻系統(tǒng)實現(xiàn)中多路視頻流獨立處理的特殊需求問題。它具有如下特點：

a） 每一個視頻流都創(chuàng)建一條獨立的FilterGraph鏈路和一個VMR（videomixingrenderer）實例，并由其獨立的FilterGraphmanager來管理。

b） 所有VMR不使用默認的Allocator-presenter，而是共享一個由應(yīng)用程序提供的Allocator-presentero

c） 由共享的Allocator-presenter來控制最終顯示視頻的大小、位置以及其他效果。

4）每條視頻流的FilterGraph鏈路完全獨立控制，甚至可以動態(tài)添加和刪除。

3支持IPv6的網(wǎng)絡(luò)傳輸和控制功能的實現(xiàn)

點播系統(tǒng)的網(wǎng)絡(luò)傳輸控制協(xié)議如圖12所示。其中采用RTSP協(xié)議來進行交互控制，包括建立連接、初始化視點以及用戶交互命令的發(fā)送等°RTSP的消息內(nèi)容是由消息類型、視點號兩部分組成。采用RTP協(xié)議進行視頻數(shù)據(jù)傳輸，使用RTCP協(xié)議監(jiān)督和控制RTP協(xié)議對視頻數(shù)據(jù)的傳輸［7,8］。

在傳輸視頻幀前，需要封裝相關(guān)視點和交互信息以支持多視點視頻點播系統(tǒng)的應(yīng)用。視頻幀封裝頭長度設(shè)定為16bit，如圖13所示。前2bit用來定義幀類型：bit0=0，正常播放時I或P幀；bit0=1，表示視頻切換；bit0~1=10，用于視點切換的I幀；bit0~1=11，用于視點平滑切換的I幀°bit2~6用于未來功能擴展保留的4bitobit6~15是用來標(biāo)志該幀所在的視點IDo

由于DirectShow提供的sourcefilter沒有提供支持IPv6的功能，為了使多視點視頻點播系統(tǒng)能在IPv6網(wǎng)絡(luò)環(huán)境下實現(xiàn)，本文采用微軟提供的WMASFReader作為播放系統(tǒng)的sourcefilter。微軟提供的WMASFReader為視頻流在IPv6環(huán)境下的應(yīng)用提供了很好的支持，這樣在DirectShow環(huán)境下實現(xiàn)了支持IPv6的視頻點播功能。使用的WMASFReader的FilterGraph參考圖如圖14所示。

3系統(tǒng)性能指標(biāo)

在MPEG3DAV小組提供的標(biāo)準(zhǔn)多視點視頻測試數(shù)據(jù)EE2進行