IPTV架構下VR業(yè)務關鍵技術與解決方案李峰;楊琛;李興達【摘要】虛擬現(xiàn)實技術作為一種全新的技術,在視頻方面的革新帶給用戶全新的交互體驗?介紹了國內外VR/AR產業(yè)的發(fā)展情況,分析了IPTV架構下VR業(yè)務的需求;對編解碼、投影、業(yè)務平臺、機頂盒和網絡傳輸?shù)汝P鍵技術進行了研究解析;然后從VR的兩種不同使用場景出發(fā),提出了IPTV架構下VR業(yè)務的解決方案及業(yè)務流程，為IPTVVR的發(fā)展提供了一種可供參考的解決方案.期刊名稱】《電信科學》年(卷),期】2018(034)011【總頁數(shù)】7頁（P119-125）【關鍵詞】IPTV;VR；解決方案【作者】李峰;楊琛;李興達【作者單位】中國電信股份有限公司上海研究院,上海200122;中國電信股份有限公司上海研究院,上海200122;中國電信股份有限公司上海研究院,上海200122【正文語種】中文【中圖分類】TN919.8當前VR/AR（虛擬現(xiàn)實/增強現(xiàn)實）產業(yè)的發(fā)展已進入高速增長期，業(yè)內普遍認為VR將是個萬億級市場。據(jù)預測，到2025年全球VR市場的年營收規(guī)模將達到1100億美元（約7100億元），相關的軟件銷售額達720億美元，這意味著屆時VR領域總的市場規(guī)模將達到1820億美元（約12000億元），成長為一個萬億級別的新市場。在我國，VR技術已經列入《“十三五”國家科技創(chuàng)新規(guī)劃》十大新一代信息技術，VR產業(yè)覆蓋技術領域廣泛、業(yè)務形態(tài)豐富、產業(yè)發(fā)展?jié)摿Υ蟆⑸鐣б鎻?，是新—代信息通信技術（ICT）發(fā)展的新動能之一。雖然目前VR技術與應用的發(fā)展還處于爆發(fā)式增長的前夜，但是作為一個具有較長發(fā)展歷史、經歷完整Gartner技術成熟度曲線的產業(yè)，隨著真實應用需求的增加，可以相信這是一個新起點。普遍認為，VR技術將成為“下一代互聯(lián)網”和“下一代計算平臺”，并給人們的生產和生活方式帶來革命性的變化。與此同時，IPTV（交互式網絡電視）經過十多年的持續(xù)創(chuàng)新發(fā)展，已成為融合傳統(tǒng)媒體和新興媒體通過數(shù)據(jù)網絡傳播視頻內容的主導渠道，成為提高信息消費供給水平、豐富數(shù)字創(chuàng)意內容和服務的重要方式，目前已經積累了上億用戶群。依托IPTV業(yè)務、網絡和終端在智慧家庭側的規(guī)?；采w能力以及IPTV領域的技術創(chuàng)新活力，結合VR近眼顯示、渲染處理、網絡傳輸和內容制作技術的最新成果，在應用中改進VR沉浸體驗、提高VR虛實交互，將會是IPTV和VR未來發(fā)展的重要方向之一，也是VR快速落地的重要路徑之一［1-2］。IPTV業(yè)務一直以來引領、推動著運營商網絡帶寬和視頻業(yè)務的發(fā)展。從2005年開始，一步步推動視頻成為運營商第四個億級用戶規(guī)模的基礎業(yè)務，成為媒體網絡傳播的重要渠道。近幾年，IPTV以4K技術為引領，成為創(chuàng)新型的基礎業(yè)務，有效地推動百兆寬帶成為剛需。但是，居安思危，IPTV未來向何處去已經成為擺在業(yè)務運營方案頭的重要課題。同時由于家庭觀看視頻環(huán)境的限制，據(jù)家庭電視觀看距離與屏幕大小、分辨率關聯(lián)度數(shù)據(jù)分析，在一般家庭2~4m的觀看環(huán)境下，80~100英寸屏幕下4K視頻與8K視頻肉眼見看差異不明顯，超過2m距離看100英寸電視，4K就已經超過人眼分辨力。因此，對于家庭電視體驗來說，分辨率4K已經到了極致。但隨著技術的發(fā)展，數(shù)字視頻內容的解析度越來越高，正在從4K向8K甚至更高分辨率的方向發(fā)展，用戶仍然會追求極致影音體驗。在這樣一對技術與需求的推動下，超大型場景、高分辨率的VR視頻（比如大型演唱會、大型體育賽事的現(xiàn)場直播等）將是VR業(yè)務的一個重要市場切入點［3］。VR內容對GPU芯片性能、數(shù)據(jù)存儲、傳輸碼率、數(shù)據(jù)傳輸時延等各個方面的要求都遠超過現(xiàn)有視頻內容的技術標準，因此VR視頻的在線傳輸需要一個高帶寬、低時延的寬帶網絡支持。從目前寬帶網絡的發(fā)展看，隨著用戶側的帶寬資源正在從兆級向百兆、吉比特級發(fā)展，原來限制高帶寬業(yè)務發(fā)展的瓶頸正在消失，而沒有業(yè)務填充的帶寬冗余是一種浪費，VR作為一種提高帶寬利用率，推動流量的精細化經營的應用正可以成為業(yè)務與技術研究的新方向。目前市場上存在的VR使用形態(tài)中：PC+HMD（頭戴式顯示設備，簡稱“頭顯”）的模式對主機成本和硬件門檻要求高，用戶群體難以大規(guī)模普及；手機+HMD模式VR主機處理能力有限。在這種情況下，隨著IPTV機頂盒能力的提升，IPTVVR的機頂盒+HMD的業(yè)務場景清晰，成本相對較低，可以搶占HMD的主機地位。結合HMD設備功能和體驗的提升，尤其是分辨率和視場角的提升；對終端接口和協(xié)議標準化推廣，可以大幅提升用戶在家庭中使用VR的用戶體驗，推動VR在家庭的普及應用，廣泛激活用戶的體驗興致。同時，依托IPTV業(yè)務、網絡和終端在智慧城市家庭的規(guī)?；采w能力以及IPTV領域的技術創(chuàng)新活力，依托IPTV擁有的專網專用、海量視頻資源的先發(fā)優(yōu)勢，同時利用IPTV機頂盒作為家庭的規(guī)?；曨l娛樂中心的地位、由家庭固網帶寬支持、相對固定的使用場景，同時依托搭載的高性能芯片解碼高質量的視頻內容，在這樣的條件下，對視頻質量要求高的VR與IPTV結合，加上多樣化的VRHMD設備，既賦予了IPTV業(yè)務發(fā)展的新領域和新能量，又為VR業(yè)務的發(fā)展與起飛提供了堅實的用戶基石與內容平臺［4-5］?！銇碚f，目前的VR內容的應用場景可以分為弱交互和強交互兩類，所謂弱交互類應用場景是指對適時渲染要求比較低，終端和服務器端在內容播放過程中交互信令較少，典型應用如VR視頻播放等；而強交互類則是在內容播放過程中交互信令頻繁的應用，如大型交互式在線游戲等。針對這兩類應用場景的特點，根據(jù)對網絡條件、渲染方式、MTP(motiontophoton)時延等的要求，完全利用現(xiàn)有IPTV架構采用“云+機頂盒+頭顯”模式實現(xiàn)兩類場景的播控存在一定技術難度，因為強交互類使用場景對MTP、渲染實現(xiàn)方式的技術指標更加嚴格，所以在設計IPTVVR技術架構時考慮采用“利舊+新增”的方案：弱交互類場景利用IPTV現(xiàn)有架構走視頻流，強交互類場景新增云渲染系統(tǒng)實現(xiàn)低MTP時延、適時渲染的技術要求。具體的技術解決方案軟件邏輯架構如圖1所示。方案中充分利用了現(xiàn)有IPTV架構下的設備與架構，對于弱交互類業(yè)務利用現(xiàn)有IPTV直播與點播模塊與功能進行內容的播放與控制。新增的云渲染系統(tǒng)用于強交互類業(yè)務的播放與控制，通過云渲染系統(tǒng)實現(xiàn)實時建模、渲染、編解碼及控制流交互功能。機頂盒(STB)支持VR視頻流的本地解碼、渲染、VR視頻播放器等功能，同時根據(jù)VRHMD接入方式的不同，機頂盒支持有線和無線兩種連接接口，支持的接口類型包括：USB/HDMI/Wi-Fi/5G等；根據(jù)接入HMD具備的功能不同，機頂盒支持本地解碼/渲染功能和透傳功能。HMD作為用戶端設備，支持設備鑒權與VR視頻流播放功能。在IPTVVR系統(tǒng)組網方案設計時，考慮到VR流對MTP時延指標普遍要＜20ms,以及現(xiàn)有寬帶網絡部署架構和技術指標在內容服務器與云渲染平臺的部署上強調靠近用戶端部署，因此服務于VR的CDN和云渲染平臺選擇部署于邊緣節(jié)點而不是中心節(jié)點。具體的組網架構方案如圖2所示。在弱交互類使用場景下，如圖3所示，用戶在點擊VR視頻播放后，STB處理用戶向CDN發(fā)起HTTP/RTSP請求，CDN將通過調度策略管理機制，根據(jù)網絡鏈路質量，將用戶調度至網絡質量最優(yōu)、訪問速度最快的服務節(jié)點。該節(jié)點作為CDN系統(tǒng)的VR內容注入口，負責存儲CDN系統(tǒng)中的所有內容，同時還為業(yè)務提供所承載VR內容的管理、處理、分發(fā)等功能。在服務節(jié)點未命中的場景下，內容中心作為內容源為服務節(jié)點提供內容服務。CDN向STB提供高質量的VR視頻服務，基于HLS視頻的點播功能，通過與用戶HMD配合，支持實現(xiàn)碼率自適應。根據(jù)內容管理平臺查詢到邊緣節(jié)點，通過邊緣節(jié)點CDN下發(fā)視屏流，STB接收并緩存在本地，STB的硬件解碼器基于H.265對視頻流解碼，解碼后的數(shù)據(jù)發(fā)送給GPU做相應的VR處理，最終顯示呈現(xiàn)給用戶HMD。在強交互類使用場景下，與STB本地進行解碼、渲染等處理不同，這些處理流程都在云渲染平臺進行，最終將處理好后的視頻流下發(fā)用戶側HMD，為保證MTP時延，云平臺對視頻流的處理需要運用按需傳輸?shù)仁侄芜M行特殊處理。IPTVVR解決方案所涉及關鍵技術除了目前VR技術研究的熱點：編解碼技術、投影技術、傳感器技術等領域外，還具有其自身特定的關鍵技術領域，如機頂盒技術內容分發(fā)與播控技術、網絡傳輸技術等方面。編解碼技術VR視頻目前應用最多的視頻編碼技術是H.264，業(yè)界公認的下一代編碼技術是HEVC和VP9。根據(jù)業(yè)界的測試結論，在保證同等畫質的前提下，HEVC和VP9的壓縮效率大約比H.264的最新版本提升30%左右。近期，F(xiàn)acebook研發(fā)的棱錐結構編碼技術成為業(yè)界研究的重點，結合按需傳輸方法，可以將VR視頻大小減少80%。投影技術目前VR視頻投影技術主要有等角投影(equirectangularprojection，ERP)和多面體投影(platonicsolidprojection，PSP)兩大類。□?ERPERP是當前全景視頻主流格式，但畫質存在失真，壓縮效率存在瓶頸。這種投影方式使用了一種經典地圖經緯線投影的思想，將球面展開為平面矩形。由于球面兩極區(qū)域展開后，靠增大面積保持角度不變，引入了更多的無效冗余像素，導致視頻文件編碼壓縮效率不佳。該投影方式通過VRHMD和應用軟件將這些明顯變形的畫面還原為全視角的內容，讓使用者有一種身臨其境的包圍感。目前Oculus、SamsungGear、優(yōu)酷、愛奇藝均采用此種投影格式生產VR360度媒體文件?！?PSP目前，PSP是業(yè)界關注的新方向，具有失真小、壓縮效率高的特點。按相等經差與緯差的經緯線將球面劃分為許多球面梯形，投影到某種多面體上，此處的多面體可以為四面體、立方體、金字塔、12面體等。由于每個梯形單獨投影，因此失真極其微小。（3） VR業(yè)務平臺技術高分辨率VR視頻內容的分發(fā)對現(xiàn)有IPTV架構下的內容分發(fā)提出了新要求。VR超高分辨率視頻比普通平面視頻的碼率高出十倍以上，即使采用基于分片編碼與按需傳輸?shù)募夹g方案也對采用傳統(tǒng)的將尋址文件全部傳輸?shù)姆职l(fā)方式提出挑戰(zhàn)，對CDN的處理形成很大的壓力；另外基于云渲染的內容處理也對CDN提出了很高的技術要求。因此當前對業(yè)務平臺方面的研究關注點在于：基于IPTV架構下的CDN并行流化處理技術研究，高效存儲、網絡均衡、智能調度和流媒體能力優(yōu)化的CDN平臺技術研究，針對VR的QoS保障技術研究等［6］。（4） 機頂盒技術當前推廣的機頂盒在芯片、內存、Flash方面都以全4K能力為基礎設計，要支持VR的關鍵是能支持HMD設備，尤其是滿足高清全景視頻（單眼分辨率＞4K）的解碼能力，現(xiàn)有的硬件和軟件能力明顯不足。因此對于需要本地渲染能力的機頂盒硬件研究的關鍵點在于GPU性能、VR視頻處理專用硬件、內存容量速率規(guī)格的提升。同時，在硬件接口上，VR機頂盒要具備連接大屏電視和HMD的能力，且HMD和VR外設所用到的陀螺儀、手柄等傳感器信息也需要通過相應接口傳給機頂盒進行對應處理，因此機頂盒的多接口支持也是技術研究的關鍵點。VR機頂盒和HMD之間采用HDMI/USB線連接完成視頻傳輸、傳感信息回傳和供電，這造成使用者移動不便，對用戶體驗影響嚴重，因此，無線傳輸方式成為目前研究的重要方向。目前廣泛應用的Wi-Fi協(xié)議并不能滿足VR高分辨率視頻傳輸和MTP20ms的剛性要求，因此對WiGig(IEEE802.11ad)、WirelessHD、Li-Fi等可見光通信技術的研究與應用也是一個熱點領域。網絡傳輸技術目前VR視頻內容的在線傳輸方案有兩種主要的技術路線：全視角網絡傳輸和FOV網絡傳輸。?全視角網絡傳輸全視角網絡傳輸方式將360°環(huán)繞的畫面全部傳輸給終端，畫面切換等處理均在本地完成，即終端接收到的一幀數(shù)據(jù)中包含了用戶可看到的空間球對應的全部視角信息。用戶改變視角的交互信號在本地終端完成處理，終端根據(jù)視角信息從已緩存到本地的幀中解出對應的FOV信息，在播放器中進行矯正還原，使用戶看到正常視角的視覺信息。因此，在交互過程中涉及的時延等問題，均由終端性能來決定。這種方案對帶寬的要求高，對時延的要求低。?FOV網絡傳輸FOV(fieldofview)傳輸方案主要傳輸當前視角中的可見畫面。通常情況下，將360度全景視野劃分為若干個視角，每個視角生成一個視頻文件，只包含視角內高分辨率和周圍部分低分辨率視覺信息，終端根據(jù)用戶當前視角姿態(tài)位置，向服務器請求對應的視角文件。當頭部轉動視角發(fā)生變化時，終端向服務器請求新視角對應的視角文件。分視角傳輸示意圖如圖4所示。VR業(yè)務的在線傳輸還對寬帶網絡提出了更高的技術要求。VR業(yè)務改變了人機交互的方式，既包含傳統(tǒng)的人機交互行為，又有VR特有的虛擬交互行為。不同的交互形式和預期帶來了對網絡傳輸?shù)牟煌枨螅鶕?jù)不同的業(yè)務需求對帶寬及MTP時延的要求見表1VR業(yè)務所需要的網絡，關鍵在于提供穩(wěn)定的高帶寬和低時延，以保障VR業(yè)務的每一次交互行為體驗[7-8]。隨著超高清視頻技術的發(fā)展，一般家庭環(huán)境下的4K分辨率已經到了極致。在數(shù)字視頻解析度越來越高的大趨勢下，VR的出現(xiàn)正好給家庭視頻觀看方式的發(fā)展提供了新的方向。目前，IPTV架構下開展VR業(yè)務尚處在探索階段，需要內容制作、CDN分發(fā)、帶寬升級乃至整個視頻產業(yè)鏈來共同推動其發(fā)展和完善，加快IPTVVR的商業(yè)化進程。李峰（1971-），男，中國電信股份有限公司上海研究院高級工程師，主要研究方向為視頻技術與應用、交互式網絡電視、虛擬現(xiàn)實等。楊?。?981-），女，中國電信股份有限公司上海研究院研發(fā)工程師，主要研究方向為超高清視頻技術家庭應用、虛擬現(xiàn)實等。李興達（1987-），男，中國電信股份有限公司上海研究院研發(fā)工程師，主要研究方向為超高清視頻技術家庭應用、DRM等?！鞠嚓P文獻】中國智慧家庭產業(yè)聯(lián)盟?IPTVVR技術產業(yè)白皮書[R].2017.ChinaIntelligentFamilyIndustryAlliance.IPTVVRtechnologyindustrywhitepaper[R].2017.華為iLab.面向CloudVR的承載網絡白皮書[R].2017.HuaweiiLab.CarriernetworkswhitepaperforcloudVR[R].2017.徐火順，葉劍章,尹海生.大視頻VR直播業(yè)務及其技術[J].中興通訊技術,2017（6）:24-27.XUHS,YEJZ,YINHS.ServiceandtechnologyofVRliveonbigvideosystem[J].ZTETechnologyJournal,2017（6）:24-27.[4]金偉.IPTV機頂盒現(xiàn)狀與趨勢的研究[J].電信科學,2006,22(3):28~31.JINW.StudyonIPTVSTB:statusandtrends[J].TelecommunicationsScience,2006,22(3):28-31.⑸羅傳飛，孔德輝，劉翔凱,等.智慧家庭的VR全景視頻業(yè)務實現(xiàn)[R].電信科學,2017,33(10):185-193.LUOCF,KONGDH,LIUXK,etal.AbusinessrealizationofVRpanoramicvideoin