版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
中興通訊5G云XR應(yīng)用白皮書?2019ZTECorporation.All中興通訊5G云XR應(yīng)用白皮書及其他信息。知此類信息的更新。本文檔信息僅供參考,不構(gòu)成任何要約或承諾。引言XR是指通過計算機(jī)技術(shù)和可穿戴設(shè)備產(chǎn)生的一個真實與虛擬組合的、可人機(jī)交互的環(huán)境,包括VR、AR、MR、HR等多種形式。從上個世紀(jì)八十年代起,平均每十年一個周期,IT和CT技術(shù)都會有一輪技術(shù)的變革浪潮,每一輪的科學(xué)技術(shù)變革浪潮都帶動了XR技術(shù)的同步發(fā)展。首先是上個世紀(jì)八十年代末,美國VPL公司創(chuàng)始人JaronLanier第一次提出VR概念,SEGA、任天堂和SONY等公司隨后在VR游戲領(lǐng)域進(jìn)行了積極的應(yīng)用。進(jìn)入九十年代,美國波音公司研究員TomCaudell和同事開發(fā)了AR頭戴式顯示系統(tǒng),工程師可以使用AR技術(shù)進(jìn)行圖解組裝電路板上的復(fù)雜電路束,此后AR技術(shù)不斷地被應(yīng)用于賽事直播、教育、工業(yè)生產(chǎn)等諸多領(lǐng)域,到2012年谷歌公司更是推出了谷歌眼鏡這一具有里程碑性質(zhì)的AR產(chǎn)品。進(jìn)入新世紀(jì)后,全息HR技術(shù)開始被廣泛地應(yīng)用于防偽印刷、舞臺演出等日常生活領(lǐng)域并取得了極好的應(yīng)用效果和社會效益。與此同時,VR、AR及MR等技術(shù)在支持應(yīng)用和企業(yè)數(shù)量上也迎來了新一輪的高峰。隨著移動技術(shù)和顯示技術(shù)的快速發(fā)展,對傳統(tǒng)XR的使用方式和使用效果帶來了革命性的改進(jìn),比如,對移動性的要求和普及,使得XR云端應(yīng)用成為了可能和必然。毫無疑問,5G技術(shù)將是本世紀(jì)二十年代最具革命性的技術(shù),隨著5G第一階段標(biāo)準(zhǔn)的凍結(jié)及規(guī)范發(fā)布,我們已經(jīng)站在了5G商用的前夜。相對于4G網(wǎng)絡(luò),5G采用更寬的無線頻譜、大規(guī)模天線陣列、超密集組網(wǎng)、新型多址、SDN/NFV、邊緣計算、網(wǎng)絡(luò)切片等新全新技術(shù),將為我們呈現(xiàn)出令人振奮的數(shù)據(jù):1Gbps的平均體驗速率、10Gbps的峰值速率、每平方公里超過100萬的連接數(shù)、1ms的超低空口時延等等。5G技術(shù)使得XR應(yīng)用不再局限于本地內(nèi)容和傳輸限制,結(jié)合5G技術(shù)的云XR將會極大地改變我們未來娛樂、學(xué)習(xí)、工作、生活的方式,它將波及諸多不同的細(xì)分領(lǐng)域?;趯R應(yīng)用面臨的挑戰(zhàn)及其發(fā)展趨勢的分析,本白皮書重點闡述了5G時代下云XR典型應(yīng)用場景的業(yè)務(wù)需求和解決方案,并就云XR尚存的挑戰(zhàn)給出了技術(shù)解決途徑和用戶體驗評估指標(biāo)體系。21215G云XR應(yīng)用白皮書
目錄 1.1什么是XR
XR及其應(yīng)用發(fā)展趨勢111XR及其應(yīng)用發(fā)展趨勢 21什么是XR?XR應(yīng)用場景和業(yè)務(wù)價值XR應(yīng)用市場發(fā)展趨勢25G賦能云XR應(yīng)用規(guī)模發(fā)展 92什么是5G?云XR是XR規(guī)模發(fā)展的最佳形式5G給云XR應(yīng)用規(guī)模發(fā)展提供了機(jī)遇5G云XR應(yīng)用業(yè)務(wù)需求和解決方案35G云XR未來的挑戰(zhàn) 2635G云XR尚存的技術(shù)挑戰(zhàn)和解決途徑分析5G云XR應(yīng)用用戶體驗的挑戰(zhàn)和評估指標(biāo)體系4結(jié)束語 324縮略語 33
XR即擴(kuò)展現(xiàn)實,全稱為ExtendedReality,是指包含了VR(虛擬現(xiàn)實)、AR(增強現(xiàn)實)、MR(混合現(xiàn)實)、HR(全息現(xiàn)實)等多種視頻呈現(xiàn)和交互方式的總稱。擴(kuò)展現(xiàn)實分為多個層次,可以從通過有限傳感器輸入的虛擬世界到完全沉浸式的虛擬世界,也可以從通過輔助設(shè)備疊加得到的混合世界到可以完全裸眼感知的混合世界,擴(kuò)展現(xiàn)實技術(shù)使真實世界的物理對象和虛擬世界的數(shù)字對象得以共存并相互作用,最終實現(xiàn)完美的融合效果。VR(虛擬現(xiàn)實:VirtualReality):VR是仿真技術(shù)的一個重要方向,是仿真技術(shù)與計算機(jī)圖形學(xué)人機(jī)接口技術(shù)、多媒體技術(shù)、傳感技術(shù)、網(wǎng)絡(luò)技術(shù)等多種技術(shù)的集合,是一門富有挑戰(zhàn)性的交叉技術(shù)前沿學(xué)科和研究領(lǐng)域。VR主要包括模擬環(huán)境、感知、自然技能和傳感設(shè)備等方向。VR技術(shù)具有三大特征,分別是:沉浸感(Immersion)、交互性(Interaction)和構(gòu)想性(Imagination)。AR(增強現(xiàn)實:AugmentedReality):AR是一種能將真實世界信息和虛擬世界信息“無縫”融合的新技術(shù),是把原本在現(xiàn)實世界的一定時間空間范圍內(nèi)很難體驗到的實體信息(視覺、聽覺、味覺、觸覺等),通過電腦等科學(xué)技術(shù),模擬仿真后疊加應(yīng)用到真實世界,被人類感官所感知,從而達(dá)到超越現(xiàn)實的感官體驗。AR主要包含多媒體、三維建模、實時視頻顯示及控制、多傳感器融合、實時跟蹤及注冊、場景融合等技術(shù)與手段。AR技術(shù)具有三大特征,分別是:真實世界和虛擬世界的信息集成、具有實時交互性、是在三維尺度空間中增添定位虛擬物體。MR(混合現(xiàn)實:MixedReality):MR是虛擬現(xiàn)實技術(shù)的進(jìn)一步發(fā)展,該技術(shù)通過在現(xiàn)實場景呈現(xiàn)虛擬場景信息,在現(xiàn)實世界、虛擬世界和用戶之間搭起一個交互反饋的信息回路,以增強用戶體驗的真實感。MR包括增強現(xiàn)實和虛擬現(xiàn)實,指的是合并現(xiàn)實和虛擬世界而產(chǎn)生的新的可視化環(huán)境。MR可以將虛擬物體置于真實世界中,用戶可以看到真實世界,也會5GXR應(yīng)用白皮書5GXR應(yīng)用白皮書4343看到虛擬物體,并讓用戶可以與這些虛擬物體進(jìn)行互動。HR(全息現(xiàn)實:HolographicReality):HR也稱虛擬成像技術(shù),是利用光的干涉和衍射原理記錄并再現(xiàn)物體真實的三維圖像的技術(shù)。HR包括拍攝過程和成像過程,拍攝過程利用干涉原理記錄物體光波信息,成像過程利用衍射原理再現(xiàn)物體光波信息。全息圖像再現(xiàn)的圖像立體感強,具有真實的視覺效應(yīng)。HR技術(shù)最主要的技術(shù)特點是用戶無需任何穿戴設(shè)備,利用裸眼即可直接看到360度全方位的3D影像。其中,HR技術(shù)比較新穎,也代表了顯示技術(shù)驅(qū)動下的信息通訊系統(tǒng)的發(fā)展趨勢,為擺脫頭盔或手機(jī)并徹底回歸自然的觀察方式提供了可能,也為云技術(shù)/光場技術(shù)等下一代數(shù)字視頻編碼技術(shù)的普及奠定了基礎(chǔ)。XR應(yīng)用場景和業(yè)務(wù)價值
成為歷史,取而代之的是能夠調(diào)動五感的全方位游戲體驗,XR游戲也將成為主流,為玩家?guī)矸路鹬蒙懋惔卧臻g的真實體驗。工業(yè)制造和智能電網(wǎng)在工廠的環(huán)境中,工人可以借助XR能力在需要組裝的零件上看到標(biāo)識,或者可以直接看到機(jī)器的內(nèi)部來確定潛在的需要替換的零件。在智能電網(wǎng)巡檢中,工人利用XR技術(shù)與遠(yuǎn)程專家進(jìn)行溝通,利用專家的標(biāo)注信息來指導(dǎo)現(xiàn)場工人的操作。電影和電視VR影院允許用戶在虛擬的影院中任意選擇座位。VR提供了將原先屏幕上觀看的內(nèi)容轉(zhuǎn)變?yōu)槌两絍R體驗的渠道,甚至許多簡單的擴(kuò)展可以在不修改影片內(nèi)容的前提下實現(xiàn)。比如在一部關(guān)于僵尸的電影中,一些虛擬的僵尸能進(jìn)入到劇場并開始追逐觀眾。觀眾也可以通過電影體驗社交,想象跟來自世界各地的朋友在虛擬的劇場中坐在一起,共同度過一個“電影之夜”。比較典型的并具備商業(yè)價值和大規(guī)模推廣前景的XR應(yīng)用場景主要包括以下幾個。新聞、賽事、音樂會等場館直播XR是提供場館直播沉浸感體驗的載體。聯(lián)合國贊助的XR項目旨在設(shè)身處地體會陷入2015年敘利亞危機(jī)中人們的感受,體會他們的掙扎。同時XR提供了更好遠(yuǎn)程呈現(xiàn)方式,既現(xiàn)場全景視頻界面,方便用戶更好的通過該界面參加體育賽事和音樂會等實時轉(zhuǎn)播,并獲得第一人稱視角感受。教育在教育領(lǐng)域,XR提供的歷史和自然等題材的360度全景視頻帶給老師和學(xué)生全新的教育學(xué)習(xí)體驗,同時通過XR提供的虛實結(jié)合的互動能力讓學(xué)生對其學(xué)習(xí)的內(nèi)容有更深刻的認(rèn)識。游戲人們幾十年來一直夢想著進(jìn)入視頻游戲的世界。通過XR擬實景探索更大、更現(xiàn)實的世界。XR構(gòu)建出未來游戲的全新圖景,它賦予游戲玩家更身臨其境的帶入感,使得游戲從平面真正走向立體。XR技術(shù)發(fā)展成熟使得游戲行業(yè)將徹底改變,原本處于二維空間的電子游戲就會徹底被拋棄,單純依靠鍵盤或手柄操作的游戲模式則會永久
醫(yī)療在醫(yī)療領(lǐng)域,當(dāng)前遠(yuǎn)程醫(yī)療的發(fā)展趨勢越來越明顯。醫(yī)生能通過遠(yuǎn)程呈現(xiàn)提供指導(dǎo)建議,并且運用XR技術(shù)來培訓(xùn)。在XR的另一用途中,醫(yī)生可以讓自己沉浸在利用醫(yī)療掃描數(shù)據(jù)生成的3D器官模型中。另外的一類應(yīng)用是通過XR直接提供理療以幫助病人,包括通過重復(fù)地暴露克服恐懼癥和壓力失調(diào),改善或維持認(rèn)知技能以對抗老化,改善運動技能以克服平衡,肌肉或者神經(jīng)系統(tǒng)紊亂失調(diào)等問題。地產(chǎn)在地產(chǎn)領(lǐng)域,XR提供的虛擬原型設(shè)計能力使設(shè)計師能夠與包含原型的虛擬世界快速地進(jìn)行交互并修改,也能夠帶客戶進(jìn)入構(gòu)造的虛擬世界以便交流想法。市場和廣告在廣告領(lǐng)域,XR提供了用戶以輔助能力,可以通過疊加一些附加圖形來觀看廣告的發(fā)布內(nèi)容,以增強其外觀并充分了解其操作,比如通過在廣告及圖標(biāo)中中放置文本、圖標(biāo)以及其他圖形。5GXR應(yīng)用白皮書5GXR應(yīng)用白皮書零售在零售的真實世界場景中,XR技術(shù)可以賦予用戶通過對現(xiàn)實場景中的物品疊加一些附加圖形來完成真實世界輔助操作,包括實現(xiàn)利用互聯(lián)網(wǎng)的力量完成銷售和評價。HR建筑設(shè)計 VR景區(qū)設(shè)計 AR地產(chǎn)MR醫(yī)療 AR教育 AR汽車銷圖1XR典型行業(yè)應(yīng)用場景
率等信息,這些可以幫助技術(shù)人員了解潛在的問題,提醒工人進(jìn)行提前的維護(hù)以縮短昂貴的停機(jī)時間。在物流倉儲階段,XR應(yīng)用使Intel的新員工比受過傳統(tǒng)培訓(xùn)的員工分揀速度要快15%,減少了29%的分揀時間,錯誤率幾乎為零。在DHL,XR誤,更敬業(yè)的員工,提高了25%的生產(chǎn)率。該公司現(xiàn)在開始在全球范圍內(nèi)推廣XR引導(dǎo)分揀技術(shù)。而據(jù)統(tǒng)計,倉庫運營估計約占整個物流成本的20%,而分揀又占倉儲成本的65%。注:數(shù)據(jù)引自2017年11月~12月HarvardBusinessReview:AManager’sGuidetoAugmentedReality。在市場銷售階段,XR不僅重新定義了產(chǎn)品展廳和演示的概念,并且將完全顛覆傳統(tǒng)的客戶體驗。當(dāng)客戶在購買前看到幾乎真實的產(chǎn)品在實際環(huán)境中的功能和表現(xiàn),他們會有更加準(zhǔn)AR或許可以完全不再需要實體的展廳。以建筑產(chǎn)品公司AZEK為例,使用AR向建筑商和客戶展示建材和裝飾品的各種顏色和組合??蛻粢部梢钥吹角榫澳M:如果你通過手機(jī)或平板電腦看一所房子,AR應(yīng)用程序可以在上面加一層裝飾效果。這種體驗減少了客戶選擇時的不確定性,縮短了銷售周期。通過ARAPP,還可以收集用戶選擇的數(shù)據(jù),作為不同地區(qū)生產(chǎn)的參考。XR可視化方面、培訓(xùn)引導(dǎo)、交互方式引入了突破性的革命,為安防監(jiān)控、工業(yè)互聯(lián)網(wǎng)、品全生命流程中引入變革的一個重要因素。據(jù)已有的行業(yè)實踐,XR可以帶來突破性的生產(chǎn)效率提升和產(chǎn)品價值提升,并為工程人員賦能提供極大空間。在產(chǎn)品開發(fā)階段,對比近30年來工程師們一直在使用(CAD)來創(chuàng)建三維模型,但是限于他們一直通過電腦上的2D屏幕與模型進(jìn)行交互,這使得他們很難進(jìn)行完全的概念化設(shè)計。XR技術(shù)可以使3D全息影像疊加在物理模型世界,提高工程師的評估能力和改進(jìn)設(shè)計。例如大眾等汽車公司使用XR技術(shù)在數(shù)字設(shè)計評審中檢查最新的設(shè)計與原型是否完全一致。XR全息影像使每一處差異都顯而易見,這提高了質(zhì)量保證過程的準(zhǔn)確性。在制造生產(chǎn)階段的。如我們所知,XR能在流水線上的工人在需要時提供正確的信息,減少誤差,提高效率,5 65GXR應(yīng)用白皮書5GXR應(yīng)用白皮書8787100900100900800700900600 570 5004003002001000300 160961202018年2019年2020年VR市場規(guī)模AR市場規(guī)模硬件廠家:VR/AR頭顯、組件、周邊配件或以硬件為主要產(chǎn)品形態(tài)(例如芯片、傳感)進(jìn)行交付的技術(shù)公司。工具廠家:包括內(nèi)容創(chuàng)建工具、中間件、3D底層技術(shù)廠家:跨平臺應(yīng)用的基礎(chǔ)技術(shù)(例如計算機(jī)視覺、SLAM、流媒體和壓縮、ARCloud、眼動追蹤等),一般以軟件或授權(quán)形式交付。游戲廠家:創(chuàng)作VR/AR游戲或交互“體驗”的工作室,或以VR/AR公司。娛樂:除游戲以外的其他娛樂(例如360或交互式電影工作室、影片發(fā)行商、視頻平臺等)。企業(yè)/垂直行業(yè)應(yīng)用公司:企業(yè)服務(wù)或解決方案(例如VR/AR或垂直行業(yè)應(yīng)用()。其他企業(yè):社交應(yīng)用(例如VRChat、RecRoom),線下體驗店和解決方案(如VR體驗館、主題公園等),行業(yè)媒體(例如Upload、RoadtoVR等),任何不屬于上述其他類別的企業(yè)。隨著物聯(lián)網(wǎng)、AI以及5G的蓬勃發(fā)展,XR相關(guān)產(chǎn)業(yè)持續(xù)受到市場和企業(yè)界的關(guān)注和推崇。有關(guān)數(shù)據(jù)統(tǒng)計,2018年,VR/AR/MR的全球投資額接近70億美元。在內(nèi)容生態(tài)上,以VR為例,2018年底全球VR消費應(yīng)用數(shù)量大約6200款。AR方面,在2018年隨著蘋果ARkit和谷歌ARCore的發(fā)布,截至2018年底手機(jī)AR在蘋果商店和谷歌商店就有3000款內(nèi)容,覆蓋游MR據(jù)預(yù)測,AR/VR行業(yè)到2020年總規(guī)模將達(dá)到1200億美元,AR占比75%。詳細(xì)數(shù)據(jù)如圖4所示。從細(xì)分應(yīng)用結(jié)構(gòu)上看,硬件設(shè)備是AR/VR行業(yè)的主要盈利來源,AR盈利來源比VR豐富但短期看到變現(xiàn)的為VR在電子游戲、視頻直播、影視娛樂方面的落地。詳細(xì)數(shù)據(jù)如圖5所示。從地域結(jié)構(gòu)上看,亞洲國家將切分近50%的市場蛋糕,中國、日本、韓國、印度有望成為AR/VR的主要市場。詳細(xì)數(shù)據(jù)如圖所示。
圖2全球AR/VR市場規(guī)模預(yù)測醫(yī)療醫(yī)療4.7工程軍事教育影音娛樂2.61.4圖32025年AR/VR軟件收入規(guī)模及其細(xì)分結(jié)構(gòu)預(yù)測(單位:十億美元)中國美國氣泡尺寸=2022年的收入中國美國氣泡尺寸=2022年的收入日本英國韓國德國俄羅斯法國印度意大利長期增長速率(2017—2022)2022年全球收入1091095G云XR應(yīng)用白皮書
5G賦能云XR應(yīng)用規(guī)模發(fā)展
應(yīng)用的轉(zhuǎn)變。機(jī)器類和人機(jī)無線通信在眾多經(jīng)濟(jì)領(lǐng)域和行業(yè)的應(yīng)用不斷增多,對無線網(wǎng)絡(luò)提出了大量而廣泛的需求,具體表現(xiàn)在成本、復(fù)雜性、功耗、傳輸速率、移動性、時延和可靠性等方面。下圖展現(xiàn)了ITU定義的5G所具備的八大關(guān)鍵能力。峰值速率(Gbit/s)20
用戶體驗速率(Mbit/s)1002.1什么是5G?廣義上,所有移動體間通過無線電波進(jìn)行實時連接的通信都屬于移動通信范疇。移動通信系統(tǒng)主要有:蜂窩系統(tǒng),集群系統(tǒng),衛(wèi)星通信系統(tǒng)等。蜂窩系統(tǒng)是覆蓋范圍最廣的陸地公用移動通信系統(tǒng),我們談?wù)摰?G到5G都屬于蜂窩系統(tǒng)。從1G到5G,移動通信網(wǎng)絡(luò)之所以不斷升級換代、性能不斷提升,是因為人們對于高性能移動通信服務(wù)的需求一直未被充分滿足。
單位面積容量10
110x
1x
101IMT-2020
1x350
頻譜效率3x移動通信系統(tǒng)每十年變遷,4G升級5G,可類比2G到3G,從移動互聯(lián)時代到萬物互聯(lián)時代。3G、4G的發(fā)展得益于移動互聯(lián)網(wǎng),5G除了移動互聯(lián)增強,另一驅(qū)動力來自于行業(yè)應(yīng)用。新技術(shù)從引入到成熟要20年左右:GSM的巔峰到2012年,發(fā)展了20年,至大范圍退網(wǎng)接近30年。4G從2010年引入,還會發(fā)展很長時間,至少共存到2030年。將來5G網(wǎng)絡(luò)規(guī)模建
100x網(wǎng)絡(luò)能效
IMT-advanced510 10610 16
500移動速度(km/h)設(shè)始于2020年內(nèi),融合4G演進(jìn)和5G新空口技術(shù)。
連接密度(devices/km2)
時延(ms)模擬時代數(shù)字時代模擬時代數(shù)字時代移動互聯(lián)網(wǎng)時代萬物互聯(lián)時代1G速率提升場景升級2G速率提升場景升級3G速率提升4G速率提升場景升級5G1980 1990 2000 2010 2020應(yīng)用場景模擬語音移動互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)業(yè)務(wù)占主導(dǎo)數(shù)據(jù)洪流物聯(lián)網(wǎng)傳輸速率115Kb-384Kb384Kb-100Mb100Mb-1Gb10Gb+圖5移動通信演進(jìn)歷程5G是通信技術(shù)的另一次變革。如果說2G向3G的轉(zhuǎn)變實現(xiàn)了業(yè)務(wù)由語音通信向移動寬帶應(yīng)用的跨越,那么4G向5G的轉(zhuǎn)變將成為通信歷史上最重大的變革,實現(xiàn)了由個人應(yīng)用向行業(yè)
峰值速率:20Gbit/s以上的峰值速率,指可以達(dá)到的最大用戶/設(shè)備數(shù)據(jù)速率。用戶體驗速率:100~1000Mbit/s的用戶體驗速率,指在覆蓋區(qū)域內(nèi)用戶/設(shè)備實際達(dá)到的速率。時延:1ms以內(nèi)的無線時延,數(shù)據(jù)包在空中接口MAC層,由信源到達(dá)信宿經(jīng)歷的時間。這里指單程時延。移動速度:大于500km/h的滿足標(biāo)稱QoS條件下可支持的最大移動速度。連接密度:1km2內(nèi)百萬連接設(shè)備數(shù)量。網(wǎng)絡(luò)能效側(cè)指通信模組消耗單位能量發(fā)送或者接收的比特數(shù)。5G要求比IMT-A提升100倍,要求1瓦特能傳輸100Mbits的數(shù)據(jù)。5GXR應(yīng)用白皮書5GXR應(yīng)用白皮書12111211頻譜效率:指每單位頻譜帶寬能發(fā)送或者接收的數(shù)據(jù)比特數(shù)。5G要求比IMT-A提升3倍以上。單位面積容量:指服務(wù)地理區(qū)域內(nèi)全部流量的和,5G要求10Mbit/s/m2以上。
2.35G給云XR應(yīng)用規(guī)模發(fā)展提供了機(jī)遇對于未來萬物互聯(lián)的信息數(shù)據(jù)系統(tǒng),云XR為人類完成跨越當(dāng)前現(xiàn)實與數(shù)字世界的鴻溝提供了可能;同時,其與當(dāng)前主流ICT信息部署和處理技術(shù)存在著密不可分的關(guān)系。如圖7所示。AI 自然語言處理技術(shù) 機(jī)器視覺AI框架TensorflowAI 自然語言處理技術(shù) 機(jī)器視覺AI框架TensorflowCaffeTorchXRAI算法分類聚類特征提取 目標(biāo)檢測 深度學(xué)規(guī)劃 優(yōu)化 預(yù)處理基礎(chǔ)算法離散數(shù)學(xué)矩陣分布 數(shù)值分析 概率統(tǒng)計分析數(shù)據(jù)訪問-負(fù)載均衡數(shù)據(jù)存儲-分布式存儲云計算VR 沉浸式頭盔式全是虛的AR 虛實疊加 圖像識別半真半假AI技術(shù)數(shù)據(jù)清洗分析決策分析決策數(shù)據(jù)處理聲紋識別本地單機(jī)XR難以大規(guī)模發(fā)展,其主要受以下幾個因素制約:(1)用戶體驗待提升,無法有效促進(jìn)協(xié)助和社交功能:同時沒有云化的XR重,舒適性欠缺的缺點。(2)用戶消費成本高:XR強交互類業(yè)務(wù)的場景識別和混合渲染主要在本地主機(jī)和終端進(jìn)行,對GPU資源要求很高,終端的性能和成本壓力大。內(nèi)容缺乏統(tǒng)一分發(fā)平臺:很多優(yōu)秀的XR內(nèi)容分散在多個廠家,難以有效共享和快速分發(fā)給用戶;用戶即使有XR頭盔,也很少有內(nèi)容豐富且能不斷更新的XR內(nèi)容發(fā)布平臺。內(nèi)容版權(quán)缺乏有效保護(hù):內(nèi)容以下載到本地居多,版權(quán)得不到有效保護(hù)。云XR有效解決制約XR發(fā)展的痛點,同時強化了XR的社交和協(xié)助屬性,為數(shù)字媒體通訊的發(fā)展提供了強大的助力,是當(dāng)前XR產(chǎn)業(yè)最佳的規(guī)模化發(fā)展之路。云XR主要特點是:XR頭顯無繩化、XR應(yīng)用所需的計算機(jī)視覺對象感知云化和計算機(jī)圖形實時渲染云化、內(nèi)容分享管理和存儲云化。它將云計算、AI、云渲染、云計算機(jī)視覺的理念及技術(shù)引入到XR業(yè)務(wù)應(yīng)用中,借助高速穩(wěn)定的網(wǎng)絡(luò),將云端的顯示輸出和聲音輸出等經(jīng)過編碼壓縮后傳輸?shù)接脩舻慕K端設(shè)備,實現(xiàn)XR業(yè)務(wù)內(nèi)容上云、識別上云和渲染上云。云XR的優(yōu)勢:將計算復(fù)雜度高的識別和渲染上云,大幅降低配置XR終端的人工智能和圖形渲染的計算壓力,使XR終端以輕量的方式和比較低的消費成本讓更多的用戶更容易接受;計算機(jī)圖形渲染移到云上后,內(nèi)容以視頻流的方式通過網(wǎng)絡(luò)推向用戶,借助Wi-Fi、5G等網(wǎng)絡(luò)技術(shù),可將連接終端的HDMI線減掉,實現(xiàn)終端無繩化、移動化;內(nèi)容云化、集中化,便于內(nèi)容的統(tǒng)一分發(fā)和版權(quán)管理。云XR的終極階段功能是協(xié)助實現(xiàn)人物互動,是實現(xiàn)XR前端輕薄化的同時、為用戶提供個性化互動業(yè)務(wù)和視覺個性呈現(xiàn),為物聯(lián)網(wǎng)的繁榮提供融合通訊的多媒體智能通訊平臺,將最終實現(xiàn)視頻數(shù)字化和內(nèi)容語意網(wǎng)絡(luò)輔助信息的混合,進(jìn)而完成所有數(shù)字信息的云端組織和云端渲染。
MR MR 混合現(xiàn)實AR+VR真假難辨大數(shù)據(jù)大數(shù)據(jù)智能硬件智能傳感器...話筒攝像機(jī)SaaS最強大腦并行處理分布式公有云私有云混合云社區(qū)云HR 全息現(xiàn)實 HR 全息現(xiàn)實 特殊介質(zhì)裸眼3DXR的核心是傳感器和顯示技術(shù),云端是計算力的中心XR終端的核心是用戶交互和信息呈現(xiàn),云端負(fù)責(zé)數(shù)據(jù)3D建模、數(shù)據(jù)分析、信號處理(根據(jù)業(yè)務(wù)場景可能包含AI、深度神經(jīng)網(wǎng)絡(luò)的更復(fù)雜運算)、數(shù)據(jù)庫存儲等計算密集的操作。只有真正通過云計算解決VR/AR/MR/HR端CPU、GPU的計算和渲染速率,XR才具有真正價值。XR與AI技術(shù)緊密結(jié)合這不光源于XR技術(shù)中不可獲取的對象及環(huán)境感知技術(shù),同時XR內(nèi)容制作和實時圖形渲染也越來越需要通過人工智能來提升效率。人工智能的加持能真正發(fā)揮XR的優(yōu)勢,XR所開發(fā)出來的各種應(yīng)用和對應(yīng)配套工具才具有競爭力。XR需要引入大數(shù)據(jù)的知識和數(shù)據(jù)智能的支撐作為一個領(lǐng)域應(yīng)用,具備了大數(shù)據(jù)功能,使其可以完成更服務(wù)的信息加持和業(yè)務(wù)交互,為應(yīng)用帶來穩(wěn)定長期的現(xiàn)金流,并具備更好的商業(yè)模式。同時,作為AI的基礎(chǔ)之一,大數(shù)據(jù)能助力XR快速發(fā)展。因此,云XR應(yīng)用對整個通信過程的低延時、高帶寬、大并發(fā)提出了極嚴(yán)格的要求。例5GXR應(yīng)用白皮書5GXR應(yīng)用白皮書14131413業(yè)務(wù)指標(biāo):如,提供一個很好的人機(jī)交互體驗,或者高效融合生產(chǎn)制造、工作協(xié)同,或者交互娛樂等應(yīng)用場景。圖8圖9分別展示了云XR應(yīng)用場景客戶體驗因素與移動通訊關(guān)鍵指標(biāo)之間的關(guān)系和不同云XR業(yè)務(wù)有不同的網(wǎng)絡(luò)指標(biāo)要求。業(yè)務(wù)指標(biāo):體驗關(guān)鍵因素: 真實感真實感愉悅感體驗關(guān)鍵因素:真實感真實感愉悅感
首先,帶寬和延時保障5G:5G26GHz外場測試,空口性能表19GbpseMBB15GbpsITU10Gbps;mMTC9000/MHz/ITU定義100/平方公里;URLLC0.416ms,ITU1ms。同時,針XR多人協(xié)同和交互娛樂等場景,作為至關(guān)重要因素的上行鏈路吞吐量,5G都提供4GFDD10所示。網(wǎng)絡(luò)指標(biāo):網(wǎng)絡(luò)指標(biāo):分辨率幀率色深視場角編碼壓縮技術(shù)分辨率幀率色深視場角編碼壓縮技術(shù)運動感知沖突操作響應(yīng)時間卡頓(次數(shù)、時長占比)花屏(次數(shù)、時長/面積占比)游戲畫面有效幀率帶寬時延丟包階段VRARMR商用時間預(yù)測2018~2020年2021~2025年2021~2025年視頻分辨率4K~8K(全景)2K~4K2K~4K3D業(yè)務(wù)內(nèi)容分辨率2K~4K2K~4K2K~4K視場角90~110度40度80度色深(bit)888編碼標(biāo)準(zhǔn)H265H265/H266H265/H266幀率(幀/秒)30(視頻)50~90(強交互)50~9050~90碼率要求≥40Mpbs≥20Mpbs≥20Mpbs帶寬要求≥60Mpbs≥40Mpbs≥40MpbsRTT要求≦20ms≦15ms≦15ms丟包要求≦9E-5(視頻)≦1.00E-5(強交互)≦1.00E-5≦1.00E-5圖9不同云XR應(yīng)用和網(wǎng)絡(luò)指標(biāo) *注:因無編碼標(biāo)準(zhǔn),HR當(dāng)前階段無法進(jìn)行評估。在5G時代,云XR獲得了又一次騰飛的燃料。云XR之于傳統(tǒng)流量入口,猶如三體之于地球,維度大幅提升,必將開啟新一代流量入口即視覺入口時代。同時,5G帶來的技術(shù)優(yōu)勢也促使云XR向新的階段發(fā)展,必將成為下一代計算平臺以及新一代流量和場景入口,邁出重要的一步。這源于5G
圖105G移動通訊技術(shù)相對于4G移動通訊的優(yōu)勢其次,邊緣計算平臺的保障邊緣計算是在靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè),融合網(wǎng)絡(luò)、計算、存儲、應(yīng)用等核心能力的開放平臺,就近提供邊緣智能服務(wù)。5G網(wǎng)絡(luò)將是以中央、區(qū)域、邊緣數(shù)據(jù)中心為基礎(chǔ)的彈性網(wǎng)絡(luò),虛擬化網(wǎng)元功能可按照場景部署在網(wǎng)絡(luò)相應(yīng)的位置上,MEC將主要部署在邊緣DC,使得MEC與網(wǎng)元功能相互協(xié)同,為垂直應(yīng)用提供網(wǎng)絡(luò)邊緣計算能力,適用于對時延、帶寬要求特別高的業(yè)務(wù)場景。5G中的MEC不僅可以提供云端強大的計算力及極低的通信延時,而且由于云XR多方協(xié)同的交互信息的高度本地化和上下文化,因此通過MEC服務(wù)器在本地托管信息比在云中托管更有優(yōu)勢。中興通訊推薦如下圖部署MEC于5G網(wǎng)絡(luò)中,MEP與UPF、APP共部署,實現(xiàn)邊緣云由5GXR應(yīng)用白皮書5GXR應(yīng)用白皮書userid:549683,docid:62629,date:2024-06-06,userid:549683,docid:62629,date:2024-06-06,NSSFUDMNRFPCFNEFDN(Internet/CDN)AMFSMFUPFNSSFUDMNRFPCFNEFDN(Internet/CDN)AMFSMFUPF本地卸載流量RANUE(終端)DUCUUPF(核心網(wǎng)下沉)本地卸載流量 MEPMESer-vice3rdAPP3rdAPPMECNFVInfrastructure圖11MEC邊緣云內(nèi)嵌于5GSA網(wǎng)絡(luò)的部署最后,業(yè)務(wù)安全和業(yè)務(wù)質(zhì)量保障5G網(wǎng)絡(luò)需要同時滿足用戶XR類多元化應(yīng)用的差異化SLA需求,5G網(wǎng)絡(luò)切片為實現(xiàn)這一需求而設(shè)計。網(wǎng)絡(luò)切片將網(wǎng)絡(luò)資源靈活分配,網(wǎng)絡(luò)能力靈活組合,基于一張5G網(wǎng)絡(luò)虛擬出多個具備不同特性的邏輯子網(wǎng)絡(luò),提供面向不同場景的按需定制網(wǎng)絡(luò)服務(wù)。5G網(wǎng)絡(luò)場景下,核心網(wǎng)絡(luò)切片技術(shù),既對網(wǎng)絡(luò)拓?fù)滟Y源,如鏈路、節(jié)點、端口及網(wǎng)元內(nèi)部資源如轉(zhuǎn)發(fā)、計算、存儲等資源,進(jìn)行虛擬化形成虛擬資源,并按需組織形成虛擬網(wǎng)絡(luò)。針對不同場景下不同的網(wǎng)絡(luò)功能性能要求,網(wǎng)絡(luò)切片把物理上的一張網(wǎng)絡(luò)虛擬成邏輯上的多個網(wǎng)絡(luò),以滿足不同業(yè)務(wù)需求,這既增強了業(yè)務(wù)的隔離性,也提高了網(wǎng)絡(luò)資源的使用效率。GroupA:完全獨立GroupB:部分控制面共享GroupC:控制面共享,媒體面獨立
NSMFNSSMFNFVOMEAONSMFNSSMFNFVOMEAOMECAPPsMEPM-VMEPNS1MECAPPsMEPM-VMEPUPF
UPF
UPF切片1PCF UDMAMFSMFUPFCUDU切片1PCF UDMAMFSMFUPFCUDUAAU切片2PCF切片3PCFSMFSMFUDMAMFUPFUPFCUDUAAU切片4切片5切片6PCFSMFUDMAMFUPFUPFUPFCUDUAAU遠(yuǎn)程醫(yī)療 車載娛樂 視頻監(jiān)控 手機(jī)視頻 智能抄表圖12針對不同XR垂直應(yīng)用域的切片共享類型15 165GXR應(yīng)用白皮書5GXR應(yīng)用白皮書181718172.45G云XR應(yīng)用業(yè)務(wù)需求和解決方案XR真正意義上的云化可以實現(xiàn)數(shù)字和物理世界的社交屬性的充分放大,可以有效實現(xiàn)基于共同的物理空間分享“不可能”的事,如云AR;也可以有效實現(xiàn)基于共同的虛擬空間分享“不可能”的事,如云VR,運用“真實”的虛幻和創(chuàng)造力,讓人和人的情感交流和協(xié)作升華。中興通訊近年來一直在積極探索云XR系統(tǒng)解決方案和挖掘相應(yīng)的應(yīng)用市場。云AR遠(yuǎn)程專家指導(dǎo)“5G+視訊+云AR”的解決方案,具備高清、智能特性。利用5G的高帶寬,一方面擺脫對有線線纜的束縛,支持快速擴(kuò)容;另一方面可以支持4K/8K/16K高清碼流的傳輸?;贏R的視頻會議將使得終端更加多樣化、與AI結(jié)合系統(tǒng)更加智能化、便捷化,可廣泛用于眾多場景。如應(yīng)用于遠(yuǎn)程巡檢,AR技術(shù)可快速準(zhǔn)確定位、分析、解決現(xiàn)場故障。應(yīng)用于教育通過AR視頻會議遠(yuǎn)程演示,解決涉及危險材料、昂貴器械等傳統(tǒng)無法實施的教學(xué)實驗,解決教學(xué)難題。中興通訊憑借在視頻會議領(lǐng)域多年的產(chǎn)品和技術(shù)積累,提供基于5G的可視化云AR專家指導(dǎo)系統(tǒng),遠(yuǎn)程教育,遠(yuǎn)程黨教等多個落地的解決方案。下圖為中興通訊5G可視化云AR遠(yuǎn)程專家指導(dǎo)系統(tǒng)的解決方案。
(1)業(yè)務(wù)需求針對各類移動、戶外等復(fù)雜環(huán)境的業(yè)務(wù)作業(yè),專家通常無法直接去現(xiàn)場進(jìn)行作業(yè)?;谶h(yuǎn)程指導(dǎo)的思路,需要高帶寬傳輸高清音視頻,需低延時滿足實時音視頻、協(xié)作交互的應(yīng)用場景。實時視頻通信,上、下行數(shù)據(jù)傳輸需保障帶寬要求比較高,同時為了避免影響圖像流暢度和實時性,網(wǎng)絡(luò)延時低于20ms,支持實時圖像疊加批注,手冊查詢和自動識別對比。同時滿足在一些特定場景下現(xiàn)場通過AR眼鏡可以自動進(jìn)行抽檢和巡檢的需求。(2)解決方案現(xiàn)場人員佩戴AR智能眼鏡,可呼叫遠(yuǎn)端專家(專家團(tuán)隊)給予指導(dǎo),取代專家工程師親自到現(xiàn)場。專家也可同時支持多個地點操作指導(dǎo),提高工作效率。遠(yuǎn)端專家可通過視頻會議系統(tǒng)實時看到現(xiàn)場眼鏡所拍攝高清實景,并通過視頻會議、白板協(xié)作會議等多種方式與現(xiàn)場人員溝通交互?,F(xiàn)場人員可通過AR智能眼鏡與專家實時音視頻溝通,在顯示屏中可看到專家視頻、分享的文檔資料、對現(xiàn)場實景的標(biāo)注信息等。同時,基于云AR技術(shù),定義識別的內(nèi)容和識別規(guī)則,以滿足現(xiàn)場巡檢人員產(chǎn)品(或物料)的外形檢測、標(biāo)識圖文識別、條形碼識別,實現(xiàn)現(xiàn)場質(zhì)檢人員巡檢抽檢和自動抽查功能。該方案有效指導(dǎo)作業(yè)標(biāo)準(zhǔn)化,可廣泛用于遠(yuǎn)程指導(dǎo)普通工程師和第三方協(xié)作人員作業(yè)等場景。5G終端AR眼鏡5G終端AR眼鏡操作現(xiàn)場 wifi
圖文識別云AR UPF MEP MEC
基于云MR的遠(yuǎn)程應(yīng)用示教專家PC端云會議視頻會議協(xié)作云專家組會議端云端遠(yuǎn)程專家“5G+視訊+云MR的遠(yuǎn)程示教”解決方案,將具備同步定位和建圖的增強現(xiàn)實技術(shù)引入視頻會議中,使能視頻會議,滿足更廣泛應(yīng)用場景。利用5G的高帶寬、移動性,一方面擺脫對有線線纜的束縛,支持移動便捷性;另一方面可以支持4K/8K/16K高清視頻碼流(雙向音視專家PC端云會議視頻會議協(xié)作云專家組會議端云端遠(yuǎn)程專家圖14中興通訊5G可視化云AR遠(yuǎn)程專家指導(dǎo)系統(tǒng)解決方案
觀看各種MR內(nèi)容。下圖為中興通訊基于5G云MR的遠(yuǎn)程示教解決方案。5GXR應(yīng)用白皮書5GXR應(yīng)用白皮書20192019視頻會議軟終端眼鏡個人終端接入視頻會議軟終端眼鏡個人終端接入會場屏幕視頻會議終端 攝像頭麥克風(fēng)桌面平板MR眼鏡會議室gNB
云AR安防云MRUPFMEPMEC云會議云端隨著科技巨頭們在AR領(lǐng)域的紛紛布局,使得AR從概念不斷滲透入教育、醫(yī)療、游戲娛樂云MRUPFMEPMEC云會議云端無人機(jī)本地視頻分析中心無人機(jī)本地視頻分析中心大規(guī)模視頻流傳送攝像頭AR眼鏡gNBAI識別UPFMEP提取高關(guān)注度內(nèi)容5GC巡邏車視頻AR傳至責(zé)任人安防操作中心云端WIFIiMEC(1)業(yè)務(wù)需求針對各類智能終端(MR眼鏡、手機(jī)、平板、筆記本電腦、會議室)用戶,通過智能終端
(1)
圖165GMEC的云AR智能安防解決方案就可以體驗到超高清視頻會議,以及對視頻畫面的MR顯示?;谠芃R技術(shù)在實時的視頻畫面上同步呈現(xiàn)更多輔助信息的思路,滿足移動智能終端用戶高帶寬傳輸高清音視頻,低延時同步定位、協(xié)作交互等應(yīng)用場景需求。實時視頻通信,上、下行數(shù)據(jù)傳輸需保障帶寬要求比較高,同時為了避免影響圖像流暢度和實時性,網(wǎng)絡(luò)延時低于20ms,還要支持隨時隨地與云MR交互(視頻畫面上傳到云MR,云MR對上傳內(nèi)容進(jìn)行實時識別分析處理,再回傳到各個智能終端)的需求。(2)解決方案個人終端用戶佩戴MR智能眼鏡,隨時隨地組織視頻通訊。在視頻通訊過程中,選擇是否開啟云MR功能,開啟該功能后,視頻畫面會在服務(wù)端與云MR對接,對視頻畫面進(jìn)行實時疊加、標(biāo)注額外信息(文字、圖像等)。多用戶可對同一視頻畫面進(jìn)行同步MR顯示,也可以對統(tǒng)一3D模型進(jìn)行不同視角的MR顯示。
安防監(jiān)控領(lǐng)域的特點是需要海量數(shù)據(jù)實時采集,如某城市每天800萬過車數(shù)據(jù),峰值1萬條/秒,每天60億條WIFI數(shù)據(jù)的實時處理要求,要求基于車型、車款、標(biāo)識物等進(jìn)行車輛識別分析,同時基于多軌聯(lián)偵、同行車分析建立人臉庫、車形庫、聲紋庫等專題數(shù)據(jù)庫,做到“知車、知人、知聲”海量數(shù)據(jù)接入的大數(shù)據(jù)分析。某公安安防監(jiān)控需求的二代身份證庫支持2000萬人臉靜態(tài)識別,高鐵車站出入口人臉動態(tài)布控。要求千萬級數(shù)據(jù)秒內(nèi)返回,作為抓捕罪犯的依據(jù)。(2)解決方案無人機(jī)搭載高清攝像頭,通過5G網(wǎng)絡(luò)實時傳輸高清路面情況,同時與地面固定點位安防監(jiān)控系統(tǒng)對接,構(gòu)建全方位立體安防系統(tǒng)。AR眼鏡利用掛在巡邏車或固定在室內(nèi)的CPE通過5G網(wǎng)絡(luò)傳送視頻到5G邊緣計算平臺MEC邊緣云側(cè)的本地視頻分析中心進(jìn)行基于深度學(xué)習(xí)的視頻結(jié)構(gòu)化分析,視頻分析的結(jié)果返回疊加顯示在AR眼鏡上,為安保人員提供遠(yuǎn)程信息支持。MEC側(cè)部署智能視頻分析平臺,通過AI+賦能,將大量低價值監(jiān)控內(nèi)容就近分析本地化處理,節(jié)省傳輸資源,降低成本,提升系統(tǒng)性能。該解決方案支持人臉識別,車牌識別,身份證識別及事件檢測等能力,為平安城市保駕護(hù)航。5GXR應(yīng)用白皮書5GXR應(yīng)用白皮書22212221云VR/AR互動教育對于VR/AR互動教育來說最大的前景在于人文和自然學(xué)科,例如歷史、社會學(xué)、自然、災(zāi)難教育、地理和文化的學(xué)習(xí)。用戶將既可以通過虛擬現(xiàn)實界面觀看實體博物館,也可以直接在虛擬博物館中掃描和展示文物。中興通訊推出的基于云VR/AR互動教育解決方案如下圖所示。
云VR超高清沉浸式視頻一種典型的VR超高清沉浸式視頻應(yīng)用是針對場館的大型賽事和活動的直播。借助5G超高帶寬和MEC的邊緣計算能力,場館內(nèi)的手機(jī)用戶基于多視角直播以彌補現(xiàn)場角度問題而無法觀看到的場景,場館外用戶基于VR超高清沉浸式直播可以獲得更好的業(yè)務(wù)體驗。中興通訊推出的基于5GMEC的場館VR直播解決方案如下圖所示,以滿足大型賽事和活動的觀看需求。STB+TV
視頻推送至OTT運營商OTT平臺MECBackhaul5GCInternet視頻流推送gNBgNB視頻推送至OTT運營商OTT平臺MECBackhaul5GCInternet視頻流推送gNBgNBMECgNB無人機(jī)攝像機(jī)全景攝像機(jī)場多角度視頻直播 場外場外實時直播手機(jī)+VR盒子 vCDNvCDN視頻編排系統(tǒng)UPFMEP識別分析VR/AR一體化
gNB
云VR/AR教育平臺UPFMEPMEC
攝像頭推流終端拉流(1)
圖175GMEC云VR/AR互動教育解決方案
185GMEC云VR場館直播解決方案
VR一體化頭盔通過全景圖片與全景視頻以及3D模型呈現(xiàn)歷史、文化等方面的教育課程,既滿足老師針對一個或多個學(xué)生的VR教育的需求,又滿足用戶觀看AR虛擬模型的互動需求。(2)解決方案部署在5GMEC上的云VR/AR教育平臺包括云VR/AR管理系統(tǒng),云VR流化系統(tǒng)和云AR識別分析系統(tǒng)。其中云VR/AR管理系統(tǒng)包括基本的業(yè)務(wù)管理,業(yè)務(wù)運營和資源管理等管理功能,云VR/AR管理系統(tǒng)也可以基于中心云進(jìn)行部署。云VR流化系統(tǒng)實現(xiàn)VR教育內(nèi)容的流媒體FoV傳輸。AR識別分析系統(tǒng)主要是基于用戶一體機(jī)的AR眼鏡的攝像頭識別物體(比如手持的一個可以掃碼的物體),獲取相關(guān)信息后傳輸?shù)組EC云上的云AR識別分析系統(tǒng)后進(jìn)行分析對比發(fā)現(xiàn)用戶需要觀看的AR內(nèi)容,比如一個3D恐龍的模型,然后用戶就可以在手持物體的位置看到對應(yīng)的AR內(nèi)容,基于VR/AR一體機(jī)同時實現(xiàn)了VR和AR的互動教育。
(1)業(yè)務(wù)需求當(dāng)前用戶在場館觀看賽事和大型活動時,受其在賽場所處的地理位置,觀看角度等的影響,觀看賽事和大型活動的體驗受到比較大的影響。由于目前基站帶寬的限制,大量用戶希望通過視頻滿足其多視角觀看賽事的需求無法得到滿足。同時,場館外用戶也希望通過觀看超高清VR賽事和大型活動,使用戶獲得沉浸式的視頻直播體驗。(2)解決方案本方案基于場內(nèi)MECCDN的高清多視角直播和場外固定移動融合的多網(wǎng)協(xié)同的VR4K/8K直播,具體包括:場館內(nèi)視頻用戶:基于4K/8K的多視角高清直播的任意切換,賽事和大型活動的及時呈現(xiàn),用戶UGC內(nèi)容AI自動審核,內(nèi)場專區(qū)互動廣告和基于MECCDN本地直播內(nèi)容生產(chǎn)的超低時延。場館外超高清VR直播:基于固定移動融合的多網(wǎng)協(xié)同的網(wǎng)絡(luò)傳輸方案,通過部署移動網(wǎng)MECCDN和借助于現(xiàn)有固網(wǎng)CDN,實現(xiàn)4K/8K超高清直播和超低延時,基于360度全景VR視頻傳輸方案,終端基于4K/8K電視、VR一體機(jī)和VR眼鏡和手機(jī)協(xié)同實現(xiàn)觀看三種模式。5GXR應(yīng)用白皮書5GXR應(yīng)用白皮書24232423云VR視頻游戲相對于傳統(tǒng)的游戲業(yè)務(wù),VR云游戲,包括多人協(xié)作的VR大空間的云VR游戲,提供更好的沉浸感的用戶體驗。中興通訊和游戲產(chǎn)業(yè)的合作伙伴一起,推出了基于5G的MEC云VR游戲解決方案,提升用戶沉浸式游戲業(yè)務(wù)體驗。該解決方案和5G蜂窩網(wǎng)絡(luò)融合,面向重點、熱點無線覆蓋區(qū)域和WLAN系統(tǒng)融合。面向?qū)W校、商業(yè)中心及展館展示場景和家庭寬帶系統(tǒng)融合。增強機(jī)頂盒能力,面向住宅小區(qū)及小型辦公環(huán)境。STB+TVVR中心系統(tǒng) VR流化系統(tǒng)
云HR全息會議“5G+視訊+全息影像”的解決方案,增強視頻會議體驗。利用5G的高帶寬、移動性,一方面擺脫對有線線纜的束縛,支持移動便捷性;另一方面可以支持4K/8K/16K高清視頻碼流的傳輸。而基于全息影像的視頻會議,使得會議終端更加多樣化,裸眼全息成像、MR眼鏡混合現(xiàn)實顯示,使得用戶視頻交互更直觀、更立體、更身臨其境。該方案可廣泛應(yīng)用多個場景,如3D模型互動演示培訓(xùn),多方參會人可以立體的、多維的觀看操作同一個3D模型,解決了現(xiàn)實中需要制作物理3D模型的教學(xué)問題。云HR作為全息影像素材存儲中心、分享中心以及處理中心,供大家上傳、分享、觀看各種全息影像內(nèi)容。下圖為中興通訊5G全息視頻會議解決方案。VR一體化手機(jī)+VR眼鏡
gNB
云VRUPFMEP全息攝像機(jī)傳感器屏幕全息攝像機(jī)傳感器屏幕視頻會議終端桌面平板麥克風(fēng)全息投影儀MR眼桌面平板麥克風(fēng)鏡桌面平板麥克風(fēng)全息會議室(1)
圖195GMEC云VR游戲解決方案
云HR云HRUPFMEPMEC云會議云端當(dāng)前VR終端可移動空間受限,VR頭盔笨重,VR游戲這類強交互業(yè)務(wù)的渲染對GPU計算能力要求高。急需輕量級的VR終端解決方案,增加VR終端的活動自由度,提升VR游戲玩家的用戶體驗。
gNB個人終端接入全息攝像頭視頻會議軟終端眼鏡個人終端接入全息攝像頭視頻會議軟終端眼鏡需要消耗大量計算能力的實時媒體處理,GPU加速和圖像渲染功能,從而節(jié)省大量圖像數(shù)據(jù)的
(1)
圖205GMEC云HR全息會議解決方案傳輸時延。VR一體機(jī)或者VR眼鏡加5G手機(jī)作為VR終端僅需要實現(xiàn)最基礎(chǔ)的視頻解碼、VR處理和畫面呈現(xiàn)、控制信令接收和上傳,而不需要處理與實際業(yè)務(wù)相關(guān)的計算,大大簡化了VR終端的內(nèi)部結(jié)構(gòu)和處理性能需求?;谠摻鉀Q方案下,用戶無需配置VR游戲PC機(jī),僅需輕量級的VR一體機(jī)或者VR眼鏡加5G手機(jī)接入就近MEC的云VR云平臺,即可暢玩不同場景根據(jù)自身業(yè)務(wù)特征提供不同的業(yè)務(wù)體驗。
針對各類智能終端(MR眼鏡、手機(jī)、平板、筆記本電腦、會議室)用戶,通過智能終端就可以體驗到超高清全息視頻會議?;谌⒂跋癯尸F(xiàn)3D視頻畫面的思路,滿足移動智能終端用戶高帶寬傳輸高清音視頻,低時延協(xié)作交互等應(yīng)用場景需求。實時視頻通信,上、下行數(shù)據(jù)傳輸需保障帶寬要求比較高,同時為了避免影響圖像流暢度和實時性,網(wǎng)絡(luò)延時低于20ms,還要支持隨時隨地從云端實時獲取全息影像并能互動(3D旋轉(zhuǎn)、模型拆解)的需求。(2)解決方案262526255G云XR應(yīng)用白皮書 3個人終端用戶佩戴MR智能眼鏡,隨時隨地從云HR獲取三維立體模型并觀看操作,就全息影像內(nèi)容進(jìn)行直觀講解與理解。多用戶可對同一模型進(jìn)行操作,信息共享,提高講解效果。會議室用戶通過全息投影儀器展示3D模型,更加舒適、直觀展示全息影像內(nèi)容。該方案可廣泛應(yīng)用于智慧教育、工業(yè)設(shè)計等場景。
5G云XR未來的挑戰(zhàn)5G云XR尚存的技術(shù)挑戰(zhàn)和解決途徑分析云XR是促進(jìn)XR產(chǎn)業(yè)發(fā)展的最佳形式之一,但它也會因為云化和傳輸路徑的延伸引入新的挑戰(zhàn)。從長期來看大部分云XR業(yè)務(wù)都會向強交互發(fā)展。強交互云XR業(yè)務(wù)以多人協(xié)作AR、VR游戲和VR社交等為代表,強交互云XR需要采用實時云渲染方案,將本地復(fù)雜的計算、渲染移至云端,一方面實現(xiàn)XR終端更輕便、成本更低,另一方面,完成共享場景的更新和同步。姿態(tài)捕捉 二次渲染&異步扭曲 刷新呈現(xiàn) MTP姿態(tài)捕捉 二次渲染&異步扭曲 刷新呈現(xiàn) MTP 操作上行傳輸 邏輯計算 實時渲染 編碼 下行傳輸 解碼 云渲染及流化時延 操作上行傳輸 識別 邏輯計算 實時渲染 編碼 下行傳輸 解碼 云識別云渲染及流化時延 操作上行傳輸 識別 邏輯計算 實時渲染 編碼 下行傳輸 解碼二次渲染&異步扭曲 刷新呈現(xiàn) 操作響應(yīng)時延 圖21XR云化技術(shù)方案下的MTP、流化時延、操作響應(yīng)時延對非云化的本地XR系統(tǒng)相比,要滿足MTP時延小于20ms已經(jīng)是一個不小的挑戰(zhàn);而云XR將實時渲染和識別上云后,會進(jìn)一步加劇時延難題。位置移動時,用戶將會從新的角度上觀察物體,會看到原來被遮擋的部分。頭部渲染(可采用ASW技術(shù))可以根據(jù)深度信息或運動矢量等信息調(diào)整物體間的位置關(guān)系,卻無法憑空生成被遮擋部分,此時只能用周邊的畫面替代,出現(xiàn)畫面扭曲現(xiàn)象。如果云渲染及流化時5GXR應(yīng)用白皮書5GXR應(yīng)用白皮書28272827延低、移動速度慢,微小的扭曲畫面不容易被察覺或感知;否則就會大幅度降低畫面質(zhì)量。云渲染及流化時延大小影響著云XR畫面質(zhì)量。按目前業(yè)界的測試情況,建議將該時延控制在
定義的5G三大場景及相應(yīng)的KPI能力要求如下圖所示。峰值速率
用戶體驗速率30~50毫秒以內(nèi)為佳;在舒適體驗階段,云渲染及流化時延控制在50毫秒,畫面質(zhì)量的劣化在可接受范圍;極致體驗階段,云渲染及流化時延建議控制到30毫秒內(nèi),此時畫面的扭曲將讓人無法察覺。目前看業(yè)界針對以上挑戰(zhàn),除了借助5G網(wǎng)絡(luò)先天的低延時優(yōu)勢、以及MEC構(gòu)架提供的邊緣計算部署方式外,還需要在下面幾個方面完成突破。端到端延遲時間理,大幅節(jié)省處理時間,從而能降低云渲染及流化時延。端到端延遲時間渲染 切片n切片...切片9網(wǎng)絡(luò)切片8切片7切片6切片5切片4切片1切片2切片3 顯示 渲染延遲編碼延遲傳輸延遲解碼延遲屏幕延遲
eMBB單位面積容量網(wǎng)絡(luò)能效mMTC
(Gbit/s) 中低連接密度(devices/km2)
(Mbit/s)時延(ms)
頻譜效率移動速度(km/h)uRLLC圖22云XR端到端并行處理、傳輸方案
圖235G三大場景及其KPI以快速編解碼技術(shù)為技術(shù)突破,以犧牲壓縮率換取編碼時間,實現(xiàn)快速編解碼。在壓縮率50~150倍左右時,有效地將編解碼的時間控制在1~3毫秒,從而能降低云渲染及流化時延。以新型XR傳輸協(xié)議為技術(shù)突破,包括鏈路層服務(wù)接口支持,在延時保證的情況下實現(xiàn)保證核心數(shù)據(jù)在規(guī)定時間的超高到達(dá)率(e.g.99.9999%),以及全局/邊緣基本質(zhì)量視頻數(shù)據(jù)的一般到達(dá)率(e.g.99%)。5G云XR應(yīng)用用戶體驗的挑戰(zhàn)和評估指標(biāo)體系5G作為下一代通信技術(shù),它不僅是新一代移動技術(shù),更是一種全新網(wǎng)絡(luò),是一個面向未來的、創(chuàng)新的、統(tǒng)一的連接平臺。國際標(biāo)準(zhǔn)組織ITU將5G應(yīng)用劃分為三大核心場景:增強型移動寬帶(eMBB)、海量機(jī)器類通信(mMTC)、超高可靠低時延通信(uRLLC)。ITU
云XR應(yīng)用是5G首先落地商用的業(yè)務(wù)場景之一。5G網(wǎng)絡(luò)的單用戶1Gbps高速帶寬、端到端1ms低時延等特性能夠滿足云XR應(yīng)用需求。但云XR應(yīng)用是否成功,最直接最直觀的評判標(biāo)準(zhǔn)是用戶體驗。這需要建立一套新的QoE指標(biāo)體系來評估和考量。中興創(chuàng)新地提出了xQoE(ExtendedQoE)指標(biāo)體系,不僅僅兼容現(xiàn)有網(wǎng)絡(luò)的QoE、vQoE5GXR5G5G傳統(tǒng)的QoE指標(biāo)體系支持的業(yè)務(wù)類型比較單一,業(yè)務(wù)之間耦合度低。而5G多樣,業(yè)務(wù)之間存在一定的耦合度。例如車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)的場景。以將首先要部署的5GXR業(yè)務(wù)為例,除了5G網(wǎng)絡(luò)自身運營和運維的指標(biāo),也可能同時存在XR業(yè)務(wù)層面的指標(biāo)評估需求,所以此類業(yè)務(wù)用戶體驗需要綜合考慮所有“子業(yè)務(wù)”的體驗指標(biāo)。5GXR應(yīng)用白皮書5GXR應(yīng)用白皮書30293029xQoE子業(yè)務(wù)QoEKQIKQI
若交互VR/ARQoE強交互云VR/AR若交互VR/ARQoE強交互云VR/ARQoE視頻QoE高頻QoE控制信令QoE網(wǎng)頁瀏覽QoE定位QoE視頻KI音頻KI控制信令KI網(wǎng)頁瀏覽KI定位KI定位抖動丟包率時延帶寬覆蓋
建立xQoE指標(biāo)體系同樣存在不小的挑戰(zhàn)。算法模型建立尚需大量工作5G云XR業(yè)務(wù)場景非常豐富,各種場景對于用戶體驗的考量不同。例如云XR需要的KPI指標(biāo)會較一般的XR業(yè)務(wù)更高,100M~1Gbps的用戶速率,如果無法滿足,用戶體驗將會出現(xiàn)卡頓、馬賽克。云XR需要提供端到端10ms~20ms的時延,如果超過這個時延,云XR體驗者會產(chǎn)生眩暈。在網(wǎng)絡(luò)擁塞導(dǎo)致丟包率增加時,雖然提供給用戶的帶寬沒有太大變化,而用戶的實際業(yè)務(wù)速率會劇烈下降,導(dǎo)致用戶無法進(jìn)行正常的業(yè)務(wù)體驗。另外用戶在業(yè)務(wù)體驗時,與云端存在指令交互,如果指令交互導(dǎo)致上述業(yè)務(wù)指標(biāo)不滿足要求,同樣存在業(yè)務(wù)體驗下降的問題。因此對于這種場景,需要同時考量業(yè)務(wù)相關(guān)的用戶面和控制面的傳輸質(zhì)量。5G能夠提供云XR業(yè)務(wù)極致體驗,但同樣存在用戶體驗評估的復(fù)雜性。尤其是強交互VR/AR業(yè)務(wù)場景,如何確定“xQoE-子業(yè)務(wù)QoE-KQI-KPI”的算法模型和參數(shù),尚需要業(yè)界同仁投入大量工作,不斷進(jìn)行實踐嘗試,將xQoE評估體系標(biāo)準(zhǔn)化,能夠真正用于指導(dǎo)5G第一步:分析構(gòu)建,xQoE-子業(yè)務(wù)QoE-KQI-KPI的指標(biāo)體系。KPI是業(yè)務(wù)運維的監(jiān)控指標(biāo),必須是可測量的。KQI是一組反應(yīng)業(yè)務(wù)質(zhì)量的客觀指標(biāo),例如視頻的幀率,這個需要根據(jù)業(yè)務(wù)的技術(shù)特點分析。QoE5GXR業(yè)務(wù)場景,會是相關(guān)子業(yè)務(wù)的5GXRVR/AR交互業(yè)務(wù),一般會包括視頻、音頻這樣的子業(yè)務(wù)。而其中某個子業(yè)務(wù)體驗下降會影響用戶對上層業(yè)務(wù)的體驗。不同于傳統(tǒng)QoE評估體系,在xQoE是疊加在下面若干個子業(yè)務(wù)QoE之上的。不管子業(yè)務(wù)QoE,還是上層業(yè)務(wù)的xQoE都是主觀的評測指標(biāo),根據(jù)業(yè)務(wù)復(fù)雜度,可以一個,也可以按子業(yè)務(wù)分解為一個總指標(biāo)和若干子指標(biāo)。如強交互云VR/ARQoE頻、音頻子業(yè)務(wù)的KQI,也需要考慮“控制信令”“網(wǎng)絡(luò)瀏覽”“定位”(可選)等子業(yè)務(wù)的
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 婦幼保健院藥品存儲改造方案
- 消防設(shè)備現(xiàn)場安裝指導(dǎo)方案
- 消防泵房噪聲控制方案
- 2026年食品衛(wèi)生與安全知識競賽試題庫及答案
- 壓實設(shè)備選擇與使用方案
- 消防設(shè)施環(huán)境友好型材料應(yīng)用方案
- 土方開挖施工安全防護(hù)方案
- 2026年醫(yī)療廢棄物處理筆試醫(yī)療廢物報廢規(guī)定與環(huán)保措施試題
- 消防設(shè)施建筑外立面防火方案
- 市場營銷策略快速落地工具組合方案
- 企業(yè)訴訟案件管理辦法
- 新疆金礦概述
- 給醫(yī)生感謝信又短又好(5篇)
- 濕疹 (中醫(yī)院皮膚科)
- 實驗室儀器設(shè)備驗收單
- 智能照明系統(tǒng)調(diào)試記錄
- 關(guān)于若干歷史問題的決議(1945年)
- 畢業(yè)論文8000字【6篇】
- 隨訪管理系統(tǒng)功能參數(shù)
- 探究應(yīng)用新思維七年級數(shù)學(xué)練習(xí)題目初一
- 污水管網(wǎng)竣工驗收報告
評論
0/150
提交評論