智慧教室中5G+XR功能的設(shè)計實現(xiàn)案例分析目錄TOC\o"1-3"\h\u8629智慧教室中5G+XR功能的設(shè)計實現(xiàn)案例分析 1250891.1建設(shè)意義 1117001.2方案概述 199251.3承載網(wǎng)絡(luò)的選擇 2249031.45GMEC的云XR方案 5210091.5關(guān)于XR云渲染的時延問題 7108681.6設(shè)計與實現(xiàn) 9建設(shè)意義5G+XR智慧教室以培養(yǎng)學生創(chuàng)新精神和動手能力為重點，以優(yōu)質(zhì)教學資源為核心，將虛擬現(xiàn)實技術(shù)與STEAM教育、創(chuàng)客教育相融合，集終端、應用系統(tǒng)、平臺、內(nèi)容于一體，為學生創(chuàng)設(shè)接近真實的學習環(huán)境，將虛擬動畫與實景空間相結(jié)合并且結(jié)合學生自主動手創(chuàng)造能力，將抽象概念具象化，為學習者打造高度開放、可交互、沉浸式的三維學習環(huán)境。為學生提供自由發(fā)揮的空間，把學生轉(zhuǎn)變?yōu)閯?chuàng)造者。建設(shè)此教室將面臨如下挑戰(zhàn)：終端成本高VR應用的局限性之一在于購置主機和終端硬件成本高，傳統(tǒng)CG類VR內(nèi)容需要主機配置高性能GPU顯卡，利用本地主機進行渲染。內(nèi)容分散且不豐富PC/主機VR的內(nèi)容分散在各個平臺，并且需要用戶先下載到本地主機才能使用。移動性受限傳統(tǒng)VR使用線纜或者WiFi連接本地主機，僅能坐立式或者房間范圍內(nèi)使用。這些挑戰(zhàn)也是阻礙XR產(chǎn)業(yè)發(fā)展的一些問題，本課題也將在這些問題上進行討論研究，為XR產(chǎn)業(yè)推進貢獻力量。方案概述VR一體機算力有限，VR顯示器需要連接高性能主機，有線纜不方便且不利于教室這種集中使用VR的場景。5G技術(shù)的大帶寬和低時延一直以來就與VR緊密結(jié)合，結(jié)合華為公司發(fā)布的云VR/AR演進階段，如REF_Ref66714256\h圖11所示，5G可為VR帶來的就是云端處理，所以論證是否可以采用基于5G網(wǎng)絡(luò)的云VR的概念，將算力集中在云端，從而將VR眼鏡終端輕量化（成本低，終端只是一個解碼器和服務(wù)器，VR頭顯只需要進行解碼顯示即可為用戶呈現(xiàn)超高質(zhì)量的VR內(nèi)容），并適當采用5GMEC技術(shù)，將算力從云端下沉到邊緣側(cè)，減少RTT（round-triptime，往返時延）。圖3-SEQ圖3-\*ARABIC1云VR演進的階段所以根據(jù)上述分析，5G+XR功能基本按VR頭顯終端—5G網(wǎng)絡(luò)—邊緣MEC平臺—云XR應用的架構(gòu)進行論證設(shè)計，對比VR，AR和MR相較于VR略微復雜，本課題先實現(xiàn)VR，再實現(xiàn)AR。承載網(wǎng)絡(luò)的選擇目前市面上我們使用的VR基本都是PCVR或一體機，基本都是需要本地渲染、動作本地閉環(huán)的，而想要實現(xiàn)云端渲染和動作云端閉環(huán)，由于VR頭顯和云端交互的數(shù)據(jù)量較大，需要100Mbps~9.4Gbps這樣較大的帶寬需求，而且要滿足佩戴后無眩暈感，RTT至少要達到20ms之內(nèi)，綜合現(xiàn)在通信技術(shù)，只有4G、5G與WiFi有可能可以滿足需求。5G是第五代移動通信技術(shù)的簡稱，由2G、3G、4G發(fā)展而來，主要由3GPP進行標準制定發(fā)布，因為VR需要較大的帶寬，2G和3G基本無法承載該業(yè)務(wù)，我國三大電信運營商的4G網(wǎng)絡(luò)的頻譜和速率如REF_Ref71281162\h圖3-2所示，上行50Mbit/s下行100Mbit/s承載單路VR業(yè)務(wù)或許可行，但是智慧教室中可能會有多個VR頭顯終端，4G還是較難承載智慧教室情景下的VR業(yè)務(wù)。圖3-SEQ圖3-\*ARABIC2我國三大運營商4G頻譜和速率相比5G網(wǎng)絡(luò)，5G網(wǎng)絡(luò)由于具有eMBB、uRLLC、mMTC三大特性，特備是大帶寬和低時延，是非常適配VR應用的場景的。根據(jù)IMT-2020的發(fā)布，5G的峰值速率高達20Gbit/s（毫米波），sub6G可以達到2.2Gbit/s，如REF_Ref71281397\h圖3-3所示，空口時延小于1ms，每平方千米可連接百萬設(shè)備，可支持每小時500km以上的移動速度。所以，從蜂窩網(wǎng)絡(luò)的角度上分析，基本只有5G網(wǎng)絡(luò)可以承載本課題的智慧教室中的VR業(yè)務(wù)。圖3-SEQ圖3-\*ARABIC3我國三大運營商5G頻譜和速率非蜂窩網(wǎng)絡(luò)，我們首先想到的就是WiFi網(wǎng)絡(luò)，1997年，全球最大的專業(yè)學術(shù)組織IEEE推出了第一個WiFi標準802.11，工作在2.4G頻段，最高速率為2Mbit/s，目前WiFi標準已經(jīng)發(fā)展到了WiFi6（IEEE802.11.ax）即第六代無線網(wǎng)絡(luò)技術(shù)，是創(chuàng)建于IEEE802.11標準的無線局域網(wǎng)技術(shù)。WiFi6主要使用了OFDMA、MU-MIMO等技術(shù)，MU-MIMO（多用戶多入多出）技術(shù)允許路由器同時與多個設(shè)備通信，而不是依次進行通信。MU-MIMO允許路由器一次與四個設(shè)備通信，Wi-Fi6將允許與多達8個設(shè)備通信。WiFi6還利用其他技術(shù)，如OFDMA（正交頻分多址）和發(fā)射波束成形，兩者的作用分別提高效率和網(wǎng)絡(luò)容量。WiFi6最高速率可達9.6Gbps，如REF_Ref71281476\h圖3-4所示，從支持的傳輸速率上看，基本上可以支持VR業(yè)務(wù)，但還需要結(jié)合應用場景進行綜合比較分析。圖3-SEQ圖3-\*ARABIC4WiFi協(xié)議版本和速率現(xiàn)對5G網(wǎng)絡(luò)和WiFi網(wǎng)絡(luò)（以性能最優(yōu)的WiFi6為例）進行綜合分析。速率方面5G網(wǎng)絡(luò)上行峰值速率可以達到10Gbit/s，下行峰值速率可以達到20Gbit/s，WiFi6最高速率可達9.6Gbps，從速率上看，基本滿足有多臺VR設(shè)備的智慧教室建設(shè)需要。時延方面5G在uRLLC場景下時延小于1ms，在eMBB場景下時延小于4ms，而WiFi時延大概在20ms左右，在時延方面，5G由于WiFi。移動性方面5G網(wǎng)絡(luò)左右運營商建設(shè)的蜂窩網(wǎng)絡(luò)，具有UE移動性強，切換小區(qū)速度快，覆蓋面積廣等特點，而WiFi網(wǎng)絡(luò)跨小區(qū)建立連接相對較慢，不過智慧教室場景不具備太多需要快速移動的跨小區(qū)的場景，所以移動性方面5G與WiFi網(wǎng)絡(luò)基本相當，如果校方存在教學需要更換場地等需求，建議還是優(yōu)選5G網(wǎng)絡(luò)。建設(shè)維護方面5G網(wǎng)絡(luò)需要運營商進行覆蓋，WiFi相對較為容易，建設(shè)成本較5G網(wǎng)絡(luò)來說也更低，但是WiFi網(wǎng)絡(luò)定期都需要進行維護，維護成本較5G網(wǎng)絡(luò)來說更高，所以在建設(shè)維護方面，兩者基本相當。是否支持邊緣計算等其他業(yè)務(wù)5G網(wǎng)絡(luò)因為解耦的網(wǎng)絡(luò)架構(gòu)，引入了邊緣計算技術(shù)，可以將部分數(shù)據(jù)處理能力下沉到網(wǎng)絡(luò)邊緣，進一步提升了云計算能力、降低了時延。移動邊緣計算技術(shù)（MEC）是基于5G演進架構(gòu)，將基站與互聯(lián)網(wǎng)業(yè)務(wù)深度融合的一種技術(shù)。MEC被視為4.5G/5G的一個技術(shù)趨勢，能夠提供一個低時延、海量吞吐率、安全的可編程的彈性網(wǎng)絡(luò)，滿足移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)業(yè)務(wù)發(fā)展對移動網(wǎng)絡(luò)的新要求，特別是5G專網(wǎng)，可以在學校應用，實現(xiàn)校園專用網(wǎng)絡(luò)，數(shù)據(jù)不出校。對比WiFi網(wǎng)絡(luò)，如果想做邊緣計算，只能每個獨立的業(yè)務(wù)獨立建一個“計算盒子”，無法像5GMEC一樣，把教學業(yè)務(wù)、校園AI安防業(yè)務(wù)等進行統(tǒng)一部署。在業(yè)務(wù)拓展性上，5G網(wǎng)絡(luò)占優(yōu)。綜合上述對5G網(wǎng)絡(luò)和WiFi網(wǎng)絡(luò)在速率、時延、移動性、建設(shè)維護、是否支持邊緣計算等方面的比較，5G網(wǎng)絡(luò)更適用于本課題的場景中。5GMEC的云XR方案由于使用VR時，用戶的全部視野都被VR頭顯所覆蓋，微小的延遲、控制器與實際姿勢不同步或畫面撕裂都可以造成嚴重的眩暈感，降低使用體驗，同時VR頭顯為了避免畫面模糊以及晶格效應，分辨率要求較高，最低2K，最高8K。目前各VR廠家的解決方案大多為VR頭顯通過DP數(shù)據(jù)線或者通過WIFI串流方式與PC端相連（性能與PC配置直接掛鉤），而一臺滿足VR需求的PC價格昂貴，從而使一間沉浸式教室成本急劇升高；也有廠家推出了使用集成化芯片的VR一體機，但普遍性能受限，無法滿足沉浸式教育應用全部需求。隨著今年5G的商用，云VR是將云計算、云渲染的理念及技術(shù)引入到VR業(yè)務(wù)應用中，借助5G的網(wǎng)絡(luò)，將云端的顯示輸出和聲音輸出等經(jīng)過編碼壓縮后傳輸?shù)接脩舻慕K端設(shè)備，實現(xiàn)VR業(yè)務(wù)內(nèi)容上云、渲染上云，從而降低VR終端的成本，且云VR平臺有利于內(nèi)容的聚合及版權(quán)保護，并徹底解決了VR頭戴顯示器僅能坐立式或者房間范圍內(nèi)使用，5G網(wǎng)絡(luò)的大帶寬、低延遲、廣覆蓋特性將使VR徹底擺脫線纜的束縛，隨時隨地可用，從而推動VR走向主流。在綜合考慮成本與設(shè)備安裝便利性后，搭載Inside-out定位的輕量版VR設(shè)備以及數(shù)據(jù)運算在云端解決的方案為沉浸式教育的終極解決方案。定位通過頭顯自身設(shè)備性能即可完成，并將定位數(shù)據(jù)實時上傳至MEC服務(wù)器，相關(guān)教學軟件搭載于MEC云端進行實時運算、畫面渲染、視音頻編碼，解決了VR設(shè)備對于運算能力以及低延遲需求，數(shù)據(jù)傳輸則由5G網(wǎng)絡(luò)打通，高帶寬特性滿足VR頭顯內(nèi)的高分辨率顯示需求，如REF_Ref71282083\h圖3-5所示。圖3-SEQ圖3-\*ARABIC5云XR數(shù)據(jù)流結(jié)合前文中對網(wǎng)絡(luò)和XR設(shè)備的分析，本方案中的智慧教室初步計劃使用5GMEC的云XR方案，整體架構(gòu)依次為內(nèi)容層、平臺層、網(wǎng)絡(luò)層、終端層，層與層之間相互聯(lián)系，底層為上一層輸出基礎(chǔ)能力，如REF_Ref71282187\h圖3-6所示。內(nèi)容層提供比如XR視頻系統(tǒng)，用于向平臺層提供實時的XR視頻內(nèi)容；平臺層包括XR視頻直播平臺，用于云XR視頻直播中XR視頻的實時導入、切片、轉(zhuǎn)碼、出視頻流；網(wǎng)絡(luò)層基于運營商5G無線網(wǎng)MEC系統(tǒng)，用于為云XR視頻業(yè)務(wù)提供穩(wěn)定傳輸，實現(xiàn)平臺層與終端層及內(nèi)容層之間的數(shù)據(jù)交互；終端層包括XR終端，可以先從VR終端做起，先用于實現(xiàn)VR視頻內(nèi)容呈現(xiàn)、網(wǎng)絡(luò)接入以及用戶鑒權(quán)功能，通過網(wǎng)絡(luò)層接入MEC系統(tǒng)，經(jīng)本地分流功能直接訪問云端平臺層或MEC系統(tǒng)內(nèi)的VR視頻流，隨后再實現(xiàn)AR、MR等設(shè)備。圖3-SEQ圖3-\*ARABIC6基于5GMEC的云XR方案5G帶來的“云端化”趨勢使VR頭顯成本大大降低，利于在校園、消費者市場普及，利用5G網(wǎng)絡(luò)的大帶寬和邊緣計算等技術(shù)，未來VR頭顯的內(nèi)容處理方式將從單一的自帶處理單元本地處理，發(fā)展為自帶處理單元和網(wǎng)絡(luò)邊緣服務(wù)器處理簡單計算過程，云端處理大量復雜計算過程的模式，這樣VR頭顯僅僅需要完成信息傳輸和解碼的功能，無需配置高端的CPU、GPU等部件，頭顯的硬件成本大大降低，同時利用云端服務(wù)器強大的計算能力為用戶提供高質(zhì)量的VR內(nèi)容。綜上所述，結(jié)合5GMEC云XR能力，在本章開始時提到的建設(shè)VR教室的挑戰(zhàn)也基本可以解決，在云XR場景中，GPU渲染功能從本地遷移到云端，從而使得終端的設(shè)計變得更加輕便與高性價比，降低了用戶購買硬件設(shè)備的成本；云XR平臺有利于內(nèi)容的聚合，開發(fā)者在云上進行快速的內(nèi)容迭代發(fā)布，用戶即點即玩、無需下載，同時解決盜版問題，促進內(nèi)容產(chǎn)業(yè)的發(fā)展；5G網(wǎng)絡(luò)的大帶寬、低延遲、廣覆蓋特性將使XR徹底擺脫線纜的束縛，隨時隨地可用，并也推動XR產(chǎn)業(yè)前進。關(guān)于XR云渲染的時延問題之前VR設(shè)備往往都是近端部署，在服務(wù)端部署往往都是因為時延而不僅盡如人意，基本都是因為時延造成的人眼感官較差，有頭暈目眩的感覺，而造成這種頭暈目眩的最主要因素則是MTP（motiontophotons，頭動到顯示出相應畫面的時間），分辨率、幀率越高，圖像視頻的信息量越大，對帶寬和時延的要求越高，而MTP最主要的構(gòu)成就是傳輸網(wǎng)絡(luò)的RTT，經(jīng)過調(diào)研，一般MTP小于20ms可以達到較好的體驗，邊緣計算對于VR業(yè)務(wù)來說，把大流量圈限在網(wǎng)絡(luò)邊緣，大大減少了對骨干傳輸?shù)膲毫Γ硗?，通過用戶面網(wǎng)關(guān)下沉、應用邊緣化等方式大大減少了網(wǎng)絡(luò)時延，下面將對網(wǎng)絡(luò)中使用邊緣計算和不適用邊緣計算進行分析：不使用邊緣計算：RTT=空口時延+無線接入網(wǎng)時延+核心網(wǎng)時延+核心網(wǎng)出口到服務(wù)端的互聯(lián)網(wǎng)時延引入邊緣計算后的時延：RTT=eMBB空口時延+5G接入網(wǎng)到MEC平臺時延圖3-SEQ圖3-\*ARABIC7引入邊緣計算前后的時延如REF_Ref71282558\h圖3-7所示展示了引入5G邊緣計算前后的網(wǎng)絡(luò)RTT。其中,n、n’為通信網(wǎng)絡(luò)中的傳輸跳數(shù),根據(jù)傳送網(wǎng)現(xiàn)狀,每跳傳輸設(shè)備處理時延為30~50μs;典型城域距離100~200km,省內(nèi)距離500km,光傳輸時延5μs/km。以4G網(wǎng)絡(luò)用戶面集中部署為例,典型傳輸跳數(shù)10跳,傳輸設(shè)備單向時延約0.4ms(4×30μs+6×50μs≈0.4ms);光纖傳輸單向時延約2.5ms(500km×5μs/km=2.5ms);RTT通常為20~40ms,無法滿足VR業(yè)務(wù)需求。同時可以看出,相對于設(shè)備的時延(4G為0.4ms，5G會更小)，距離對時延的影響更加明顯(2.5ms和0.4ms),得益于5G用戶面可以靈活設(shè)置的技術(shù)特點,距離帶來的影響可以按需進行屏蔽。在用戶面下沉到基站鄰近,同時VR服務(wù)部署在和用戶面同機房的MEC上時,基本可以只考慮空口時延,即約8ms(4ms×2)?？紤]城域范圍內(nèi)光傳輸時延帶來的影響不大(<1ms),因此UPF和MEC通常可設(shè)置在城域網(wǎng)的接入層或核心層。另外，邊緣計算平臺也可以作為應用的部署平臺和管理平臺，所以從業(yè)務(wù)時