第1章虛擬現(xiàn)實(shí)技術(shù)概論

1.1VR技術(shù)簡介

.目錄.2.VR技術(shù)特征

.3.

VR技術(shù)體系

.4.

VR系統(tǒng)的分類

.1

.VR發(fā)展歷史

1.1.1VR發(fā)展歷史1.1.1VR發(fā)展歷史1.1.1VR發(fā)展歷史

VR技術(shù)的概念和研究目標(biāo)的形成與相關(guān)科學(xué)技術(shù)，特別是計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展密切相關(guān)。人們甚至嘗試過很多方式，用一種足以以假亂真的方式再現(xiàn)現(xiàn)實(shí)。最早的VR起源可以追溯到17世紀(jì)末和18世紀(jì)初?，F(xiàn)實(shí)主義藝術(shù)家創(chuàng)作了作品，比如戰(zhàn)爭場景和更多不同主題的全景繪畫，填滿人們的視野。這之后才有更加技術(shù)化的實(shí)質(zhì)推進(jìn)。早在20世紀(jì)30年代，作家斯坦利·G·溫鮑姆（StanleyG.Weinbaum）就在其小說《皮格馬利翁的眼鏡》中，提到了這樣一種虛擬現(xiàn)實(shí)的眼鏡。當(dāng)人們戴上它時，可以看到、聽到、聞到里面的角色感受到的事物，有如真實(shí)地生活在其中一般。歷史證明，科幻小說是啟發(fā)科學(xué)發(fā)展方向的先頭部隊(duì)。1.科學(xué)幻想在1957年，美國攝影師莫頓?海利希（MortonHeilig）發(fā)明了第一臺原始VR設(shè)備Sensorama（1962年提交專利），這臺設(shè)備被認(rèn)為是VR設(shè)備的鼻祖。它非常龐大，屏幕固定，擁有3D立體聲、3D顯示、震動座椅、風(fēng)扇（模擬風(fēng)吹）以及氣味生成器等設(shè)備及功能。第一臺原始VR設(shè)備Sensorama，如圖所示?？梢娫缙谌藗儗R的理解，就已經(jīng)不限于視覺。2.早期研究1965年，美國計(jì)算機(jī)科學(xué)家伊凡·薩瑟蘭（IvanSutherland）發(fā)表論文TheUltimateDisplay（《終極顯示》），1968年，薩瑟蘭發(fā)明了最接近于現(xiàn)代VR設(shè)備概念的第一款頭戴式VR顯示Sutherland，因?yàn)槠渲亓看螅枰梢桓睓C(jī)械臂吊在人的頭頂，因此被戲稱為“達(dá)摩克利斯之劍”，如圖的所示。這個VR眼鏡，通過超聲和機(jī)械軸，實(shí)現(xiàn)了初步的姿態(tài)檢測功能。當(dāng)用戶的頭部姿態(tài)變化時，計(jì)算機(jī)會實(shí)時計(jì)算出新的圖形，顯示給用戶?？梢哉f，現(xiàn)代的VR眼鏡，都是對“達(dá)摩克利斯之劍”的技術(shù)革新。Sutherland的誕生，標(biāo)志著頭戴式VR設(shè)備與頭部位置追蹤系統(tǒng)的誕生，為現(xiàn)今的VR技術(shù)奠定了堅(jiān)實(shí)基礎(chǔ)，薩瑟蘭也因此被稱為VR之父。2.早期研究3.概念產(chǎn)生和理論形成20世紀(jì)70年代至20世紀(jì)80年代，是整個虛擬技術(shù)理論和概念形成的時期，組成虛擬頭盔的各種組件在技術(shù)上已經(jīng)十分成熟。1987年，一位著名計(jì)算機(jī)科學(xué)家杰倫·拉尼爾（JaronLanier），利用各種組件“拼湊”出第一款真正投放市場的VR商業(yè)產(chǎn)品，這款VR頭盔看起來有點(diǎn)像Oculus（目前市場主流的頭戴式VR頭盔之一），但10萬美元的天價(jià)卻阻礙了其普及之路。20世紀(jì)90年代，虛擬技術(shù)的理論已經(jīng)非常成熟，但對應(yīng)的VR頭盔依舊是概念性的產(chǎn)品，展現(xiàn)了VR產(chǎn)品的尷尬之處——外形笨重、功能單一、價(jià)格昂貴。游戲公司任天堂1995年推出的VirtualBoy游戲主機(jī)（如圖所示），由頭戴式變成了三腳架支撐，畫面顯示是單一色彩——紅色，僅僅在市場上生存了六個月就銷聲匿跡，VR游戲的首次嘗試也就隨之煙消云散，但也為VR硬件進(jìn)軍ToC（個人用戶）市場打開了一扇門。4.第一次VR熱潮5.2010sVR熱潮重啟現(xiàn)今VR產(chǎn)業(yè)火爆，起因是2012年OculusRift（一款頭戴式顯示器，如圖所示）通過國外知名眾籌網(wǎng)站KickStarter募資到160萬美元開發(fā)費(fèi)用，后來其被臉書公司以20億美元的天價(jià)收購。而當(dāng)時Unity（市場主流VR開發(fā)引擎）作為第一個支持Oculus的引擎，吸引了大批開發(fā)者投身VR項(xiàng)目的開發(fā)中。2014年谷歌發(fā)布了GoogleCardBoard（谷歌卡板，是谷歌推出的廉價(jià)VR眼鏡，如圖所示），讓消費(fèi)者能以非常低廉的成本，通過在盒子里面插入手機(jī)來體驗(yàn)VR世界，直接點(diǎn)燃了“MobileVR”（移動端VR）產(chǎn)品超級營銷大戰(zhàn)。5.2010sVR熱潮重啟2015年，HTCVIVE（由HTC與Valve聯(lián)合開發(fā)的一款VR頭顯，如圖所示）在2015年世界移動通信大會（MWC2015）上正式發(fā)布，2016年，索尼公布了PSVR（索尼公司推出的VR頭顯），隨后大量的廠家開始研發(fā)自己的VR設(shè)備，VR新元年正式開始。VR技術(shù)的發(fā)展起伏跌宕，但大部分新技術(shù)，從概念出現(xiàn)到最終普及，都會經(jīng)歷一個起伏的階段。業(yè)界有一條專門描述這個過程的曲線，叫做技術(shù)成熟度曲線（TheHypeCycle，如圖所示）。了解技術(shù)成熟度曲線，可以幫助我們在新技術(shù)的應(yīng)用過程中，更清晰地把握時機(jī)，做出正確的判斷。1.1.2VR技術(shù)特征1.1.2VR技術(shù)特征1.1.2VR技術(shù)特征

VR技術(shù)已經(jīng)逐漸影響我們的日常生活。通過觀察你會發(fā)現(xiàn)，其實(shí)身邊已經(jīng)有許許多多VR存在。例如，現(xiàn)在街邊隨處可見的VR體驗(yàn)館，商場里幾乎都有的收費(fèi)VR游戲區(qū)，許多移動設(shè)備端的購物軟件也加入了VR購物模式，購房選房平臺也加入了360度VR全景看房……由此可見，VR不僅離我們的生活不遠(yuǎn)，甚至可以說正在滲透進(jìn)生活的各個環(huán)節(jié)中。與傳統(tǒng)的模擬技術(shù)相比，VR技術(shù)的特點(diǎn)是：用戶能夠進(jìn)入到一個由計(jì)算機(jī)系統(tǒng)生成的交互式的三維虛擬環(huán)境中，可以與之進(jìn)行交互。通過用戶與仿真環(huán)境的相互作用，并利用人類本身對所接觸事物的感知和認(rèn)知能力，啟發(fā)用戶的思維，讓用戶全方位地獲取事物的各種空間信息和邏輯信息。沉浸性（Immersion）、交互性（Interactivity）和想象性（Imagination）VR技術(shù)有3個主要特征：沉浸性是指用戶感受到被虛擬世界所包圍，好像完全置身于虛擬世界中一樣。VR技術(shù)最主要的技術(shù)特征是讓用戶覺得自己是計(jì)算機(jī)系統(tǒng)所創(chuàng)建的虛擬世界中的一部分，使用戶由觀察者變成參與者，沉浸其中，并參與虛擬世界的活動，如圖所示。理想的虛擬世界應(yīng)該使用戶難以分辨真假，使用戶全身心地投入到計(jì)算機(jī)創(chuàng)建的三維虛擬環(huán)境中。由于相關(guān)技術(shù)，特別是傳感技術(shù)的限制，目前VR技術(shù)所具有的沉浸功能僅限于視覺、聽覺、力覺、觸覺、運(yùn)動等幾種。交互性是指用戶對模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度（包括實(shí)時性）。例如，用戶可以借助于VR系統(tǒng)中的特殊硬件設(shè)備（如數(shù)據(jù)手套、力反饋裝置等）去直接抓取模擬環(huán)境中虛擬的物體。這時手有握著東西的感覺，并可以感覺物體的重量，在視野中，被抓的物體也能立刻隨著手的移動而移動，如圖所示。用戶能通過自然的方式，產(chǎn)生同在真實(shí)世界中一樣的感覺。想象性指虛擬的環(huán)境是人想象出來的，同時這種想象會體現(xiàn)出設(shè)計(jì)者相應(yīng)的思想，因而可以用來實(shí)現(xiàn)一定的目標(biāo)。VR技術(shù)應(yīng)具有廣闊的可想象空間，可拓寬人類的認(rèn)知范圍，不僅可再現(xiàn)真實(shí)存在的環(huán)境，也可以構(gòu)想客觀不存在的，甚至是不可能產(chǎn)生的環(huán)境，如圖所示。1.1.3VR技術(shù)體系1.1.3VR技術(shù)體系1.1.3VR技術(shù)體系VR技術(shù)的目標(biāo)是由計(jì)算機(jī)生成虛擬世界，用戶可以與之進(jìn)行視覺、聽覺、觸覺、嗅覺、味覺等全方位的交互，并且系統(tǒng)能進(jìn)行實(shí)時響應(yīng)。VR技術(shù)的實(shí)現(xiàn)過程包括創(chuàng)建虛擬世界、呈現(xiàn)虛擬世界、感知虛擬世界、與虛擬世界交互。相對應(yīng)的，VR技術(shù)體系主要有環(huán)境建模技術(shù)、立體呈現(xiàn)技術(shù)、檢測感知技術(shù)、自然交互技術(shù)等.虛擬環(huán)境建模的目的是設(shè)計(jì)出反映研究對象與環(huán)境的真實(shí)有效模型。一般是指三維視覺建模，主要包括幾何建模、物理建模、行為建模等建模要求。在VR技術(shù)中，營造虛擬環(huán)境是基礎(chǔ)內(nèi)容。要建立虛擬環(huán)境，首先要建模，然后在其基礎(chǔ)上再進(jìn)行實(shí)時繪制、立體顯示，形成一個虛擬的世界，如圖所示。建模先要獲取實(shí)際三維環(huán)境的三維數(shù)據(jù)，并根據(jù)應(yīng)用的需要，疊加物理模型和行為模型的要求，進(jìn)而建立相應(yīng)的虛擬模型。只有設(shè)計(jì)出反映研究對象的真實(shí)有效的模型，VR系統(tǒng)才有可信度。1.環(huán)境建模技術(shù)人類從客觀世界獲得的信息中，80%以上來自視覺，視覺是人類感知外部世界、獲取信息的最重要傳感通道，視覺通道也是多重感知的VR系統(tǒng)中最重要的環(huán)節(jié)。在視覺顯示技術(shù)中，實(shí)現(xiàn)立體顯示技術(shù)是較為復(fù)雜與關(guān)鍵的，立體視覺顯示技術(shù)是VR的重要支撐技術(shù)。2.立體呈現(xiàn)技術(shù)目前的立體顯示技術(shù)，基本上是基于雙目視差原理實(shí)現(xiàn)的。人所看到的立體影像，是由于人體兩眼間位置距離而有視差，兩眼產(chǎn)生有細(xì)微差距的畫面，這兩個畫面在大腦中融合，產(chǎn)生有空間立體感的物體影像，如圖所示。在VR系統(tǒng)中的立體顯示技術(shù)，雙目立體視覺起了很大作用。用戶的兩只眼睛看到的不同圖像，是分別產(chǎn)生并顯示在兩個不同的顯示器上。也有的系統(tǒng)采用單個顯示器，但用戶帶上特殊的眼鏡后，一只眼睛只能看到奇數(shù)幀圖像，另一只眼睛只能看到偶數(shù)幀圖像，也能使視差產(chǎn)生立體感。此外，由于聲音到達(dá)兩只耳朵的時間或距離有所不同，在水平方向上，我們可以靠聲音的相位差及強(qiáng)度的差別來確定聲音的方向。常見的立體聲效果就是靠左右耳聽到在不同位置錄制的不同聲音來實(shí)現(xiàn)的。3.檢測感知技術(shù)為了實(shí)現(xiàn)盡可能好的沉浸感，理想的VR技術(shù)應(yīng)該具有一切人所具有的感知功能。由于相關(guān)技術(shù)，特別是傳感技術(shù)的限制，目前大多數(shù)VR技術(shù)所具有的感知功能僅限于視覺、聽覺、觸覺、運(yùn)動等幾種。其中，視覺是人類感知世界的最重要通道，目前人們對視覺器官的研究比較深入，現(xiàn)有的VR系統(tǒng)也能夠?qū)崿F(xiàn)非常逼真的視覺沉浸感。VR要帶給人沉浸感，就要做到能讓人在虛擬空間里“自然”運(yùn)動，這需要通過運(yùn)動追蹤來改變場景的呈現(xiàn)。目前的VR設(shè)備主要是利用空間定位技術(shù)來捕捉人的身體的位置運(yùn)動，用慣性傳感器來捕捉人的頭部的運(yùn)動，人在轉(zhuǎn)動頭部時，視角會發(fā)生相應(yīng)的變化。如果只追蹤頭部不追蹤眼球運(yùn)動容易使人眩暈，而眼球追蹤技術(shù)以眼球的變化來控制場景的變化，可以解決這一問題，如圖所示。此外，用戶想要獲得完全的沉浸感，真正“進(jìn)入”虛擬世界，動作捕捉系統(tǒng)是必需的。人們存在于虛擬世界，光學(xué)動作捕捉系統(tǒng)可以確定參與者的頭部、手、身體等的位置與方向，準(zhǔn)確地跟蹤測量參與者的動作，將這些動作實(shí)時檢測出來，以便將這些數(shù)據(jù)反饋給顯示和控制系統(tǒng)，如圖所示。4.自然交互技術(shù)VR技術(shù)中強(qiáng)調(diào)自然交互性，即人處在虛擬世界中，與虛擬世界進(jìn)行交互，甚至意識不到計(jì)算機(jī)的存在，即在計(jì)算機(jī)系統(tǒng)提供的VR空間中，人可以使用眼睛、耳朵、皮膚、手勢和語音等各種感覺方式直接與之發(fā)生交互，這就是虛擬環(huán)境下的自然交互技術(shù)。人們研究“VR”的目標(biāo)是實(shí)現(xiàn)“計(jì)算機(jī)應(yīng)該適應(yīng)人，而不是人適應(yīng)計(jì)算機(jī)”，人機(jī)接口的改進(jìn)應(yīng)該基于相對不變的人類特性。較為常用的交互技術(shù)主要有觸覺力學(xué)反饋、語音識別、表情識別、手勢識別、體態(tài)識別等。比如，在一個VR系統(tǒng)中，用戶可以看到一個虛擬的杯子。用戶可以設(shè)法去抓住它，但是用戶的手沒有真正接觸杯子的感覺，并有可能穿過虛擬杯子的“表面”，而這在現(xiàn)實(shí)生活中是不可能的。解決這一問題的常用裝置是觸覺手套，在手套內(nèi)層安裝一些可以振動的觸點(diǎn)來模擬觸覺，如圖所示。又如，肢體動作是人類情緒、愿望的重要表達(dá)形式，體態(tài)識別技術(shù)完成了將動作數(shù)字化的工作，提供了新的人機(jī)交互手段，比傳統(tǒng)的鍵盤、鼠標(biāo)更直接方便，不僅可以實(shí)現(xiàn)手勢識別，還使操作者能以自然的動作直接控制計(jì)算機(jī)，并為最終實(shí)現(xiàn)可以理解人類動作的計(jì)算機(jī)系統(tǒng)和機(jī)器人提供了技術(shù)基礎(chǔ)。如圖所示，可以運(yùn)用體態(tài)識別技術(shù)體驗(yàn)穿衣搭配的效果，即體感試衣。.謝謝觀看

第1章虛擬現(xiàn)實(shí)技術(shù)概論

1.2

AR技術(shù)簡介

.目錄.2.AR系統(tǒng)結(jié)構(gòu)

.3.

AR技術(shù)特征

.4.

AR主要顯示方式

.1

.AR發(fā)展歷史

1.2.1AR發(fā)展歷史1.2.1AR發(fā)展歷史1.2.1AR發(fā)展歷史1990年，波音公司研究員湯姆·考德爾（Tom

Caudell）創(chuàng)造了“AR”這個術(shù)語。考德爾和他的同事設(shè)計(jì)了一個輔助飛機(jī)布線系統(tǒng)，用于代替笨重的示例圖版。這個頭戴設(shè)備將布線圖或者裝配指南投射到特殊的可再用方板上。這些AR投影可以通過計(jì)算機(jī)快速輕松地更改，機(jī)械師再也不需要手工重新改造或者制作示例圖版。1998年，AR第一次出現(xiàn)在大眾平臺上。當(dāng)時有電視臺在橄欖球賽電視轉(zhuǎn)播上使用AR技術(shù)將得分線疊加到屏幕中的球場上。此后，AR技術(shù)開始被用于天氣預(yù)報(bào)——天氣預(yù)報(bào)制作者將計(jì)算機(jī)圖像疊加到現(xiàn)實(shí)圖像和地圖上面。從那時起，AR真正地開始了其爆炸式的發(fā)展。2000年，布魯斯·托馬斯（BruceH.Thomas）在澳大利亞南澳大學(xué)可穿戴計(jì)算機(jī)實(shí)驗(yàn)室開發(fā)了第一款手機(jī)室外AR游戲——ARQuake。2008年左右，AR開始被用于地圖等手機(jī)應(yīng)用上。2016年，由任天堂和口袋妖怪以及谷歌共同推出了PokemonGo，在美國上線后迅速席卷全球，對于AR的普及起到了巨大的推動作用。1.2.2AR系統(tǒng)結(jié)構(gòu)1.2.2AR系統(tǒng)結(jié)構(gòu)1.2.2AR系統(tǒng)結(jié)構(gòu)一個典型的AR系統(tǒng)結(jié)構(gòu)由虛擬場景生成單元、（透射式）頭盔顯示器、頭部跟蹤設(shè)備和（虛實(shí)融合）交互設(shè)備構(gòu)成。其中虛擬場景生成單元負(fù)責(zé)虛擬場景的建模、管理、繪制和其它外設(shè)的管理；透射式頭盔顯示器負(fù)責(zé)顯示虛擬和現(xiàn)實(shí)融合后的信號；頭部跟蹤設(shè)備跟蹤用戶視線變化；交互設(shè)備用于實(shí)現(xiàn)感官信號及環(huán)境控制操作信號的輸入輸出，如圖所示。首先，透射式頭盔顯示器采集真實(shí)場景的視頻或者圖像，傳入后臺的處理單元對其進(jìn)行分析和重構(gòu)，并結(jié)合頭部跟蹤設(shè)備的數(shù)據(jù)來分析虛擬場景和真實(shí)場景的相對位置，實(shí)現(xiàn)坐標(biāo)系的對齊并進(jìn)行虛擬場景的融合計(jì)算；交互設(shè)備采集外部控制信號，實(shí)現(xiàn)對虛實(shí)結(jié)合場景的交互操作。系統(tǒng)融合后的信息會實(shí)時地顯示在頭盔顯示器中，展現(xiàn)在人的視野中。1.2.3AR技術(shù)特征1.2.3AR技術(shù)特征1.2.3AR技術(shù)特征1.虛實(shí)結(jié)合

虛實(shí)結(jié)合是指在現(xiàn)實(shí)環(huán)境中加入虛擬對象，可以把計(jì)算機(jī)產(chǎn)生的虛擬對象與用戶所處的真實(shí)環(huán)境融合，做到虛中有實(shí)，實(shí)中有虛。與VR技術(shù)不同的是，AR技術(shù)不會把使用者與真實(shí)世界隔開，而是將計(jì)算機(jī)生成的虛擬物體和信息疊加到真實(shí)世界的場景中來，以實(shí)現(xiàn)對現(xiàn)實(shí)場景更直觀深入的了解和解讀，在有限的時間和有限的場景中實(shí)現(xiàn)與現(xiàn)實(shí)相關(guān)知識領(lǐng)域的理解。增強(qiáng)的信息可以是與真實(shí)物體相關(guān)的非幾何信息，如視頻、文字，也可以是幾何信息，如虛擬的三維物體和場景。2.實(shí)時交互

實(shí)時交互是指實(shí)現(xiàn)用戶與真實(shí)世界中的虛擬信息間的自然交互。通過AR系統(tǒng)中的交互接口設(shè)備，人們以自然方式與AR環(huán)境進(jìn)行交互操作，這種交互要滿足實(shí)時性。實(shí)時性是指不管用戶身處何地，都能通過系統(tǒng)迅速識別現(xiàn)實(shí)世界的事物，系統(tǒng)也可在設(shè)備中合成該事物圖像，通過傳感技術(shù)將可視化信息反饋給用戶。3.三維注冊

AR中的三維注冊是指將計(jì)算機(jī)產(chǎn)生的虛擬物體與用戶的真實(shí)場景全方位對準(zhǔn)。在VR中，注冊是指呈現(xiàn)給用戶的虛擬環(huán)境及其變化，要與用戶的各種感官的真實(shí)感知相匹配。

AR系統(tǒng)實(shí)時檢測用戶頭部位置和方向，根據(jù)這些信息確定所要添加虛擬信息在真實(shí)坐標(biāo)中的位置，使得用戶眼前真實(shí)景象和虛擬景象保持同步。例如，宜家家居的應(yīng)用。經(jīng)過注冊之后，當(dāng)人的位置變化時，虛擬的桌椅、沙發(fā)也能夠出現(xiàn)在人周圍合適的位置，而非在原有的位置不變，出現(xiàn)不匹配的情況。1.2.4AR主要顯示方式1.2.4AR主要顯示方式1.2.4AR主要顯示方式1.移動手持顯示智能手機(jī)正是移動手持AR顯示設(shè)備的代表，如圖所示。這類設(shè)備正在變得越來越好——顯示器分辨率越來越高，處理器越來越強(qiáng)，相機(jī)成像質(zhì)量越來越好，傳感器越來越多，提供著加速計(jì)、全球定位系統(tǒng)（GlobalPositioningSystem，GPS）、羅盤等功能……這些成為天然的AR平臺。人們正經(jīng)歷著智能手機(jī)、平板電腦等手持設(shè)備的大爆炸時代，這將會促進(jìn)AR的普及。盡管手持設(shè)備是消費(fèi)者接觸AR應(yīng)用最為方便的工具，但由于大部分手持設(shè)備不具備可穿戴功能，因此用戶無法獲得雙手解放的AR體驗(yàn)。2.可穿戴顯示可穿戴式顯示要使用一種可以戴在用戶頭上的類似眼鏡的頭戴AR顯示器，如圖所示。可穿戴式顯示器一般包含一套小型顯示器，有兩個內(nèi)嵌鏡頭和半透明鏡的在飛行仿真、工程設(shè)計(jì)以及教育訓(xùn)練等多個領(lǐng)域都有廣泛的運(yùn)用。用戶的現(xiàn)實(shí)世界視角被AR設(shè)備截取，增強(qiáng)后的畫面重新顯示在用戶視野中。AR畫面透過眼鏡鏡片，或者通過眼鏡鏡片反射，進(jìn)入眼球視網(wǎng)膜從而成像。頭戴式AR設(shè)備可以讓用戶更加自然地體驗(yàn)AR，并且能夠?yàn)橛脩籼峁└蟮囊晥觯o予用戶更強(qiáng)，更真實(shí)的“身在該處”的感覺。人們熟知的GoogleGlass屬于這一類型設(shè)備。

空間顯示技術(shù)，是利用包括全息投影在內(nèi)的視頻投影技術(shù)，直接將虛擬數(shù)字信息顯示在真實(shí)的環(huán)境之中，如圖所示。這種技術(shù)的系統(tǒng)不同于一般只適合于個人使用的AR系統(tǒng)，而是將AR與周圍環(huán)境相結(jié)合，可供多個用戶共同使用。這種技術(shù)適用于大學(xué)或者圖書館，可以同時為一群人提供AR信息。也可以將控制組件投影到相應(yīng)的實(shí)體模型上，方便工程師的交互操作。3.空間顯示.謝謝觀看

廣東輕工職業(yè)技術(shù)學(xué)院

數(shù)字媒體技術(shù)專業(yè)第1章虛擬現(xiàn)實(shí)技術(shù)概論

1.3

MR技術(shù)簡介

.目錄.2.MR技術(shù)體系

.3.

MR主流產(chǎn)品及差異

.1

.MR發(fā)展歷史

1.3.1MR發(fā)展歷史1.3.1MR發(fā)展歷史1.3.1MR發(fā)展歷史MR，來源于“智能硬件之父”多倫多大學(xué)教授史蒂夫?曼恩（SteveMann）提出的介導(dǎo)現(xiàn)實(shí)（MediatedReality），從范圍來說是介導(dǎo)現(xiàn)實(shí)的子集。在20世紀(jì)七八十年代，為了增強(qiáng)視覺效果，讓眼睛在任何情境下都能夠“看到”周圍環(huán)境，曼恩設(shè)計(jì)出可穿戴智能硬件，這被看作是對MR技術(shù)的初步探索。MR技術(shù)是在VR及AR基礎(chǔ)上延伸的又一新型技術(shù)，其融合了兩者的優(yōu)點(diǎn)，使得現(xiàn)實(shí)與虛擬更加無縫結(jié)合。MR技術(shù)通過在虛擬環(huán)境中引入現(xiàn)實(shí)場景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶之間搭起一個交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。根據(jù)曼恩的理論，智能硬件最后都會從AR技術(shù)逐步向MR技術(shù)過渡。MR是下一個大的虛擬交互范式轉(zhuǎn)變，它是AR和VR的混合。MR比VR更先進(jìn)，因?yàn)樗Y(jié)合使用若干類型的技術(shù)，包括傳感器、先進(jìn)的光學(xué)和下一代的計(jì)算能力。所有這些技術(shù)捆綁成一個單一的設(shè)備，將會為用戶提供疊加增強(qiáng)全息數(shù)字內(nèi)容到實(shí)時空間的能力，創(chuàng)造了令人難以置信的現(xiàn)實(shí)和令人興奮的場景。1.概念形成2015年，MR技術(shù)公司MagicLeap通過一段鯨魚從籃球場高高躍起的視頻震驚了整個世界，如圖所示。因此，MagicLeap被視為MR技術(shù)的領(lǐng)導(dǎo)者之一，該項(xiàng)技術(shù)將計(jì)算機(jī)圖形集成到現(xiàn)實(shí)世界中，主要研發(fā)方向就是將三維圖像投射到人的視野中，具體如何研發(fā)依然處于絕密狀態(tài)。1.3.2MR技術(shù)體系1.3.2MR技術(shù)體系1.3.2MR技術(shù)體系

VR和MR的產(chǎn)業(yè)鏈有大量重疊，技術(shù)體系也是如此。MR體系也要支持實(shí)現(xiàn)實(shí)時環(huán)境掃描、實(shí)時三維建模、與全息圖像交互的功能，主要包含了圖像識別、同步位置和映射、全息影像等內(nèi)容。圖像識別即計(jì)算機(jī)系統(tǒng)快速和精確地分析圖像并識別其中特征的能力。MR技術(shù)把現(xiàn)實(shí)的物體虛擬化，需要先用攝像頭捕捉畫面，但攝像頭捕捉到二維畫面，畫面扁平?jīng)]有立體感，需要把二維的圖像通過計(jì)算機(jī)重構(gòu)形成三維虛擬圖像，這就是3D建模?，F(xiàn)實(shí)物體只有虛擬化之后，才能很好地融合進(jìn)入虛擬的3D世界。1.圖像識別與重構(gòu)SLAM是一套用于定位一個人并同時映射環(huán)境的技術(shù)。SLAM是MR應(yīng)用的關(guān)鍵。為了使MR技術(shù)在新的、未知的或不斷變化的環(huán)境中發(fā)揮作用，需要不斷地創(chuàng)建這些環(huán)境的地圖，然后定位和跟蹤一個人在其中的運(yùn)動。采用圖像識別和深度傳感器數(shù)據(jù)的SLAM算法來計(jì)算用戶在物理世界中的位置。當(dāng)然除了硬件，還有很多公司基于硬件檢測到的數(shù)據(jù)做算法的分析，能夠?qū)崿F(xiàn)對運(yùn)動的實(shí)時跟蹤。2.同步定位與地圖構(gòu)建（SimultaneousLocalizationandMapping，SLAM）MR（MixedReality）是可以把全息影像和現(xiàn)實(shí)場景融合起來，讓虛擬與現(xiàn)實(shí)進(jìn)行交互的技術(shù)。全息影像也可以稱為虛擬成像技術(shù)，它的原理是通過虛擬成像硬件，利用光線的干涉和衍射記錄再現(xiàn)物體真實(shí)的三維圖像。換個說法，全息影像就是用戶戴上MR頭戴顯示設(shè)備時出現(xiàn)在其周圍世界中的數(shù)字對象（由光和聲音組成）。全息影像與VR技術(shù)最大的不同，在于VR技術(shù)展示出的是完全虛擬的景象，而全息投影則是在真實(shí)場景中呈現(xiàn)虛擬的景象，虛實(shí)混合在一起難以區(qū)分。全息影像開發(fā)者可對全息影像進(jìn)行編程，來實(shí)現(xiàn)與用戶的視線、手勢或語音輸入的交互。開發(fā)者可在MR空間中的特定位置放置全息影像，用戶可繞著特定位置走近或遠(yuǎn)離，而全息影像位置保持不變。開發(fā)者也可將全息影像設(shè)置為跟隨用戶，無論用戶在哪里，全息影像都能與用戶保持一定相對距離。開發(fā)者甚至可添加空間定位點(diǎn)，讓應(yīng)用程序記住放置全息影像的位置，有效地將全息影像固定在原地便于回來查看。3.全息影像（Holographic）1.3.3MR主流產(chǎn)品及差異1.3.3MR主流產(chǎn)品及差異1.3.3MR主流產(chǎn)品及差異

MR技術(shù)作為一種通用性技術(shù)在近幾年得到迅速發(fā)展，在很多行業(yè)內(nèi)都能找到應(yīng)用場景的結(jié)合點(diǎn)。基于MR技術(shù)的全息展示和空間定位等特性，在工業(yè)、設(shè)計(jì)、展覽、建筑、醫(yī)療、教育等行業(yè)中都具有顯著的業(yè)務(wù)需求。目前市場上主流產(chǎn)品是微軟的HoloLens和MagicLeap的MagicLeapOne。這類MR眼鏡設(shè)備都是為了看到現(xiàn)實(shí)中不存在物體與現(xiàn)實(shí)世界融合在一起的圖像，并與其交互。從技術(shù)上可以簡單地看成兩個部分：對現(xiàn)實(shí)世界的感知（Perception），頭戴式顯示器以呈現(xiàn)虛擬的影像（Display）。

MagicLeap的感知部分與微軟HoloLens并沒有太大差異，都是空間感知定位技術(shù)。在操作上，MagicLeap也與微軟HoloLens類似，用戶所有操作都是依靠手勢來完成，而且設(shè)備上的傳感器能識別用戶用手指發(fā)出的各種命令，還能用導(dǎo)波管在真實(shí)世界中添加虛擬的3D圖像。兩者之間最大的不同應(yīng)該是來自顯示部分，MagicLeap是用光纖向視網(wǎng)膜直接投射整個數(shù)字光場，產(chǎn)生所謂的電影級的現(xiàn)實(shí)（CinematicReality）。而HoloLens則采用一個半透玻璃，從側(cè)面實(shí)施數(shù)字光處理（DigitalLightProcessing，DLP）投影顯示，是個二維顯示器。

MagicLeap是將畫面直接投射于用戶的視網(wǎng)膜，人們通過MagicLeap看到的物體和現(xiàn)實(shí)生活中真實(shí)的物體并沒什么區(qū)別，也不會有信息損失。從理論上來說，使用MagicLeap的設(shè)備，是無法區(qū)分虛擬物體和現(xiàn)實(shí)物體。使用MagicLeap的設(shè)備，最明顯區(qū)別在于技術(shù)上的效果，人眼可以直接選擇聚焦（主動選擇性聚焦），即用戶需要看近的物體，近的物體就實(shí)，遠(yuǎn)的就虛。注意這里不需要任何的人眼跟蹤技術(shù)，因?yàn)橥渡涞墓鈭鲞€原了所有的信息，用戶可以直接做到人眼所看全部與真實(shí)物體一樣，同時擁有較高的分辨率。從而用戶在使用設(shè)備時，可以完全解決視角、眩暈感等問題，使人可以與自然觀察世界完全相同的方式去體驗(yàn)。.謝謝觀看

廣東輕工職業(yè)技術(shù)學(xué)院

數(shù)字媒體技術(shù)專業(yè)1.4VR、AR、MR的關(guān)系1.4VR、AR、MR的關(guān)系1.4VR、AR、MR的關(guān)系

VR技術(shù)曾被認(rèn)為是下一代通用技術(shù)平臺和下一代互聯(lián)網(wǎng)的入口，是引領(lǐng)全球新一輪產(chǎn)業(yè)變革的重要力量，是經(jīng)濟(jì)發(fā)展的新增長點(diǎn)，目前已經(jīng)在工業(yè)、軍事、醫(yī)療、航天、教育、娛樂等領(lǐng)域應(yīng)用較為成熟。2021年我國VR市場規(guī)模預(yù)計(jì)將達(dá)544.5億元。國內(nèi)通稱的VR產(chǎn)業(yè)包括了VR、AR、MR等技術(shù)及其產(chǎn)業(yè)應(yīng)用，但此部分涉及VR時僅指VR技術(shù)?？偟膩碚f，VR是純虛擬的封閉場景，而AR在現(xiàn)實(shí)場景中疊加虛擬元素，MR是實(shí)時數(shù)字化的現(xiàn)實(shí)場景融合虛擬物體

VR是利用VR設(shè)備模擬產(chǎn)生一個三維的虛擬空間，提供視覺、聽覺、觸覺等感官的模擬，讓使用者如同身歷其境一般。簡而言之，就是“無中生有”。在VR中，用戶只能體驗(yàn)到虛擬世界，無法看到真實(shí)環(huán)境。AR技術(shù)是VR技術(shù)的延伸，能夠把計(jì)算機(jī)生成的虛擬信息（物體、圖像、視頻、聲音、系統(tǒng)提示信息等）疊加到真實(shí)場景中并與人實(shí)現(xiàn)互動。簡而言之，就是“錦上添花”。在AR中，用戶既能看到真實(shí)世界，又能看到虛擬事物。MR技術(shù)是AR技術(shù)的升級，將虛擬世界和真實(shí)世界合成一個無縫銜接的虛實(shí)融合世界，其中的物理實(shí)體和數(shù)字對象滿足真實(shí)的三維投影關(guān)系。簡而言之，就是“實(shí)幻交織”。在MR中，用戶難以分辨真實(shí)世界與虛擬世界的邊界。簡單來說，VR看到的場景和人物全是假的，是把人的意識帶入一個虛擬世界。AR看到的場景和人物一半是真，一半假，是把虛擬的信息帶入到現(xiàn)實(shí)世界中。MR的場景有真有假，不易區(qū)分，虛擬場景與真實(shí)世界混合在一起了。VR、AR、MR的關(guān)系

為進(jìn)一步區(qū)分三者之間的差別，可分別選取OculusRift（VR設(shè)備，已被Facebook收購）、GoogleGlass（谷歌公司出產(chǎn)的AR設(shè)備產(chǎn)品）和MicrosoftHoloLens（微軟公司出產(chǎn)的MR產(chǎn)品）作外觀比較。這三款產(chǎn)品都是點(diǎn)燃了公眾對于3R技術(shù)興趣的產(chǎn)品，未來也最可能成為各自領(lǐng)域內(nèi)最成功的消費(fèi)級產(chǎn)品。OculusRift是一款為電子游戲設(shè)計(jì)的頭戴式顯示器，如圖所示。它將VR接入游戲中，使得玩家們能夠身臨其境。OculusRift具有兩個目鏡，每個目鏡的分辨率為640×800，雙眼的視覺合并之后擁有1280×800的分辨率，并且較早具備陀螺儀控制的視角是這款設(shè)備一大特色，游戲的沉浸感大幅提升。雖然最初是為游戲打造，但是Oculus已經(jīng)決心將其應(yīng)用到更為廣泛的領(lǐng)域，包括觀光、電影、醫(yī)藥、建筑、空間探索等1.OculusRift2.GoogleGlass（谷歌眼鏡）谷歌發(fā)布了全新企業(yè)版GoogleGlass，如圖所示。谷歌為新版眼鏡設(shè)計(jì)了安全鏡框，使其看起來更像是一副真正的眼鏡。新版谷歌眼鏡提供一個640×380分辨率的光學(xué)顯示模塊（OpticalDisplayModule），可以在現(xiàn)實(shí)世界中添加AR內(nèi)容，另外還提供了智能語音助手來幫助完成日常作業(yè)任務(wù)。3.MicrosoftHoloLensHoloLens是微軟公司開發(fā)的一種MR頭戴式顯示器，如圖所示。HoloLens的定位是使用戶在產(chǎn)品的使用中擁有良好的交互體驗(yàn)，它將某些計(jì)算機(jī)生成的效果疊加于現(xiàn)實(shí)世界之上，用戶戴上眼鏡仍然可以行走自如，隨意與人交談，眼鏡將會追蹤用戶的移動和視線，進(jìn)而生成適當(dāng)?shù)奶摂M對象，通過光線投射到用戶的眼中。因?yàn)樵O(shè)備能感知用戶的方位，用戶可以通過手勢與虛擬3D對象交互。2.GoogleGlass（谷歌眼鏡）.謝謝觀看

廣東輕工職業(yè)技術(shù)學(xué)院

數(shù)字媒體技術(shù)專業(yè)1.5VR,AR,MR的應(yīng)用1.5VR,AR,MR的應(yīng)用1.5VR,AR,MR的應(yīng)用VR、AR、MR業(yè)務(wù)形態(tài)豐富，產(chǎn)業(yè)潛力大，社會效益強(qiáng)，以VR為代表的新一輪科技和產(chǎn)業(yè)革命蓄勢待發(fā)，虛擬經(jīng)濟(jì)與實(shí)體經(jīng)濟(jì)的結(jié)合，將給人們的生產(chǎn)方式和生活方式帶來革命性變化。VR與各行各業(yè)的融合創(chuàng)新應(yīng)用主要集中在軍事演練、工業(yè)生產(chǎn)、醫(yī)療健康、教育培訓(xùn)、文化娛樂、零售營銷等領(lǐng)域，VR正在加速向生產(chǎn)與生活領(lǐng)域滲透，“VR+”時代業(yè)已開啟。1.軍事演練2.工業(yè)生產(chǎn)3.醫(yī)學(xué)健康4.教育培訓(xùn)VR、AR、MR的應(yīng)用5.文化娛樂6.建筑規(guī)劃7.商業(yè)營銷軍事仿真訓(xùn)練與演練是VR技術(shù)的重要應(yīng)用領(lǐng)域之一，也是VR技術(shù)應(yīng)用最早、最多的一個領(lǐng)域。VR技術(shù)應(yīng)用于軍事演練，帶來了軍事演練觀念和方式的變革，推動了軍事演練的發(fā)展。目前，VR技術(shù)在軍事領(lǐng)域的應(yīng)用包括進(jìn)行單兵模擬訓(xùn)練、網(wǎng)絡(luò)化作戰(zhàn)演練、虛擬戰(zhàn)場環(huán)境、武器裝備的研制等方面，下面以單兵模擬訓(xùn)練為例進(jìn)行介紹。1.軍事演練在工業(yè)生產(chǎn)領(lǐng)域，VR、AR、MR技術(shù)成為了智能制造領(lǐng)域的發(fā)展重點(diǎn)，是智能制造核心信息設(shè)備領(lǐng)域的關(guān)鍵技術(shù)之一。這項(xiàng)技術(shù)可以在智能制造各個環(huán)節(jié)中獲取信息、實(shí)時通信，以實(shí)現(xiàn)動態(tài)交互、決策分析和控制。按生產(chǎn)環(huán)節(jié)看，VR、AR、MR技術(shù)可在需求分析、總體設(shè)計(jì)、工藝設(shè)計(jì)、生產(chǎn)制造、測試實(shí)驗(yàn)、使用維護(hù)等環(huán)節(jié)提供支撐，有助于實(shí)現(xiàn)工業(yè)產(chǎn)品“設(shè)計(jì)-制造-測試-維護(hù)”的智能化和一體化的應(yīng)用。2.工業(yè)生產(chǎn)“VR+產(chǎn)品設(shè)計(jì)”可提供沉浸式空間，實(shí)現(xiàn)產(chǎn)品的多人同步設(shè)計(jì)，所見即所得的設(shè)計(jì)方式極大簡化了設(shè)計(jì)難度，提高設(shè)計(jì)效率。例如，汽車廠家憑借VR技術(shù)可視化、可交互的特點(diǎn)，在與真實(shí)汽車同比例的虛擬空間中，動態(tài)調(diào)整設(shè)計(jì)細(xì)節(jié)與總體原型，同時進(jìn)行各類路試、碰撞、風(fēng)洞測試，通過虛擬設(shè)計(jì)、生產(chǎn)模擬、工藝分析與虛擬試驗(yàn)，大幅縮短了新車研發(fā)周期，降低了研發(fā)成本。產(chǎn)品設(shè)計(jì)，如圖1-32所示。VR結(jié)合工業(yè)生產(chǎn)的應(yīng)用場景，包括產(chǎn)品設(shè)計(jì)、工廠規(guī)劃、運(yùn)行維護(hù)、汽車抬頭顯示、遠(yuǎn)程協(xié)作等方面，下面做部分介紹。（1）產(chǎn)品設(shè)計(jì)（2）工廠規(guī)劃在工廠規(guī)劃階段，通過VR設(shè)備，設(shè)計(jì)師與其他參與項(xiàng)目的人員可以在虛擬的廠房中觀測與審核工廠運(yùn)行效果。在廠房設(shè)計(jì)階段，設(shè)計(jì)師和管理者可以在同一環(huán)境下討論工程布局與行走路線的布局，如圖1-33所示。這可以預(yù)知工人與工程師在工廠中是否可以舒適高效地工作。通過工廠的設(shè)計(jì)規(guī)劃，公司可以最大化地提高生產(chǎn)線投產(chǎn)后的能效。（3）運(yùn)行維護(hù)MR技術(shù)可以在日常工作的真實(shí)環(huán)境中為工人提供他們最為需要的信息，包括崗位操作培訓(xùn)、設(shè)備維護(hù)手冊、物聯(lián)網(wǎng)（InternetofThings，IOT）數(shù)據(jù)展示，以及遠(yuǎn)程專家指導(dǎo)，等等。員工在使用頭戴式MR眼鏡的時候，完全不影響他們對身邊真實(shí)環(huán)境的觀察，并能解放出雙手進(jìn)行操作。MR工業(yè)運(yùn)維，如圖1-34所示。(4)汽車抬頭顯示抬頭顯示（HeadsUpDisplay，HUD）是AR在汽車市場上的突破性應(yīng)用，可以將汽車行駛信息及交通信息投射在擋風(fēng)玻璃上，在行駛過程中，駕駛員不需要轉(zhuǎn)移視線，如圖1-35所示。寶馬、沃爾沃、雪佛蘭、雷克薩斯等眾多車型都采用了HUD技術(shù)。ARHUD正在成為智能座艙與駕駛安全的新標(biāo)簽。（5）遠(yuǎn)程協(xié)作在很多方面，VR技術(shù)代表著計(jì)算機(jī)輔助設(shè)計(jì)技術(shù)的自然演化?！癡R+遠(yuǎn)程協(xié)作”可以幫助用戶突破物理限制，讓多個用戶進(jìn)入同一個虛擬仿真環(huán)境中進(jìn)行協(xié)同評審，如圖1-36所示。在5G時代即將到來的今天，5G網(wǎng)絡(luò)的超快通信速度能幫助制造業(yè)企業(yè)實(shí)現(xiàn)全球化的異地協(xié)同，電影中的全球化協(xié)同場景終將實(shí)現(xiàn)。（1）手術(shù)培訓(xùn)“VR+手術(shù)培訓(xùn)”將醫(yī)學(xué)教學(xué)與學(xué)習(xí)體驗(yàn)提升到了一個新高度，如圖1-37所示。過去只有少數(shù)臨床醫(yī)學(xué)學(xué)生才能獲得見習(xí)機(jī)會，觀察醫(yī)生實(shí)施手術(shù)的具體過程。然而隨著VR技術(shù)的發(fā)展，VR技術(shù)使醫(yī)生的操作可以全球播放，醫(yī)學(xué)院的學(xué)生也可以使用VR眼鏡來模擬手術(shù)實(shí)踐。（2）解剖教學(xué)（3）醫(yī)療影像解剖學(xué)教學(xué)和教科書在教學(xué)內(nèi)容傳達(dá)方面有局限性。而在VR中學(xué)習(xí)，情況可以得到改善，教師可以從皮膚層、骨骼、身體各個角度教學(xué)，每一層都可以獨(dú)立移動，因此醫(yī)學(xué)生可以看到肌肉、神經(jīng)和器官之間關(guān)系，如果有需要，還可以放大到微觀層面，VR解剖教學(xué)如圖1-38所示，這是一種非常直觀便利的學(xué)習(xí)體驗(yàn)。MR技術(shù)在醫(yī)療場景中也有著廣闊的發(fā)展空間，如在手術(shù)過程中，醫(yī)療影像數(shù)據(jù)可以方便地轉(zhuǎn)化為3D模型，技術(shù)支持者利用MR全息化地展示這些模型，可以將平面的影像立體化，給予與醫(yī)生準(zhǔn)確的空間位置判斷力，MR醫(yī)療影像如圖1-39所示。這種空間立體化的“讀片”技術(shù)可以顯著提升年輕醫(yī)生的讀片準(zhǔn)確度，同時也方便醫(yī)生將相關(guān)病情與患者或家屬進(jìn)行直觀的溝通。3.醫(yī)學(xué)健康醫(yī)學(xué)領(lǐng)域?qū)R、AR、MR技術(shù)有著巨大的應(yīng)用需求，提供了強(qiáng)大的推動力，同時也提出了嚴(yán)峻的挑戰(zhàn)。目前，VR、AR、MR技術(shù)已初步應(yīng)用于虛擬手術(shù)訓(xùn)練、遠(yuǎn)程會診、手術(shù)規(guī)劃及導(dǎo)航、遠(yuǎn)程協(xié)作、心理治療和康復(fù)訓(xùn)練手術(shù)等方面，已成為醫(yī)療過程中不可替代的重要手段和環(huán)節(jié)。（1）常規(guī)教育“VR、AR、MR+教育培訓(xùn)”市場潛力大、目標(biāo)用戶多、涵蓋范圍廣?！癡R+教育培訓(xùn)”涉及領(lǐng)域較廣，包括面向大眾的語言教育等專題類教育、面向中小學(xué)基礎(chǔ)教育等常規(guī)教育，面向行業(yè)應(yīng)用的職業(yè)培訓(xùn)，以及面向大眾的安全教育等領(lǐng)域。VR技術(shù)未來有望將成為基礎(chǔ)的教育工具。4.教育培訓(xùn)在中小學(xué)基礎(chǔ)教育和高等教育中，VR技術(shù)的應(yīng)用以VR課件、VR課堂為主，如圖1-40所示，三維直觀的教學(xué)內(nèi)容、豐富的互動性、游戲化的教學(xué)方式成為VR技術(shù)提升教學(xué)效果的主要特點(diǎn)。（2）職業(yè)培訓(xùn)Thistemplateisexclusivelydesignedby1PPT職業(yè)教育主要關(guān)注技能培訓(xùn)和操作能力的提高，但一些復(fù)雜操作技能，如汽車維修，很難給與學(xué)生充足的實(shí)際上手時間。同時，在學(xué)生進(jìn)行實(shí)際操作的時候也需要教師一直確保其操作準(zhǔn)確性，以免發(fā)生人員傷害或設(shè)備毀損的情況。MR技術(shù)可以將培訓(xùn)教學(xué)內(nèi)容虛擬化，并將培訓(xùn)教學(xué)內(nèi)容與教學(xué)現(xiàn)場的環(huán)境和實(shí)物疊加起來，通過虛實(shí)結(jié)合的方式輔助學(xué)生掌握操作方法，MR技能培訓(xùn)如圖1-41所示。而且虛擬化的培訓(xùn)內(nèi)容可以反復(fù)播放，實(shí)現(xiàn)學(xué)生獨(dú)立學(xué)習(xí)的需求。4.教育培訓(xùn)（3）安全教育無論是在網(wǎng)上頻繁進(jìn)行災(zāi)害防范宣傳，還是在學(xué)校、社區(qū)、企業(yè)中進(jìn)行大模的安全演練，都要付出相當(dāng)高的成本，而基于安全考慮，一般的演練都無法感受真實(shí)的災(zāi)害情景，人們的防范意識并沒有得到真正的提升，在耗費(fèi)了大量人力財(cái)力物力的同時并沒有起到應(yīng)有的效果。隨著VR技術(shù)的出現(xiàn)并應(yīng)用于公共安全教育，有望從根本上改變這一現(xiàn)狀。VR技術(shù)構(gòu)造出特定的安防培訓(xùn)場景，將傳統(tǒng)的教學(xué)元素，如圖形和數(shù)據(jù)嵌入到生動虛擬環(huán)境中，通過模擬特定的危險(xiǎn)情景，更容易激發(fā)體驗(yàn)者的緊張感并提升專注度，強(qiáng)化事故演練效果，VR安全教育如圖1-42所示4.教育培訓(xùn)4.教育培訓(xùn)AR可以將靜態(tài)的文字、圖片讀物立體化，增加閱讀的互動性、趣味性，AR讀本如圖1-43所示示，三維直觀的教學(xué)內(nèi)容、豐富的互動性、游戲化的教學(xué)方式成為VR技術(shù)提升教學(xué)效果的主要特點(diǎn)。（4）教材變革（1）直播VR直播,是VR與直播的結(jié)合，如圖1-44所示。與傳統(tǒng)電視觀看相比，VR直播最大區(qū)別是讓觀眾身臨其境來到現(xiàn)場，實(shí)時全方位體驗(yàn)。VR直播與我們常見的新聞現(xiàn)場直播、春晚直播不同之處在于其具備3個特點(diǎn)：全景、3D以及交互。采用360度全景的拍攝設(shè)備捕捉超清晰、多角度的畫面，每一幀畫面都是一個360度的全景，觀看者可選擇上下左右任意角度，體驗(yàn)逼真的沉浸感。VR直播跳出了傳統(tǒng)平面視頻的視角框定，給用戶呈現(xiàn)前所未有的視覺盛宴。在VR全景直播中，是由用戶來決定看到的內(nèi)容，而不是內(nèi)容決定用戶。隨著5G的加速推進(jìn)，VR直播逐漸成了企業(yè)營銷標(biāo)配。目前，VR直播在電子商務(wù)、體育賽事、綜藝節(jié)目等領(lǐng)域應(yīng)用火爆，未來也會有更多的領(lǐng)域開始加入到VR技術(shù)的大軍中。“VR+文化娛樂”重在提升大眾消費(fèi)體驗(yàn)，應(yīng)用領(lǐng)域包括游戲、社交、影視、直播、旅游、文博等，下面以直播、文博為例介紹VR技術(shù)在文化娛樂領(lǐng)域的應(yīng)用。5.文化娛樂（2）文博文博也是VR技術(shù)的一個重要應(yīng)用領(lǐng)域?，F(xiàn)在VR已經(jīng)成為數(shù)字博物館/科學(xué)館、大型活動開閉幕式彩排仿真、沉浸式互動游戲等應(yīng)用系統(tǒng)的核心支撐技術(shù)。在數(shù)字博物館/科學(xué)館方面，利用VR技術(shù)可以進(jìn)行各種文獻(xiàn)、手稿、照片、錄音、影片和藏品等文物的數(shù)字化展示，VR文博如圖1-45所示。對這些文物展品高精度圖的建模也不斷給VR建模方法和數(shù)據(jù)采集設(shè)備提出了更高的要求，推動了VR技術(shù)的發(fā)展。許多國家都積極開展了這方面的工作，如紐約大都會博物館、大英博物館、俄羅斯冬宮博物館和法國盧浮宮等都建立了自己的數(shù)字博物館。我國也開發(fā)并建立了大學(xué)數(shù)字博物館、數(shù)字科技館和虛擬敦煌、虛擬故宮等。5.文化娛樂（3）游戲AR游戲可以讓位于不同地點(diǎn)的玩家，結(jié)合GPS和陀螺儀，以真實(shí)世界為游戲背景，加入虛擬元素，使游戲虛實(shí)結(jié)合。任天堂的PokémonGO就是一款火爆全球的增強(qiáng)現(xiàn)實(shí)游戲。5.文化娛樂（1）建筑規(guī)劃建筑行業(yè)很大程度是由空間定義。最近幾年建筑設(shè)計(jì)方式從使用2D文檔到依靠建筑信息模型（BuildingInformationModeling，BIM）的過渡是一個自然的演變。如果MR與BIM能夠進(jìn)行完美地結(jié)合，把“虛”的BIM數(shù)據(jù)和“實(shí)”的施工場景進(jìn)行疊加對比，MR建筑規(guī)劃如圖1-47所示，那人們甚至可以在建筑施工現(xiàn)場評估工程進(jìn)度和施工精確度，這也將為建筑工程行業(yè)的智能化推進(jìn)帶來巨大的想象空間。在建筑規(guī)劃當(dāng)中，在施工之前需要有可視化效果展示各種設(shè)計(jì)效果?？梢暬Ч绻煌Ａ粼趫D紙上，想要真正發(fā)現(xiàn)規(guī)劃當(dāng)中的問題非常困難。而VR技術(shù)可按照規(guī)劃以及總體效果圖再現(xiàn)設(shè)計(jì)效果，再通過人機(jī)交互就可使人們提前感受建筑建設(shè)情況，真正實(shí)現(xiàn)正確施工。6.建筑規(guī)劃（2）房產(chǎn)開發(fā)“VR+房產(chǎn)開發(fā)”，是VR和傳統(tǒng)企業(yè)結(jié)合的成功案例。VR對于傳統(tǒng)房地產(chǎn)營銷方式的變革絕不只是對樣板間的顛覆，VR+地產(chǎn)已經(jīng)做到城市空間、樓盤全場景、景觀、精裝樣板間的VR體驗(yàn)，VR遠(yuǎn)程看房如圖1-48所示。針對為住宅地產(chǎn)、商業(yè)地產(chǎn)、養(yǎng)老地產(chǎn)、文旅地產(chǎn)、科技園區(qū)、城市規(guī)劃這些不同地產(chǎn)業(yè)態(tài)打造專項(xiàng)的全場景解決方案，在VR交互中植入了互動元素，使用戶可以更深入地體驗(yàn)到房產(chǎn)的細(xì)節(jié)。6.建筑規(guī)劃（3）家具裝飾在智能手機(jī)和AR的結(jié)合方面，蘋果走在了前列。在iPhoneX手機(jī)中，蘋果植入了三維識別傳感器，能夠?qū)χ車臻g和物體進(jìn)行識別和建模，用戶可以用手機(jī)測量周圍空間，或是對家具進(jìn)行模擬擺放，AR家裝如圖1-49所示。6.建筑規(guī)劃（1）電子商務(wù)AR技術(shù)可以讓消費(fèi)者實(shí)時查看有關(guān)零售店內(nèi)產(chǎn)品的信息，并使用計(jì)算機(jī)視覺技術(shù)和店內(nèi)跟蹤來幫助顧客找到需要的商品，AR購物如圖1-50所示。“VR+商業(yè)營銷”是利用VR技術(shù)，使消費(fèi)者獲得逼真的感官體驗(yàn)，充分調(diào)動消費(fèi)者的感性基因，從而影響其消費(fèi)決策。VR/AR電商通過三維建模技術(shù)與VR/AR設(shè)備以及交互體驗(yàn)，可以帶給消費(fèi)者更好的消費(fèi)體驗(yàn)?；Ч故靖鞣N設(shè)計(jì)效果?？梢暬Ч绻煌Ａ粼趫D紙上，想要真正發(fā)現(xiàn)規(guī)劃當(dāng)中的問題非常困難。而VR技術(shù)可按照規(guī)劃以及總體效果圖再現(xiàn)設(shè)計(jì)效果，再通過人機(jī)交互就可使人們提前感受建筑建設(shè)情況，真正實(shí)現(xiàn)正確施工。7.商業(yè)營銷（2）展覽應(yīng)用在MR技術(shù)剛出現(xiàn)的時候，最多的應(yīng)用場景就是展覽和展示。從功能上講，MR技術(shù)應(yīng)用于展覽行業(yè)的最大優(yōu)勢，是交互式的全息可視化內(nèi)容所能帶給觀眾的沖擊。MR技術(shù)非常適合展示體積龐大、結(jié)構(gòu)復(fù)雜、精密昂貴的產(chǎn)品，這些產(chǎn)品不便于攜帶和拆解，很難讓觀眾看到實(shí)物，或者了解其內(nèi)部結(jié)構(gòu)。通過MR技術(shù)為這些產(chǎn)品制作3D全息化的內(nèi)容，就可以非常方便地在任何地方、任何場合展示產(chǎn)品的細(xì)節(jié)，MR展覽展示如圖1-51所示7.商業(yè)營銷.謝謝觀看

廣東輕工職業(yè)技術(shù)學(xué)院

數(shù)字媒體技術(shù)專業(yè)1.6VR,AR,MR的發(fā)展趨勢1.6VR,AR,MR的發(fā)展趨勢1.6VR,AR,MR的發(fā)展趨勢VR、AR、MR是新一代的信息通信技術(shù)的重點(diǎn)領(lǐng)域，具有產(chǎn)業(yè)潛力大、技術(shù)跨度大、應(yīng)用空間廣的特點(diǎn)。目前，業(yè)內(nèi)也將VR、AR、MR統(tǒng)稱為擴(kuò)展現(xiàn)實(shí)（ExtendedReality，XR），擴(kuò)展現(xiàn)實(shí)在關(guān)鍵技術(shù)與產(chǎn)業(yè)應(yīng)用方面呈現(xiàn)出一些新的發(fā)展趨勢。從技術(shù)特點(diǎn)來看，5G是基礎(chǔ)、平臺性的技術(shù)，和XR技術(shù)相融合，能催生出種類豐富的XR應(yīng)用。5G能解決VR產(chǎn)品因?yàn)閹挷粔蚝蜁r延長帶來的圖像渲染能力不足、終端移動性差、互動體驗(yàn)不強(qiáng)等痛點(diǎn)問題。5G給VR產(chǎn)業(yè)發(fā)展帶來優(yōu)勢包括：在采集端，5G為XR內(nèi)容的實(shí)時采集數(shù)據(jù)傳輸提供大容量通道；在運(yùn)算端，5G可以將XR設(shè)備的算力需求轉(zhuǎn)向云端，省去現(xiàn)有設(shè)備中的計(jì)算模塊、數(shù)據(jù)存儲模塊，減輕設(shè)備重量；在傳輸端，5G能使XR設(shè)備擺脫有線傳輸線纜的束縛，通過無線方式獲得高速、穩(wěn)定的網(wǎng)絡(luò)連接；在顯示端，5G保持終端、云端的穩(wěn)定快速連接，XR視頻數(shù)據(jù)延遲達(dá)毫秒級，有效減輕用戶的眩暈感和惡心感（4G環(huán)境下，網(wǎng)絡(luò)信號傳輸?shù)难訒r約為40ms）。2019年，隨著我國5G牌照的正式發(fā)放，大規(guī)模的組網(wǎng)將在部分城市和熱點(diǎn)地區(qū)率先實(shí)現(xiàn)，能快速推進(jìn)XR終端服務(wù)的產(chǎn)業(yè)化進(jìn)程。(1)5G+XR1.擴(kuò)展現(xiàn)實(shí)和5G、人工智能、大數(shù)據(jù)云計(jì)算等前沿技術(shù)不斷融合創(chuàng)新發(fā)展，催生新的業(yè)態(tài)和服務(wù)。從技術(shù)特點(diǎn)來看，人工智能是基礎(chǔ)的賦能性技術(shù)，和XR技術(shù)相融合，能提高VR的智能化水平，提升虛擬設(shè)備的效能。人工智能賦能VR建模，人工智能能提升VR中智能對象行為的社會性、多樣性和交互逼真性，使得虛擬對象與虛擬環(huán)境和用戶之間進(jìn)行自然、持續(xù)、深入交互。人工智能提升VR算力，邊緣人工智能算法能大幅提升VR終端設(shè)備的數(shù)據(jù)處理能力。此外，人工智能與XR的結(jié)合將顯著提高XR應(yīng)用的交互能力和操作效率，滿足個人感知、分析、判斷與決策等實(shí)時信息需求，實(shí)現(xiàn)在工作、學(xué)習(xí)、生活、娛樂等不同場景下的流暢切換。(2)人工智能+XR1.擴(kuò)展現(xiàn)實(shí)和5G、人工智能、大數(shù)據(jù)云計(jì)算等前沿技術(shù)不斷融合創(chuàng)新發(fā)展，催生新的業(yè)態(tài)和服務(wù)。從技術(shù)特點(diǎn)來看，將圖像渲染、建模等耗能、耗時的數(shù)據(jù)處理功能云化后，大幅降低了對XR終端的續(xù)航、體積、存儲能力的要求，有效降低終端成本和對計(jì)算硬件的依賴性，同時推動終端輕型化、移動化發(fā)展。XR和云計(jì)算、云渲染結(jié)合，將云端的顯示輸出、聲音輸出通過編碼壓縮后傳輸?shù)接脩舻慕K端設(shè)備中，實(shí)現(xiàn)XR業(yè)務(wù)的內(nèi)容上云和渲染上云，能夠?qū)R業(yè)務(wù)進(jìn)行快速處理。據(jù)華為預(yù)測，2025年全球XR個人用戶將會達(dá)到4.4億，將會孕育達(dá)到2920億美元的云XR市場。(3)Cloud+XR1.擴(kuò)展現(xiàn)實(shí)和5G、人工智能、大數(shù)據(jù)云計(jì)算等前沿技術(shù)不斷融合創(chuàng)新發(fā)展，催生新的業(yè)態(tài)和服務(wù)。2.擴(kuò)展現(xiàn)實(shí)的界定認(rèn)知由終端設(shè)備向沉浸體驗(yàn)演變，與此同時硬件門檻顯著降低。隨著技術(shù)和產(chǎn)業(yè)生態(tài)的持續(xù)發(fā)展，擴(kuò)展現(xiàn)實(shí)的概念不斷演進(jìn)。業(yè)界對VR的研討不再拘泥于特定終端形態(tài)與實(shí)現(xiàn)方式，而是聚焦體驗(yàn)效果，強(qiáng)調(diào)關(guān)鍵技術(shù)、產(chǎn)業(yè)生態(tài)與應(yīng)用領(lǐng)域的融合創(chuàng)新。產(chǎn)業(yè)內(nèi)對擴(kuò)展現(xiàn)實(shí)目標(biāo)的理解是：借助近眼顯示、感知交互、渲染處理、網(wǎng)絡(luò)傳輸和內(nèi)容制作等新一代信息通信技術(shù)，構(gòu)建跨越端管云的新業(yè)態(tài)，滿足用戶在身臨其境等方面的體驗(yàn)需求，進(jìn)而促進(jìn)信息消費(fèi)擴(kuò)大升級與傳統(tǒng)行業(yè)的融合創(chuàng)新。2.擴(kuò)展現(xiàn)實(shí)的界定認(rèn)知由終端設(shè)備向沉浸體驗(yàn)演變，與此同時硬件門檻顯著降低。按終端功能劃分，從廣義來看，VR包含AR，早期學(xué)界通常在VR研討框架內(nèi)下設(shè)AR/MR主題，隨著產(chǎn)業(yè)界在AR領(lǐng)域的持續(xù)發(fā)力，部分業(yè)者將AR/MR從VR的概念框架中抽離出來。狹義來看，VR與AR/MR彼此獨(dú)立，兩者在關(guān)鍵器件、終端形態(tài)上相似性較大，而在關(guān)鍵技術(shù)和應(yīng)用領(lǐng)域上有所差異。VR通過隔絕式的音視頻內(nèi)容帶來沉浸感體驗(yàn)，對顯示畫質(zhì)要求較高，AR/MR強(qiáng)調(diào)虛擬信息與現(xiàn)實(shí)環(huán)境的“無縫”融合，對感知交互要求較高。此外，VR側(cè)重于游戲、視頻、直播與社交等大眾市場，AR/MR側(cè)重于工業(yè)、軍事等垂直應(yīng)用。隨著技術(shù)與產(chǎn)業(yè)的不斷發(fā)展，預(yù)計(jì)未來VR與AR/MR終端將由分立走向融合，兩者“在山腳分手，在山頂合”。2.擴(kuò)展現(xiàn)實(shí)的界定認(rèn)知由終端設(shè)備向沉浸體驗(yàn)演變，與此同時硬件門檻顯著降低。按終端形態(tài)劃分，手機(jī)式成為現(xiàn)階段主要終端平臺。隨著谷Facebook、蘋果等信息通信技術(shù)巨頭全球開發(fā)者大會的召開，手機(jī)式AR/MR漸成大眾市場的主流，以Meta2、HoloLens為代表的主機(jī)式、一體式AR/MR主導(dǎo)行業(yè)應(yīng)用市場。此外，在自動駕駛車聯(lián)網(wǎng)發(fā)展浪潮的影響下，基于抬頭顯示的車載式AR成為了新興領(lǐng)域，隱形眼鏡這一前瞻性產(chǎn)品形態(tài)代表了業(yè)界對AR/MR設(shè)計(jì)的最終預(yù)期。在這個發(fā)展過程當(dāng)中，硬件成本大幅降低，設(shè)備售價(jià)從之前的數(shù)萬降至數(shù)百美元，這一成本變化主要體現(xiàn)在光電子與微電子方面。光電子方面，擴(kuò)展現(xiàn)實(shí)顯示器件經(jīng)歷了產(chǎn)業(yè)變革，屏幕體積重量不斷縮小，分辨率升至FHD（1080p）以上水平，響應(yīng)時間達(dá)到微秒級。微電子方面，低成本的SOC芯片(系統(tǒng)級芯片)與VPU（視覺處理器）的普及成為VR在集成電路領(lǐng)域發(fā)展熱點(diǎn)。3.全球VR市場規(guī)模接近千億，中國市場增長顯著，AR與內(nèi)容應(yīng)用成為首要增長點(diǎn)。2021年3月中國信息通信研究院、華為技術(shù)有限公司、京東方科技集團(tuán)股份有限公司出版的《虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書》指出，據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心（InternetDataCenter，IDC）等機(jī)構(gòu)統(tǒng)計(jì)，2020年全球VR市場規(guī)模約為900億元人民幣，其中VR市場620億元人民幣，AR市場280億元人民幣。預(yù)計(jì)2020—2024五年期間全球VR產(chǎn)業(yè)規(guī)模年均增長率約為54%，其中VR增速約45%，AR增速約66%，2024年兩者份額均為2400億元人民幣。從產(chǎn)業(yè)結(jié)構(gòu)看，終端器件市場規(guī)模占比位居首位，2020年規(guī)模占比逾4成，隨著傳統(tǒng)行業(yè)數(shù)字化轉(zhuǎn)型與信息消費(fèi)升級等常態(tài)化，內(nèi)容應(yīng)用市場將快速發(fā)展，預(yù)計(jì)2024年市場規(guī)模超過2800億元，全球VR市場規(guī)模預(yù)期如圖1-52所示。3.全球VR市場規(guī)模接近千億，中國市場增長顯著，AR與內(nèi)容應(yīng)用成為首要增長點(diǎn)。根據(jù)最新發(fā)布的《IDC全球增強(qiáng)與虛擬現(xiàn)實(shí)支出指南》，2020年中國市場在AR/VR相關(guān)產(chǎn)品和服務(wù)的支出總量占據(jù)了全球超過一半的市場份額（約為55%），較疫情前顯著增加。而中國的總體市場規(guī)模將于2020年底達(dá)到66億美元左右