1、虛擬現(xiàn)實技術(shù)及應(yīng)用第一講： 虛擬現(xiàn)實技術(shù)概論 VR的概念和開展 VR系統(tǒng)的硬件組成 VR系統(tǒng)的體系結(jié)構(gòu) VR的研究內(nèi)容 增強(qiáng)現(xiàn)實 AR VR應(yīng)用 虛擬現(xiàn)實的開展趨勢一VR的概念和開展1虛擬現(xiàn)實技術(shù)的提出1965年計算機(jī)圖形學(xué)的奠基者 Ivan Sutherland發(fā)表了“ The Ultimate Display 論文，提出了一種全新的圖形顯示技術(shù)。他在論文中提出使觀察者直接沉浸在計算機(jī)生成的三維世界中，而不是通過窗戶計算機(jī)屏幕來觀察。觀察者自然地轉(zhuǎn)動頭部和身體，他看到的場景就實時地發(fā)生變化。觀察者能夠以自然的方式直接與虛擬世界中的對象進(jìn)行交互操作，觸摸它們，感覺它們，并能聽到虛擬世界的三維空

2、間聲音。2虛擬現(xiàn)實的狹義解釋虛擬現(xiàn)實對不同的人的有不同的含義。比較狹義的解釋是：虛擬現(xiàn)實是由計算機(jī)生成的、可交互的仿真環(huán)境。該虛擬環(huán)境具有以下三個特點：1 該環(huán)境將向介入者人提供視覺、聽覺、觸覺等多種感官刺激。2該環(huán)境應(yīng)給人以一種身臨其境的沉浸感。3人能以自然的方式與該環(huán)境中的一些對象進(jìn)行交互操作，既不使用鍵盤鼠標(biāo)等常規(guī)輸入設(shè)備，而強(qiáng)調(diào)使用手勢數(shù)據(jù)手套、體勢數(shù)據(jù)衣服和自然語言等自然方式的交互操作。3一個典型的虛擬現(xiàn)實系統(tǒng)4虛擬現(xiàn)實的廣義解釋虛擬現(xiàn)實是由計算機(jī)生成的給人以沉浸感的虛擬環(huán)境。5虛擬現(xiàn)實的概念模型 感官刺激信號 反響動作 感知系統(tǒng)介 入 者 反響系統(tǒng)虛擬世界環(huán)境6虛擬環(huán)境系統(tǒng)提供的各

3、種感官刺激視覺聽覺嗅覺味覺觸覺觸覺，力覺身體感覺7虛擬環(huán)境中用戶的動作檢測和設(shè)備 用戶反響動作 檢測設(shè)備 頭部運(yùn)動 頭部跟蹤裝置 肢體或軀體運(yùn)動 跟蹤器，力反響裝置，空間球 手指運(yùn)動 數(shù)據(jù)手套，按鈕裝置，操縱感 眼球運(yùn)動 眼球跟蹤器 語言 語音識別裝置 受力 帶力傳感器的力反響裝置8虛擬現(xiàn)實的開展歷程1965年 Ivan Sutherland博士提出“ The Ultimate Display概念，1968年他研制成功頭盔式顯示器HMD70年代以來圖形學(xué)技術(shù)的進(jìn)步，特別是90年代，可以實時顯示復(fù)雜場景軍方飛行模擬器的研制和開展對VR的推動1984年美國NASA的AMES中心研制成功VIVD系統(tǒng)

4、，以及1986年的VIEW工程1992年美國NSF召開VR研討會其他國際會議IEEE VR；ACM VRST等，VR專著以及各種研究成果二VR系統(tǒng)的典型設(shè)備和環(huán)境顯示和觀察設(shè)備沉浸式現(xiàn)實設(shè)備 非沉浸式顯示設(shè)備 交互設(shè)備 數(shù)據(jù)手套 輸入手的各種姿勢 三維鼠標(biāo) 游戲桿 傳感設(shè)備 數(shù)據(jù)手套 數(shù)據(jù)衣 位置跟蹤裝置三維立體聲系統(tǒng)三維數(shù)據(jù)獲取設(shè)備1顯示和觀察設(shè)備產(chǎn)生沉浸感的方法和裝置1. 頭盔式顯示器2. 快速響應(yīng)的工作平臺3. 大屏幕投影 洞穴狀的投影屏幕CAVE 圓柱型的投影屏幕 由矩形塊拼接構(gòu)成的投影屏幕 4. 全景圖5. 可支持多用戶協(xié)作的投影屏幕6. 具有三維空間感的聲音頭盔式顯示器的特點用戶帶

5、著頭盔。雙眼看到不同的圖象。跟蹤器跟蹤頭的方向。具有看穿功能see-through)的頭盔顯示器 快速響應(yīng)的工作平臺 洞穴狀的投影屏幕CAVE 安裝在浙江大學(xué)的CAVE CAVE 示意圖 圓柱型的投影屏幕 由矩形塊拼接構(gòu)成的投影屏幕全景圖可支持多用戶協(xié)作的投影屏幕可支持多用戶協(xié)作的投影屏幕的改進(jìn)2交互設(shè)備力反響設(shè)備：數(shù)據(jù)手套(cyberglove)：三維鼠標(biāo)3三維聲音系統(tǒng)聲音在VR中的作用：1增強(qiáng)空間信息，尤其是當(dāng)空間超出了視域范圍。2數(shù)據(jù)驅(qū)動的聲音能傳遞對象的屬性信息。3聲音是用戶和虛擬環(huán)境的另一種交互方法。4三維數(shù)據(jù)獲取設(shè)備靜態(tài)數(shù)據(jù)的獲?。?三維掃描儀動態(tài)數(shù)據(jù)的獲?。?運(yùn)動捕捉設(shè)備 用多攝

6、像機(jī)實時重構(gòu)三維數(shù)據(jù) 三維掃描儀 (來自cyberware 公司有多個攝像頭的三維實時重構(gòu) 4基于圖片的三維重建基于圖片的三維重建三VR系統(tǒng)的體系結(jié)構(gòu)1非分布式VR系統(tǒng)體系結(jié)構(gòu)會話管理應(yīng)用進(jìn)程設(shè)備效勞器 2 分布式虛擬現(xiàn)實系統(tǒng)DVR的結(jié)構(gòu)1 數(shù)據(jù)模型 集中式結(jié)構(gòu) *結(jié)構(gòu)簡單 *實現(xiàn)比較容易 *對網(wǎng)絡(luò)通信帶寬有較高的要求 *中心效勞器往往會成為整個系統(tǒng)的瓶頸復(fù)制式結(jié)構(gòu) *所需網(wǎng)絡(luò)帶寬較小 *交互式響應(yīng)效果好 *比集中式結(jié)構(gòu)復(fù)雜 *維護(hù)多個備份的信息或狀態(tài)一致性比較困難 2基于分布仿真DS模型的VR系統(tǒng)軟件結(jié)構(gòu) 計算 幾何模型展示用戶交互 智能代理圖 基于DS模型的VR系統(tǒng)軟件結(jié)構(gòu) 3 DVR系統(tǒng)

7、的通用參考結(jié)構(gòu)模型 四 VR的研究內(nèi)容1研究內(nèi)容的多種分類技術(shù)/應(yīng)用:層面 * 虛擬現(xiàn)實技術(shù)本身 * 虛擬現(xiàn)實應(yīng)用技術(shù)軟硬件層面 * 虛擬現(xiàn)實硬件技術(shù) * 虛擬現(xiàn)實軟件技術(shù)技術(shù)層面 * 建模場景基于：幾何/圖象，聽覺，行為等 * 繪制圖形，聲音，力覺 * 交互人-機(jī)交互；人-人交互 2分布式虛擬現(xiàn)實分布式虛擬現(xiàn)實(Distributed Virtual Reality, DVR) 在DVR系統(tǒng)中，位于不同物理位置的多個用戶或多個虛擬環(huán)境通過網(wǎng)絡(luò)相聯(lián)結(jié)，進(jìn)行信息共享和交互DVR系統(tǒng)或工具的開發(fā)涉及多個領(lǐng)域 * 虛擬現(xiàn)實 * 分布式系統(tǒng) * 實時圖形繪制技術(shù) * 異步系統(tǒng)設(shè)計 * 數(shù)據(jù)庫 * 用戶

8、界面設(shè)計 DVR的實例 3實時繪制技術(shù)場景簡化快速消隱紋理化對象限時繪制五增強(qiáng)現(xiàn)實增強(qiáng)現(xiàn)實允許用戶看到真實世界，并且把虛擬對象疊加在真實世界之上。1增強(qiáng)現(xiàn)實系統(tǒng)的定義真實世界和虛擬世界融為一體的系統(tǒng)具有實時人-機(jī)交互功能真實世界和虛擬世界是在三維空間上整合的。2增強(qiáng)現(xiàn)實的關(guān)鍵技術(shù)聚焦和比照度系統(tǒng)的可移動性整合技術(shù)實時高精度傳感器六虛擬現(xiàn)實的應(yīng)用* 應(yīng)用一虛擬戰(zhàn)場核爆炸、戰(zhàn)略導(dǎo)彈的虛擬殺傷虛擬飛行/駕駛虛擬建筑漫游虛擬風(fēng)洞實驗虛擬設(shè)計、虛擬制造戰(zhàn)場仿真虛擬駕駛模擬虛擬建筑漫游* 應(yīng)用二虛擬課堂虛擬手術(shù)和遠(yuǎn)程手術(shù)城市規(guī)劃和建筑設(shè)計的虛擬演示虛擬商店、虛擬旅游、虛擬劇場虛擬體育仿真虛擬文化遺產(chǎn)保護(hù)虛

9、擬博物館虛擬手術(shù) 虛擬故宮漫游虛擬博物館虛擬體操訓(xùn)練系統(tǒng)Sheffield Hallam University 虛擬滑雪訓(xùn)練系統(tǒng)Reebok Sports Club in New York City其他例子PC CLUSTER 七虛擬現(xiàn)實的開展趨勢1虛擬現(xiàn)實硬件的開展趨勢 1 正在大力開展基于 PC 的低價格的虛擬現(xiàn)實系統(tǒng) 2基于多個視頻輸入的系統(tǒng)受到重視。例如：由多個攝像頭組成的跟蹤器, 由多個攝像頭組成的三維重構(gòu)系統(tǒng)等。2虛擬現(xiàn)實軟件的開展開展特點：1非常規(guī)的輸入設(shè)備在主流的操作系統(tǒng)中不被支持。2管理不同的輸入的工具包正在出現(xiàn)。軟件資源：VRJuggler 開放源代碼，其功能類似CAVEl

10、ib。具有輸入和顯示功能。輸入層不支持手勢識別。設(shè)計者有雄心打算將其開展成一個操作系統(tǒng)。3虛擬現(xiàn)實應(yīng)用的開展1網(wǎng)絡(luò)化=?網(wǎng)絡(luò)VR2單投影應(yīng)用=?多投影應(yīng)用3智能化=?智能虛擬環(huán)境4虛擬現(xiàn)實=?增強(qiáng)現(xiàn)實，混合現(xiàn)實5應(yīng)用向各個行業(yè)擴(kuò)展： * 與商業(yè)結(jié)合=?虛擬商城 * 與體育結(jié)合=?虛擬體育仿真 。 最終形成網(wǎng)絡(luò)化的虛擬社會。 第二講 實時圖形繪制技術(shù)圖形繪制流水線網(wǎng)格簡化快速消隱紋理映射IBR&IBM真實感圖形生成的步驟場景造型取景變換、透視投影視域裁剪、消除隱藏面光亮度計算典型三維圖形系統(tǒng)的繪制流水線OpenGL繪制流水線計算機(jī)成像過程與照相過程的類比影響圖形繪制性能的因素幾何復(fù)雜度光照模型復(fù)

11、雜度紋理映射問題：如何提高繪制速度？ 針對不同的因素采取不同的方法。降低場景幾何復(fù)雜度場景簡化 和網(wǎng)格多分辨表示快速消隱基于BSP樹的繪制紋理映射技術(shù)基于圖象的繪制網(wǎng)格簡化技術(shù)場景簡化層次細(xì)節(jié)模型:在大規(guī)模的虛擬環(huán)境中，很多對象很小，獲距離視點很遠(yuǎn)。按透視規(guī)律，在屏幕上只占很小的圖象區(qū)域。為了更好地利用這一特點，一個對象應(yīng)該用多層次細(xì)節(jié)表示。在交互繪制過程中，使用簡單的對象的表示可以提高幀速率 根據(jù)觀察者的心理、生理特點和場景畫面限時計算的要求，在視覺等價的前提下，對要繪制的復(fù)雜場景進(jìn)行簡化,生成可表達(dá)不同層次細(xì)節(jié)的場景模型。 在多層次細(xì)節(jié)建模和三角形網(wǎng)格簡化方面， 我們設(shè)計和實現(xiàn)了一系列新的

12、算法，并提出了新的控制全局誤差和局部誤差的方法。LoD網(wǎng)格-1基于頂點刪除的三角形網(wǎng)格模型簡化 Schroeder 1992基于距離準(zhǔn)那么的頂點刪除，頂點移去留下的空洞由一個局部的三角面片機(jī)制重新生成新的三角面片?；谥匦聞澐值亩噙呅尉W(wǎng)格模型簡化 Turk 1992引入新的頂點來優(yōu)化三角形網(wǎng)格，生成新的幾何模型。新的頂點均勻地分布在原對象外表。原來的頂點被逐步移去，外表進(jìn)行局部的三角化，以最好地滿足對象外表的連續(xù)性。整體網(wǎng)格優(yōu)化算法，全局能量優(yōu)化方程 Hoppe 1993基于外表重構(gòu)的三角網(wǎng)格簡化方法。它引入了一種新的能量公式來建模多邊形簡化以及與簡化模型與原模型的相似度。用能量函數(shù)來衡量原網(wǎng)

13、格模型與簡化模型的變形程度。算法可以找到使變形最小的優(yōu)化的頂點分布。LoD網(wǎng)格-2基于頂點聚類的網(wǎng)格簡化算法 Rossignac 1993不考慮輸入模型和輸出模型的拓?fù)浣Y(jié)構(gòu)。結(jié)果，算法對于退化的輸入數(shù)據(jù)具有很好的魯棒性，對任意類型的幾何數(shù)據(jù)都可以得到很高的壓縮比。缺點是，簡化模型的人工痕跡嚴(yán)重，模型的局部特征保持不好。不同的選擇準(zhǔn)那么來選取那些聚類的頂點。Rssignac提出了一種簡單有效的一致量化方法。Schaufler那么采用了分層的聚類方法。邊折疊與視點有關(guān)的累進(jìn)網(wǎng)格 Hoppe 1997基于邊折疊操作，產(chǎn)生一個無損的，連續(xù)分辨率的三角網(wǎng)格。簡化表示通過一系列重復(fù)的邊折疊操作產(chǎn)生，很容易

14、轉(zhuǎn)換為遞進(jìn)的重構(gòu)過程。LoD簡化網(wǎng)格的一些評價參數(shù)網(wǎng)格簡化算法的魯棒性簡化網(wǎng)格的生成和解析速度簡化后的對象shape是否保持不變簡化后的網(wǎng)格是否保持拓?fù)浣Y(jié)構(gòu)不變LoD幾何模型傳統(tǒng)的網(wǎng)格的表示數(shù)據(jù)量龐大，不易于存儲傳輸 -實時性很多情況下，我們并不需要一個對物體的細(xì)節(jié)刻畫得很詳細(xì)的模型較遠(yuǎn)或物體在運(yùn)動 - 較粗糙網(wǎng)格物體較近或物體靜止- 精細(xì)網(wǎng)格基于視點的網(wǎng)格簡化快速消隱技術(shù)視見體裁減反面提出遮擋剔除(Occlusion Culling)遮擋剔除(Occlusion Culling)快速消隱的例子基于BSP樹的場景繪制技術(shù)BSP樹方式的場景組織BSP樹的遍歷紋理映射根本思想： 實際紋理非常復(fù)雜，

15、難以解析描述。采用圖象來描述外表紋理細(xì)節(jié)。 IBMR (Image-based Modeling and Rendering)關(guān)鍵問題： 如何在光照明模型中融入紋理的描述？ 如何將紋理繪制在景物外表上？光亮度計算1依據(jù)：光照明模型局部光照明模型：朗伯模型、Phong模型整體光照明模型：Whitted模型，光能輻射度方程隱式追求目標(biāo)：光照效果的真實感2計算方法：繪制算法掃描線方法 光線跟蹤方法 光能輻射度方法追求目標(biāo)：畫面生成的實時性 紋理映射的根本原理 紋理生成過程實質(zhì)上是將所定義的紋理映射為反映某種三維景物外表的屬性，并參與后續(xù)的光照明計算。外表屬性：與光照明模型及外表幾何有關(guān)的各種參數(shù)，如外表法向、漫/鏡面反射率等。紋理映射的實現(xiàn)：交互確定紋理屬性參數(shù)不再是常數(shù)，逐點變化建立紋理空間與景物空間及景物空間與屏幕空間之間的映射關(guān)系：M: ObjectSpace TextureSpace T: ScreenSpace ObjectSpaceIlocal= kaIa + kd (NL)