1、虛擬現(xiàn)實(shí)技術(shù)及應(yīng)用,第一講： 虛擬現(xiàn)實(shí)技術(shù)概論,VR的概念和發(fā)展 VR系統(tǒng)的硬件組成 VR系統(tǒng)的體系結(jié)構(gòu) VR的研究?jī)?nèi)容 增強(qiáng)現(xiàn)實(shí) （AR） VR應(yīng)用 虛擬現(xiàn)實(shí)的發(fā)展趨勢(shì),（一）VR的概念和發(fā)展,（1）虛擬現(xiàn)實(shí)技術(shù)的提出 1965年計(jì)算機(jī)圖形學(xué)的奠基者 Ivan Sutherland發(fā)表了“ The Ultimate Display” 論文，提出了一種全新的圖形顯示技術(shù)。他在論文中提出使觀察者直接沉浸在計(jì)算機(jī)生成的三維世界中，而不是通過窗戶（計(jì)算機(jī)屏幕）來觀察。 ）觀察者自然地轉(zhuǎn)動(dòng)頭部和身體，他看到的場(chǎng)景就實(shí)時(shí)地發(fā)生變化。 ）觀察者能夠以自然的方式直接與虛擬世界中的對(duì)象進(jìn)行交互操作，觸摸它們，

2、感覺它們，并能聽到虛擬世界的三維空間聲音。,（2）虛擬現(xiàn)實(shí)的狹義解釋 虛擬現(xiàn)實(shí)對(duì)不同的人的有不同的含義。比較狹義的解釋是：虛擬現(xiàn)實(shí)是由計(jì)算機(jī)生成的、可交互的仿真環(huán)境。該虛擬環(huán)境具有以下三個(gè)特點(diǎn)： 1） 該環(huán)境將向介入者（人）提供視覺、聽覺、觸覺等多種感官刺激。 2）該環(huán)境應(yīng)給人以一種身臨其境的沉浸感。 3）人能以自然的方式與該環(huán)境中的一些對(duì)象進(jìn)行交互操作，既不使用鍵盤鼠標(biāo)等常規(guī)輸入設(shè)備，而強(qiáng)調(diào)使用手勢(shì)（數(shù)據(jù)手套）、體勢(shì)（數(shù)據(jù)衣服）和自然語言等自然方式的交互操作。,（3）一個(gè)典型的虛擬現(xiàn)實(shí)系統(tǒng),（4）虛擬現(xiàn)實(shí)的廣義解釋,虛擬現(xiàn)實(shí)是由計(jì)算機(jī)生成的給人以沉浸感的虛擬環(huán)境。,（5）虛擬現(xiàn)實(shí)的概念模型,

3、感官刺激信號(hào) 反應(yīng)動(dòng)作,感知系統(tǒng) 介 入 者 反應(yīng)系統(tǒng),虛擬世界 （環(huán)境）,（6）虛擬環(huán)境系統(tǒng)提供的各種感官刺激,視覺 聽覺 嗅覺 味覺 觸覺（觸覺，力覺） 身體感覺,（7）虛擬環(huán)境中用戶的動(dòng)作檢測(cè)和設(shè)備,用戶反應(yīng)動(dòng)作 檢測(cè)設(shè)備 頭部運(yùn)動(dòng) 頭部跟蹤裝置 肢體或軀體運(yùn)動(dòng) 跟蹤器，力反饋裝置，空間球 手指運(yùn)動(dòng) 數(shù)據(jù)手套，按鈕裝置，操縱感 眼球運(yùn)動(dòng) 眼球跟蹤器 語言 語音識(shí)別裝置 受力 帶力傳感器的力反饋裝置,（8）虛擬現(xiàn)實(shí)的發(fā)展歷程,1965年 Ivan Sutherland博士提出“ The Ultimate Display”概念，1968年他研制成功頭盔式顯示器（HMD） 70年代以來圖形學(xué)技

4、術(shù)的進(jìn)步，特別是90年代，可以實(shí)時(shí)顯示復(fù)雜場(chǎng)景 軍方飛行模擬器的研制和發(fā)展對(duì)VR的推動(dòng) 1984年美國(guó)NASA的AMES中心研制成功VIVD系統(tǒng)，以及1986年的VIEW項(xiàng)目 1992年美國(guó)NSF召開VR研討會(huì) 其他國(guó)際會(huì)議（IEEE VR；ACM VRST等），VR專著以及各種研究成果,（二）VR系統(tǒng)的典型設(shè)備和環(huán)境,顯示和觀察設(shè)備 沉浸式現(xiàn)實(shí)設(shè)備 非沉浸式顯示設(shè)備 交互設(shè)備 數(shù)據(jù)手套 （輸入手的各種姿勢(shì)） 三維鼠標(biāo) 游戲桿 傳感設(shè)備 數(shù)據(jù)手套 數(shù)據(jù)衣 位置跟蹤裝置 三維立體聲系統(tǒng) 三維數(shù)據(jù)獲取設(shè)備,（1）顯示和觀察設(shè)備,產(chǎn)生沉浸感的方法和裝置 1. 頭盔式顯示器 2. 快速響應(yīng)的工作平臺(tái)

5、3. 大屏幕投影 洞穴狀的投影屏幕（CAVE） 圓柱型的投影屏幕 由矩形塊拼接構(gòu)成的投影屏幕 4. 全景圖 5. 可支持多用戶協(xié)作的投影屏幕 6. 具有三維空間感的聲音,頭盔式顯示器的特點(diǎn),用戶帶著頭盔。 雙眼看到不同的圖象。 跟蹤器跟蹤頭的方向。,具有看穿功能（see-through)的頭盔顯示器,快速響應(yīng)的工作平臺(tái),洞穴狀的投影屏幕（CAVE）,安裝在浙江大學(xué)的CAVE,CAVE 示意圖,圓柱型的投影屏幕,由矩形塊拼接構(gòu)成的投影屏幕,全景圖,可支持多用戶協(xié)作的投影屏幕,可支持多用戶協(xié)作的投影屏幕的改進(jìn),（2）交互設(shè)備,力反饋設(shè)備：,數(shù)據(jù)手套(cyberglove)：,三維鼠標(biāo),（3）三維聲

6、音系統(tǒng),聲音在VR中的作用： 1）增強(qiáng)空間信息，尤其是當(dāng)空間超出了視域范圍。 2）數(shù)據(jù)驅(qū)動(dòng)的聲音能傳遞對(duì)象的屬性信息。 3）聲音是用戶和虛擬環(huán)境的另一種交互方法。,（4）三維數(shù)據(jù)獲取設(shè)備,靜態(tài)數(shù)據(jù)的獲?。?三維掃描儀 動(dòng)態(tài)數(shù)據(jù)的獲?。?運(yùn)動(dòng)捕捉設(shè)備 用多攝像機(jī)實(shí)時(shí)重構(gòu)三維數(shù)據(jù),三維掃描儀 (來自cyberware 公司）,有多個(gè)攝像頭的三維實(shí)時(shí)重構(gòu),（4）基于圖片的三維重建,基于圖片的三維重建,（三）VR系統(tǒng)的體系結(jié)構(gòu),（1）非分布式VR系統(tǒng)體系結(jié)構(gòu),會(huì)話管理,應(yīng)用進(jìn)程,設(shè)備服務(wù)器,（2） 分布式虛擬現(xiàn)實(shí)系統(tǒng)（DVR）的結(jié)構(gòu),1） 數(shù)據(jù)模型 集中式結(jié)構(gòu) *結(jié)構(gòu)簡(jiǎn)單 *實(shí)現(xiàn)比較容易 *對(duì)網(wǎng)絡(luò)通信

7、帶寬有較高的要求 *中心服務(wù)器往往會(huì)成為整個(gè)系統(tǒng)的瓶頸 復(fù)制式結(jié)構(gòu) *所需網(wǎng)絡(luò)帶寬較小 *交互式響應(yīng)效果好 *比集中式結(jié)構(gòu)復(fù)雜 *維護(hù)多個(gè)備份的信息或狀態(tài)一致性比較困難,2）基于分布仿真（DS）模型的VR系統(tǒng)軟件結(jié)構(gòu),計(jì)算,幾何模型,展示,用戶,交互,智能代理,圖 基于DS模型的VR系統(tǒng)軟件結(jié)構(gòu),3） DVR系統(tǒng)的通用參考結(jié)構(gòu)模型,（四） VR的研究?jī)?nèi)容,（1）研究?jī)?nèi)容的多種分類,技術(shù)/應(yīng)用:層面 * 虛擬現(xiàn)實(shí)技術(shù)本身 * 虛擬現(xiàn)實(shí)應(yīng)用技術(shù) 軟硬件層面 * 虛擬現(xiàn)實(shí)硬件技術(shù) * 虛擬現(xiàn)實(shí)軟件技術(shù) 技術(shù)層面 * 建模（場(chǎng)景（基于：幾何/圖象），聽覺，行為等） * 繪制（圖形，聲音，力覺） * 交

8、互（人-機(jī)交互；人-人交互）,（2）分布式虛擬現(xiàn)實(shí),分布式虛擬現(xiàn)實(shí)(Distributed Virtual Reality, DVR) 在DVR系統(tǒng)中，位于不同物理位置的多個(gè)用戶或多個(gè)虛擬環(huán)境通過網(wǎng)絡(luò)相聯(lián)結(jié)，進(jìn)行信息共享和交互 DVR系統(tǒng)或工具的開發(fā)涉及多個(gè)領(lǐng)域 * 虛擬現(xiàn)實(shí) * 分布式系統(tǒng) * 實(shí)時(shí)圖形繪制技術(shù) * 異步系統(tǒng)設(shè)計(jì) * 數(shù)據(jù)庫 * 用戶界面設(shè)計(jì),DVR的實(shí)例,（3）實(shí)時(shí)繪制技術(shù) 場(chǎng)景簡(jiǎn)化 快速消隱 紋理化對(duì)象 限時(shí)繪制,（五）增強(qiáng)現(xiàn)實(shí),增強(qiáng)現(xiàn)實(shí)允許用戶看到真實(shí)世界，并且把虛擬對(duì)象疊加在真實(shí)世界之上。,（1）增強(qiáng)現(xiàn)實(shí)系統(tǒng)的定義,真實(shí)世界和虛擬世界融為一體的系統(tǒng) 具有實(shí)時(shí)人-機(jī)交互

9、功能 真實(shí)世界和虛擬世界是在三維空間上整合的。 （2）增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù) 聚焦和對(duì)比度 系統(tǒng)的可移動(dòng)性 整合技術(shù) 實(shí)時(shí)高精度傳感器,（六）虛擬現(xiàn)實(shí)的應(yīng)用,* 應(yīng)用（一） 虛擬戰(zhàn)場(chǎng) 核爆炸、戰(zhàn)略導(dǎo)彈的虛擬殺傷 虛擬飛行/駕駛 虛擬建筑漫游 虛擬風(fēng)洞實(shí)驗(yàn) 虛擬設(shè)計(jì)、虛擬制造,戰(zhàn)場(chǎng)仿真,虛擬駕駛模擬,虛擬建筑漫游,* 應(yīng)用（二） 虛擬課堂 虛擬手術(shù)和遠(yuǎn)程手術(shù) 城市規(guī)劃和建筑設(shè)計(jì)的虛擬演示 虛擬商店、虛擬旅游、虛擬劇場(chǎng) 虛擬體育仿真 虛擬文化遺產(chǎn)保護(hù)（虛擬博物館）,虛擬手術(shù),虛擬故宮漫游,虛擬博物館,虛擬體操訓(xùn)練系統(tǒng)（Sheffield Hallam University ）,虛擬滑雪訓(xùn)練系統(tǒng)（Ree

10、bok Sports Club in New York City）,其他例子,PC CLUSTER,（七）虛擬現(xiàn)實(shí)的發(fā)展趨勢(shì),（1）虛擬現(xiàn)實(shí)硬件的發(fā)展趨勢(shì) 1） 正在大力發(fā)展基于 PC 的低價(jià)格的虛擬現(xiàn)實(shí)系統(tǒng) 2）基于多個(gè)視頻輸入的系統(tǒng)受到重視。例如：由多個(gè)攝像頭組成的跟蹤器, 由多個(gè)攝像頭組成的三維重構(gòu)系統(tǒng)等。,（2）虛擬現(xiàn)實(shí)軟件的發(fā)展,發(fā)展特點(diǎn)： 1）非常規(guī)的輸入設(shè)備在主流的操作系統(tǒng)中不被支持。 2）管理不同的輸入的工具包正在出現(xiàn)。 軟件資源： VRJuggler 開放源代碼，其功能類似CAVElib。 具有輸入和顯示功能。 輸入層不支持手勢(shì)識(shí)別。 設(shè)計(jì)者有雄心打算將其發(fā)展成一個(gè)操作系統(tǒng)。

11、,（3）虛擬現(xiàn)實(shí)應(yīng)用的發(fā)展,1）網(wǎng)絡(luò)化=網(wǎng)絡(luò)VR 2）單投影應(yīng)用=多投影應(yīng)用 3）智能化=智能虛擬環(huán)境 4）虛擬現(xiàn)實(shí)=增強(qiáng)現(xiàn)實(shí)，混合現(xiàn)實(shí) 5）應(yīng)用向各個(gè)行業(yè)擴(kuò)展： * 與商業(yè)結(jié)合=虛擬商城 * 與體育結(jié)合=虛擬體育仿真 。 最終形成網(wǎng)絡(luò)化的虛擬社會(huì)。,第二講 實(shí)時(shí)圖形繪制技術(shù),圖形繪制流水線 網(wǎng)格簡(jiǎn)化 快速消隱 紋理映射 IBR&IBM,真實(shí)感圖形生成的步驟,場(chǎng)景造型 取景變換、透視投影 視域裁剪、消除隱藏面 光亮度計(jì)算,典型三維圖形系統(tǒng)的繪制流水線,OpenGL繪制流水線,計(jì)算機(jī)成像過程與照相過程的類比,影響圖形繪制性能的因素,幾何復(fù)雜度 光照模型復(fù)雜度 紋理映射 問題：如何提高繪制速度？

12、針對(duì)不同的因素采取不同的方法。,降低場(chǎng)景幾何復(fù)雜度,場(chǎng)景簡(jiǎn)化 和網(wǎng)格多分辨表示 快速消隱 基于BSP樹的繪制 紋理映射技術(shù) 基于圖象的繪制,網(wǎng)格簡(jiǎn)化技術(shù),場(chǎng)景簡(jiǎn)化,層次細(xì)節(jié)模型: 在大規(guī)模的虛擬環(huán)境中，很多對(duì)象很小，獲距離視點(diǎn)很遠(yuǎn)。按透視規(guī)律，在屏幕上只占很小的圖象區(qū)域。為了更好地利用這一特點(diǎn)，一個(gè)對(duì)象應(yīng)該用多層次細(xì)節(jié)表示。在交互繪制過程中，使用簡(jiǎn)單的對(duì)象的表示可以提高幀速率 根據(jù)觀察者的心理、生理特點(diǎn)和場(chǎng)景畫面限時(shí)計(jì)算的要求，在視覺等價(jià)的前提下，對(duì)要繪制的復(fù)雜場(chǎng)景進(jìn)行簡(jiǎn)化,生成可表達(dá)不同層次細(xì)節(jié)的場(chǎng)景模型。 在多層次細(xì)節(jié)建模和三角形網(wǎng)格簡(jiǎn)化方面， 我們?cè)O(shè)計(jì)和實(shí)現(xiàn)了一系列新的算法，并提出了新的

13、控制全局誤差和局部誤差的方法。,LoD網(wǎng)格-1,基于頂點(diǎn)刪除的三角形網(wǎng)格模型簡(jiǎn)化 Schroeder 1992 基于距離準(zhǔn)則的頂點(diǎn)刪除，頂點(diǎn)移去留下的空洞由一個(gè)局部的三角面片機(jī)制重新生成新的三角面片。 基于重新劃分的多邊形網(wǎng)格模型簡(jiǎn)化 Turk 1992 引入新的頂點(diǎn)來優(yōu)化三角形網(wǎng)格，生成新的幾何模型。新的頂點(diǎn)均勻地分布在原對(duì)象表面。原來的頂點(diǎn)被逐步移去，表面進(jìn)行局部的三角化，以最好地滿足對(duì)象表面的連續(xù)性。 整體網(wǎng)格優(yōu)化算法，全局能量?jī)?yōu)化方程 Hoppe 1993 基于表面重構(gòu)的三角網(wǎng)格簡(jiǎn)化方法。它引入了一種新的能量公式來建模多邊形簡(jiǎn)化以及與簡(jiǎn)化模型與原模型的相似度。用能量函數(shù)來衡量原網(wǎng)格模型

14、與簡(jiǎn)化模型的變形程度。算法可以找到使變形最小的優(yōu)化的頂點(diǎn)分布。,LoD網(wǎng)格-2,基于頂點(diǎn)聚類的網(wǎng)格簡(jiǎn)化算法 Rossignac 1993 不考慮輸入模型和輸出模型的拓?fù)浣Y(jié)構(gòu)。結(jié)果，算法對(duì)于退化的輸入數(shù)據(jù)具有很好的魯棒性，對(duì)任意類型的幾何數(shù)據(jù)都可以得到很高的壓縮比。缺點(diǎn)是，簡(jiǎn)化模型的人工痕跡嚴(yán)重，模型的局部特征保持不好。 不同的選擇準(zhǔn)則來選取那些聚類的頂點(diǎn)。Rssignac提出了一種簡(jiǎn)單有效的一致量化方法。Schaufler則采用了分層的聚類方法。 邊折疊與視點(diǎn)有關(guān)的累進(jìn)網(wǎng)格 Hoppe 1997 基于邊折疊操作，產(chǎn)生一個(gè)無損的，連續(xù)分辨率的三角網(wǎng)格。簡(jiǎn)化表示通過一系列重復(fù)的邊折疊操作產(chǎn)生，很容

15、易轉(zhuǎn)換為遞進(jìn)的重構(gòu)過程。,LoD簡(jiǎn)化網(wǎng)格的一些評(píng)價(jià)參數(shù),網(wǎng)格簡(jiǎn)化算法的魯棒性 簡(jiǎn)化網(wǎng)格的生成和解析速度 簡(jiǎn)化后的對(duì)象shape是否保持不變 簡(jiǎn)化后的網(wǎng)格是否保持拓?fù)浣Y(jié)構(gòu)不變,LoD幾何模型,傳統(tǒng)的網(wǎng)格的表示 數(shù)據(jù)量龐大，不易于存儲(chǔ)傳輸 -實(shí)時(shí)性 很多情況下，我們并不需要一個(gè)對(duì)物體的細(xì)節(jié)刻畫得很詳細(xì)的模型 較遠(yuǎn)或物體在運(yùn)動(dòng) - 較粗糙網(wǎng)格 物體較近或物體靜止- 精細(xì)網(wǎng)格,基于視點(diǎn)的網(wǎng)格簡(jiǎn)化,快速消隱技術(shù),視見體裁減 背面提出 遮擋剔除(Occlusion Culling),遮擋剔除(Occlusion Culling),快速消隱的例子,基于BSP樹的場(chǎng)景繪制技術(shù),BSP樹方式的場(chǎng)景組織 BSP樹

16、的遍歷,紋理映射,基本思想： 實(shí)際紋理非常復(fù)雜，難以解析描述。采用圖象來描述表面紋理細(xì)節(jié)。 IBMR (Image-based Modeling and Rendering) 關(guān)鍵問題： 如何在光照明模型中融入紋理的描述？ 如何將紋理繪制在景物表面上？,光亮度計(jì)算,1依據(jù)：光照明模型 局部光照明模型：朗伯模型、Phong模型 整體光照明模型：Whitted模型，光能輻射度方程（隱式） 追求目標(biāo)：光照效果的真實(shí)感,2計(jì)算方法：繪制算法 掃描線方法 光線跟蹤方法 光能輻射度方法 追求目標(biāo)：畫面生成的實(shí)時(shí)性,紋理映射的基本原理,紋理生成過程實(shí)質(zhì)上是將所定義的紋理映射為反映某種三維景物表面的屬性，并參與后續(xù)的光照明計(jì)算。 表面屬性：與光照明模型及表面幾何有關(guān)的各種參數(shù)，如表面法向、漫/鏡面反射率等。,紋理映射的實(shí)現(xiàn)：,交互確定紋理屬性 參數(shù)不再是常數(shù)，逐點(diǎn)變化 建立紋理空間與景物空間及景物空間與屏幕空間之間的映射關(guān)系： M: ObjectSpace TextureSpace T: ScreenSpace ObjectSpace,Ilocal= kaIa + kd (NL) +ks (N H)n,I