CVRV2002

基于Web的分布式虛擬環(huán)境中的智能虛擬人研究

導(dǎo)師 張申生教授博士生 戴開宇論文摘要

在分布式虛擬環(huán)境中建立具有智能行為的虛擬人有著重要的意義。本文分析了分布式虛擬環(huán)境對智能虛擬人行為的要求。提出了一個虛擬人的體系結(jié)構(gòu)。著重分析了其在動態(tài)環(huán)境下面向目標(biāo)的行為選擇和實現(xiàn)方法，并給出其形式化描述。最后給出了基于VRML的參數(shù)化人物動作生成方法。我們應(yīng)用該體系構(gòu)造了一個基于Web的虛擬城市的導(dǎo)游人物，取得了很好的效果。10/28/2023分布式虛擬環(huán)境(1)虛擬現(xiàn)實概念

以模擬方式為使用者創(chuàng)造一個實時反映實體對象變化與相互作用的三維圖像世界,在視、聽、觸、嗅等感知行為的逼真體驗中,使參與者可以直接參與和探索虛擬對象在所處環(huán)境中的作用和變化，產(chǎn)生沉浸感

虛擬現(xiàn)實應(yīng)有的特征（三I)沉浸感（Immersion）:能給人們以真實世界的感覺，讓人感覺全方位地沉浸在這個虛幻的世界中。交互性（Interaction）:虛擬現(xiàn)實與通常CAD系統(tǒng)所產(chǎn)生的模型是不一樣的，它不是一個靜態(tài)的世界，而是可以對使用者的輸入作出反應(yīng)。虛擬現(xiàn)實環(huán)境可以通過控制與監(jiān)視裝置影響或被使用者影響。想象（Imagination）:它的應(yīng)用能解決在工程、醫(yī)學(xué)、軍事等方面的一些問題,這些應(yīng)用是ＶＲ與設(shè)計者并行操作,為發(fā)揮它們的創(chuàng)造性而設(shè)計的,這極大地依賴于人類的想象力。10/28/2023分布式虛擬環(huán)境(2)分布式虛擬環(huán)境（DistributedVirtualEnvironment)

利用計算機(jī)構(gòu)造的一個真實世界的模擬，地理上分布的用戶可以通過網(wǎng)絡(luò)共享該環(huán)境，并與周圍的環(huán)境以及在相互之間進(jìn)行交互。共享虛擬環(huán)境涉及到虛擬現(xiàn)實、分布對象、網(wǎng)絡(luò)、人機(jī)交互、智能代理等領(lǐng)域。其他同義詞包括:NetworkedVE(VR),SharedVE(VR),Multi-UserVE,etc.其實質(zhì)是一種人機(jī)交互界面

分布式虛擬環(huán)境必須具有以下功能：能很好的可視模擬真實世界：三維模擬構(gòu)造真實世界；支持多媒體內(nèi)容；通過硬件給用戶觸覺等真實感受。數(shù)據(jù)共享：該環(huán)境中的數(shù)據(jù)可以在一定規(guī)則下被進(jìn)入該用戶共享。用戶應(yīng)該看到的是一個統(tǒng)一的視圖。因為用戶使用的系統(tǒng)可能是異構(gòu)的，所以該系統(tǒng)應(yīng)該具有平臺獨立性。交互性：用戶能通過一定的輸入設(shè)備與環(huán)境和其他用戶進(jìn)行交互。10/28/2023分布式虛擬環(huán)境(3)分布式虛擬環(huán)境的應(yīng)用軍事訓(xùn)練

SIMNET&DIS

教育與培訓(xùn)

pedagogicalagentSteve;JackMOO網(wǎng)絡(luò)會議與遠(yuǎn)程協(xié)作

Sony公司基于DIVE的一個系統(tǒng)娛樂和虛擬社區(qū)

Cybertown(使用Blaxxun）電子商務(wù)

VRcommerceofIBM更加直觀可視化三維表達(dá)，可以定制更具有個性化

豐富的購買行為可以更好的表達(dá)用戶的購買習(xí)慣更具交互性顧客：共同商量購買一個商品，和其他顧客交流

獲得及時咨詢，幫助立刻確定購買行為

商家：及時對顧客咨詢幫助其確定購買行為；

得到顧客的反饋信息，調(diào)整商業(yè)策略10/28/2023分布式虛擬環(huán)境(4)分布式虛擬環(huán)境發(fā)展的原動力因特網(wǎng)技術(shù)的廣泛使用:Internet已經(jīng)成為娛樂、商業(yè)等的重要媒體硬件基礎(chǔ)：網(wǎng)絡(luò)帶寬的提高（寬帶網(wǎng)的逐漸普及），個人計算機(jī)圖形處理能力的增強(qiáng)軟件基礎(chǔ)：虛擬現(xiàn)實技術(shù)和網(wǎng)絡(luò)技術(shù)的結(jié)合日益復(fù)雜的數(shù)據(jù)使得原來的界面不能滿足需要，人們希望更加直觀的表達(dá)信息，使用更加自然的方式進(jìn)行人機(jī)交互以及通過網(wǎng)絡(luò)實現(xiàn)人與人之間實時、形象的交流10/28/2023分布式虛擬環(huán)境(5)著名分布式虛擬環(huán)境項目介紹DIVEhttp://www.sics.se/dive/由瑞典InstituteofComputerScience開發(fā)運(yùn)行在SGIRIX,PC

NT4,PC

Linux/Mesa,SunSolaris,HPHPUX上核心代碼使用C語言寫成提供API和TCLScript接口1991年第一版本SIMNET&DIS美國DARPA(DefenseAdvancedResearchProjectsAgency)1983年開始的一項研究，交付官方使用于1990年，用于模擬組隊作戰(zhàn)環(huán)境特點：對象-事件模型，自治模擬節(jié)點，預(yù)測算法DIS網(wǎng)絡(luò)軟件架構(gòu)的核心是協(xié)議數(shù)據(jù)單元（PDU）

沒有中央服務(wù)器,可擴(kuò)展性好10/28/2023分布式虛擬環(huán)境(6)NPSNET-IV美國海軍研究生院開發(fā)具有關(guān)節(jié)可以靈活動作的人物，攀登以及下坡等能力。通過MBONE網(wǎng)絡(luò)互連支持空中以及地點的各種工具。與SIMNET/DIS兼容

PARADISE1993年斯坦福開始的一個項目集中解決帶寬問題，使用IP組播技術(shù)采用了AOI（興趣區(qū)域）服務(wù)器作為信息傳播中介。將實體根據(jù)狀態(tài)變化頻率分類，采用不同精度的預(yù)測算法10/28/2023分布式虛擬環(huán)境(7)基于Web和VRML的分布式虛擬環(huán)境

BlaxxunInteractiveInc/

1995年成立，總部在德國慕尼黑VirtualWorldsPlatform5.1多人服務(wù)器BlaxxuncontactVRML客戶端程序blaxxun3DJava解釋VRMLVnet/~jeffs/vnet/

VRML+Java

DeepMatrix

VRML+Java10/28/2023智能虛擬人（1）在分布式虛擬環(huán)境中構(gòu)造智能虛擬人的意義

使得分布式虛擬環(huán)境具有更好的交互性和智能性。從而使得分布式虛擬環(huán)境內(nèi)容更加豐富，也更加逼真，更具有吸引力。幫助實現(xiàn)構(gòu)造分布式虛擬環(huán)境的目的，從而具有更加廣泛的應(yīng)用，他們實質(zhì)代表了一種更加形象的服務(wù)：教學(xué)培訓(xùn)：虛擬教師，可以實時回答問題并做示范電子商務(wù)：導(dǎo)購人員，咨詢娛樂游戲：游戲中的參與者城市社區(qū)：導(dǎo)游提供了一種研究人類自身的方法（人工智能）。如：認(rèn)知學(xué)等在建造物理機(jī)器人之前，可以在虛擬環(huán)境中進(jìn)行通過建造虛擬機(jī)器人進(jìn)行仿真。

10/28/2023智能虛擬人（2）相關(guān)項目介紹JACK賓夕法尼亞大學(xué)人物建模和仿真中心研發(fā)/生物醫(yī)學(xué)數(shù)據(jù)精確的人體模型，從人體測量的統(tǒng)計數(shù)據(jù)得到。該模型包括逼真的行為控制、符合真實人體比例的縮放、以及諸如障礙物回避等。

主要用于產(chǎn)品設(shè)計的人類工程方面的考慮?？梢詫μ摂M產(chǎn)品設(shè)計通過虛擬人進(jìn)行測試。由用戶給予各種約束和任務(wù)，JACK可對許多指標(biāo)給出計算結(jié)果。編程接口：并行轉(zhuǎn)換網(wǎng)絡(luò)（PaT-Nets）狀態(tài)轉(zhuǎn)換圖.結(jié)點:執(zhí)行體；邊:條件參數(shù)化動作表示方法（PAR）用于連接自然語言命令和動作執(zhí)行動畫。JACK相關(guān)項目JackMOOJACK+LambdaMOO(byPavelCurtisatXeroxParc)SmartAgent.

10/28/2023智能虛擬人（3）Oz/afs//project/oz/web/oz.html卡耐基梅隆計算機(jī)學(xué)院研究開發(fā)三個側(cè)重點:believableagents,表達(dá),高度交互性的劇情.對于believableagents來說，個性是最重要的，強(qiáng)調(diào)的是藝術(shù)的真實抽象，有感染力，讓人置信。而不是人工智能強(qiáng)調(diào)的能力。Oz強(qiáng)調(diào)建立特殊唯一的believableagent。提出了一個TOK架構(gòu)來構(gòu)造稱為BroadAgent的具有感知、行為、情緒、語言等廣泛能力的智能代理，由控制反應(yīng)和面向目標(biāo)的行為的Hap模塊、負(fù)責(zé)情緒和社會關(guān)系的Em模塊組成以及一個自然語言系統(tǒng)Glinda組成

Hap是系統(tǒng)的核心模塊，提供支持描述believableagent行為的機(jī)制。使用“反應(yīng)型規(guī)劃”的策略來實現(xiàn)在復(fù)雜環(huán)境中的快速反應(yīng)，而不追求代理的非常智能化

10/28/2023智能虛擬人（4）IMPROV/projects/improv/NewYork大學(xué)計算機(jī)系媒體研究實驗室的一個研究項目

一種行為動畫的方法。提供給了一個腳本語言用于構(gòu)造實時的基于行為的人物動畫。行為可以以由創(chuàng)作者維護(hù)的內(nèi)部狀態(tài)以及外部事件為條件。通過指定該虛擬人物在某種情形下采取各種行為的可能性，來使該人物具有個性。由具備高層能力的行為引擎和控制底層幾何變化的動畫引擎組成。高層使用腳本定義動作序列來表示一個行為，而底層通過定義幾何變化來構(gòu)造原子行為。運(yùn)用噪聲技術(shù)，產(chǎn)生隨機(jī)的微小的運(yùn)動，使得人物活動更加真實。10/28/2023基于Web的分布式虛擬環(huán)境（1）VRML

它的出現(xiàn)主要是為了在Internet范圍內(nèi)建立一個全球統(tǒng)一的基于網(wǎng)絡(luò)的三維標(biāo)準(zhǔn).V1.0(1994)-->V2.0(1996)->VRML97(ISO)-V3.0(X3D)完整的三維建模語言:完整描述三維場景的物體、光、材料、環(huán)境特性和真實感效果分布處理方式:支持多個分布式文件的多種對象和機(jī)制,包括內(nèi)聯(lián)式嵌入其他VRML文件,通過超鏈接指向其它文件三維交互功能:能夠檢測用戶和虛擬環(huán)境中幾何造型交互動作(如按動開關(guān)，碰撞檢測),用戶在虛擬環(huán)境中的行為以及時間推移。檢測器提供的這些信息通過由VRML定義的整個事件體系產(chǎn)生視覺或聽覺效果,給用戶造成和境界互動的交互式體驗平臺無關(guān)性多媒體集成（背景音樂,空間立體聲支持，電影貼圖）10/28/2023基于Web的分布式虛擬環(huán)境（2）

原型節(jié)點(PROTO)便于用戶利用已有節(jié)點定義面向?qū)ο蟮男碌墓?jié)點。使用腳本節(jié)點(Script)用戶可以定義更加復(fù)雜的執(zhí)行邏輯，支持VrmlScript以及Java等語言。10/28/2023基于Web的分布式虛擬環(huán)境（3）EAI(ExternalAuthoringInterface)

EAI允許一個JavaApplet主要以三種方式訪問VRML的場景：

可以發(fā)送一個事件到VRML場景中節(jié)點的事件入口

可以收到VRML場景中節(jié)點的事件出口發(fā)出的最新值當(dāng)VRML場景中節(jié)點的事件入口發(fā)出一個事件時，能得到一個通知，激活callback方法

VRML本身不具備網(wǎng)絡(luò)通訊能力，Java提供了該功能。Java彌補(bǔ)VRML計算，程序設(shè)計方面的不足，可以加入復(fù)雜的邏輯10/28/2023基于Web的分布式虛擬環(huán)境（4）圖1B/S結(jié)構(gòu)的分布式虛擬環(huán)境框架Web服務(wù)器分布式虛擬環(huán)境服務(wù)器虛擬人物控制器

瀏覽器AppletVRML插件客戶端1服務(wù)器端客戶端2客戶端n。。。本地圖形數(shù)據(jù)庫拷貝用戶操作界面EAI全局?jǐn)?shù)據(jù)庫及語義服務(wù)器下載

C-S結(jié)構(gòu)（Java安全性）全局?jǐn)?shù)據(jù)庫以及語義服務(wù)器，用于記錄全局幾何信息以及一些非幾何的語義信息

在網(wǎng)絡(luò)上傳輸?shù)闹皇前l(fā)生改變的幾何信息或者控制信息

虛擬人控制器決定虛擬場景中自主的虛擬人需要采取的行為

10/28/2023分布式虛擬環(huán)境中的智能虛擬人建模（1）

設(shè)計考慮虛擬人對周圍環(huán)境刺激的反應(yīng)應(yīng)該是迅速以及穩(wěn)定的，傳統(tǒng)人工智能耗費(fèi)時間的復(fù)雜的邏輯推理和符號處理并不適合于設(shè)計這樣的虛擬人。分布式環(huán)境中是一個動態(tài)環(huán)境，不斷有新的情況發(fā)生。虛擬人要能處理突發(fā)事件。該虛擬人應(yīng)該具有比較廣泛的能力。與傳統(tǒng)人工智能針對某個方面進(jìn)行深入分析達(dá)到很強(qiáng)的智能相比，該虛擬人具有綜合智能，盡管各個方面的智能由于一些限制還不是很強(qiáng)。但卻給人以一個整體的逼真的人物的感覺。

設(shè)計應(yīng)該與前述基于Web的分布式虛擬環(huán)境對應(yīng)。在每個客戶端的VRML世界中都包含了一個虛擬人的圖形拷貝，而行為決策和各種語義邏輯應(yīng)該放在服務(wù)器端

10/28/2023分布式虛擬環(huán)境中的智能虛擬人建模（2）虛擬人物控制器用于感知各種外界以及內(nèi)部的刺激，并根據(jù)局部信念、規(guī)劃以及行為庫、內(nèi)部精神狀態(tài)進(jìn)行行為規(guī)劃和實現(xiàn)。它包括兩個主要模塊：行為引擎主要用于做高層行為決策和分解，將分解到的最底層的原子行為傳給動作引擎，動作引擎將其語義轉(zhuǎn)化成幾何變化信息，并通過Socket封裝協(xié)議發(fā)送控制信息給客戶端的幾何修改器。

內(nèi)部精神狀態(tài)

采用一組變量描述虛擬人的內(nèi)部精神狀態(tài)，

規(guī)劃及行為庫是支持虛擬人控制器作出行為選擇的知識庫。規(guī)劃以及行為庫的設(shè)計是可以擴(kuò)充的.人物幾何造型行為引擎動作引擎外界環(huán)境幾何修改器內(nèi)部精神狀態(tài)VRMLEAI虛擬人物控制器規(guī)劃及行為庫客戶端服務(wù)器端虛擬人物物理模型局部信念圖2虛擬人物整體框架感知-改變10/28/2023分布式虛擬環(huán)境中的智能虛擬人建模（3）局部信念表示由該虛擬人維護(hù)的信念，包括對自己狀態(tài)的維護(hù)以及其他環(huán)境中相關(guān)性很強(qiáng)的信息。

幾何修改器接收由動作引擎發(fā)過來的控制命令以及其中的參數(shù)，直接修改VRML中的屬性，從而使得人物的幾何形體發(fā)生變化，表示一定的動作。使用EAI實現(xiàn)。動作的成功完成或者失敗都應(yīng)該發(fā)回一個反饋信息給服務(wù)器端的虛擬人控制器，主動感知與被動感知主動感知：全局環(huán)境數(shù)據(jù)庫管理器管理整個分布式虛擬環(huán)境中的事件，并把事件發(fā)送給相應(yīng)的接收者被動感知：虛擬人在行為規(guī)劃中，主動查詢?nèi)謹(jǐn)?shù)據(jù)庫獲得相關(guān)信息10/28/2023分布式虛擬環(huán)境中的智能虛擬人建模（4）一個規(guī)劃可以描述為下面六元組：Pi：：=(Triggeri,Propertyi,Pci,Bsi,Statei,Efi)

Triggeri

：是引發(fā)該規(guī)劃的事件；

Propertyi記錄了該規(guī)劃的一些特殊屬性，如優(yōu)先級大小，以及可否被其他規(guī)劃搶占等；

Pci是一組實行該規(guī)劃需要滿足的前提條件，

Bsi表示一組完成該規(guī)劃需要采取的行為，

Statei是該規(guī)劃目前執(zhí)行的狀況，為活動狀態(tài)集中的某個狀態(tài)，

Efi表示該規(guī)劃成功后將對環(huán)境以及自身產(chǎn)生的一組后果。10/28/2023分布式虛擬環(huán)境中的智能虛擬人建模（5）

行為是由一組動作序列組成的，所以B也可以如此定義：B::=Ф（Actioni，i=0，1，..）。其中Ф是一種復(fù)合函數(shù)，表示了動作的組合。動作可以通過原子動作的組合遞歸定義如下：①原子動作是一個動作。②如果Action1,Action2是動作，則Action1∧Action2是動作，∧表示連接，即Action2在Action1完成后執(zhí)行。③如果Action1,Action2是動作，則Action1∨Action2是動作，∨表示并行，即Action2可以和Action1同時執(zhí)行。④如果Action1,Action2是動作，則Action1+Action2是動作，其中表示可選，即Action1和Action2兩個分支過程中選擇其中一個執(zhí)行即可。⑤如果Action1,Action2,Action3是動作，則（Action1∨Action2）*Action3是動作，其中*表示非等待連接，即Action1和Action2中有任何一個動作完成即可執(zhí)行Action3.

10/28/2023分布式虛擬環(huán)境中的智能虛擬人建模（6）規(guī)劃行為庫可以采用產(chǎn)生式系統(tǒng)結(jié)合計算程序庫來實現(xiàn)。一個產(chǎn)生式系統(tǒng)包含一系列產(chǎn)生式規(guī)則，規(guī)則形如：IF條件THEN采取的規(guī)劃條件相當(dāng)于前述的Trigger，它基于虛擬智能人物的信念以及對環(huán)境的感知。虛擬人控制器以一定的時鐘步對規(guī)則庫所有規(guī)則進(jìn)行檢測，將所有條件都符合的規(guī)劃放入待執(zhí)行的規(guī)劃隊列虛擬人控制器從該隊列中選取優(yōu)先級別最高的規(guī)劃執(zhí)行外界環(huán)境的變化和執(zhí)行規(guī)劃的過程中，信念也將發(fā)生動態(tài)的變化，這樣當(dāng)前規(guī)劃可能被具有更高級別的規(guī)劃打斷，或者當(dāng)前規(guī)劃的前提條件在執(zhí)行的過程中已經(jīng)不復(fù)成立，從而取消。隨著規(guī)劃的執(zhí)行（表現(xiàn)為采取的行為個數(shù)增加），該數(shù)值將增加，即一個規(guī)劃的優(yōu)先級別是動態(tài)的。在規(guī)劃行為庫中所有的規(guī)則最后，設(shè)計一個條件一直為真的規(guī)劃。一般是為了維護(hù)虛擬人的逼真性使其隨機(jī)采取一些行為10/28/2023分布式虛擬環(huán)境中的智能虛擬人建模（7）基于H-Anim的人物造型以及動作實現(xiàn)

http://ece.uwaterloo.ca/~h-anim/

H-Anim標(biāo)準(zhǔn)是為了提供一個具有良好兼容性、靈活性、簡單性的人物模型構(gòu)造方法而提出來的標(biāo)準(zhǔn)。

標(biāo)準(zhǔn)通過原型構(gòu)造擴(kuò)充VRML2定義了三個主要的新的節(jié)點，在這些節(jié)點中可以包含豐富的信息，比如身體段的質(zhì)量，包圍整個身體段或者人物的長方體尺寸，關(guān)節(jié)的運(yùn)動范圍等

：

Joint節(jié)點：定義關(guān)節(jié)Segment節(jié)點：定義身體段。Site定義相對于該Segment的位置，可用于往身體段上附著衣服以及定義反向動力學(xué)方法的終端效應(yīng)器等Displacer節(jié)點用于定義一組具有特殊特征或者配置的頂點，可以用于肌肉變形動畫等Humanoid節(jié)點：包含指向Joint節(jié)點和Segment節(jié)點的引用數(shù)組以及作者版本等信息10/28/2023分布式虛擬環(huán)境中的智能虛擬人建模（8）H-An