虛擬現(xiàn)實(shí)康復(fù)原理與應(yīng)用設(shè)計(jì)教育部高等學(xué)校生物醫(yī)學(xué)工程類(lèi)專(zhuān)業(yè)教學(xué)指導(dǎo)委員會(huì)“十四五”規(guī)劃教材康復(fù)科學(xué)與技術(shù)系列教材虛擬現(xiàn)實(shí)康復(fù)中的人機(jī)交互第四章虛擬現(xiàn)實(shí)人機(jī)交互簡(jiǎn)介01廣義上講，人機(jī)交互技術(shù)(Human-ComputerInteractionTechniques)是指通過(guò)計(jì)算機(jī)輸入/輸出設(shè)備，以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)對(duì)話(huà)的技術(shù)。它包括傳統(tǒng)人機(jī)交互方式和自然人機(jī)交互方式兩種，傳統(tǒng)人機(jī)交互方式包括鼠標(biāo)交互、鍵盤(pán)交互等:自然人機(jī)交互方式包括語(yǔ)音交互、手勢(shì)交互等。對(duì)虛擬現(xiàn)實(shí)康復(fù)應(yīng)用而言，人機(jī)交百不僅體現(xiàn)在由計(jì)算機(jī)及其外圍硬件系統(tǒng)展示給患者的虛擬場(chǎng)景元素，還有患者在康復(fù)訓(xùn)練中對(duì)虛擬場(chǎng)景的作用和影響，通常是患者所表現(xiàn)出的生理活動(dòng)、行為特征參數(shù)，它們作為虛擬現(xiàn)實(shí)系統(tǒng)的輸入信息。在虛擬現(xiàn)實(shí)康復(fù)中，人機(jī)交互技術(shù)是連接患者與虛擬任務(wù)的橋梁和紐帶，是確?；颊叩倪\(yùn)動(dòng)、認(rèn)知等生理、心理狀態(tài)及時(shí)被計(jì)算機(jī)感知的基礎(chǔ)，其地位十分重要一般而言，用于虛擬現(xiàn)實(shí)康復(fù)的人機(jī)交互硬件設(shè)備既可以是鍵盤(pán)、鼠標(biāo)、搖桿、方向盤(pán)、操作手柄、觸摸屏等傳統(tǒng)交互設(shè)備，也可以是功能較為豐富的自然交互設(shè)備如數(shù)據(jù)手套、手勢(shì)捕獲設(shè)備、體感設(shè)備、智能手環(huán)、腦電采集裝置、肌電采集裝置力反饋設(shè)備等。原則上，一切游戲外設(shè)、可穿戴式設(shè)備和自然交互設(shè)備都可以作為虛擬現(xiàn)實(shí)康復(fù)的交互設(shè)備。虛擬現(xiàn)實(shí)人機(jī)交互是指以計(jì)算機(jī)技術(shù)為基礎(chǔ)，生成逼真的視、聽(tīng)、觸覺(jué)一體化且在特定場(chǎng)景范圍內(nèi)的虛擬環(huán)境，通過(guò)外部設(shè)備，用戶(hù)以自然可操作的方式與虛擬環(huán)境中的對(duì)象進(jìn)行指令或信息交互，從而產(chǎn)生置身于真實(shí)環(huán)境中的體驗(yàn)和感受。為了給用戶(hù)提供一種更加生動(dòng)且接近現(xiàn)實(shí)的沉浸式體驗(yàn)，虛擬現(xiàn)實(shí)需要同時(shí)具備高真實(shí)感的環(huán)境表達(dá)和高效的用戶(hù)和環(huán)境之間的信息交換的特征，這其中涉及的人機(jī)交萬(wàn)技術(shù)包含三維交瓦、姿勢(shì)交瓦、肌電與神經(jīng)交瓦、手持移動(dòng)設(shè)備交瓦、語(yǔ)音交互、力觸覺(jué)交互和多通道交瓦技術(shù)等。①三維交瓦:虛擬現(xiàn)實(shí)中最重要的交互方式之一，相較于二維交互，提供了更多的操作自由度，涉及全新的交互隱喻技術(shù)。②姿勢(shì)交:在虛擬現(xiàn)實(shí)中，將用戶(hù)的身體或肢體運(yùn)動(dòng)作為一種重要的輸入通道的交互方式。其中，體感交互是最直接的姿勢(shì)交互，它利用體感控制器檢測(cè)、記錄身體運(yùn)動(dòng)并以此控制虛擬對(duì)象進(jìn)行互動(dòng)，目前已廣泛應(yīng)用的體感產(chǎn)品有Kinect、LeapMotion等。③肌電與神經(jīng)交互:通過(guò)對(duì)肌電信號(hào)或腦電信號(hào)檢測(cè)及其運(yùn)動(dòng)意圖識(shí)別，以識(shí)別結(jié)果控制虛擬對(duì)象的交互方式。不斷發(fā)展的肌電手環(huán)及其運(yùn)動(dòng)手勢(shì)識(shí)別算法促進(jìn)了肌電交互應(yīng)用，近年來(lái)發(fā)展起來(lái)的腦電檢測(cè)模塊和腦電頭盔也為腦神經(jīng)虛擬現(xiàn)實(shí)交互提供了新的技術(shù)手段。④手持移動(dòng)設(shè)備交互:隨著電子信息技術(shù)的進(jìn)步，手機(jī)為代表的手持移動(dòng)設(shè)備集成了相機(jī)、GPS、加速度計(jì)等不同的傳感器，提升了設(shè)備對(duì)環(huán)境和用戶(hù)行為的感知能力。⑤語(yǔ)音交互:用戶(hù)通過(guò)發(fā)布語(yǔ)音命令請(qǐng)求系統(tǒng)執(zhí)行特定功能，該交互方式解放了用戶(hù)的雙手。⑥力觸覺(jué)交互:力觸覺(jué)交互技術(shù)在虛擬現(xiàn)實(shí)中有著不可替代的作用，相較于傳統(tǒng)的視覺(jué)交互和聽(tīng)覺(jué)交互，它更能使用戶(hù)產(chǎn)生真實(shí)的沉浸感。⑦多通道交:廣義上是指通過(guò)文字、語(yǔ)音、視覺(jué)、動(dòng)作、環(huán)境等多種方式進(jìn)行人機(jī)交互。在康復(fù)領(lǐng)域，更多的是指利用兩種或兩種以上多源數(shù)據(jù)之間的互補(bǔ)性實(shí)現(xiàn)動(dòng)作、手勢(shì)、情感、意識(shí)等識(shí)別，進(jìn)而進(jìn)行人機(jī)交瓦的方法。例如，基于腦申和肌電融合進(jìn)行運(yùn)動(dòng)識(shí)別，進(jìn)而實(shí)現(xiàn)虛擬現(xiàn)實(shí)康復(fù);基于Kinect骨架數(shù)據(jù)和肌電融合進(jìn)行手勢(shì)動(dòng)作識(shí)別，進(jìn)而實(shí)現(xiàn)虛擬現(xiàn)實(shí)康復(fù);基于Kinect骨架數(shù)據(jù)、肌電和心電腦電融合，實(shí)現(xiàn)虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)的設(shè)計(jì)等。從生物醫(yī)學(xué)工程技術(shù)的角度看，虛擬現(xiàn)實(shí)人機(jī)交互是利用各種類(lèi)型的傳感檢測(cè)技術(shù)獲取用戶(hù)的生理參數(shù)，再通過(guò)對(duì)生理參數(shù)的分析并結(jié)合預(yù)先設(shè)計(jì)的映射模式，由生理參數(shù)影響和改變虛擬對(duì)象的特征和狀態(tài)，如運(yùn)動(dòng)快慢和運(yùn)動(dòng)方位等。另外，用戶(hù)在觀(guān)察或感受到虛擬對(duì)象狀態(tài)發(fā)生改變時(shí)，又會(huì)根據(jù)虛擬對(duì)象的狀態(tài)改變不斷調(diào)整自身的生理狀態(tài)參數(shù)，以實(shí)現(xiàn)其與虛擬對(duì)象的人機(jī)交互。圖4-1所示是虛擬現(xiàn)實(shí)人機(jī)交互的信息傳遞示意圖。手指運(yùn)動(dòng)模式及手勢(shì)識(shí)別02手指運(yùn)動(dòng)生物力學(xué)特征依靠獨(dú)特的生理解剖結(jié)構(gòu)和神經(jīng)肌肉控制，手具有人體最復(fù)雜的運(yùn)動(dòng)功能。手是多關(guān)節(jié)器官，由手掌和五指構(gòu)成。除拇指外，其余每根指都由3塊指骨和3個(gè)關(guān)節(jié)構(gòu)成，如圖4-2所示。手的關(guān)節(jié)包括燒腕關(guān)節(jié)、腕骨間關(guān)節(jié)、腕掌關(guān)節(jié)、掌骨間關(guān)節(jié)、掌指關(guān)節(jié)和指骨間關(guān)節(jié)，這些關(guān)節(jié)有的能做屈、伸、收、展及環(huán)轉(zhuǎn)運(yùn)動(dòng)。手指運(yùn)動(dòng)生物力學(xué)特征人手關(guān)節(jié)主要有如下兩種運(yùn)動(dòng)形式①屈和伸:組成關(guān)節(jié)的兩骨相互靠攏，其夾角逐漸變小的運(yùn)動(dòng)為屈;相反，兩骨之間的夾角逐漸變大的運(yùn)動(dòng)為伸。②內(nèi)收和外展:手指在內(nèi)收和外展時(shí)，以通過(guò)中指中軸的假想線(xiàn)為準(zhǔn)，手指向中指中軸靠攏的運(yùn)動(dòng)為內(nèi)收，而手指離開(kāi)中指中軸的運(yùn)動(dòng)為外展。手部的掌指關(guān)節(jié)有兩個(gè)自由度，可以進(jìn)行屈伸及內(nèi)收/外展兩種運(yùn)動(dòng)，而近指骨間關(guān)節(jié)和遠(yuǎn)指骨間關(guān)節(jié)均只有1個(gè)自由度，只可進(jìn)行屈伸運(yùn)動(dòng)。基于數(shù)據(jù)手套的手指運(yùn)動(dòng)檢測(cè)及手勢(shì)識(shí)別數(shù)據(jù)手套的概念最早來(lái)自美國(guó)的JaronLanier于20世紀(jì)80年代提出的可穿戴式設(shè)備，它可檢測(cè)手部運(yùn)動(dòng)數(shù)據(jù)、反饋手部運(yùn)動(dòng)信息，使用者可以通過(guò)佩戴數(shù)據(jù)手套在虛擬場(chǎng)景中實(shí)現(xiàn)諸如抓取、觸摸、移動(dòng)物體等動(dòng)作。作為虛擬現(xiàn)實(shí)系統(tǒng)的一種全新的交互手段，數(shù)據(jù)手套可以檢測(cè)手部運(yùn)動(dòng)信息、定位手部空間位置、測(cè)量手指彎曲度等數(shù)據(jù)?，F(xiàn)在主流的數(shù)據(jù)手套有基于光纖傳感器的數(shù)據(jù)手套、基于磁力計(jì)的數(shù)據(jù)手套、基于加速度傳感器的數(shù)據(jù)手套和力反饋手套?；跀?shù)據(jù)手套的手指運(yùn)動(dòng)檢測(cè)及手勢(shì)識(shí)別基于光纖傳感器的數(shù)據(jù)手套采用光電彎曲傳感器，可以檢測(cè)手指關(guān)節(jié)彎曲角度和指縫間的延展角度，甚至包括手腕的轉(zhuǎn)動(dòng)和傾斜，適用于有限的簡(jiǎn)單手勢(shì)的輸入。這類(lèi)交互檢測(cè)系統(tǒng)的代表產(chǎn)品是5DT數(shù)據(jù)手套（見(jiàn)圖4-3）,它提供了跨平臺(tái)的數(shù)據(jù)接口，可獲取傳感器原始數(shù)據(jù)和自動(dòng)校正數(shù)據(jù)，提供內(nèi)置校正功能，并提供基本手勢(shì)的識(shí)別?；跀?shù)據(jù)手套的手指運(yùn)動(dòng)檢測(cè)及手勢(shì)識(shí)別數(shù)據(jù)手套的概念最早來(lái)自美國(guó)的JaronLanier于20世紀(jì)80年代提出的可穿戴式設(shè)備，它可檢測(cè)手部運(yùn)動(dòng)數(shù)據(jù)、反饋手部運(yùn)動(dòng)信息，使用者可以通過(guò)佩戴數(shù)據(jù)手套在虛擬場(chǎng)景中實(shí)現(xiàn)諸如抓取、觸摸、移動(dòng)物體等動(dòng)作。作為虛擬現(xiàn)實(shí)系統(tǒng)的一種全新的交互手段，數(shù)據(jù)手套可以檢測(cè)手部運(yùn)動(dòng)信息、定位手部空間位置、測(cè)量手指彎曲度等數(shù)據(jù)。現(xiàn)在主流的數(shù)據(jù)手套有基于光纖傳感器的數(shù)據(jù)手套、基于磁力計(jì)的數(shù)據(jù)手套、基于加速度傳感器的數(shù)據(jù)手套和力反饋手套?；跀?shù)據(jù)手套的手指運(yùn)動(dòng)檢測(cè)及手勢(shì)識(shí)別基于光纖傳感器的數(shù)據(jù)手套采用光電彎曲傳感器，可以檢測(cè)手指關(guān)節(jié)彎曲角度和指縫間的延展角度，甚至包括手腕的轉(zhuǎn)動(dòng)和傾斜，適用于有限的簡(jiǎn)單手勢(shì)的輸入。這類(lèi)交互檢測(cè)系統(tǒng)的代表產(chǎn)品是5DT數(shù)據(jù)手套（見(jiàn)圖4-3）,它提供了跨平臺(tái)的數(shù)據(jù)接口，可獲取傳感器原始數(shù)據(jù)和自動(dòng)校正數(shù)據(jù)，提供內(nèi)置校正功能，并提供基本手勢(shì)的識(shí)別?；跀?shù)據(jù)手套的手指運(yùn)動(dòng)檢測(cè)及手勢(shì)識(shí)別在虛擬現(xiàn)實(shí)應(yīng)用中，建立人手的模型，即虛擬手，并根據(jù)從數(shù)據(jù)手套獲取的數(shù)據(jù)更新各組成部分的相對(duì)位置和方位。由于虛擬手的各組成部分是相互關(guān)聯(lián)的，其運(yùn)動(dòng)是相互影響和牽連的，各手指的各指段從指根到指尖的運(yùn)動(dòng)存在著繼承關(guān)系。因此，通常需要建立樹(shù)形拓?fù)浣Y(jié)構(gòu)。為了表現(xiàn)和控制虛擬手的這種運(yùn)動(dòng)特性，可將虛擬手的各組成部分視為不同的對(duì)象，并對(duì)其所具有的屬性和操作進(jìn)行封裝。在如圖4-4所示的虛擬手模型的樹(shù)形拓?fù)浣Y(jié)構(gòu)中，手掌和各手指的指根為第一級(jí)子對(duì)象，各手指的中部指段為對(duì)應(yīng)指根的子對(duì)象，指尖為對(duì)應(yīng)的中部指段的子對(duì)象，指尖沒(méi)有子對(duì)象。父對(duì)象的運(yùn)動(dòng)會(huì)帶動(dòng)子對(duì)象運(yùn)動(dòng)，子對(duì)象的運(yùn)動(dòng)不會(huì)影響父對(duì)象的運(yùn)動(dòng)。手指運(yùn)動(dòng)的體感傳感檢測(cè)為了實(shí)現(xiàn)對(duì)手指運(yùn)動(dòng)參數(shù)的檢測(cè)，國(guó)外某公司開(kāi)發(fā)了一款專(zhuān)門(mén)捕獲手運(yùn)動(dòng)的體感控制器———LeapMotion0該設(shè)備利用內(nèi)置的核心部件，即3個(gè)紅外發(fā)光二極管，1片窄帶濾光片及2個(gè)內(nèi)置攝像頭(左右對(duì)稱(chēng))，實(shí)現(xiàn)從不同角度對(duì)手部運(yùn)動(dòng)的捕捉。LeapMotion采用右手笛卡兒坐標(biāo)系，原點(diǎn)在LeapMotion體感控制器的中心，X軸平行于控制器的長(zhǎng)邊，Z軸平行于控制器的短邊，兩軸位于同一水平面，￥軸垂直于該水平面，正方向向上，如圖4-5(a)所示。LeapMotion的可視范圍呈倒金字塔形，塔尖在設(shè)備中心，工作范圍大約在設(shè)備前方的25?600mm。定義人手掌心的法向量為PalmNormal,切向量為Direction,如圖4-5(b)所示，通過(guò)這兩個(gè)向量可表示手掌的方位。手指運(yùn)動(dòng)的體感傳感檢測(cè)通過(guò)LeapMotion傳感器可以獲取各個(gè)指骨的單位方向向量。進(jìn)一步，手指屈伸運(yùn)動(dòng)可看成旋轉(zhuǎn)運(yùn)動(dòng)，遠(yuǎn)指骨間關(guān)節(jié)及近指骨間關(guān)節(jié)的旋轉(zhuǎn)角可通過(guò)與該關(guān)節(jié)相連的兩指骨的方向向量求解。以食指為例(見(jiàn)圖4-6)，遠(yuǎn)指骨間關(guān)節(jié)及近指骨間關(guān)節(jié)的旋轉(zhuǎn)角公式分別為：手指運(yùn)動(dòng)的體感傳感檢測(cè)

手指運(yùn)動(dòng)的體感傳感檢測(cè)設(shè)手掌平面法向量為肛，手掌平面與手指平面交線(xiàn)的單位方向向量為小:可求得掌指關(guān)節(jié)屈伸的角度值:基于LeapMotion記錄的數(shù)據(jù)，可以得到不同手勢(shì)的手指運(yùn)動(dòng)學(xué)參數(shù)。圖4-7、圖4-8所示分別是右手抓握運(yùn)動(dòng)時(shí)不同手指的近指骨間關(guān)節(jié)角度、角速度隨時(shí)間的變化情況，它們具有幾乎一致的時(shí)間變化過(guò)程。肢體運(yùn)動(dòng)模式檢測(cè)03肢體運(yùn)動(dòng)的非接觸體感交互檢測(cè)體感交互技術(shù)是指用戶(hù)可以直接使用肢體動(dòng)作與周邊的裝置或環(huán)境互動(dòng)，無(wú)須使用任何復(fù)雜的控制設(shè)備，便可讓用戶(hù)身臨其境地與內(nèi)容進(jìn)行互動(dòng)。Kinect是某公司推出的一款融合即時(shí)動(dòng)作捕捉、影像辨識(shí)等功能的體感交互設(shè)備。它在硬件上集成了紅外線(xiàn)發(fā)射器、RGB彩色攝像頭、深度攝像頭及麥克風(fēng)陣列多項(xiàng)數(shù)據(jù)采集設(shè)備，其具體分布如圖4-9所示。肢體運(yùn)動(dòng)的非接觸體感交互檢測(cè)Kinect的仰角控制電機(jī)可以調(diào)整攝像機(jī)的拍攝角度和視野。如圖4-10所示，從俯視與側(cè)視兩個(gè)角度展示了Kinect的視野范圍，圖4-10(a)所示的俯視圖中傳感器可以在水平線(xiàn)上檢測(cè)到57.5°視野范圍內(nèi)的物體，如圖4-10(b)所示的側(cè)視圖展示了攝像頭本身在豎直范圍內(nèi)的43.5°視野以及可通過(guò)驅(qū)動(dòng)底座控制電機(jī)從而額外調(diào)整仰角所增加的±27。視野。肢體運(yùn)動(dòng)的非接觸體感交互檢測(cè)Kinect的傳感系統(tǒng)采用基于“管線(xiàn)”結(jié)構(gòu)的體系構(gòu)架，通過(guò)其內(nèi)部配置的NUI接口庫(kù)可為開(kāi)發(fā)者提供3類(lèi)原始數(shù)據(jù)流，即深度數(shù)據(jù)流(DepthStream)、彩色數(shù)據(jù)流(ColorStream)及音頻數(shù)據(jù)流(AudioStream)。根據(jù)數(shù)據(jù)流的不同類(lèi)型，開(kāi)發(fā)者可對(duì)數(shù)據(jù)進(jìn)行處理并進(jìn)一步實(shí)現(xiàn)骨骼追蹤、身份識(shí)別、語(yǔ)音識(shí)別等功能。如圖4-11所示為Kinect數(shù)據(jù)流示意圖?？纱┐魇饺梭w運(yùn)動(dòng)信息檢測(cè)肢體關(guān)節(jié)運(yùn)動(dòng)可以通過(guò)姿態(tài)檢測(cè)進(jìn)行運(yùn)動(dòng)過(guò)程跟蹤和參數(shù)測(cè)量。一種六軸姿態(tài)角度傳感器(MPU-6050)廣泛用于關(guān)節(jié)運(yùn)動(dòng)信息檢測(cè)，它可以同時(shí)記錄加速度及角速度信號(hào)，采用動(dòng)力學(xué)解算及卡爾曼濾波算法能夠?qū)崟r(shí)求解出模塊的當(dāng)前姿態(tài)。在檢測(cè)跟蹤上肢運(yùn)動(dòng)時(shí)，六軸姿態(tài)角度傳感器默認(rèn)Z軸方向?yàn)樨Q直向上，X軸、y軸構(gòu)成的平面平行于水平面，z軸角度是相對(duì)角度。在實(shí)現(xiàn)運(yùn)動(dòng)的實(shí)時(shí)可視化時(shí)，需要對(duì)人體運(yùn)動(dòng)的姿態(tài)變換進(jìn)行解算，根據(jù)各種姿態(tài)表示方法之間的換算及坐標(biāo)變換方法，可以解算出上肢的運(yùn)動(dòng)情況。傳感器可以實(shí)時(shí)輸出當(dāng)前姿態(tài)的歐拉角表示及四元數(shù)表示?？纱┐魇饺梭w運(yùn)動(dòng)信息檢測(cè)(1)歐拉角表示如圖4-12所示，歐拉角是載體姿態(tài)描述方式中最為直觀(guān)的一種，因此常用來(lái)表示姿態(tài)角信息。在空間中，歐拉角描述從一個(gè)參考系通過(guò)已知的方向，經(jīng)過(guò)一系列基本旋轉(zhuǎn)得到新的參考系的方向的方式。歐拉角的核心思想是，將一次姿態(tài)變換的過(guò)程用三次旋轉(zhuǎn)來(lái)表示，每一次旋轉(zhuǎn)都是繞著某一個(gè)直角坐標(biāo)系進(jìn)行的，將三個(gè)旋轉(zhuǎn)角度構(gòu)成一個(gè)序列，即可表示為歐拉角，其坐標(biāo)系旋轉(zhuǎn)順序定義為z—y—X,即先繞z軸旋轉(zhuǎn)，再繞y軸旋轉(zhuǎn)，最后繞x軸旋轉(zhuǎn)?？纱┐魇饺梭w運(yùn)動(dòng)信息檢測(cè)歐拉角的三次旋轉(zhuǎn)過(guò)程如下。第一次旋轉(zhuǎn)：z軸不動(dòng)，旋轉(zhuǎn)獷角度，相應(yīng)的變換矩陣為第二次旋轉(zhuǎn)：在第一次旋轉(zhuǎn)的基礎(chǔ)上，y軸為不動(dòng)軸，旋轉(zhuǎn)e角度，相應(yīng)的變換矩陣為(1)歐拉角表示可穿戴式人體運(yùn)動(dòng)信息檢測(cè)第三次旋轉(zhuǎn)：在前兩次旋轉(zhuǎn)的基礎(chǔ)上，X軸為不動(dòng)軸，旋轉(zhuǎn)8角度，相應(yīng)的變換矩陣為最后可得到姿態(tài)矩陣為(1)歐拉角表示可穿戴式人體運(yùn)動(dòng)信息檢測(cè)（1）四元數(shù)表示四元數(shù)是一個(gè)四維矢量，由4個(gè)元素構(gòu)成。它可以用來(lái)表示剛體在三維空間中的姿態(tài)。如圖4-13所示。三維直角坐標(biāo)系。豆匕Z&可以認(rèn)為是由0豆匕2八坐標(biāo)系圍繞向量由旋轉(zhuǎn)e角度而得到的?？纱┐魇饺梭w運(yùn)動(dòng)信息檢測(cè)在單位時(shí)間間隔△t內(nèi)，假設(shè)剛體角速度為ω，則該轉(zhuǎn)動(dòng)軸的方向e及繞該軸轉(zhuǎn)切過(guò)的角度φ分別為相應(yīng)的四元數(shù)表達(dá)式為滿(mǎn)足約束條件以超復(fù)數(shù)形式表示為滿(mǎn)足約束條件利用三角函數(shù)公式：可將四元數(shù)轉(zhuǎn)換成姿態(tài)矩陣（1）四元數(shù)表示可穿戴式人體運(yùn)動(dòng)信息檢測(cè)（1）四元數(shù)表示慮擬現(xiàn)實(shí)康復(fù)系統(tǒng)組成與設(shè)計(jì)04神經(jīng)信息解碼及虛擬現(xiàn)實(shí)交互虛擬現(xiàn)實(shí)交互中，神經(jīng)肌肉電生理信號(hào)被實(shí)時(shí)檢測(cè)，通過(guò)時(shí)域、頻域及時(shí)頻域或變換域的信號(hào)分析方法，提取當(dāng)前狀態(tài)下神經(jīng)肌肉電活動(dòng)特征參數(shù)，再通過(guò)分類(lèi)和模式識(shí)別算法判別用戶(hù)運(yùn)動(dòng)意圖，并以此驅(qū)動(dòng)和控制虛擬場(chǎng)景中的目標(biāo)對(duì)象，包括運(yùn)動(dòng)模式、運(yùn)動(dòng)快慢等運(yùn)動(dòng)學(xué)特征，以及力量大小及動(dòng)態(tài)變化過(guò)程等動(dòng)力學(xué)特征。肌電信號(hào)檢測(cè)及運(yùn)動(dòng)意圖識(shí)別1.肌電信號(hào)檢測(cè)原理肌肉作為運(yùn)動(dòng)系統(tǒng)的重要組成部分，它的興奮與收縮是骨骼肌最基本的機(jī)能，也是肌電信號(hào)形成的基礎(chǔ)。人體中每個(gè)肌細(xì)胞(又稱(chēng)肌纖維)都受到來(lái)自運(yùn)動(dòng)神經(jīng)元軸突分支的支配，只有當(dāng)支配肌肉的神經(jīng)纖維興奮時(shí)，動(dòng)作電位通過(guò)神經(jīng)傳遞給肌肉，才能引起肌肉的興奮。一個(gè)單獨(dú)的運(yùn)動(dòng)神經(jīng)元能夠支配多個(gè)肌纖維，但每個(gè)肌纖維只能被一個(gè)運(yùn)動(dòng)神經(jīng)元支配。一個(gè)單獨(dú)的運(yùn)動(dòng)神經(jīng)元和它所控制的肌纖維組成的興奮收縮偶聯(lián)單位稱(chēng)為一個(gè)運(yùn)動(dòng)單元。當(dāng)一個(gè)運(yùn)動(dòng)單元受到刺激時(shí)，肌纖維產(chǎn)生并傳導(dǎo)電沖動(dòng)，最終導(dǎo)致肌肉收縮。因此，肌電信號(hào)實(shí)際直接反映了運(yùn)動(dòng)神經(jīng)指令，也常作為一種重要的神經(jīng)接口信號(hào)，被廣泛應(yīng)用于臨床神經(jīng)肌肉系統(tǒng)狀態(tài)評(píng)估、生物反饋、假肢控制、康復(fù)治療及臨床診斷等方面。肌電信號(hào)檢測(cè)及運(yùn)動(dòng)意圖識(shí)別2.肌電信號(hào)特征分析及運(yùn)動(dòng)模式識(shí)別肌電信號(hào)是一種微弱的隨機(jī)生理信號(hào)，直接記錄的肌電信號(hào)需要經(jīng)過(guò)預(yù)處理、特征分析、模式識(shí)別3個(gè)主要環(huán)節(jié)才可實(shí)現(xiàn)對(duì)運(yùn)動(dòng)意圖或運(yùn)動(dòng)模式的識(shí)別。肌電信號(hào)檢測(cè)及運(yùn)動(dòng)意圖識(shí)別2.肌電信號(hào)特征分析及運(yùn)動(dòng)模式識(shí)別預(yù)處理預(yù)處理環(huán)節(jié)主要對(duì)原始肌電信號(hào)進(jìn)行帶通濾波、50Hz陷波(抑制工頻干擾)。特征分析頻域特征包括中值頻率、中位頻率等。小波分解、經(jīng)驗(yàn)?zāi)B(tài)分解、獨(dú)立分量分析也廣泛用于獲得肌電信號(hào)的時(shí)頻域及變換域特征。模式識(shí)別經(jīng)過(guò)上一步特征分析后，將所有類(lèi)別的特征值構(gòu)建成訓(xùn)練數(shù)據(jù)并作為特征向量，輸入分類(lèi)器中構(gòu)建訓(xùn)練模型，并用測(cè)試數(shù)據(jù)測(cè)試其分類(lèi)精度，得到最終分類(lèi)識(shí)別結(jié)果，該結(jié)果用于目標(biāo)動(dòng)作的解碼，輸出控制命令。肌電信號(hào)檢測(cè)及運(yùn)動(dòng)意圖識(shí)別2.肌電信號(hào)特征分析及運(yùn)動(dòng)模式識(shí)別腦神經(jīng)信號(hào)檢測(cè)及虛擬現(xiàn)實(shí)交互腦電信號(hào)檢測(cè)原理①腦電信號(hào)幅值較小，背景噪聲的干擾非常嚴(yán)重。在頭皮中采集的腦電信號(hào)其幅值大小通常為0」?30W丫。同時(shí)，由于50Hz工頻干擾、肌電信號(hào)、心電信號(hào)及眼電信號(hào)干擾等帶來(lái)的背景噪聲，使得原始腦電信號(hào)的成分較為復(fù)雜。因此，腦電信號(hào)預(yù)處理是腦電信號(hào)特征分析的關(guān)鍵。②腦電信號(hào)具有明顯的非平穩(wěn)特性，有很強(qiáng)的隨機(jī)性。這是因?yàn)榇竽X具有很強(qiáng)的自適應(yīng)性，使得腦電信號(hào)隨時(shí)間變化呈現(xiàn)非平穩(wěn)特征。③腦電信號(hào)具有非線(xiàn)性特性。機(jī)體組織的自我調(diào)節(jié)及自適應(yīng)機(jī)制導(dǎo)致腦電信號(hào)呈現(xiàn)非線(xiàn)性特征，這對(duì)傳統(tǒng)的基于線(xiàn)性理論的信號(hào)分析技術(shù)提出了挑戰(zhàn)。因此，在腦電信號(hào)的處理過(guò)程中應(yīng)關(guān)注如何盡量減小其非線(xiàn)性特性的影響。01腦神經(jīng)信號(hào)檢測(cè)及虛擬現(xiàn)實(shí)交互④腦電信號(hào)具有顯著的頻域特性。因此，腦電信號(hào)的頻域分析一直是腦電信號(hào)分析研究的重點(diǎn)。⑤腦電信號(hào)具有特定的節(jié)律特性。根據(jù)頻率可以將其劃分成6、6、a、仇y波等，具體如表4.2所示。1.腦電信號(hào)檢測(cè)原理腦神經(jīng)信號(hào)檢測(cè)及虛擬現(xiàn)實(shí)交互腦電信號(hào)可分為自發(fā)腦電和誘發(fā)腦電。自發(fā)腦電是指無(wú)特定外部刺激時(shí)的腦神經(jīng)電活動(dòng)變化，可用于診斷癲癇、腦腫瘤，也常為腦損傷、腦血栓、腦發(fā)育異常等疾病的診斷、預(yù)后和治療提供重要臨床信息，此外還用于睡眠、麻醉狀態(tài)的監(jiān)護(hù)；誘發(fā)腦電是指人體受到特定刺激后引起的腦神經(jīng)電活動(dòng)變化，又稱(chēng)為誘發(fā)電位(EvokedPotentials,EP)或事件相關(guān)電位(Event-relatedPotentials,ERP),常見(jiàn)的有聽(tīng)覺(jué)誘發(fā)電位、視覺(jué)誘發(fā)電位、體感誘發(fā)電位3種類(lèi)型，誘發(fā)電位在神經(jīng)系統(tǒng)異常的診斷、聽(tīng)覺(jué)/視覺(jué)功能評(píng)價(jià)等方面有廣泛的臨床應(yīng)用價(jià)值。近年來(lái)，腦電信號(hào)廣泛用于腦機(jī)接口。1.腦電信號(hào)檢測(cè)原理腦神經(jīng)信號(hào)檢測(cè)及虛擬現(xiàn)實(shí)交互2.腦電信號(hào)特征分析經(jīng)過(guò)長(zhǎng)期發(fā)展，研究人員已經(jīng)提出了多種腦電信號(hào)分析處理方法。20世紀(jì)60年代，研究人員提出了快速傅里葉變換、信號(hào)分段和譜平均法等方法用于處理腦電信號(hào)。腦電信號(hào)作為一種隨機(jī)信號(hào)，除采用在頻域中進(jìn)行譜分析外，時(shí)間序列分析、參數(shù)模型法等時(shí)域處理方法也逐漸應(yīng)用于腦電信號(hào)的分析處理，并且具有更強(qiáng)的腦電特征提取能力。近年來(lái)，小波變換、神經(jīng)網(wǎng)絡(luò)分析、混沌分析等新的信號(hào)技術(shù)也開(kāi)始用于腦電信號(hào)的分析處理?？傮w而言，腦電信號(hào)的常用分析方法主要有以下幾類(lèi)。腦神經(jīng)信號(hào)檢測(cè)及虛擬現(xiàn)實(shí)交互2.腦電信號(hào)特征分析①時(shí)域分析方法。腦電信號(hào)的時(shí)域分析可提取腦電時(shí)域特征，如特征電位潛伏期。通常可用方差分析、相關(guān)分析、峰值檢測(cè)和過(guò)零點(diǎn)檢測(cè)等時(shí)域分析方法。②頻域分析方法。通過(guò)腦電功率譜分析可以提取腦電信號(hào)的頻域特征進(jìn)行分析，如經(jīng)典譜估計(jì)(周期圖)法和現(xiàn)代譜估計(jì)(參數(shù)模型譜估計(jì))法等。③時(shí)頻分析方法。20世紀(jì)80年代發(fā)展起來(lái)的小波變換是針對(duì)非平穩(wěn)信號(hào)的新時(shí)頻分析法。小波變換等時(shí)頻分析法正適用于非平穩(wěn)性質(zhì)的腦電信號(hào)分析。發(fā)展至今，腦電信號(hào)的時(shí)頻分析已經(jīng)較為成熟，并取得了許多成果，是目前重要的發(fā)展方向之一。腦神經(jīng)信號(hào)檢測(cè)及虛擬現(xiàn)實(shí)交互2.腦電信號(hào)特征分析④非線(xiàn)性分析方法。該方法基于非線(xiàn)性動(dòng)力學(xué)分析，用于提取腦電的非線(xiàn)性特征。常用的有復(fù)雜度分析、Lorentz散點(diǎn)圖、關(guān)聯(lián)維數(shù)D2、Komogrove熠、Lyapunov指數(shù)等。⑤多維統(tǒng)計(jì)分析方法。該方法與時(shí)域、頻域分析方法有本質(zhì)的區(qū)別，其特點(diǎn)是可以同時(shí)分析多個(gè)通道的腦電信號(hào)，有助于腦電信號(hào)的噪聲分離，提高腦電信號(hào)特征提取的質(zhì)量。常用的方法有主分量分析(PrincipalComponentAnalysis,PCA)、因子分析(FactorAnalysis,FA)和獨(dú)立分量分析(IndependentComponentAnalysis,ICA)等，其中獨(dú)立分量分析是20世紀(jì)90年代中期發(fā)展起來(lái)的多維統(tǒng)計(jì)分析方法，獨(dú)立分量分析在對(duì)非高斯信號(hào)研究的基礎(chǔ)上，以假設(shè)信號(hào)各個(gè)成分各自獨(dú)立為前提,可以對(duì)多個(gè)信號(hào)進(jìn)行混合后再進(jìn)行獨(dú)立源信號(hào)分離，從而消除噪聲信號(hào)。獨(dú)立分量分析法是現(xiàn)代統(tǒng)計(jì)信號(hào)分析理論的最新成果，適用于多導(dǎo)腦電信號(hào)的統(tǒng)計(jì)分析。虛擬現(xiàn)實(shí)康復(fù)系統(tǒng)

的人機(jī)交互設(shè)計(jì)05虛擬現(xiàn)實(shí)人機(jī)交互算法設(shè)計(jì)(1)單模態(tài)信號(hào)識(shí)別對(duì)于單模態(tài)信號(hào)，如圖像、視頻、骨架、肌電信號(hào)或腦電信號(hào)等，典型的識(shí)別方法可分為兩類(lèi)。一類(lèi)是基于傳統(tǒng)模式的識(shí)別方法；另一類(lèi)是基于深度學(xué)習(xí)的端到端識(shí)別方法。虛擬現(xiàn)實(shí)人機(jī)交互算法設(shè)計(jì)(2)多模態(tài)信號(hào)識(shí)別多模態(tài)信號(hào)識(shí)別與單模態(tài)信號(hào)識(shí)別的不同之處主要在于多模態(tài)信號(hào)融合，如將動(dòng)作骨架數(shù)據(jù)與肌電信號(hào)融合，或?qū)⒓‰娦盘?hào)與腦電信號(hào)融合等。多模態(tài)信號(hào)融合分為特征級(jí)融合和決策級(jí)融合。特征級(jí)融合是指通過(guò)提取不同源信號(hào)的互補(bǔ)性特征建立特征集后，再根據(jù)傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行識(shí)別；決策級(jí)融合則是在識(shí)別方法級(jí)別對(duì)不同的分類(lèi)算法進(jìn)行融合。虛擬現(xiàn)實(shí)上肢運(yùn)動(dòng)交互控制設(shè)計(jì)1.上肢建模與虛擬場(chǎng)景構(gòu)建虛擬上肢共由34個(gè)造型節(jié)點(diǎn)構(gòu)成，分為17個(gè)骨骼模型（上臂、前臂、手掌、14塊指骨）及17個(gè)關(guān)節(jié)模型（肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、14個(gè)手部關(guān)節(jié)）。圖4-21給出了部分關(guān)節(jié)坐標(biāo)系示意圖。根據(jù)對(duì)人體上肢層次結(jié)構(gòu)的分析，采用多坐標(biāo)系結(jié)合局部坐標(biāo)系的方法構(gòu)建虛擬上肢系統(tǒng)。多坐標(biāo)系是針對(duì)同一父坐標(biāo)系創(chuàng)建的，每個(gè)掌指關(guān)節(jié)以手掌節(jié)點(diǎn)為父坐標(biāo)系組成局部坐標(biāo)系，其余采用多坐標(biāo)系層層嵌套。虛擬現(xiàn)實(shí)上肢運(yùn)動(dòng)交互控制設(shè)計(jì)虛擬現(xiàn)實(shí)上肢運(yùn)動(dòng)交互控制設(shè)計(jì)1.上肢建模與虛擬場(chǎng)景構(gòu)建在虛擬上肢模型的基礎(chǔ)上，導(dǎo)入人體其他部位模型與虛擬上肢進(jìn)行裝配，同時(shí)將人物模型、桌子模型、椅子模型等模塊導(dǎo)入虛擬場(chǎng)景中。虛擬現(xiàn)實(shí)上肢運(yùn)動(dòng)交互控制設(shè)計(jì)1.虛擬現(xiàn)實(shí)上肢運(yùn)動(dòng)交互控制虛擬上肢的運(yùn)動(dòng)是由每個(gè)關(guān)節(jié)節(jié)點(diǎn)的旋轉(zhuǎn)實(shí)現(xiàn)的。以V-RealmBuilder2.0平臺(tái)為例，節(jié)點(diǎn)的rotation域用于設(shè)定變換后新坐標(biāo)系相對(duì)原始坐標(biāo)系進(jìn)行旋轉(zhuǎn)的旋轉(zhuǎn)軸及旋轉(zhuǎn)角度，它可以由一個(gè)四元矢量(x,z)表示。通過(guò)rotation域的取值可以定義關(guān)節(jié)坐標(biāo)系的旋轉(zhuǎn)，隨著rotation域值的不斷改變，其各個(gè)子節(jié)點(diǎn)的坐標(biāo)系將會(huì)發(fā)生旋轉(zhuǎn)，從而可以形成上肢各個(gè)部位的不同姿態(tài)的變換，完成虛擬上肢的運(yùn)動(dòng)。虛擬現(xiàn)實(shí)上肢運(yùn)動(dòng)交互控制設(shè)計(jì)在實(shí)現(xiàn)運(yùn)動(dòng)的實(shí)時(shí)可視化時(shí)，需要對(duì)人體運(yùn)動(dòng)的姿態(tài)變換進(jìn)行解算，根據(jù)各種姿態(tài)表示方法之間的換算及坐標(biāo)變換方法，可以解算出上肢的運(yùn)動(dòng)情況，將解算出的結(jié)果與三維模型進(jìn)行對(duì)接，得到三維模塊姿態(tài)控制需要的參量，可實(shí)現(xiàn)實(shí)時(shí)驅(qū)動(dòng)上肢關(guān)節(jié)運(yùn)動(dòng)。1.虛擬現(xiàn)實(shí)上肢運(yùn)動(dòng)交互控制虛擬現(xiàn)實(shí)上肢運(yùn)動(dòng)交互控制設(shè)計(jì)對(duì)于上肢多關(guān)節(jié)、多自由度的運(yùn)動(dòng)生理結(jié)構(gòu)，剛體假設(shè)理論把人體上肢等效為由3根剛性連桿組成、連桿與連桿之間通過(guò)關(guān)節(jié)進(jìn)行連接的多剛體上肢系統(tǒng)，3根剛性連桿分別代表上臂、前臂和手掌。上肢各肢體的運(yùn)動(dòng)均視為繞關(guān)