1、體感技術(shù)，目錄，體感技術(shù)的虛擬現(xiàn)實(shí)技術(shù)，慣性感知光學(xué)感知，體感技術(shù)的應(yīng)用，概念，技術(shù)手段，總結(jié)，01概念，體感技術(shù)：人們可以直接使用身體的運(yùn)動(dòng)，與周圍的裝置和環(huán)境進(jìn)行交流， 無需復(fù)雜設(shè)備就能讓人們體驗(yàn)其狀況和內(nèi)容的虛擬現(xiàn)實(shí)技術(shù)：虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)造和體驗(yàn)虛擬世界的計(jì)算機(jī)模擬系統(tǒng)，利用計(jì)算機(jī)生成模擬環(huán)境是多源信息融合的交互式三維動(dòng)態(tài)景觀和實(shí)體行動(dòng)體感技術(shù)是虛擬現(xiàn)實(shí)技術(shù)的重要分支，02體感技術(shù)迄今為止隨著世界體感技術(shù)的發(fā)展，根據(jù)體感方式和原理的不同，主要分為慣性感、光學(xué)感及慣性和光學(xué)聯(lián)合感三種。 慣性傳感：主要以慣性傳感器為主，例如用重力傳感器、陀螺儀、磁傳感器等求出感知使用者身體動(dòng)作的物理

2、參數(shù)，根據(jù)這些物理參數(shù)求出使用者空間中的各種動(dòng)作。 光學(xué)傳感器：主要用光學(xué)傳感器取得人體的圖像，與對(duì)應(yīng)的內(nèi)容聯(lián)動(dòng)地進(jìn)行感測(cè)。 方向盤使用設(shè)置了檢測(cè)手的三軸方向的加速度的重力傳感器的紅外線傳感器，檢測(cè)電視畫面前的紅外線發(fā)射器的信號(hào)，主要檢測(cè)手的垂直方向和水平方向的位移。 慣性傳感器、原理：通過無線信號(hào)進(jìn)行便攜式設(shè)備的定位，在便攜式設(shè)備內(nèi)固定加速度計(jì)和陀螺儀，實(shí)現(xiàn)3D空間體感傳感器的主要代表產(chǎn)品是任天堂發(fā)售的“Wii遙控器”(2006 )，以高速交互發(fā)售的“CyWee”。 同時(shí)使用感測(cè)，通過紅外線相機(jī)發(fā)射紅外光，通過便攜設(shè)備進(jìn)行定位，通過3D空間的感測(cè)實(shí)現(xiàn)“體感操作”。 主要有代表性的產(chǎn)品有索尼發(fā)

3、布的“PS MOVE PS EYE”(2010 )、北京永利寧科技發(fā)布的“VirTouch”(2012 )、深圳泰山科技發(fā)布的“愛動(dòng)體感運(yùn)動(dòng)機(jī)”(2011 )。 “pspoveppeye:ppmove在三維空間中的定位由上部光球?qū)崿F(xiàn)，光球離照相機(jī)越遠(yuǎn)，投影到照相機(jī)上的圖像面積就越小，可以根據(jù)圖像的大小準(zhǔn)確地計(jì)算出與照相機(jī)的距離的變化，來確定在三維空間中的準(zhǔn)確坐標(biāo)。 PS MOVE控制柄內(nèi)部有3軸陀螺儀、3軸加速、地球磁場(chǎng)傳感器和PSEYE的空間定位，能夠以1:1將MOVE控制柄的操作內(nèi)容返回到游戲中。 并且，PS MOVE的動(dòng)作檢測(cè)運(yùn)算由CELL處理器內(nèi)的SPE協(xié)處理器負(fù)責(zé)。 Move句柄通過

4、藍(lán)牙2.0發(fā)送操作信號(hào)。 共同傳感、VirTouch的核心工作原理：從紅外LED光源發(fā)射紅外光，用安裝在手指上的戒指反射(在戒指的外圈上嵌入玻璃，在內(nèi)圈上涂上紅外反射涂層)，用安裝了可見光濾光器(截?cái)嗫梢姽獠⑼高^紅外光)的相機(jī)發(fā)射紅外線戒指的作用為二：1，反射紅外光，二，以其中心為識(shí)別點(diǎn)，能夠正確識(shí)別單點(diǎn)輸入的信號(hào)的重要的是，該方案形成三維輸入，識(shí)別上下左右和景深的程度，進(jìn)行光學(xué)感測(cè)，主要特征是照相機(jī)沒有便攜設(shè)備Kinect:Kinect骨架跟蹤處理過程的核心是讓Kinect檢測(cè)世界上的CMOS紅外傳感器，而不管周圍環(huán)境的光條件如何。 這個(gè)傳感器通過黑白光譜來感知環(huán)境。 純黑代表無限遠(yuǎn)，純白代

5、表無限近。 黑白間的灰色區(qū)域?qū)?yīng)于物體到傳感器的物理距離。 收集視野范圍內(nèi)的所有點(diǎn)，形成表示周圍環(huán)境的景深圖像。 傳感器以每秒30幀的速度生成景深圖像流，并實(shí)時(shí)再現(xiàn)周圍的環(huán)境。LEAP MOTION: Leap Motion有兩個(gè)相機(jī)，可以從不同的角度捕獲視頻。 此相機(jī)可以同時(shí)跟蹤多個(gè)目標(biāo)，包括所有手掌的列表和信息。所有手指的列表和信息手持工具(細(xì)的，筆直的，比手指長的東西，例如筆)的列表和所有信息的可指針對(duì)象， 也就是說，在所有手指和工具的列表和信息Leap Motion中，為這些目標(biāo)分配了單獨(dú)的ID，檢測(cè)運(yùn)動(dòng)數(shù)據(jù)，生成運(yùn)動(dòng)信息，并通過算法在實(shí)際世界的三維空間中恢復(fù)手掌的運(yùn)動(dòng)信息。 Hapt

6、ix: Haptix和Leap Motion的行為相似，但前者必須在平面上而不是在空中掃描手勢(shì)。 Haptix只有一個(gè)外接相機(jī)大小，就可以放置或夾在任何位置上，并且能夠在任何平面上跟蹤用戶執(zhí)行的多點(diǎn)觸摸姿勢(shì)。 光學(xué)傳感、LEAP MOTION: Leap Motion有兩個(gè)相機(jī)，可以從不同的角度捕獲視頻，同時(shí)跟蹤多個(gè)目標(biāo)。 手掌列表和信息所有手指列表和信息手持工具(細(xì)、直、比手指長，例如筆)列表和信息所有可指針對(duì)象(即所有手指和工具列表和信息Leap Motion )是這些目標(biāo)的單獨(dú)ID 檢測(cè)運(yùn)動(dòng)數(shù)據(jù)，生成運(yùn)動(dòng)信息，通過算法在實(shí)際世界的三維空間中恢復(fù)手掌運(yùn)動(dòng)信息。LEAP MOTION，手掌中

7、心的位置(三維向量，相對(duì)于傳感器坐標(biāo)原點(diǎn)以毫米為單位)手掌移動(dòng)的速度(毫秒)手掌的法線向量(垂直于手掌平面，從手掌的中心向外的手指)手掌朝向的方向手掌從彎曲的弧到虛擬球體的中心， 還可以檢測(cè)確定半徑、LEAP MOTION、每個(gè)手掌的平移、旋轉(zhuǎn)(手掌旋轉(zhuǎn))和縮放(手指分離、聚合)信息。 檢測(cè)到的數(shù)據(jù)包括矩陣定標(biāo)因子平移矢量、Kinect、立體技術(shù)和深度相機(jī)的第一印象是微軟的Kinect，其描述包括旋轉(zhuǎn)軸向量的旋轉(zhuǎn)的角度旋轉(zhuǎn)，諸如全局變換。 但是，微軟的第一代Kinect技術(shù)得到了Primesense的認(rèn)可。 2005年在以色列成立的PrimeSense是深度相機(jī)技術(shù)的先驅(qū)，但13年被蘋果收購。

8、 之后，市場(chǎng)上基本出現(xiàn)了一家深度相機(jī)制造商，并被微軟、英特爾、谷歌、蘋果等大型企業(yè)收購。 “大多數(shù)人做不到。 我們只能自己做。 除了激光投影模塊和CMOS以外我們自己做的。 具體地，在3D攝像機(jī)模塊中，RGB模塊是相對(duì)簡單的，激光投影模塊、紅外投影模塊和主芯片是三個(gè)芯部件中最難的一個(gè)。 激光投影模塊在全世界也能做的公司很少，主芯片很難做成ASIC芯片，能做奧比中光的紅外線投影模塊比激光投影更簡單，但從14年3月到15年7月也花了一年以上的時(shí)間完成了”黃源浩在36氪、Kinect 紅外激光發(fā)射器(IR Projector):Kinect中的發(fā)射器的作用是通過投影隨機(jī)激光散斑(即，結(jié)構(gòu)光)來收集由

9、紅外相機(jī)標(biāo)識(shí)的結(jié)構(gòu)光，并通過PS1080芯片計(jì)算以獲得最終景深數(shù)據(jù)。 右圖是Kinect紅外激光投影儀的原理圖。 根據(jù)PrimeSense專利，紅外激光器產(chǎn)生器(42 )發(fā)射準(zhǔn)直激光束(44 )，并在光學(xué)衍射元件(DOE )中散射，以獲得所需的散斑圖案。 稱為PrimeSense的光學(xué)衍射元件可以以各種組合來實(shí)現(xiàn)，具體而言可以參考在國內(nèi)申請(qǐng)的專利用于使零級(jí)減少的光學(xué)設(shè)計(jì)。 在Kinect中，使用擴(kuò)頻片(48 )和光柵(50 )來實(shí)現(xiàn)主傳感器，其設(shè)計(jì)專利可以參考美國專利Optical Pattern Projection號(hào)。DOE，光柵，Kinect， Kinect、Kinect技術(shù)、Light

10、 Coding技術(shù)的關(guān)鍵是激光散斑(Laser Speckle )，散斑具有很高的隨機(jī)性，隨著距離的變化，空間的任何兩處散斑都是不同的模式，空間測(cè)量前記錄原始空間的散斑圖案，首先進(jìn)行光源的校準(zhǔn)。 所述方法采用在每一距離處的基準(zhǔn)平面來記錄基準(zhǔn)平面上的散斑圖案。 如果在測(cè)量時(shí)拍攝被測(cè)量場(chǎng)景的散斑圖像，依次對(duì)該圖像和保存的參考圖像進(jìn)行相關(guān)運(yùn)算，則相關(guān)度圖像出現(xiàn)峰值。 通過重疊這些峰值進(jìn)行內(nèi)插運(yùn)算，可以得到場(chǎng)景整體的三維形狀。 Kinect通過分割策略從背景環(huán)境中區(qū)分人體，得到跟蹤對(duì)象的景深圖像。 將精神圖像發(fā)送到能夠識(shí)別人體部位的機(jī)器學(xué)習(xí)系統(tǒng)，給予某個(gè)特定的像素屬于身體的某個(gè)部位的可能性。 由此得到

11、包含20(25 )個(gè)關(guān)節(jié)節(jié)點(diǎn)的骨架系統(tǒng)。 03應(yīng)用，任天堂于2006年發(fā)售的第一款體感控制器Wii Remote，在迎來體感時(shí)代后，索尼推出了體感游戲產(chǎn)品PlayStation Move，微軟推出了體感產(chǎn)品Kinect，體感控制技術(shù)已經(jīng)在游戲中廣泛地應(yīng)用。 現(xiàn)在，體感技術(shù)從游戲走向大眾的應(yīng)用領(lǐng)域，如電腦、平板電腦，開始滲透到零售、醫(yī)療、教育等行業(yè)。 Kinect傳感器根據(jù)其特性被應(yīng)用于醫(yī)學(xué)、商業(yè)、計(jì)算機(jī)科學(xué)、機(jī)器人等多種領(lǐng)域，下面對(duì)其在相關(guān)領(lǐng)域的應(yīng)用進(jìn)行綜述。 在、03應(yīng)用醫(yī)療、臨床手術(shù)中，接受手術(shù)的患者周圍都需要保持無菌。 但是，在手術(shù)中，外科醫(yī)生需要生還從計(jì)算機(jī)上看患者的臨床圖像資料，計(jì)算

12、機(jī)不是無菌的。 傳統(tǒng)的醫(yī)生看資料的方法增加了時(shí)間和患者的感染概率，在手術(shù)中使用Kinect裝置可以有效地緩解這一弊端。 瑞士伯恩大學(xué)邁克爾塔利教授等研究人員利用Kinect設(shè)備釋放了醫(yī)生的雙手，醫(yī)生不需要用傳統(tǒng)的方式觸摸患者的影像資料，只需揮手就能看到醫(yī)療圖像的圖像處理應(yīng)用程序 osirixpacs 6 (picture 遠(yuǎn)程手術(shù)是一種虛擬現(xiàn)實(shí)技術(shù)與網(wǎng)絡(luò)技術(shù)相結(jié)合，醫(yī)生可以根據(jù)現(xiàn)場(chǎng)發(fā)送來的影像對(duì)遠(yuǎn)程患者進(jìn)行手術(shù)操作，將其一舉一動(dòng)轉(zhuǎn)換成數(shù)字信息傳遞給遠(yuǎn)程患者，控制當(dāng)?shù)蒯t(yī)療設(shè)備的虛擬現(xiàn)實(shí)系統(tǒng)。 雖然運(yùn)輸手術(shù)技術(shù)還不成熟，但Kinect體感技術(shù)的介入提高了遠(yuǎn)程手術(shù)的可行性。 西雅圖華盛頓大學(xué)Bior

13、obotics研究所的Chizeck等人，Kinect傳感器在遠(yuǎn)程手術(shù)中向外科醫(yī)生提供了觸覺反饋。 他們將Phantom Omni9觸覺設(shè)備連接到Kinect設(shè)備上，提供抵抗反饋，用Kinect體感技術(shù)構(gòu)建物體的3D模型，將數(shù)據(jù)轉(zhuǎn)換為觸摸反饋。 這項(xiàng)研究實(shí)現(xiàn)了醫(yī)生可以在衛(wèi)星天線車所在的地方使用Kinect裝置進(jìn)行遠(yuǎn)程手術(shù)，因此廣泛應(yīng)用于救濟(jì)和戰(zhàn)場(chǎng)。 德國慕尼黑工業(yè)大學(xué)的學(xué)術(shù)研究員發(fā)明了名為“魔鏡”的裝置。 是為了使解剖學(xué)課程變得容易而設(shè)計(jì)的，系統(tǒng)能制作鏡像的幻覺，使用者在身體上開“孔”看起來像看內(nèi)臟。 Kinect體感技術(shù)在現(xiàn)代醫(yī)學(xué)教育中的研究，是現(xiàn)代醫(yī)學(xué)教育方式的新突破，如果被實(shí)用化，對(duì)實(shí)現(xiàn)

14、現(xiàn)代醫(yī)學(xué)教育的飛躍發(fā)展具有非常重要的意義。03應(yīng)用-醫(yī)療，03應(yīng)用-商業(yè)，Kinect因其優(yōu)秀的交互能力而在商業(yè)上得到了實(shí)用化。 例如，俄羅斯一家名為AR Door的技術(shù)公司于2011年5月使用kinct的體感周邊技術(shù)發(fā)明的“試穿魔鏡”，一旦購物者站在這個(gè)虛擬試穿鏡前，裝置就會(huì)自動(dòng)地顯示試穿新衣服后的三維圖像。 俄羅斯的高街時(shí)尚品牌“Top Shop”在自己的店里設(shè)置了這個(gè)“試衣魔鏡”，俄羅斯消費(fèi)者成為第一個(gè)體驗(yàn)這種高科技的方便受益者。 除了實(shí)際應(yīng)用的成果以外，還有有效的研究成果。 例如，在黃康泉開發(fā)的CoolView視頻會(huì)議系統(tǒng)中集成了Kinect設(shè)備的部分功能，實(shí)現(xiàn)了手勢(shì)控制PPT、參加者

15、舉手發(fā)言請(qǐng)求和實(shí)時(shí)3D捕獲和顯示等功能，提高了視頻會(huì)議的交互性和真實(shí)性，實(shí)現(xiàn)了該系統(tǒng)03應(yīng)用機(jī)器人、麻省理工大學(xué)的沃威克移動(dòng)機(jī)器人團(tuán)隊(duì)將Kinect設(shè)備和救援機(jī)器人結(jié)合起來，設(shè)計(jì)出了新的機(jī)器人Kinectbot。 這個(gè)機(jī)器人利用Kinect傳感器檢測(cè)人的存在，人可以通過身體的動(dòng)作和聲音來控制這個(gè)機(jī)器人16。 Kinectbot還可以利用Kinect設(shè)備的畫面捕獲技術(shù)在3D地圖上繪制自己“觀看”的畫面。 這個(gè)機(jī)器人的目的是應(yīng)用于災(zāi)害現(xiàn)場(chǎng)的救援活動(dòng)，也許不需要很多人手，只有一人兩人的團(tuán)隊(duì)就能操作這個(gè)機(jī)器人。 目前這個(gè)發(fā)明還不能在現(xiàn)實(shí)中應(yīng)用，通過這種想法，未來的機(jī)器人隨著靈敏度的提高，可以代替人類探索危險(xiǎn)的地區(qū)，制作詳細(xì)的3D地圖。 2015年7月17日至23日，世界一流機(jī)器人大會(huì)Robocup在中國合肥完全閉幕。 這次大會(huì)吸引了來自世界76個(gè)國家和地區(qū)的100多支隊(duì)伍，其中有超多的機(jī)器人隊(duì)參加。 機(jī)器人隊(duì)90%使用運(yùn)動(dòng)傳感器，