可穿戴數(shù)據(jù)手套手勢識別技術(shù)研究國內(nèi)外文獻綜述目錄TOC\o"1-3"\h\u24661可穿戴數(shù)據(jù)手套手勢識別技術(shù)研究國內(nèi)外文獻綜述 1227821.1傳感技術(shù)的研究與使用現(xiàn)狀 1162921.2信號特征提取及分析方法相關(guān)研究 3240021.3手勢識別算法的相關(guān)研究 5362參考文獻 7可穿戴數(shù)據(jù)手套因其對動作識別的多樣性、高效性、實時性[9]逐漸成為人機交互的工具[10],[11]。現(xiàn)階段可穿戴數(shù)據(jù)手套的研究主要有兩個方面：一是傳感技術(shù)方面：通過多傳感器融合技術(shù)或是增加傳感器的數(shù)量來采集更多的手勢數(shù)據(jù)信息，這種方法使數(shù)據(jù)手套變的厚重，所用傳感器大都以剛性為主，極大的束縛了人手的自由度，不利于舒適性佩戴；二是算法方面：通過改進手勢識別算法，開發(fā)更具多功能或更復雜的算法來完成手勢動作的識別，這一方法無疑加劇了處理器的計算負擔，使數(shù)據(jù)手套的處理器變動笨重，不便于穿戴。研究一種柔性輕便舒適的可穿戴數(shù)據(jù)手套，簡化手勢識別算法成了當下手勢識別研究的重點。1.1傳感技術(shù)的研究與使用現(xiàn)狀傳感器是可穿戴數(shù)據(jù)手套必備的手勢信息采集裝置，各種傳感器的使用參差不齊，不同的傳感器可以獲取不同的手勢數(shù)據(jù)。傳感器采集的主要手部信息有：手的彎曲、伸展、旋轉(zhuǎn)、位置、角度、速度等數(shù)據(jù)。在眾多傳感數(shù)據(jù)手套中最常見的是加速度傳感數(shù)據(jù)手套，這種手套是根據(jù)加速度信號特征獲得手部運動的加速度、速度等信息，這類傳感器信號極易受到外界噪音的干擾[12],[13]，信號處理過程比較復雜；另外使用較多的有彎曲傳感器[14]如：壓阻傳感器[15]通過建立模型獲取手指的彎曲角度進行手勢識別，該類傳感器可以捕獲手指的狀態(tài)，對于手部的其他信息獲取較少；MEMS慣性傳感器、陀螺儀等慣性類傳感器主要識別手勢動作運動方向，不易獲取手勢的細節(jié)動作[16],[17]。一些學者通過手勢動作時的肌肉運動設(shè)計肌電信號采集裝置，進行基于肌電信號的手勢特征提取。肌電信號中常常包含有多種信號，手勢信號的分離與提取較為復雜，分離難度較大。以上傳感器可以就手部運動的某一特征獲取數(shù)據(jù)，獲取的手勢數(shù)據(jù)較為單一，所能識別的手勢種類也較少。(a)加速度傳感器(b)力反饋傳感器(c)彎曲傳感器圖1-2不同傳感設(shè)備的可穿戴數(shù)據(jù)手套Fig.1-2Wearabledataglovesfordifferentsensingdevices為了盡可能多的捕獲手勢信息，一些研究者通過增加傳感器數(shù)量和使用多傳感器融合技術(shù)，多傳感器的介入可以獲取更多的手勢數(shù)據(jù)，增加了手勢動作數(shù)據(jù)的種類和數(shù)量，使手勢運動信息更豐富，但也引入了一些問題：這些傳感器大多為剛性或柔韌性較差，通過剛性黏貼等方式機械的固定在手套上，限制了手套的柔韌性，不便于穿戴[18]。所以，不同傳感器配合使用需要對傳感器結(jié)構(gòu)進行設(shè)計，優(yōu)化傳感器在數(shù)據(jù)手套上的排布是實現(xiàn)數(shù)據(jù)手套便捷舒適的前提。(a)22個彎曲傳感器(b)550個壓力傳感器(c)多種傳感器圖1-3多傳感器融合數(shù)據(jù)手套Fig.1-3Multi-sensorfusiondatagloves除了在傳感器種類上進行更進外，一些學者在此基礎(chǔ)上也將目光聚焦于傳感器新原理、新材料、新技術(shù)的研究。如：KahyeSong、SungHeeKim等人通過硅膠將壓電傳感器固定的方法設(shè)計了一個可以在VR環(huán)境中工作的集成手套系統(tǒng)，實現(xiàn)了數(shù)據(jù)手套與VR設(shè)備的交互[19]。麻省理工學院設(shè)計的一種使用簡易且廉價的多功能觸覺數(shù)據(jù)手套，上面布置了548個傳感器和64個導線電極，該手套可以識別單個物體、估算重量和應(yīng)用觸覺反饋，性能相當優(yōu)越[20]。據(jù)此我們也可以借此經(jīng)驗采用新型傳感技術(shù)設(shè)計數(shù)據(jù)手套。聚偏氟乙烯作為壓電材料中一種較為理想的傳感材料，因其優(yōu)良的壓電效應(yīng)和靈敏度逐漸走進了可穿戴設(shè)備的研究領(lǐng)域，利用聚偏氟乙烯制成的壓電薄膜傳感器作為一種動態(tài)應(yīng)變傳感器，已廣泛應(yīng)用于人體皮膚表面或植入人體內(nèi)部的進行生命信號監(jiān)測。一些學者將壓電薄膜傳感器作為敏感元件[21]，采集可穿戴設(shè)備的觸覺、滑覺以及熱覺信息，在對采集的信號進行處理后，根據(jù)信號特征推斷人體的健康狀態(tài)。也有一些學者將壓電傳感器植入可穿戴數(shù)據(jù)手套內(nèi)設(shè)計成壓電數(shù)據(jù)手套，但由于傳感器為手工制作，信號干擾較大，采集的信號與理想信號有較大差異；還有一些學者根據(jù)信號特征對手勢進行判斷未加入手勢識別算法，使數(shù)據(jù)手套識別的手勢較少。(a)新型硅膠手套(b)新型角度測量數(shù)據(jù)手套(c)新型觸覺數(shù)據(jù)手套圖1-4新型數(shù)據(jù)手套Fig.1-4Newdatagloves根據(jù)以上分析可以明顯看出現(xiàn)有的傳感數(shù)據(jù)手套存在以下問題：數(shù)據(jù)手套的傳感元主要以剛性傳感器[18]為主，僅僅以手勢識別的準確率為目標進行設(shè)計，在實現(xiàn)可穿戴數(shù)據(jù)手套的柔韌性和舒適性方面研究的較少。為識別多個手勢盡可能的增加了傳感器的使用數(shù)量，也使用了不同傳感器在同一手套上，加大了數(shù)據(jù)處理的復雜程度，僅限于研究不便于穿戴，故設(shè)計一款柔性舒適的可穿戴數(shù)據(jù)手套至關(guān)重要。1.2信號特征提取及分析方法相關(guān)研究信號特征提取主要以信號處理和分析為研究基礎(chǔ)，是數(shù)學、物理學和工程應(yīng)用學科等多種學科的綜合體現(xiàn)，近年來隨著計算機算法的開發(fā)，在特征提取中也逐漸融入信息論、調(diào)和分析以及統(tǒng)計學分析等相關(guān)理論和方法。借助傳感技術(shù)進行手勢識別無論選取何種傳感器也無論使用什么算法進行識別，信號分析是基礎(chǔ)，特征提取是關(guān)鍵。作為手勢識別的關(guān)鍵步驟，特征分析與提取的目的是獲取一組能準確準確描述手勢的特征向量，通過對手勢信號的特征提取，有效地減少冗余信息，減少系統(tǒng)的計算量，增加手勢識別系統(tǒng)的可靠性。在現(xiàn)有的傳感技術(shù)信號分析系統(tǒng)中，常用的信號分析方法有時域信號分析和頻域信號分析。時域分析是一種直接在時間域中對系統(tǒng)進行分析的方法，頻域分析是研究線性系統(tǒng)的一種方法。有學者利用壓電薄膜傳感器制作傳感器，采集人體的肌電信號、脈搏信號以及呼吸信號，對采集到的信號進行時頻域分析，提取時域和頻域的特征，根據(jù)提取的特征借助計算機算法分析人體的健康狀況，還有學者根據(jù)時頻域信號特征對人體的步態(tài)進行分析[22]進而對實現(xiàn)步態(tài)矯正。其中時域信號主要提取主要是提取信號的幅值、平均絕對值、峰值等特征值，頻域信號主要分析信號的主要組成成分及對應(yīng)頻率下的幅值特征，或是進行更一步結(jié)合相關(guān)算法對特征進行融合。特征融合算法主要是運用機器學習算法，如：基于貝葉斯決策理論的算法、基于稀疏表示理論的算法、基于深度學習理論的算法等。直接利用信號的時頻域特征可能會使采集到的特征存在一定的關(guān)聯(lián)，所以直接信號提取可能存在特征提取偏差，進行特征融合需要加入機器學習算法會使計算量加大，造成計算延緩，實時性較差，故需要一種計算量較小且可完整表達手勢的信號特征值表達方法。傳感數(shù)據(jù)手套中使用較多的為加速度傳感器，故針對加速度傳感器信號處理及分析的方法較多，如：江西理工大學張平等通過提取加速度和姿態(tài)角信號在手勢上的特征量，利用決策樹對手勢進行分類[23]。華南理工大學薛洋等提出了一種基于加速度傳感器的虛擬手寫數(shù)字特征提取及識別方法，該方法同樣提取以加速度傳感器為傳感源的手勢特征信號，采用歸一化編輯距離來度量不同樣本的旋轉(zhuǎn)特征碼間的差異，結(jié)合旋轉(zhuǎn)特征和基于編輯距離的旋轉(zhuǎn)特征碼的距離測度，給出虛擬手寫數(shù)字識別算法[24]。江南大學孫子文等通過從加速度傳感器中獲取人體運動信號，提取合加速度以及傾角作為分類特征，根據(jù)人體在跌倒時經(jīng)過的失重、撞擊地面和恢復平穩(wěn)三個階段，建立基于閾值的跌倒檢測模型[25]。不同的傳感器特征分析及提取的方法不盡相同，如：肌電信號傳感器的信號處理主要以提取信號有效成分和濾波為主，慣性傳感器主要以去重力分量為主，應(yīng)變傳感器以獲取手部手指形變信號為主。其他相關(guān)類型的傳感手套中傳感器信號處理及特征提取方法見下表1-1。表1-1傳感器信號特征分析及提取方法相關(guān)研究Tab.1-1Sensorsignalfeatureanalysisandrelatedresearchonextractionmethods傳感器類型信號處理方法特征提取方法識別算法Ref.加速度傳感器去重力分量提取時域均值特征HMM[26]慣性傳感器中值濾波、低通濾波加速度能量、合角速度最大值、角速度波峰數(shù)閾值算法[27]MYO傳感器(肌電信號采集傳感器)分割、濾波平均絕對值DTW算法[28]，[29]運動傳感器濾波、歸一化姿態(tài)角HMM[30],[31]1.3手勢識別算法的相關(guān)研究在手勢識別算法主要有三大類，分別為基于模板匹配的手勢識別算法[16]、基于概率統(tǒng)計的手勢識別算法、基于數(shù)據(jù)分類的手勢識別算法[32]。基于模板匹配的手勢識別算法中典型的有直接匹配算法和動態(tài)時間規(guī)整(DTW)算法[34]。直接匹配算法是利用輸入手勢與訓練好的標準模板進行相似度匹配，該算法的優(yōu)點是原理簡單，易于添加且易于改進模板；缺點是無法解決手勢的時間可變性[33]，動態(tài)時間規(guī)整算法是把輸入手勢時間軸非線性地映射到模板時間軸上，在進行模板匹配，其優(yōu)點是消除時間可變性，操作簡單；缺點是時間規(guī)整過程引入誤差，降低識別精度?；诟怕式y(tǒng)計的識別方法中典型的是隱性馬爾科夫模型(HMM)[35],[36]，該模型為訓練時每一種手勢對應(yīng)一個馬爾科夫模型，識別時取概率最大的一個模型。其優(yōu)點是該模型尤其適用于時間序列的建模，對復雜度高的動作也有較高的識別精度，易于添加或修改手勢庫，缺點是訓練量大?；跀?shù)據(jù)分類的手勢識別中典型的有神經(jīng)網(wǎng)絡(luò)模型[37],[38]該模型是基于某種學習準則循環(huán)進行學習，使得下次犯錯誤的概率最低。其優(yōu)點是它是一種自適應(yīng)的學習方法，容錯能力強，不易受噪聲干擾；缺點是計算量大，費時費事，對于動態(tài)手勢識別效率遠不如靜態(tài)手勢。另外就是根據(jù)傳感器特性及信號特征所設(shè)計的相關(guān)算法，如：閾值判定、信號特征值計算等。長期以來，手勢識別方法一直都是相關(guān)學者研究的重點問題。1983年，Grimescua原創(chuàng)性地發(fā)明了最早的數(shù)據(jù)手套，對數(shù)據(jù)手套及手勢識別算法的研究自此相繼展開[44]。近年來東南大學吳常鋮博士等使用肌電信號來實現(xiàn)機電假肢的控制[45]；HuangYonghong等采用基于高斯混合模型的識別方法對4通道的EMG進行分類識別，從而實現(xiàn)對假肢動作的控制。2013年，學者呂蕾等人針對已有手勢識別方法難以保證識別正確率，提出一種能夠有效應(yīng)用于靜態(tài)手勢識別的特征提取以及相應(yīng)的手勢特征點集匹配策略，對提前采集的操作者手勢數(shù)據(jù)進行預處理并構(gòu)造手勢庫，最終實現(xiàn)了對20多個靜態(tài)手勢的識別，缺點是所使用傳感器只能檢測手勢的靜態(tài)信息，無法感知一些其他輕微的連續(xù)動作[46]。2010年至今，隨著云計算和大數(shù)據(jù)的發(fā)展，有學者提出了基于動態(tài)時間規(guī)整算法（DTW）[47]、馬爾科夫算法（HMM）、決策樹、神經(jīng)網(wǎng)絡(luò)算法和遺傳算法等進行手勢識別。如2013年，趙澤彪等人采用DSP傳感器完成手勢動作數(shù)據(jù)采集，提取手勢加速度特征值，做動作姿態(tài)投影，得到新的加速度特征值，運用動態(tài)時間規(guī)整算法進行模板匹配，最終實現(xiàn)動作識別。2019年SalyerB.實現(xiàn)了時空遞歸超球面分類在動態(tài)手勢識別中的應(yīng)用[42]。同年北京大學王琦學者通過將RGO涂層的纖維縫制到防止手套上來追蹤手指關(guān)節(jié)的動作已進行手勢識別，在識別過程中，用神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)了10個靜態(tài)手勢識別，用DTW算法實現(xiàn)了9個選定的動態(tài)手勢的識別，識別率較高[47]。以上研究既有靜態(tài)手勢識別也有連續(xù)手勢識別，體現(xiàn)了手勢識別算法研究的逐漸深入和改進。有些算法雖在一定成都上提高了手勢識別效率，但計算方法復雜，所需的數(shù)據(jù)量較大，消耗時間較長[44]。另外，近年來手勢識別算法以復合算法設(shè)計為主，手勢識別率較高，大都數(shù)識別手勢以自定義手勢為主，根據(jù)自定義手勢進行算法設(shè)計。鑒于以上經(jīng)驗，我們可以自行定義一些手勢并選用模式識別方法進行手勢識別算法研究。表1-2手勢識別算法相關(guān)研究Tab.1-2Relatedresearchongesturerecognitionalgorithm手勢識別算法識別手勢手勢類型識別率(%)Ref.滑動窗口和累積HMM8種不同的手勢動作自定義手勢95.4%[39]多尺寸窗戶HMM連續(xù)手勢自定義手勢89.6%[40]GTDTW手勢分割隔離手勢和連續(xù)手勢自定義手勢隔離手勢98.8%，連續(xù)手勢95.6%[41]深度動態(tài)神經(jīng)網(wǎng)絡(luò)十個靜態(tài)手勢，三十個連續(xù)手勢自定義手勢靜態(tài)手勢99%，連續(xù)手勢96％[42]相似度匹配8個基本手勢和12個復雜手勢自定義手勢基本手勢98.9％，復雜手勢97.2％[20]基于FNN和SM的手勢識別算法8個基本手勢和16個復雜手勢自定義手勢基本手勢99.88％，復雜手勢98.88%[12]HMM算法與DTW相結(jié)合的算法8種手勢自定義手勢96.5%[43]參考文獻[1]田英冬.基于LeapMotion的手勢識別在虛擬沙畫中的研究與應(yīng)用[D].山西:中北大學.[2]姚圓圓.動態(tài)手勢識別的關(guān)鍵技術(shù)研究及實現(xiàn)[D].重慶:重慶郵電大學,2016.[3]GAOYongqiang,LUXiong,SUNJunbin,etal.Vision-BasedHandGestureRecognitionforHuman-ComputerInteraction—ASurvey[J].WuhanUniversityJournalofNaturalScie-nces,2020,25(02):169-184.[4]SunJH,JiTT,ZhangSB,etal.ResearchontheHandGestureRecognitionBasedonDeepLearning[C].201812thInternationalSymposiumonAntennas,PropagationandEMTheory(ISAPE).2019.[5]張會珍,劉云麟,任偉建,劉欣瑜.人體行為識別特征提取方法綜述[J].吉林大學學報(信息科學版),2020,38(03):360-370.[6]康吳偉.用于動作感知的PVDF傳感器陣列研究[D].安徽:合肥工業(yè)大學,2019.[7]張起浩,蔣少國,蔣青山,趙鵬.基于LeapMotion和卷積神經(jīng)網(wǎng)絡(luò)的手勢識別[J].物聯(lián)網(wǎng)技術(shù),2019,9(10):47-49.[8]黃俊,施新嵐,王馳,夏明,張作運.基于支持向量機數(shù)據(jù)分析紅外手勢識別方法研究[J].壓電與聲光,2016,38(06):877-879+884.[9]AkthamAM,BahaaZB,AlaaZA,etal.AReviewonSystems-BasedSensoryGlovesforSignLanguageRecognitionStateoftheArtbetween2007and2017[J].Sensors,2018,18(7):2208.[10]江立.基于CAS-GLOVE數(shù)據(jù)手套的手勢識別技術(shù)研究[D].北京:北京交通大學,2006.[11]耿祿博.基于Kinect的中國手語識別研究[D].山東:山東大學,2015.[12]XieR,CaoJ.Accelerometer-BasedHandGestureRecognitionbyNeuralNetworkandSimilarityMatching[J].IEEESensorsJournal,2016,16(11):4537-4545.[13]FuhYK,HoHC.Highlyflexibleself-poweredsensorsbasedonprintedcircuitboardtechnologyforhumanmotiondetectionandgesturerecognition[J].Nanotechnology,2016,27(9):095401.[14]DJayaraman,VanithaK.Nonspecific-userhandgesturerecognitionbyusingMEMSac-celerometer[J].ICICES,2015.[15]林煥輝,陳德為.基于力反饋數(shù)據(jù)手套控制的仿生機械手設(shè)計研究[J].機電技術(shù),2018,116(01):9-11.[16]XieR,XiaS,XiangX,etal.SimilarityMatchingBasedExtensibleHandGestureRec-ognition[J].IEEESensorsJournal,2015,15(6):1-1.[17]ZhaoJingjing,HanSong,YangYing,etal.PassiveandSpace-DiscriminativeIonicSenso-rsBasedonDurableNanocompositeElectrodestowardSignLanguageRecognition.[J].ACSnano,2017,11(9).[18]GereonH.Büscheretal.Flexibleandstretchablefabric-basedtactilesensor[J].RoboticsandAutonomousSystems,2015,63:244-252.[19]KahyeSong,SungHeeKim,SunghoJin,etal.Pneumaticactuatorandflexiblepiezoelect-ricsensorforsoftvirtualrealityglovesystem[J].ScientificReports,2019,9(1).[20]SundaramS,KellnhoferP,LiY,etal.Learningthesignaturesofthehumangraspusingascalabletactileglove[J].Nature,2019,569(7758):698-702.[21]李鵬,龍海如,潘亮,等.一種基于柔性織物傳感器的智能穿戴監(jiān)測系統(tǒng)及監(jiān)測方法[P].上海:CN106580336A,2017.04.26.[22]GereonH.Büscher,RistoK?iva,CarstenSchürmann,etal.Flexibleandstretchablefabri-cbasedtactilesensor[J].RoboticsandAutonomousSystems,2015,63(P3):244-252.[23]YoungsuC,HojoonK,DoikK.FlexiblePiezoelectricSensor-BasedGaitRecognition[J]