第第頁大學生畢業(yè)設(shè)計開題報告

課題名稱:基于嵌入式的智能手勢識別器的設(shè)計

一、課題討論背景

1.國內(nèi)外的討論現(xiàn)狀

目前國內(nèi)外實現(xiàn)的手語識別系統(tǒng)主要分為基于傳感器的系統(tǒng)識別和基于圖像處理的識別系統(tǒng)。利用傳感器識別的系統(tǒng)就是利用空間加速度和角速度這兩個參數(shù)來進行的，當信息量比較大時，能更方便的獵取到數(shù)據(jù)；缺點是需要在手臂上裝置大量裝置在表達上帶來了不便性?；趫D像的視覺識別是用攝像機采集手勢信息進行識別的技術(shù)。這種方式的優(yōu)點是動作的識別更加自然，缺點是圖像處理識別時簡單受到環(huán)境的干擾。

手勢識別領(lǐng)域的討論在國外要比國內(nèi)早，國內(nèi)最早開始討論手勢手語的識別是哈工大團隊提出了將多種手勢識別算法融合的方法，這種方法在分類時特征和模型的參數(shù)都很少，但這種技術(shù)對手語手勢的識別在那個時代取得了良好的識別效果，通過將神經(jīng)網(wǎng)絡和HMM算法相結(jié)合，使系統(tǒng)對簡約靜態(tài)手語的識別率達到百分之八十以上。隨著技術(shù)的進展，人們將GMM模型運用到手語識別系統(tǒng)中，通過這種方法對手語識別得到的結(jié)果更好。2022年，南開高校的李國峰等人研發(fā)了基于MEMS加速度傳感器的簡約輸入系統(tǒng)，該系統(tǒng)也為自熱的人機交互討論開啟了新理念。2022年華中師范高校團隊開始了基于加速度傳感器手語識別討論，對預設(shè)的八種手勢進行識別，其識別率達到了85.3%.2022年，清華討論團隊利用SEMG信號去識別手臂和手指動作采納多電極陣列獵取SEMG信號，雖然有用性不是很強，識別率不是很高，但是在該領(lǐng)域的探究討論，做出了大量的探究工作。2022年，由于傳感器的手勢識別領(lǐng)域的快速進展，國內(nèi)學者張欣和陳勛等人將傳感器技術(shù)與生理信號相互結(jié)合，構(gòu)建了手勢識別系統(tǒng)的遠程醫(yī)療系統(tǒng)，該系統(tǒng)研發(fā)為識別領(lǐng)域注入了新的血液，使得國內(nèi)對相關(guān)領(lǐng)域的討論更加熱衷起來。

2.課題討論的意義

依據(jù)世衛(wèi)組織最近的一項報道說明，在全球有6億多的殘疾人，其中就聾啞人占殘疾人口的10%.截止到2022年末，中國殘疾人的數(shù)量已經(jīng)占到全國總?cè)丝跀?shù)的百分之六，是世界上殘疾人最多的國家。在這些殘疾人當中，具有聽力障礙的人占33%,人數(shù)大約為2780萬，這些人中只有少部分人只有聽力或語言障礙，而大多數(shù)人完全失去了與健康人類正常溝通的技能，手語那么是它們唯一的溝通方式。對于健康的人們來說，除一些專業(yè)人士外大部分人并不能理解手語的含義，那么將手語轉(zhuǎn)換成聲音和圖像并被人們輕易理解就變得很有有用價值。這將清除它們與社會溝通的障礙為它們?nèi)谌氲接新暿澜缣峁┝撕艽蟮脑?。手勢手語是將人體產(chǎn)生的動作給予了特定的含義且高度的結(jié)構(gòu)化后的集中表達。

它主要是由人的手勢決斷也會有一些面部表情進行幫助，因此我們要對手語進行識別，首先需要要弄清手勢含義，目前許多對手語的識別是依靠計算機視頻識別來實現(xiàn)的。自上世紀九十時代以來，計算機技術(shù)得到迅猛進展已經(jīng)深入到生活的方方面面之中影響快速擴大，而且在日常生活中多模態(tài)接口技術(shù)已經(jīng)變得越來越普遍。雖然傳統(tǒng)鼠標和鍵盤隨著計算機技術(shù)飛速進展而變得越來越先進，但是由于人的需求也在發(fā)生著很大的改變，這些傳統(tǒng)設(shè)備也漸漸凸顯出了它們的局限性，在虛擬現(xiàn)實和人機交互上這種限制是有著明顯的表現(xiàn)。人機交互中手勢是輸入和輸出的特別重要的方式，所以手勢識別是多模式接口技術(shù)的一個重要部分。

隨著技術(shù)的不斷革新，用戶對傳統(tǒng)計算機的要求已經(jīng)不僅僅局限在便利性和人機交互的方面，導致傳統(tǒng)設(shè)備在人機互動方面已經(jīng)無法滿意用戶的需求。而手勢識別就是解決高人工智能領(lǐng)域的局限性問題的，它作為多模式人機接口技術(shù)已成為當前計算機技術(shù)繼續(xù)深入討論的方向，能使通信在人機交互界面技術(shù)上運用的更加自然和諧，手勢識別最接近的就是手語識別，對它的討論涉及心理學、人工智能、計算機視覺等多領(lǐng)域的學科討論，而且作為日常生活中溝通的一種方式已開始受到大批專家和學者的關(guān)注，并在手勢識別討論方向開始投入大量科研經(jīng)費和精力，由于手勢手臂本身較為繁復而且它的時間和空間差異使得手勢識別已經(jīng)成為一個具有挑戰(zhàn)性的多學科交叉融合的討論課題。

二、課題討論內(nèi)容

1.手勢的表示

手勢表示通常是利用手勢模型和模型參數(shù)來表示的，所以在識別手勢的時候首先要要對手勢建模，識別是依據(jù)手勢表示內(nèi)容而選取手勢特征量與模型匹配，由于環(huán)境文化和地區(qū)的不同會導致了手勢的差異，可能會有運用不同的表達方式，所以手勢通常是一個不太明確的概念，有時手勢表達的含義在不憐憫景下承載的信息是不同的。比如不同地區(qū)表示暫停的時候是左手在上右手在下，而其它地方可能就是右手在上左手在下。

本文設(shè)計的關(guān)鍵是對手勢的建模訓練，尤其是對待識別的手勢的確定。詳細的應用決斷了采納什么樣的手勢模式，只有建立精確的手勢模型才能利用算法進行對識別到的手勢做出正確反饋。通常手勢建模和手勢識別所運用到的方法是相異的，采集手勢特征數(shù)據(jù)的方法也不一樣。目前基于數(shù)據(jù)手套的特征捕獲方法是比較常用的采集數(shù)據(jù)信息的方式，通過選擇相應的識別算法實現(xiàn)手勢的識別反饋。

2.常用手勢識別算法分析

2.1人工神經(jīng)網(wǎng)絡算法

這種算法還具有抗干擾技能和容錯性強識別速度快等優(yōu)點，它能把預處理和識別的過程同時進行處理。在目前的識別領(lǐng)域中，運用的比較多的神經(jīng)網(wǎng)絡是誤差反向傳播神經(jīng)網(wǎng)絡〔簡稱網(wǎng)絡〕。BP神經(jīng)網(wǎng)絡結(jié)構(gòu)圖算法是一種有監(jiān)督式的學習算法，它由三部分構(gòu)成輸入層、中間層〔也叫隱蔽層〕和輸出層，其中的輸入層和輸出層的神經(jīng)元節(jié)點是固定的數(shù)目，兩層之間存在從輸入層到輸出層的前饋連接和輸出層至輸入層的反饋連接，只有隱蔽層的神經(jīng)元是可以自由定義的。

在人際交互識別領(lǐng)域中應用神經(jīng)網(wǎng)絡算法進行手勢的識別時首先需要有自己的數(shù)據(jù)庫系統(tǒng)，再對采集到的手勢數(shù)據(jù)序列進行算法的訓練，運用訓練好的網(wǎng)絡去識別輸入的手勢數(shù)據(jù)信息數(shù)據(jù)的含義即達到識別手勢的目的，識別到后經(jīng)由計算處理以實現(xiàn)人機交互的目的。神經(jīng)網(wǎng)絡的優(yōu)點是抗干擾性和容錯技能強，缺點是訓練量比較大，擴充性不強對時序建模技能差，無法有效處理動作的速率帶來的問題。

2.2動態(tài)時間規(guī)整

動態(tài)時間規(guī)整曾是語音識別的一種主流方式，它是一種將時間歸整與距離測度結(jié)合起來的非線性正那么化的技術(shù)，算法是建立一套科學的時間校準匹配路徑將測試模式和參考模式建立起聯(lián)系的算法。DTW的算法主要利用的動態(tài)編程技術(shù)〔DynamicProgramming,DP〕去實現(xiàn)，它的算法實現(xiàn)是將全局的優(yōu)化分化成眾多的局部最優(yōu)化。所以在運用算法的時候需要將各局部最優(yōu)化，已達到全部的最優(yōu)化。

在DTW算法中由于簡單實現(xiàn)和數(shù)據(jù)的訓練簡約等優(yōu)點被用在語音識別中廣泛應用，但在手勢識別領(lǐng)域由于其運算量太大和較弱的抗噪技能，很難達到對手勢識別的實時性的`要求。

2.3特征選擇

手勢識別本質(zhì)上是對手勢進行多分類任務，在實際的試驗測試過程中，能夠精確區(qū)分手部狀態(tài)是進行手勢識別任務的前提條件，且對后續(xù)的分類以及檢測等任務的精準度至關(guān)重要。比如在進行圖像識別過程中，對拍攝到的圖像進行特征提取是判別手勢的第一步，特征性質(zhì)的優(yōu)劣是后續(xù)進行圖像信息處理的關(guān)鍵，對采集到的數(shù)據(jù)進行特征提取，提取過程中假如特征過于簡約就會造成對圖像信息的提取不全，導致最末的判別精確度較低的問題不能滿意手勢識別對人體手勢識別高精確度的要求，而假如不考慮提取到的特征維度問題，簡單造成數(shù)據(jù)維度災難現(xiàn)象即產(chǎn)生大量的特征數(shù)據(jù)使計算機無法短時間進行處理，這樣不能滿意手勢識別對于現(xiàn)場實時性的要求。

由于在三維空間中執(zhí)行的手勢是動態(tài)的，采集到的加速度和姿態(tài)角的數(shù)據(jù)也是實時改變的，所以對于手勢識別的數(shù)據(jù)是由內(nèi)嵌在手套中的兩個六軸陀螺儀加速度傳感器產(chǎn)生的，當手部移動時會產(chǎn)生加速度，角速度姿態(tài)角等實時數(shù)據(jù)信息，處理器通過對傳感器識別的運動數(shù)據(jù)進行采集計算最終識別手勢的動作。

三、試驗結(jié)果測試與分析

1.試驗手勢

本章主要內(nèi)容是依據(jù)前面內(nèi)容進行試驗，通過試驗驗證可穿戴智能手套翻譯器能夠運用改進型的識別算法提高手勢的識別率和識別精度。

為驗證嵌入式系統(tǒng)對手勢手語識別的可行性，在進行試驗時候從預備好的手勢模型中各取四個進行手勢識別試驗。開始手勢表達時要按箭頭的方向做軌跡，同時要求一次性完成動作，不能在動作執(zhí)行時有停頓，做完每一個手勢都要停頓肯定時間。

2.試驗過程及數(shù)據(jù)統(tǒng)計

本文所采用的試驗方法及過程如下：

首先，試驗所用的手勢模板是已經(jīng)定義好了的手勢集合，試驗時從中選取定義好的手勢集。

其次，從手勢集合中選取部分手勢進行算法識別，在這個過程中漸漸將訓練樣本數(shù)量由少到多增加，觀測樣本數(shù)量對識別率的影響。

最末，運用改進型算法對手勢進行識別，同樣將樣本數(shù)量漸漸增多，觀測樣本數(shù)量對手勢識別率的影響，將兩種算法識別的結(jié)果進行對比，比較識別率。

整個識別的流程通常是由以下幾步完成的：系統(tǒng)的初始化、檢測動作的狀態(tài)是否開始、記錄數(shù)據(jù)集、檢測動作是否結(jié)束，模型對比和識別結(jié)果。

識別動作時最重要的是精確判斷手勢的開始時刻，由于每一個手勢動作通常可能會連續(xù)擺曳來表達含義，所以在進行動作識別時需要采集傳感器信息加速度的改變?nèi)ヅ袛嗍欠駷殚_始信號，過程是傳感器采集到數(shù)據(jù)時判斷是否開始，假設(shè)是開始信號那么開始轉(zhuǎn)換數(shù)據(jù)進行對手勢的識別，當傳感器停止傳輸數(shù)據(jù)時那么表動作結(jié)束同時語音播放。

依據(jù)試驗結(jié)果可知手勢識別率總體上是隨著樣本的訓練次數(shù)增加有微量