摘要 手勢是人與人之間一種非常重要的交流方式，在人機交互的研究中也有非 常大的實用性。隨著計算機技術的發(fā)展，以及人與計算機之間的交互的多樣化， 手勢識別技術涉及圖像處理、模式識別、計算機視覺等領域的一個交叉學科， 加之手勢的多樣性、多義性，以及時問和空間上的差異性等特點，因此手勢識 別自然成為一個極具吸引力的研究課題。手勢識別的過程可分為手勢建模、手 部數(shù)據(jù)的獲取、手部數(shù)據(jù)預處理、手部特征的提取、手部特征的識別五個階段。 本文研究的是靜態(tài)手勢識別，主要通過對目標手勢進行建模分析得到可能有效 的特征參數(shù)，然后分析基于輪廓圖像的特征參數(shù)的提取方法，最后通過基于模 版匹配的手勢識別算法對提取到的特征參數(shù)進行實驗，比較它們有效性。 首先，本文對基于三維模型的手勢建模和基于表現(xiàn)的手勢建模進行比較分 析，針對本文研究的待識別目標樣本設計了一種基于表現(xiàn)的手勢模型人手 部t o r t o i s e 模型，它的優(yōu)點是將手指和手掌區(qū)分開來，能夠很好的描述手部的基 本特征，便于分析特征參數(shù)。通過對人手部t o r t o i s e 模型的分析，得到若干個可 能有效的特征參數(shù)，具體包括手勢中伸出的手指的個數(shù)、手部輪廓的缺陷個數(shù) 和手勢輪廓的面積與周長的比值。另外，圖像的不變矩特征作為圖像識別中的 重要參數(shù)，本研究中也分析計算了7 個h u 矩不變量作為特征參數(shù)。 本文預處理部分重點比較了一般自適應閾值分割方法和基于大津法的閾值 分割方法對手勢分割的效果，實驗證明利用基于大津法的閾值分割方法進行手 勢分割效果比一般自適應閾值分割方法好。 本文特征參數(shù)提取部分通過對人手部t o r t o i s e 模型的分析，研究出計算手掌 輪廓、手掌半徑、手掌重心、缺陷個數(shù)、手指個數(shù)和輪廓面積與周長的比值的 方法，尤其是通過凸多邊形驗證等四個規(guī)則求手掌輪廓的方法，以及基于手掌 輪廓的手指個數(shù)的計算法方法。另外，本文研究h u 不變量，實現(xiàn)了基于輪廓圖 像的h u 矩不變量的計算，得到7 個h u 矩不變量。 最后，本文對十個特征參數(shù)的計算結(jié)果進行詳細分析，將所有特征參數(shù)分 為三組，為了比較三組特征參數(shù)的有效性，設計了一套基于模版匹配的手勢識 別系統(tǒng)，實驗結(jié)果表明提取的十個特征參數(shù)用于手勢識別是有效的。 關鍵字：手勢識別，特征提取，識別算法，不變矩，手勢建模 a b s t r a c t t h eg e s t u r ei sav e r yi m p o r t a n tm e a n so fc o m m u n i c a t i o n b e t w e e np e o p i em m e 咖d vo fh 啪鋤c o m p u t e r i n t e r a c t i o ni sa l s ov e r yl a r g ep r a c t i c a l w i m t h e d i v e r s i f i c a t i o no ft h ei n t e r a c t i o nb e t w e e nt h ed e v e l o p m e n t o fc o m p u t e rt e c h n o l o g y , c o m p u t e r g e s t u r er e c o g n i t i o nt e c h n o l o g yi n v o l v e s 鋤i n t e r d i s c i p l i n a r yf i e l d o fi m a g e p r o c e s s i n g ，p a t e mr e c o g n i t i o n ，c o m p u t e r v i s i o n ，c o u p l e dw i t ht h e d i v e r s i t yo f g e s t u r e s ，m u l t ia m b i g u i t y , a n dt i m ea n dt h es p a t i a l v a r i a b i l i t yo fc h a r a c t e n s t l c s ， g e s n 鵬r e c o g n i t i o nw i l ln a t u r a l l y b e c o m ea l la t t r a c t i v er e s e a r c ht o p i c t h eg e s t u r e r e c o g n i t i o np r o c e s sc a nb ed i v i d e d i n t o i d e n t i f yt h ef i v es t a g e so ft h eh a n dd a t a g e s t u r em o d e l i n g ，h a n dd a t aa c q u i s i t i o n , p r e p r o c e s s i n g ，f e a t u r ee x t r a c t i o no f h a n d ， h a i l dc h 鼬c t e r i s t i c s i nt h i sp a p e r , t h es t a t i cg e s t u r er e e o g n i f l o p , m a i n l y t h r o u g h m o d e l i n ga n a l y s i sm a yb ee f f e c t i v e i nt h ec h a r a c t e r i s t i cp a r a m e t e r so ft h et a r 卿 g c s t u r e ，a n dt h e na n a l y s i s b a s e d0 1 1t h eo u t l i n eo ft h ei m a g e 觸t u r cp 撒m e 做 e x 缸粥t i o nm e 1 0 d ，a n df m a l l yb y t h eg e s t u r er e c o g n i t i o na l g o r i t h mb a s e do nt e m p l a t e m 糾曲i n gt 0 刪t h e c h a r a e t e d s t i c st h ep a r a m e t e r so ft h ee x p e r i m e n t , m p 鋤8 0 n o ft h e i rv a l i d i t y f 樅y t h ec o m p a r a t i v ea n a l y s i s o ft h r e e - d i m e n s i o n a l m o d e lo fm c g c s 眥船e dm o d e l i n g a n d p e r f o r m a n c e b a s e d g e s t u r em o d e l i n g ，蘆l d l n g i d e n t i f i c a t i o no ft h et a r g e ts a m p l e f o r t h i s s t u d yd e s i g n t h e g e s t u r e o fa p e r f 0 咖鋤c e j b 嬲e dm o d e l s t a f f i n gt h ed e p a r t m e n to ft o r t o i s em o d e l ，i t h a st h e a d v a n t a g ef i n g e l sa n dt h ep a l mt od i s t i n g u i s hag o o dd e s c r i p t i o no f t h eb a s l cf e 礬鵬s o ft h eh a n d ，t 0f a c i l i t a ：t ct h ea n a l y s i so fc h a r a c t e r i s t i cp a r a m e t e r s t o r t o i m o d e i s t a f f i n gd e p a r t m e n tt og e ta n u m b e ro fp o t e n t i a l l ye f f e c t i v ec h a r a c t e r i s t l cp 啪m e t e r s ， i n e l u d i n gt i l en 哪b e ro ff i n g e r so u t s t r e t c h e di nt h eg e s t u r e ，t h er a t i oo f t h en u m b e ro f d e f i e c t so fh a n dc o n t o u ra n dg e s t u r ec o n t o u r a r e aa n dp e r i m e t e r i na d d i t i o n ，t h e1 m a g e o ft h em o m e t a ti n v a r i a n tf e a t u r e sa si m a g er e c o g n i t i o no f t h ei m p o r t a n tp a r a m e t e ：r sl n t h i ss t u d ya n a l y s i so fs e v e nh um o m e n ti n v a r i a n t sa sc h a r a c t e r i s t i cp a r 鋤e t e 娼 t h ef o c u so ft h i sa r t i c l ep r e t r e a t m e n tp a r to fg e n e r a la d a p t i v et h r e s h o l d i n g m e t h o d 鋤dt h eg e s t u r es e g m e n t a t i o ns e g m e n t a t i o nm e t h o db a s e do no t s u st h r e s h o l d e f f - e c t t h ee x p e r i m e n t ss h o wt h a tt h eu s eo fg e s t u r es e g m e n t a t i o nm e t h o d b a s e do n n o t s ut h r e s h o l d s e g m e n t a t i o n t h a nt h e g e n e r a la d a p t i v et h r e s h o l ds e g m e n t a t i o n m e t h o d ih i sa r t i c l ef e a t u r ep a r a m e t e re x t r a c t i o np a r tb yt h e m i n i s t r yt o r t o i s es t a f f i n g m o d e la n a l y s i st ow o r ko u tt h eo u t l i n eo fc a l c u l a t i o no ft h ep a l mo f y o u rh a n d ，t h e r a d i u so ft h ep a l mo fy o u rh a n d ，p a l mc e n t e ro f g r a v i t y , t h er a t i oo ft h ed e f e c t si nt h e n u m b e ro ff i n g e r st h en u m b e ra n dp r o f i l ea r e aa n d p e r i m e t e r , e s p e c i a l l yt h r o u g ht h e c o n v e xp o l y g o nv e r i f i c a t i o nf o u rr u l e s s e e kt h ep a l mo fy o u rh a n dc o n t o u ra n d c o n t o u rb a s e do nt h e p a l mo fy o u rh a n d ，f i n g e r st h en u m b e ro ft h ec a l c u l a t i o n m e t h o d i na d d i t i o n ，t h i ss t u d yh ui n v a r i a n t s ，t oa c h i e v ea t a l c u l a t i o nb a s e do n 他 o u t l i n ei m a g eo fh um o m e n t s i n v a r i a n t s ，s e v e nh un 1 咖e n t si n v a r i a n t s f i n a l l y , ad e t a i l e da n a l y s i so ft h ec a l c u l a t i o nr e s u l t so ft h e10f b a t u r ep a r a m e t e r s ， a l lt h ec h a r a c t e r i s t i cp a r a m e t e r sa r ed i v i d e di n t ot h r e e g r o u p s ，t h r e eg r o u p sw e r e c o m p a r e dt h ee f f e c t i v e n e s so ft h ec h a r a c t e r i s t i cp a r a m e t e r s ，t h ed e s i g no fag e s t u r e r e c o g n i t i o ns y s t e mb 嬲e do nt e m p l a t em a t c h i n g ，e x p e r i m e n t a lr e s u l t ss h o wt h a t e x t r a c t i o nt e nc h a r a c t e r i s t i cp a r a m e t e r sf o rg e s t u r er e c o g n i t i o n i sv a l i d k e y w o r d s ：g e s t u r er e c o g n i t i o n ，f e a t u r ee x t r a c t i o n ，r e c o g n i t i o na l g o r i t h m ，i n v a r i a n t m o m e n t s ，g e s t u r em o d e l i n g i l l 武漢理jl ：人學碩七學位論文 1 1 研究背景和意義 第1 章緒論 隨著信息時代的到來，計算機技術在現(xiàn)代社會中的影響在不斷的增大【l l 。隨 著人們使用計算機的水平的不斷提高，各行各業(yè)對于計算機的使用也不斷深入， 對于計算機的性能以及適用環(huán)境的要求也越來越高1 2 1 。信息技術的快速發(fā)展激發(fā) 了人們對人機交互更加擬人化、自然化的渴望。如何建立和諧自然的人機交互 環(huán)境，使用戶可方便地以人類所熟知的方式使用計算機是我們急需解決的難題。 傳統(tǒng)的人機交互方式由當初的只有鍵盤輸入到目前的鼠標、遙桿、無線輸入設 備等等都大大的便利了人們與計算機之間的交互【3 l ，使得人們能夠更方便的操作 計算機，從而能夠快速的完成一定的任務，然而這些交互方式既要依賴額外的 輸入設備，又不符合人們的交互習慣，因此并未能完全滿足人們與計算機交互 的需要1 4 j 。隨著計算機技術的進步，特別是圖像處理和識別技術的進步，人們的 目光不再局限于傳統(tǒng)輸入方式的改進上，如何利用人自身的生物特征，讓人與 計算機直接進行交互成為當前人機交互的研究熱點。這種利用人的生物特征進 行人機交互的領域統(tǒng)稱為生物識別【5 】。 目前，人體可以利用的特征主要包括人臉、指紋、掌紋、手勢、虹膜及步 姿步態(tài)等，而這些特征主要應用于信息安全及身份識別等較窄的領域1 6 】。其中， 人手是人體最靈活的部位，可以表達豐富多變的含義，手語是人們?nèi)粘Ｉ钪?的第二語言1 丌。由此，想到將人的手勢作為人機交互的手段，相比其他人體特征 而言更為自然、直接、豐富瞪j 。另外，相對于傳統(tǒng)的人與人之間豐富多彩的交互 方式，人們與機器的交流往往沒有表情，沒有動作，機械呆板不自然。因而， 使機器能夠感知人體語言，對于提高人機交互水平和加強人機接口的可實用性 具有不可估量的意義1 9 1 。而手勢具有很強的視覺沖擊和效果，它生動、形象、直 觀，并且富含大量的交互信息，有著與口語、書面語言等自然語言相同的表達 能力，是人體語言的一個重要組成部分，因此它完全可以充當人機自然交流的 手段，在人機交互領域中起到至關重要的作用i 1 0 1 。然而由于人手本身是一個復 雜的可變形體，而且手勢具有多樣性、多義性及不確定性l l ，因此這是一個極 富挑戰(zhàn)性的多學科交叉的研究課題，是近年來人機交互的研究熱點及難點。研 武漢理i ：人學碩十學位論文 究手勢識別對于改善人機交互的意義很大12 1 。 1 2 國內(nèi)外發(fā)展現(xiàn)狀 從上個世紀9 0 年代起，人們就開始了手勢識別的研究，手勢識別主要分 為兩個方面：基于數(shù)據(jù)手套的手勢識別和基于視覺的手勢識別【l3 1 ?；跀?shù)據(jù) 手套的手勢識別目前采用較多的神經(jīng)網(wǎng)絡等模式識別的方法，要求用戶戴上特 殊的傳感器手套，利用傳感器手套來跟蹤和標記人手在空問坐標中運動的軌跡 和時序信息，通過一些信號處理手段達到人機交互的目的i l4 1 。這種方式的優(yōu)點 在于輸入的數(shù)據(jù)量少，識別率非常高，而且實時性很強；但它昂貴的設備，交互 動作的不自然也成為了明顯的缺點【l 習。 基于計算機視覺的手勢識別主要是利用攝像頭來獲取手勢圖像數(shù)據(jù)，通 過對圖像數(shù)據(jù)的處理及分析，包括圖像預處理、手勢分割、手勢建模、手勢 分析和特征提取，從而識別手勢的含義達到與計算機交互的目的【l6 1 。該方法 的最大優(yōu)點是交互方式自然簡單，對設備要求也非常低，然而，它的識別率 相對比較低，實時性較差，在實時性要求比較高的場合這種方法還值得我們 研究1 1 7 l 。目前，國內(nèi)外主要研究基于傳感器手套的手勢識別，而且取得非常 可喜的成績，然而隨著信息技術尤其的模式識別技術的提高，越來越多的研 究者把目光投向基于視覺的手勢識別上來了 1 8 1 。以下簡單介紹了在基于傳感 器手套和計算機視覺兩個方面比較重大的研究成果。 在利用傳感器手套等典型傳感設備的方法中，臺灣大學的l i a n g 等人利用 單個v p l d a t a g l o v e s ( 美國加州v p l 公司研發(fā)的數(shù)據(jù)手套) 作為手語輸入設 備，可識別臺灣手語課本中的2 5 0 個基本詞條，識別率為9 0 5 1 2 們，c m u 的 c h r i s t o p h e rl e e 和x u 在l9 9 5 年完成了一個操縱機器人的手勢控制系統(tǒng)1 2 1 1 ； m w k a d o u s 用p o w e rg l o v e s ( 超能手套) 作為手語輸入設備，識別由9 5 個孤立詞構(gòu)成的詞匯集，正確率為8 0 1 2 2 1 。 在基于視覺的方法方面，具有代表性的研究成果包括：1 9 9 1 年富士通實 驗室完成了對4 6 個手語符號的識別工作【2 3 1 ；j d a v i s 和m s h a h 將戴上指尖具 有高亮標記的視覺手套的手勢作為系統(tǒng)的輸入，可識別7 種手勢【2 4 】；s t a r n e r 等在對美國手語中帶有詞性的4 0 個詞匯隨機組成的短句子識別率達到 9 9 2 1 2 5 1 ；k g r o b e l 和m a s s a m 從視頻錄像中提取特征，采用h m m ( 隱馬爾 科夫模型) 技術識別2 6 2 個孤立詞，正確率為9 1 3 1 2 6 1 。 2 武漢理一i ：人學碩十學位論文 1 3 研究的難點 目前，然手勢識別系統(tǒng)的研究已取得很大的進展，并且在不同的領域有著 較高的識別率，但是手勢識別還是存在著一些難點帶我們?nèi)ソ鉀Q。 在不同的應用環(huán)境下，手勢往往含有多種含義，具有多種表示方式，在時 問和空間上也具有較大的差異性，這些特點決定了手勢識別研究任務的艱巨性， 另外，由于人手是復雜變形體具有柔軟性以及計算機視覺的不適應，增加了手 勢識別技術研究難度，這就要求我們在不同應用環(huán)境下分析各種手勢的幾何特 征，選取正確的特征向量才行1 2 7 1 。本文以普通表示數(shù)字o 到9 的手勢作為研究 的樣本。在進行手勢分割時，由于客觀環(huán)境的影響，如光照強度和角度的變化、 手勢動作的旋轉(zhuǎn)和平移、手勢背景的復雜性( 例如類膚色的事物存在于背景中) 等因素的存在使得手勢區(qū)域的位置檢測不夠準確或者發(fā)生偏離，這就增加了準 確分割目標圖像的難度【2 8 j 。因此，對于基于只擁有單個普通攝像頭的計算機來 說，要在復雜背景下像人眼一樣j 下確的分割出手勢，目前還存在很大的困難， 這就迫使我們在手勢識別系統(tǒng)的實際開發(fā)和設計過程中，對環(huán)境強加了一些限 制。最后，針對不同類型的手勢計算不同的不變矩作為基本的特征向量進行分 類識別則是手勢識別的另一大難點【2 9 】。目前已有h u 不變矩、l e g e n d r e 矩、 t c h e b i c h e f 矩和z e m i k e 矩在圖像識別方面的研究，各有各的特點，效果一般， 而且在計算不變量的過程相對來說比較復雜1 3 們，本文將分析傳統(tǒng)的離散幾何不 變矩，求出七個不變量，選擇其中四個作為識別參數(shù)?？偟膩碚f，本文會從以 下三個關鍵點來研究手勢識別技術。 ( 1 ) 如何建立一個簡單實用的手勢模型，并且提高手勢分害l j 的精確度，獲 取更多的有效特征參數(shù)； ( 2 ) 通過大量的幾何分析，研究提取各種有效的幾何特征參數(shù)的方法，并 且驗證各個特征參數(shù)的有效性： ( 3 ) 根據(jù)實際需要，選取一種合適的分類模型或者分類算法也是手勢識別 技術的關鍵。 1 4 本文的主要工作和組織結(jié)構(gòu) 本文的研究目標的具體目標就是識別十種手勢圖像，具體的是基于人手部 t o r t o i s e 模型分析手部的幾何特征，主要選擇手勢圖像中仲出的手指的個數(shù)、缺 3 武漢理+ ：人學碩十學何論文 陷個數(shù)和圖像的不變矩總共十個識別特征參數(shù)。在得到識別參數(shù)后，將它仃丁分 為三組，本文利用基于模版匹配的識別算法，分析比較三組特征參數(shù)的有效性 和彭 別率。以下文章各個章節(jié)的內(nèi)容安排： 第l 章敘述了手勢識別的研究背景和意義，查閱國內(nèi)外論文，分析了當前 國內(nèi)外手勢識別的研究現(xiàn)狀，最后分析了手勢識別技術的難點技術、待解決問 題以及本文研究的目標。 第2 章首先比較基于三維模型的手勢建模和基于表現(xiàn)的手勢建模，建立一 種名字為人手部t o r t o i s e 模型的手勢模型，通過對這個模型分析，總結(jié)出識別手 勢需要計算的幾個幾何特征參數(shù)。然后，簡述了手勢識別系統(tǒng)基本框架圖，并 且分析各部分的作用。最后重點敘述了手勢預處理和手勢閾值分割的過程，其 中對閾值分割的方法做了簡單的對比實驗，并且選擇一種比較好的閾值分割方 法。 第3 章主要根據(jù)前面總結(jié)的若干個特征參數(shù)分析手勢圖像的幾何特征，研 究特征參數(shù)的計算方法，重點闡述了手指個數(shù)和h u 矩不變量的計算方法。具體 地是從感興趣圖像的輪廓入手，先計算出手的整體輪廓，提取輪廓圖像的外接 多邊形和缺陷點，然后結(jié)合手掌的幾何特征分析外接多邊形的頂點和輪廓缺陷 點的分布情況，研究得到計算近似手掌輪廓外的外接多邊形，最后根據(jù)手掌輪 廓的外接多邊形得到兩種計算手指個數(shù)的方法。最后總共計算了1 0 個特征參數(shù)， 包括7 個h u 矩不變量、面積周長比、缺陷個數(shù)和手指個數(shù)。 第4 章分析了整個識別系統(tǒng)的詳細設計框架，并且對其中特征參數(shù)的提取 方法和識別算法的實現(xiàn)進行了分析。最后通過該識別系統(tǒng)對三組不同的特征參 數(shù)進行了對比實驗，通過計算三組特征參數(shù)的識別率來分析比較h u 矩不變量與 幾何特征參數(shù)的有效性、幾何特征中手指個數(shù)和缺陷個數(shù)的有效性，最終選擇 了( h u l ，h u 2 ，h u 3 ，h u 4 ，面積周長比，手指個數(shù)) 的組合作為特征參數(shù)。 第5 章對本文的研究進行總結(jié)和展望。 4 武漢理l ：人學碩十學位論文 2 1 手勢建模 第2 章手勢建模和預處理 手勢建模簡單的說就是結(jié)合實際的應用，分析手部( 包括手腕、手掌和手 指) 所有有效的特征，構(gòu)造一個有效的手勢識別的分類器。手勢建模具體分為 兩個步驟，第一步是基于真實手形的特征和手勢辨識的需要抽象出一個數(shù)學模 型，我們把這個模型叫做人手部模型，第二步是根據(jù)人手部模型提取的人手部 幾何和紋理特征是建立手勢模式庫。這兩步有著密切的關系，人手部模型是建 立手勢模式庫和進行手形匹配的基礎，而且手勢模式庫和人手部模型共同構(gòu)成 手勢識別的分類器，用于確定那些特征值或者識別參數(shù)需要我們計算，便于更 大程度的區(qū)分各種手勢【3 。在基于視覺的手勢識別框架中，手勢模型是最基本 部分之一。根據(jù)不同的應用背景，手勢識別采用的模型會有所不同，而對于不 同的手勢模型，采用的手勢檢測、特征提取、識別技術也會有差別。目前手勢 建模主要分為基于表觀的手勢模型與基于三維的手勢模型1 3 列。手勢模型的詳細 分類如圖2 1 所示。 圖2 1 手勢模型分類 5 武漢理i ：人學碩十學位論文 2 1 1 基于三維模型的手勢建模 基于三維模型的手勢建模是對手部的關節(jié)結(jié)構(gòu)進行三維建模，描述手的各 個關節(jié)的位置與角度等屬性。在基于模型的方法中，手勢特征具有很高的自由 度，模型的參數(shù)也非常多。 2 1 2 基于表觀的手勢模型 基于表觀的手勢建模是從二維平面觀察得到的平面圖像信息描述手的特 征。基于表觀的手勢模型主要包括基于顏色、基于輪廓的模型兩種。 基于顏色的手勢模型是把手勢圖像看作像素顏色的集合，通過提取手部的 顏色的特征來描述手勢。基于顏色的手勢模型的常用特征是手部區(qū)域的顏色直 方圖、高斯模型。 基于輪廓的手勢模型是把手看作一個輪廓，通過提取手部圖像中手的輪廓 的幾何特征來描述手勢。 2 1 3 兩種模型的比較 基于模型的手勢模型的優(yōu)點是能夠很精確地描述手勢，但它的不足之處是 模型中手的模型參數(shù)多，要處理的數(shù)據(jù)量比較大，所以在手勢識別過程中模型 參數(shù)的估值也比較困難?；谝曈X的手勢模型常通過多目攝像頭來采集圖像， 以此來建立手勢的立體三維模型；合成的過程中也引入噪聲，所以魯棒性不強。 基于表觀的方法從二維平面觀察手勢，從手勢圖像是提取顏色特征、幾何形狀、 輪廓等信息，計算量少，可靠性和提取效率都比較高。兩種模型都有它的適用 場景，實際應用開發(fā)中可以根據(jù)實際需要做兩類手勢模型中做一個選擇。 2 1 4 人手部t o r t o i s e 模型 目前用于手勢識別的手勢模型有很多種，由于本文研究的手勢諺 別對象在 簡單背景下獲得的，識別目標比較明顯，特征也比較明確，所以建立一種人手 部t o r t o i s e 模型，他足一種基于表現(xiàn)的手勢模型，具體的說是基于輪廓的手勢模 型。 人手部t o r t o i s e 模型簡單的說就是將手部分解成餅狀的手掌和甩根被看作長 條的手指，這種模型能夠很好的描述手部的基本特征，如圖2 2 所示為模型圖。 6 武漢理i ：人學碩十學位論文 圖2 - 2 人手部t o r t o i s e 模型 t o r t o i s e 模型包括的參數(shù)可以用公式的形式表示，如下式： j ，= 廠( ，r 2 ，刀，厶，厶，彤，呢，q ，見，r ，g ，b ) ( 2 1 ) 公式( 2 1 ) 滿足的約束條件如下： r j 1 5 r 2 h e 0 ，5 】 1 。三一三，邳3 ：汪1 ，z ( 2 - 2 ) _ r i 3 彬 ，i = l ，一 瞑o ，9 0 】，i = l ，柚 j i c 【o ，2 5 5 ，g 【o ，2 5 5 ，b 0 ，2 5 5 】 其中，；為手掌部半徑，吒為手腕部半徑，刀為手指個數(shù)，厶厶為每根 手指的長度，彤一睨為每根手指的寬度，目見為每根手指與手腕間夾角， ( 月，g 曰) 為皮膚顏色。 ， t o r t o i s e 模型具有以下優(yōu)勢： ( 1 ) 手掌被近似成為對稱的餅狀模型，這使得模型更加的簡潔，進而提高了 手形匹配速度，而且具有對稱性的模型也減少了由于手部旋轉(zhuǎn)造成的錯誤諺 別 概率。 ( 2 ) 將手指看作分加比較隨意的條狀模型，使得在具體應用中，可以通過 分析每種手勢中伸出來的手指的幾何分布，利用特征提取的方法從不同二維圖 像中計算總的手指數(shù)量來判斷手形，這樣就降低了由于遮擋帶來的匹配誤差。 7 武漢理ji ：人學碩十學位論文 ( 3 ) 將手掌和手指作為一個整體的同時，又將他們分丌來分析，使用手掌 和手指的相對尺寸作為區(qū)分不同手勢的依據(jù)，這樣就減少了在采集目標圖像的 過程中因為距離原因產(chǎn)生的手形縮放所帶來的匹配誤差。 本文識別的對象是用手勢表示的數(shù)字0 到9 的集合，為了識別這幾個手勢， 出了常用的不變矩特征作為重要的識別參數(shù)以外，本文根據(jù)人手部t o r t o i s e 模 型，選擇手指個數(shù)重要的特征參數(shù)，因為每個手勢伸出來的手指個數(shù)不盡相同， 有個別手勢伸出的手指個數(shù)一樣，但是伸出的是不通的手指，這個通過其他的 特征參數(shù)來區(qū)分開來，本文選擇手勢圖像的面積和周長的比作為第二個參數(shù)， 分析每個手勢輪廓的面積，手掌面積占主要部分，由于伸出的手指不同，每種 手勢輪廓圖像的面積和周長的比值區(qū)分度比較大。本文將在下面的章節(jié)中詳細 介紹獲取這兩個特征參數(shù)的方法。 2 2 手勢識別系統(tǒng)的基本框架圖 一般圖像處理和模式識別系統(tǒng)的基本框架主要包括圖像樣本的采集、圖像 預處理、分析圖像特征并提取識別參數(shù)、利用識別參數(shù)對圖像進行分類識別1 ， 最后輸出識別結(jié)果，手勢識別系統(tǒng)整體框架圖如圖2 3 所示。 視頻流確定特征向量 二值化圖像 景 囹攫 圖2 3 手勢識別系統(tǒng)整體框架圖 框圖簡單介紹如下： ( 1 ) 手勢樣本圖像的采集：本文都是以a v i 視頻文件作為處理對象，為了 更好的提取手部特征，拍攝之前，先選好固定的背景，利用普通的攝像頭錄制 手勢視頻。 f 2 ) 手勢圖像預處理：主要是圖像色彩空問的轉(zhuǎn)換、提取灰度圖像、中值 濾波和閾值分割，其中閾值分割是得到手勢輪廓圖像的基礎，好的閩值分割對 8 武漢理l ：人。碩l ：。學化論義 勢輪廓的提墩訂很人的幫助，鈕2 4 31 了會詳細介害“旗。j 二人泮法的門適應的閩 他分割。 ( 3 ) 分析圖像特7 l i l 7 t ：提取需要的諺 別參數(shù)：結(jié)合人下部l b r t o i s e 模型，分 析下部兒何特征，總提取六個諺 別參數(shù)，其l i 彳f l j q 個是基。j ：于勢輪廓圖像提 取的幾何不變矩參數(shù)， 外兩個分別是輪扇i 圖像 t # i t i i t ；的于指的個數(shù)以及下勢 輪廓圖像i f l i g 與j 1 i i j 長的比值。 ( 4 ) 分類i , j , j j $ 0 ：針對已經(jīng)提取的特征諺 別參數(shù)，約i 成組特征m 疑，利川 識別算法對于勢圖像進行訓練和分類識別，本文t _ ，利f j 模版匹配的思恕設計分 類算法。 ( 5 ) 輸出識別結(jié)果：識別結(jié)果以數(shù)據(jù)的形式儲存到文本文件中，并兒會計 算每種手勢的識別率。 2 3 手勢圖像樣本采集和研究對象 手勢識別一般分為靜態(tài)手勢識別和動態(tài)手勢識別，靜態(tài)手勢識別是識別手 型，讀出手型表達的意義f 3 4 j ，而動態(tài)手勢識別是識別手在空間的中的運動軌跡， 通過得到的運動軌跡參數(shù)來執(zhí)行相應的操作，比如在投影上播放課件的時候， 通過手勢來進行的一t - 下翻頁、暫停、開始等操作，就足這方面的應用。本文中 主要研究靜態(tài)手勢識別。為了使研究更帶有i - i 的性，本文給定了十個特定的手 勢作為識別對象，如圖2 4 所示的手勢樣本圖中的十個手勢圖像分別表示數(shù)字o 到9 。簡單的說，本文的直接的研究目標就是要讓計算機識別這1 個手勢分別表 示的意思，算出識別率。 圖2 4 手勢樣本圖 9 武漢理。l ：人學碩： ：學位論文 采集樣本和建立樣本集對于研究圖像處理和識別是非常重要的，前面提到， 本本文在采集樣本的時候都是在簡單背景下采集的，光照明暗程度、距離和角 度都是差不多的，采集的到處理文件對象都是a v i 視頻流文件，具體的采集過 程如下： ( 1 ) 在數(shù)字視頻攝像頭前面按照上面規(guī)定的樣本，從0 到9 的順序連續(xù)做 標準的手勢，每個手勢都要維持幾秒鐘，并且每個手勢做好后作適當?shù)钠揭疲?這個過程完了后會得到一個a v i 視頻文件。 ( 2 ) 觀看這個a v i 視頻文件，將其中標準手勢固定了的片段剪切下來，也 就是出去其中變換手勢的部分，留下完整的手勢和手勢平移的片段，這樣會得 到l o 個a v i 視頻文件，這十個文件就對應著上面這十個手勢。 2 4 基于o p e n c v 的手勢圖像預處理 本文在研究過程中利用了o p e n c v 函數(shù)庫，對手勢圖像進行預處理的過程 主要包括色彩空間轉(zhuǎn)換、中值濾波和閾值分割，手勢圖像的預處理過程框圖如 圖2 5 所示。 二值化圖1 - 勢樣本圖 圖像重置 色彩空間 中值濾波閾值分割 大小轉(zhuǎn)換 c v s m o o t hc v m s h o l d c v r e s i z e c v c v t c o l o r 2 4 1 色彩空間轉(zhuǎn)換 圖2 5 手勢圖像預處理過程 在平常的生活中，我們對顏色的討論集中在通過紅、綠、藍三色混合而產(chǎn) 生顏色的機制上，這種機制就是我們常說的r g b 顏色模型，它有利于我們理解 子計算機中如何表示顏色，然而在圖像處理的過程中，還需要一些更直觀的顏 色參數(shù)。為了尋求在各種特定環(huán)境中對于顏色的特征和行為的計算機解釋方法， 人們研究很多顏色模型或者叫做色彩空間，例如r g b 彩色空間、c m y 彩色空 間、y u v 彩色空問、y i q 彩色空間和h s v 彩色空間( 也叫h s i 彩色空間) ，但 是，在這么多顏色空間描述方法中，沒有哪一種顏色模型能解釋完全所有的顏 色問題，但是在實際的應用當中，我們選擇相應的顏色空間模型來幫助描述我 們能看到的各種顏色特征p 引。在本文中，為了更好的描述手勢圖像的顏色特征， 1 0 武漢理：i ：火學碩十學位論文 選擇了h s v 顏色模型。 與傳統(tǒng)的r g b 顏色模型相比，h s v 模型使用了對用戶更直觀的顏色空間描 述方法。h s v 色彩空間是從人的視覺系統(tǒng)出發(fā)，用色調(diào)( h u e ) 、色飽和度 ( s a t u r a t i o n 或c h r o m a ) 和亮度( i n t e n s i t y 或8 r i g h t r e s s ) 來描述色彩。h s v 色 彩空問可以用一個圓錐空l h j 模型來描述。盡管h s v 色彩空間的圓錐模型相當復 雜，但它的確能把色調(diào)、色飽和度和亮度的變化情形表現(xiàn)得很清楚1 3 6 1 。如圖2 6 所示為h s v 三維空間的六棱錐模型。 音 黑s ( 飽和度) 圖2 - 6h s v 六棱錐 在六棱錐中，色飽和度s 沿水平軸測量，從0 到l 變化，而明度值v 沿著 六棱錐中心的垂直軸進行測量，從0 到l 變化，而色彩則使用與水平軸之間的 角度來表示，范圍從0 度到3 6 0 度?？偟膩碚fh s v 彩色空間有以下亮點和優(yōu)點： ( 1 ) 我們通常把色調(diào)和飽和度通稱為色度，用來表示顏色的類別與深淺程 度。由于人的視覺對亮度的敏感程度遠強于對顏色濃淡的敏感程度，為了便于 色彩處理和識別，人的視覺系統(tǒng)經(jīng)常采用h s v 色彩空間，它比r g b 色彩空問 更符合人的視覺特性i j 。 武漢娜i ：人? 碩l ：學化論文 ( 2 ) 采j | ji i s v 彩色審問減少彩色圖象處胖的復雜陀，增加快速，陀，它巫 接近人對彩色的認 叭11 - i l 解釋。例盤對也淵、飽和度和亮度通過算法進行操作。 柞圖象處理和計算機視覺一t l f 內(nèi)人景算法，翻洲以祚l t s v _ ! 1 1 l j l f l 力。便的使川。它 們i 叮以分了r 處理i 伍 1 足一- ：棚獨直的，吲此h s v 彩色審| i jl l j 以火大簡化圖像分析 和處理的：j ：作疑。 為了更好的描述手勢圖像的顏色特征，為了后而處理圖像做準備，丌始 就對t - 勢圖像進行了色彩空問的轉(zhuǎn)換，j 體足從r g b 色彩空f n j 轉(zhuǎn)換到h s v 色 彩窄f i i j ，轉(zhuǎn)換公式如下： r g b j s v ( c v b g r 2 h s v ，c v r g b 2 t t s v ) ： v = m a x ( r ，g ，曰) s = v - m i n ( r , 掣蛇5 5 ：。 仁， 0。其他 、 f ( g b ) 6 0 + s，若v = r h = 1 8 0 + ( b r ) 6 0 + s ，若v = g i2 4 0 + ( r g ) 6 0 s ，若v = b h = h + 3 6 0 ，若h r e c t ； i f ( r h e i g h t * r w i d t h 1 0 0 0 0 1 選出大于1 0 0 0 0 個像素的輪廓 宰h c = c ； e = c - h _ n e x t ；) 值得注意的是，如果沒有大于1 0 0 0 0 個像素的輪廓說明圖像中沒有手。在 得到于的輪廓后，通過o p e n c v 提供的函數(shù)c v d r a w c o n t o u r s ( ) 繪制手部輪廓，繪 制的效果如圖3 1 所示。 圖3 1 手勢圖像的輪廓 1 8 武漢理jj ：人學碩十學位論文 圖3 1 中的紅色線就是手勢的輪廓，從圖中可以看出，獲得的手勢輪廓線條 非常清晰，并且完全是貼合手部區(qū)域的邊緣線。 3 2 手掌輪廓的提取 在提取手掌輪廓之前還有兩個準備工作要做，一是求出手掌輪廓的外接多 邊形，另一個是求出手掌輪廓的缺陷點，完成這兩步是為了獲得手部輪廓中的 凸點集和凹點集，為后面刪除不必要的點獲得手掌輪廓做準備。 3 2 1 獲取手部完整輪廓的外界多邊形 由于我們已經(jīng)獲得手部的完整輪廓，并且已經(jīng)獲得輪廓線的點集，所以獲 得輪廓的外接多邊形可以從完整的輪廓點集中選取比較特殊的點，順序連接這 些點獲得的外接多邊形必須包括手部完整輪廓中所有的點。具體做法是利用 o p e n c v 中的序列訪問函數(shù)c v g e t s e q e l e m ( ) 訪問完整的輪廓序列，然后選取其中 距離相隔3 0 個像素的點，具體實現(xiàn)代碼如下： v o i ds i m p l y c o n v e x h u l l ( c v s e q h ，v e c t o r & p t s ) i n t i ； i n tc o u n t = h - t o t a l ； p t s c l e a r ( ) ； 通過指針遍歷輪廓線上的每一個點，將輪廓稀疏 c v p o i n t p t o = ( c v p o i n t ) ( c v g e t s e q e l e m ( h , c o u n t 1 ) ) ； f o r ( i - 0 ；i x ) ； 排除相鄰點 i f ( ( a b s ( ( p t ) - x 一( p t o ) x ) + a b s ( ( p t ) 一 y - ( p t o ) - y ) ) 3 0 ) p t s p u s h _ b a c k ( c v p o i n t ( ( p t ) - x ，( p t ) 一 y ) ) ； p t o 2 p t ； 1 9 武漢理i ：人學碩十學位論文 ) ) 這樣就獲得了手部輪廓的外界多邊形頂點的集合，接著通過o p e n c v 中的 函數(shù)d r a w c o n v e x h u l l a r r a y ( ) 畫出外接多邊形，處理后的結(jié)果如圖3 - 2 所示。 圖3 2 畫好外接多邊形的手勢圖像 由圖3 - 2 可以看出，通過以上方法獲得的手勢輪廓的外接多邊形基本上可 以包括整個手部區(qū)域。 3 2 2 獲取外接多邊形中的輪廓凸點和凹點 通過觀察每個手勢輪廓圖像，我們發(fā)現(xiàn)每種手勢輪廓都有不同的凸點和凹 點，我們的目標是提取手掌區(qū)域的輪廓，因此除去手指部分就是手掌部分，而 輪廓上的凸點和凹點一般都處于手指和手掌連接的地方，因此找出這些點，然 后刪除掉就可以獲得手掌的輪廓了。 由于每個輪廓都有不同的輪廓凸包和凹點缺陷，這些缺陷可以用來描述物 體的特征，而o p c n c v 函數(shù)庫為我們提供了描述圖像輪廓缺陷的方法。o p e n c v 函數(shù)庫定義了一個專門描述缺陷的結(jié)構(gòu)體，具體定義如下： t y p e d e fs t r u e tc v c o n v e x i t y d e f e c t c v p o i n t * s t a r t ；缺陷開始的輪廓點 c v p o i n t * e n d ；嚴缺陷結(jié)束的輪廓點 c v p o i n t * d e p t hp o i n t ；產(chǎn)缺陷中離凸形最遠的