1、基于單目視覺手勢(shì)識(shí)別跟蹤算法重建與研究1基于單目視覺手勢(shì)識(shí)別跟蹤算法重建與研究研究背景關(guān)鍵技術(shù)基于幾何特征手勢(shì)識(shí)別基于距離串的輪廓描述手勢(shì)識(shí)別重建及跟蹤設(shè)計(jì)實(shí)驗(yàn)結(jié)果分析 21.研究背景1.1介紹：手勢(shì)交互是一種簡(jiǎn)單的、直觀的交互方式人機(jī)交互在當(dāng)今計(jì)算機(jī)技術(shù)猛烈發(fā)展的今天逐漸人們?nèi)粘Ｉ钪械囊徊糠衷鰪?qiáng)現(xiàn)實(shí)發(fā)展，基于手勢(shì)增強(qiáng)現(xiàn)實(shí)發(fā)展成為必要31.1 研究現(xiàn)狀識(shí)別分類：基于數(shù)據(jù)手套（數(shù)據(jù)量小、速度快、不方便、昂貴）基于計(jì)算機(jī)視覺（攝像頭、前景光明）算法分類：人工神經(jīng)網(wǎng)絡(luò)（自主學(xué)習(xí)、抗噪、處理時(shí)序能力差，用于靜態(tài)手勢(shì)識(shí)別）HMM（時(shí)空能力強(qiáng)，用于動(dòng)態(tài)手勢(shì)識(shí)別，速度慢）幾何特征（邊緣和區(qū)域特征）基于視覺

2、問題：識(shí)別率低實(shí)時(shí)性低手勢(shì)變化不能太快42.關(guān)鍵技術(shù)預(yù)處理輪廓提取特征提取識(shí)別52.1預(yù)處理與輪廓提取色彩平衡平滑處理膚色提取（YCbCr、Otsu）輪廓提取Otsu（自適應(yīng)閾值）對(duì)于Image,記T為閾值。前景點(diǎn)占比例為w0，平均灰度為u0，背景為w1，平均灰度為u1。圖像的總平均灰度為u=w0*u0+w1*u1。從最小灰度到最大灰度遍歷t，當(dāng)t使得g=w0*(u0-u)2+w1*(u1-u)2達(dá)到最大時(shí)t即為分割的最大閾值。62.2特征提取常用特征：幅度特征：灰度值、三色值等等統(tǒng)計(jì)特征：直方圖特征、統(tǒng)計(jì)性特征（均值、方差、熵等等）幾何特征：特征點(diǎn)、面積、周長(zhǎng)、分散度（面積/周長(zhǎng)）、伸長(zhǎng)度（

3、面積/寬度）等等Hu矩描述子（面積、重心、外接橢圓、投影峰度）傅立葉描述子73.基于幾何特征手勢(shì)識(shí)別3.1 幾何特征選取：手勢(shì)面積手勢(shì)重心最小外接矩形（長(zhǎng)寬比例、手勢(shì)大致方向）指尖指根候選點(diǎn)83.1.1指尖指根候選點(diǎn)提取1.輪廓凸性缺陷結(jié)構(gòu)體CvConvexityDefect：typedef struct CvConvexityDefect CvPoint* start; / 凹陷開始點(diǎn) CvPoint* end; / 凹陷結(jié)束點(diǎn) CvPoint* depth_point; / 谷底 float depth; / 深度 CvConvexityDefect; 93.1.1指尖指根候選點(diǎn)提取去掉深

4、度過小的凹陷從將輪廓起始點(diǎn)加入到指尖候選點(diǎn)將輪廓終點(diǎn)與已有的指尖候選點(diǎn)比較，符合的假如指尖集合凹陷最深點(diǎn)即為指根候選點(diǎn)103.1.2特征效果圖藍(lán)點(diǎn)為指根候選點(diǎn)黃藍(lán)點(diǎn)為指尖候選點(diǎn)白點(diǎn)為手勢(shì)重心黃點(diǎn)為指尖平均點(diǎn)白色矩形為最小外接矩形淺綠色為凸包線113.13手勢(shì)模板系統(tǒng)識(shí)別110十個(gè)手勢(shì)。123.14 幾何特征識(shí)別算法無手勢(shì)輸入：當(dāng)手勢(shì)面積過大或者過??；外接矩長(zhǎng)寬比例過小輪廓個(gè)數(shù)過多手勢(shì)面積與外接矩形面積比值過小13按指尖個(gè)數(shù)將手勢(shì)分類沒有指尖：7和10的手勢(shì)4個(gè)指尖：4的手勢(shì)5個(gè)指尖：5的手勢(shì)2個(gè)指尖：1、6、9手勢(shì)3個(gè)指尖：2、3、8手勢(shì)14分辨出7和10按外接矩形長(zhǎng)寬比例box_leng7手

5、勢(shì)（1.6,2.2）10手勢(shì)（1.0，1.6）15分辨出1、6、9計(jì)算出兩個(gè)指尖的距離記作絕對(duì)dis將絕對(duì)dis與外接矩形長(zhǎng)軸做比值得到相對(duì)dis1手勢(shì)（0.42，0.69）6手勢(shì)（0.69，）9手勢(shì)（- ，0.42）16分辨出2、3、8算出指尖平均點(diǎn)求出指尖平均點(diǎn)與指尖間最短距離將最短距離與外接矩形短軸做比值處理按距離比值分離出3手勢(shì)（ - ，0.15 ）按外接矩形長(zhǎng)寬比例分離出2、8按手勢(shì)面積與外接矩形面積比例分離2、8174 基于距離串輪廓描述手勢(shì)識(shí)別一種基于輪廓線的形狀描述與匹配方法電子與信息報(bào),2008,30(4):945-952.王斌：博士后舒華忠：博士生導(dǎo)師施朝?。翰┦可鷮?dǎo)師羅立

6、民：博士生導(dǎo)師東南大學(xué)、復(fù)旦大學(xué)184.1介紹將待匹配的兩個(gè)目標(biāo)輪廓等弧長(zhǎng)分割成相同弧段用直線連接相鄰割點(diǎn)構(gòu)成多邊形多邊形頂點(diǎn)到輪廓幾何中心的距離與兩個(gè)后繼頂點(diǎn)的距離構(gòu)成3個(gè)距離串來描述形狀滿足唯一性、緊致性和不變性。計(jì)算簡(jiǎn)單對(duì)形狀全局和局部特性能很好描述19圖形說明找出重心Pc計(jì)算直徑DPc到Si距離iSi到Si+1距離iSi+1到Si+2距離i對(duì)距離串歸一化20證明引理設(shè)A，B，C為平面上不共線的三點(diǎn)，已知點(diǎn)D到這三點(diǎn)的三個(gè)距離串，那么點(diǎn)D被唯一確定。21證明22證明23證明24描述能力距離串能唯一刻畫形狀，滿足唯一性利用幾何重心，具有全局特征若干弦長(zhǎng)刻畫弧段，具有局部特征平移旋轉(zhuǎn)并不影響

7、弧段劃分對(duì)距離串用直徑做比值，具有縮放不變性25匹配方法26實(shí)驗(yàn)9*11個(gè)圖像125*125像素局部變形，局部遮擋全局相似性匹配99*99次求出第N個(gè)最好匹配準(zhǔn)確率274.2基于距離串輪廓描述手勢(shì)識(shí)別10個(gè)手勢(shì)作為模板，K=10每個(gè)手勢(shì)輪廓采用50點(diǎn)，M=50系統(tǒng)初始化時(shí)計(jì)算10個(gè)手勢(shì)的距離串視頻每捕捉一幀計(jì)算每個(gè)手勢(shì)的距離串每幀距離串與10模板比較，找出距離最小的模板，即為識(shí)別結(jié)果當(dāng)最小距離比較大時(shí)，定義為未識(shí)別出手勢(shì)285.1 手勢(shì)模型通用模型： 大拇指4自由度 其他手指各5自由度 骨骼模型本系統(tǒng)模型： 大拇指5自由度 其他手指4自由度 骨骼模型295.2 手勢(shì)約束靜態(tài)約束：防止模型在無干

8、擾情況下刻畫出不規(guī)則手勢(shì)因人而異動(dòng)態(tài)約束：指間約束指內(nèi)約束（簡(jiǎn)化）主要采用靜態(tài)和指間約束305.2 手勢(shì)重建采用OpenGL三維圖形庫(kù)重建手勢(shì)角度驅(qū)動(dòng)模型模擬手勢(shì)動(dòng)作動(dòng)畫31手勢(shì)重建圖32手勢(shì)跟蹤手勢(shì)大?。s放）手勢(shì)角度（旋轉(zhuǎn)）手勢(shì)空間位置（平移）每幀抓取，具有空間位置和角度連續(xù)性手勢(shì)變化快，不具備動(dòng)作連續(xù)性單目，不能實(shí)現(xiàn)Z方向跟蹤336 實(shí)驗(yàn)分析基于手勢(shì)幾何特征：具有平移、旋轉(zhuǎn)、縮放不變性計(jì)算簡(jiǎn)單，實(shí)時(shí)性最好（0.022秒每幀）識(shí)別穩(wěn)定，準(zhǔn)確率高若添加手勢(shì)，需調(diào)出新手勢(shì)參數(shù)添加手勢(shì)，對(duì)實(shí)時(shí)性影響不大基于距離串描述：具有平移、旋轉(zhuǎn)、縮放不變性計(jì)算簡(jiǎn)單，實(shí)時(shí)性非常好（0.025秒每幀）識(shí)別穩(wěn)定，準(zhǔn)確率最高便于往模板庫(kù)添加手勢(shì)若模板庫(kù)手勢(shì)過多，對(duì)識(shí)別速度有影響34本系統(tǒng)算法實(shí)時(shí)性分析幾何特征實(shí)時(shí)性最好（0.022秒）30點(diǎn)距離串約為0.023秒，50點(diǎn)為0.025秒，100點(diǎn)為0.0287秒預(yù)處理所占時(shí)間比重比較大距離串方法增加點(diǎn)數(shù)時(shí)間變化不是很大，可塑性好35對(duì)照實(shí)驗(yàn)Hu不變矩：速度較快（0.0845秒每幀）7個(gè)不變矩，特征太