人臉檢測(cè)并獲取眼睛區(qū)域的算法設(shè)計(jì)案例分析目錄TOC\o"1-3"\h\u5490人臉檢測(cè)并獲取眼睛區(qū)域的算法設(shè)計(jì)案例分析 1161011.1人臉檢測(cè) 1242041.1.1Harr-like特征 1118441.1.2HaarCascade級(jí)聯(lián)分類器 1273951.1.3Dlib人臉檢測(cè) 2187491.2臉部特征點(diǎn)檢測(cè) 2267781.3眼睛區(qū)域提取 2人臉檢測(cè)使用了基于Dlib的人臉識(shí)別算法。人臉特征點(diǎn)檢測(cè)是為我們獲取眼睛區(qū)域的位置提供方便，我們可以使用已驗(yàn)證的公式計(jì)算拿到矩形區(qū)域的左拐點(diǎn)坐標(biāo)，還有矩形的長和高，這樣我們可以獲取到?jīng)]有眉毛等其他區(qū)域的干凈的眼睛部位。1.1人臉檢測(cè)被研究出的人臉檢測(cè)方法多種多樣，此次我們?cè)谌四槞z測(cè)方面主要使用了基于dlib人臉檢測(cè)算法，同時(shí)我們也測(cè)試了簡單的Haarcascade級(jí)聯(lián)器條件下的人臉識(shí)別方法，在Viola和Jones等人提出的算法的過程為：先要獲取一個(gè)強(qiáng)分類器，根據(jù)特定的物體獲取一些正確視圖和一些非正確視圖將視圖調(diào)整為相同大小35*35，多個(gè)強(qiáng)分類器組成級(jí)聯(lián)分類器，可以加速研究進(jìn)程。研究過程中我們可以直接通過計(jì)算機(jī)獲取一個(gè)完整的Harrcascade級(jí)聯(lián)器然后將該級(jí)聯(lián)器的frontface文件直接復(fù)制到研究項(xiàng)目所在文件夾，通過引用直接使用，通過plot-rectangle語句繪制檢測(cè)到的人臉，利用opencv庫獲取人臉數(shù)據(jù)的坐標(biāo)，繪制矩形框。1.1.1Harr-like特征Harr-like特征分為三類：邊緣特征、線性特征和對(duì)角線特征，組合成一種由白色和黑色矩形構(gòu)造的特征模板，該模板的特征值為白色矩形減去黑色矩形像素和。簡單來說就是如果以B來判斷是否為眼睛，假設(shè)眼睛落在黑色區(qū)域則兩個(gè)區(qū)值相減為一個(gè)特征，如果矩形框落在臉頰部分則差值小。1.1.2HaarCascade級(jí)聯(lián)分類器HaarCascade是一系列用來確定一個(gè)對(duì)象是否存在在圖像中的對(duì)比檢查，這一過程分為多個(gè)階段，后段以前段為前提，對(duì)比檢查比較簡單，類似檢查圖像的中心垂直是否比邊緣更輕微之類的行為，前期會(huì)進(jìn)行大范圍檢查，后期則是扣細(xì)小區(qū)域的問題。1.1.3Dlib人臉檢測(cè)基于Dlib的人臉檢測(cè)算法旨在獲取特征點(diǎn)然后將特征點(diǎn)轉(zhuǎn)換為特征向量，最后需要計(jì)算歐式距離，歐式距離指的是兩個(gè)向量（點(diǎn)）之間的直線距離，歐氏距離越小，向量距離越接近，差異性越小。設(shè)向量x(x1,x2xm)和向量y(y1,y2...ym),則歐氏距離：歐式距離越小兩人越相似。上述算法使用Python和OpenCV在Pycharm實(shí)現(xiàn)。1.2臉部特征點(diǎn)檢測(cè)為了定位人眼的位置，我們需要先實(shí)現(xiàn)人臉特征點(diǎn)的檢測(cè)，值得注意的是我們通過dlib.get-frontal-face-detector()來獲取人臉檢測(cè)器，使用dlib.shape-predictor()來預(yù)測(cè)人臉關(guān)鍵點(diǎn)，使用pycharm創(chuàng)建項(xiàng)目以及新建一個(gè)python文件face-landmark-vidio，整理出實(shí)現(xiàn)該程序的步驟：首先我們要加入庫cv2和dlib，然后我們需要實(shí)現(xiàn)打開攝像頭步驟，之后我們要獲取人臉檢測(cè)器并獲取人臉關(guān)鍵點(diǎn)檢測(cè)模型，此外我們還要讀取視頻流并進(jìn)行灰度轉(zhuǎn)換然后實(shí)現(xiàn)接收人臉檢測(cè)，根據(jù)人臉檢測(cè)繪制每張人臉識(shí)別的矩形框確定矩形框的坐標(biāo)以及使用predictor檢測(cè)器檢測(cè)關(guān)鍵點(diǎn)，獲取68個(gè)關(guān)鍵點(diǎn)，然后需要獲取這68個(gè)關(guān)鍵點(diǎn)的坐標(biāo)，可以使用for循環(huán)，注意設(shè)置點(diǎn)的半徑，例如cv2.circle(frame,pt-position,3,(255,0,0),-1),其中關(guān)鍵點(diǎn)大小設(shè)置為3，設(shè)置-1使得關(guān)鍵點(diǎn)是一個(gè)實(shí)心圓，最后使用imshow語句將整個(gè)效果顯示出來。同理，也可使用相似方法實(shí)現(xiàn)對(duì)圖片的人臉關(guān)鍵點(diǎn)檢測(cè)。但是此次實(shí)驗(yàn)我們發(fā)現(xiàn)在通過視頻獲取人臉關(guān)鍵點(diǎn)檢測(cè)時(shí)，如果人臉發(fā)生偏移運(yùn)動(dòng)則會(huì)出現(xiàn)檢測(cè)不準(zhǔn)確的情況，還有待改善。1.3眼睛區(qū)域提取通過網(wǎng)絡(luò)查找學(xué)習(xí)，我們了解到確定眼睛區(qū)域的具體方法是：獲取人臉特征點(diǎn)后我們需要定位眼睛區(qū)域,定位的結(jié)果要盡量排除干擾選項(xiàng)，比如眉毛，每個(gè)人的眉毛都不一樣，有的彎有的直，有的平有的挑，眉毛左右應(yīng)各有5個(gè)特征點(diǎn),若無特殊情況是很準(zhǔn)確的,左右眼各有6個(gè)特征點(diǎn)。這樣我們可以判斷出不含眉毛的眼睛區(qū)域。研究時(shí)我們先根據(jù)已知特征點(diǎn)找到矩形的左拐點(diǎn)坐標(biāo)(X,Y),然后確定矩形的寬度W和高度H,最后用這個(gè)矩形區(qū)域框出眼睛區(qū)域圖像。我們舉個(gè)例子,如果我們?cè)O(shè)左邊眉毛的5個(gè)特征點(diǎn)從左往右數(shù)，每個(gè)點(diǎn)的坐標(biāo)依次為A1(xm1,ym1),A2(xm2,ym2)，A3(xm3,ym3)，A4(xm4,ym4)，A5(xm5,ym5),左眼的以左眼角點(diǎn)為旋轉(zhuǎn)點(diǎn)，以順時(shí)針為旋轉(zhuǎn)順序的6個(gè)特征點(diǎn)坐標(biāo)依次為B1(xe1,ye1)，B2(xe2,ye2)，B3(xe3,ye3)，B4(xe4,ye4)，B5(xe5,ye5)，B6(xe6,ye6),則應(yīng)該如下圖1.1.1所示:圖1.1.1人臉檢測(cè)和眼睛區(qū)域提取圖眉毛眼睛特征點(diǎn)矩形區(qū)域的左上角的Y坐標(biāo)使用下式計(jì)算得到:上式中,a,b,c作為設(shè)定參數(shù)。矩形區(qū)域的左上角的X坐標(biāo)使用公式計(jì)算得到:we=xe4XLT=xe1ɑ為0到1的一個(gè)小數(shù)。然后還要計(jì)算矩形的寬度和高度。矩形的高度HH=β寬度WW=λw根據(jù)計(jì)算得到的做拐點(diǎn)坐標(biāo)以及矩形的寬和高,這樣我們就可以在之前通過實(shí)驗(yàn)獲取的人臉區(qū)域上得到一個(gè)矩形,這個(gè)矩形只包括了眼睛,不會(huì)包含眉毛等其他區(qū)域,如圖1.1.2人眼區(qū)域圖1.1.2人眼區(qū)域在實(shí)際生活中，由于人的運(yùn)動(dòng)，人臉的方向發(fā)生偏移，對(duì)于偏移角度大的圖像,如果眉毛的最低點(diǎn)低于眼睛的最高點(diǎn)還使用該方法則會(huì)剪出有眉毛的眼睛圖像,我們可以在偏移圖像旋轉(zhuǎn)糾正后再進(jìn)行人眼定位,旋轉(zhuǎn)角即為對(duì)稱眉毛特征點(diǎn)連線與水平線之前的角度。假設(shè)兩個(gè)對(duì)稱特征點(diǎn)坐標(biāo)為Al(x1,y1),B2(x2,y2)。那么旋轉(zhuǎn)角應(yīng)該是:Θ=tan設(shè)我們獲取的人眼圖像中其中一個(gè)點(diǎn)的坐標(biāo)為(x0,y0),經(jīng)過旋轉(zhuǎn)后，在得到的圖像上這個(gè)點(diǎn)的對(duì)應(yīng)坐標(biāo)為(x,y),如果原來的人眼圖像中寬W高H,那么旋轉(zhuǎn)之后的人眼圖像寬和高可以設(shè)為w和h,那么旋轉(zhuǎn)后人眼圖像的圖像坐標(biāo)點(diǎn)與原人眼圖像中圖