眼動追蹤算法研究摘要眼睛是我們獲取信息最直接的方式。我們需要對人臉檢測，對人眼區(qū)域進行提取，對瞳孔中心進行定位，對視線方向進行判斷等方面進行研究，對一張正臉照進行人臉檢測和特征點檢測，先了解各種人臉檢測和特征點檢測方法，最終選中了基于Dlib庫的人臉檢測算法以及進行人臉特征點檢測，根據(jù)特征點提取出人眼區(qū)域，再使用基于圖像梯度的瞳孔定位算法定位瞳孔中心并進行初步的視線方向判斷。關(guān)鍵詞：眼動追蹤，人臉檢測，瞳孔定位，視線估計目錄TOC\o"1-3"\h\u263581.緒論 634011.1眼動追蹤算法的研究背景及意義 6139301.2眼動追蹤算法的國內(nèi)外研究現(xiàn)狀 6148221.3眼動追蹤算法的可行性分析 7310462.眼動追蹤算法基礎(chǔ)概念 8190352.1人眼結(jié)構(gòu)和視覺原理 890692.2眼動追蹤算法 814032.3眼動追蹤算法的發(fā)展及應(yīng)用 8248222.3.1人機交互領(lǐng)域的應(yīng)用 9115882.3.2交通領(lǐng)域的應(yīng)用 9166482.3.3商業(yè)領(lǐng)域中的應(yīng)用 973942.3.4醫(yī)學(xué)領(lǐng)域的應(yīng)用 9862.3.5教育領(lǐng)域的應(yīng)用 9316482.4眼動追蹤技術(shù)的各種實現(xiàn)方法 10145252.4.1瞳孔定位技術(shù) 10216732.4.2判斷視線技術(shù) 1198733.人臉檢測并獲取眼睛區(qū)域 1385793.1人臉檢測 13311333.1.1Harr-like特征 1314493.1.2HaarCascade級聯(lián)分類器 1358653.1.3Dlib人臉檢測 13111843.2臉部特征點檢測 1465783.3眼睛區(qū)域提取 14309393.4實驗結(jié)果 1654444.人眼瞳孔定位算法研究與實現(xiàn) 18128124.1基于圖像梯度瞳孔定位算法查漏補缺 18262674.2在已獲取特征點基礎(chǔ)上的視線方向判斷 2017773參考文獻 2318002附錄 251.緒論1.1眼動追蹤算法的研究背景及意義感覺是判斷物體與物體之間聯(lián)系的一種方法，是使人的心與周圍建立起相應(yīng)關(guān)系的一種方式，眼睛會接收大量信息，根據(jù)接受的信息大腦會發(fā)出相應(yīng)指令。20世紀(jì)30年代，眼動追蹤算法被定義，但研究進展緩慢，隨著科技不斷發(fā)展，圖像處理技術(shù)逐漸成熟，更多的人注意到眼動追蹤技術(shù)：追蹤眼睛的運動軌跡，得到人眼運動的特性，根據(jù)研究圖像還可以獲取人對事物最主觀的看法，更科學(xué)有效的了解人和物之間的關(guān)系，人眼是運動的，在不同的情境下人會擁有不同的反應(yīng)獲得不同的信息，通過此研究可以科學(xué)有效真實的了解人的心理活動，更能預(yù)判人的行為分析人的行為動機。1.2眼動追蹤算法的國內(nèi)外研究現(xiàn)狀研究眼動追蹤技術(shù)手段一直在改變，由硬件漸漸偏向軟件。硬件裝置容易被人自身影響但識別精度高且反應(yīng)迅速。以軟件為基礎(chǔ)的技術(shù)更受喜愛，如圖1.2.1是以軟件為基礎(chǔ)的眼動追蹤技術(shù)流程圖。1.2.1眼動追蹤技術(shù)流程圖以前圖像處理技術(shù)具有較強的靜態(tài)圖像處理特性。1997年，第一個VSAM（視覺監(jiān)控）校園監(jiān)控系統(tǒng)由卡內(nèi)基梅隆大學(xué)建立，實現(xiàn)對可使用人員的跟蹤實時監(jiān)控是系統(tǒng)W4，該系統(tǒng)由馬里蘭大學(xué)開發(fā)，雷丁大學(xué)研究的交通監(jiān)控系統(tǒng)，可以實現(xiàn)車輛和行人交互檢測。1986年起我們主要利用國外技術(shù)，后來隨著中國的不斷發(fā)展，跟隨世界的腳步，中國科學(xué)院研制了一套眼動自動測量系統(tǒng)，該系統(tǒng)應(yīng)用了角膜和皮革反射原理：用紅外光照射眼睛，角膜和鞏膜會反射不同量的紅外光；西安電子科技大學(xué)研究出一種可以精確定位瞳孔中心的基于頭盔的眼球牽引器，。北京科技大學(xué)研究發(fā)現(xiàn)了三維視覺跟蹤方法，這是一種針對靜態(tài)用戶頭部的眼球跟蹤算法。1.3眼動追蹤算法的可行性分析眼動追蹤技術(shù)還要繼續(xù)深入，對于普通百姓來說眼動追蹤技術(shù)還很陌生，精度高的眼動儀貴不便，性價比不高；簡易的眼動追蹤系統(tǒng)在精度和實用性不高。因此雖然國內(nèi)外對眼動追蹤技術(shù)的研究已經(jīng)進行并且有了這方面的了解，但是世界對眼動追蹤依舊需要要保持好奇心，繼續(xù)努力發(fā)展眼動追蹤技術(shù)。另外在研究設(shè)計過程中會有一些狀況，比如在眨眼時人眼運動導(dǎo)致獲取圖像不清晰難以定位眼球位置。另外在不同光照的下，對視線方向與注視點估計存在誤差。使用者可能會四處張望，不能保證自己精神的集中，這個時候眼球的運動和視線的移動是沒有研究意義的，所以，判斷使用者是否是有意識的發(fā)出指令是比較難的。

眼動追蹤算法基礎(chǔ)概念2.1人眼結(jié)構(gòu)和視覺原理如圖2.1.1描述，這是人眼的生理結(jié)構(gòu)，人眼近似一個球，由屈光系統(tǒng)和感光系統(tǒng)兩部分組成，眼球壁、眼內(nèi)腔和內(nèi)容物、神經(jīng)、血管等組織都屬于它。圖2.1.1人眼生理結(jié)構(gòu)我們把人眼類比為照相機，角膜：鏡頭前的濾光鏡，起著保護的作用。鞏膜：照相機的外殼，起保護的作用。瞳孔：照相機的光圈，可以調(diào)節(jié)景深。晶狀體：照變焦鏡頭，負(fù)責(zé)把像聚焦，投射到視網(wǎng)膜上。脈絡(luò)膜：照相機的暗箱。視網(wǎng)膜：照相機內(nèi)的膠卷，是影像成形的地方。各個位置相輔相成，任何部分出現(xiàn)問題，都會影響清晰影像的形成。2.2眼動追蹤算法我們將人的眼睛看作一個球體，眼動可以分為：凝視、跳動、平滑移動以及眨眼。凝視是指眼睛的焦點長時間停留在某個物體上。在此期間其實眼睛也是在運動的，不過比較微小，大體上可以分成三種運動：自顫，慢漂移和微跳動。跳動指注視的目標(biāo)會從一個地方跳到另一個更感喜好的地方，此時就會發(fā)生眼跳運動，這個過程速度是非常快的。3.平滑移動。當(dāng)觀察的物體在運動時，眼睛會隨著物體的運動而發(fā)生運動。平滑追蹤的過程中，人的追蹤能力水平高于豎直，下高于上形成閉環(huán)。4.眨眼。是一種不自覺的保護動作，可以緩解眼睛的肌肉壓力，如果頭部保持不動，眼睛轉(zhuǎn)動可以改變視線方向。2.3眼動追蹤算法的發(fā)展及應(yīng)用早期眼動追蹤的研究主要使用觀察法，通過直接觀察獲取結(jié)果，這種方法得到的結(jié)果很粗略。后來人們研究出一種自動化的方式：通過橡膠吸盤直接與眼睛接觸得到記錄數(shù)據(jù)，這種方法非常不舒服并且不方便。還有一種方法是使用照相機拍攝眼睛運動的連續(xù)圖像，但眼電電位的記錄不是很準(zhǔn)確。最早的追蹤電子設(shè)備電磁鞏膜搜索線圈，該方法需要將儀器嵌入隱形眼鏡中，會對人造成很大傷害。最終經(jīng)過人們不斷地研究探索，人們發(fā)明了非侵入式眼動追蹤方法。眼動追蹤技術(shù)也被逐漸應(yīng)用到各個領(lǐng)域當(dāng)中。2.3.1人機交互領(lǐng)域的應(yīng)用人機交互是指用戶通過人機交互界面與系統(tǒng)交流，常用的眼動設(shè)備有頭戴式眼動儀，開源設(shè)備還有遠(yuǎn)程眼動儀。從早期通過輸入輸出與計算機交流開始，到現(xiàn)在自然的人機交互，人們的研究越來越注重以人為中心。人的眼睛是接受外界信息的重要渠道，通過對人眼的追蹤可以獲取人的視覺信息，判斷使用者的意圖。2.3.2交通領(lǐng)域的應(yīng)用隨著人民生活水平逐漸提高，幾乎每家每戶都被普及了汽車，汽車的使用者多了，這就會導(dǎo)致交通事故的增多，除去外界的因素，司機本人的狀態(tài)對是否會發(fā)生事故有很大的影響，通過人眼軌跡的追蹤，可以科學(xué)有效的判斷司機的疲勞狀態(tài)，能有效避免交通事故，也為已發(fā)生的交通事故處理提供了方便，這對飛行員也同樣適用2.3.3商業(yè)領(lǐng)域中的應(yīng)用眼動追蹤技術(shù)在商業(yè)領(lǐng)域非常實用，是獲取客戶信息的有效手段，通過對眼睛運動軌跡的追蹤獲取運動數(shù)據(jù)根據(jù)運動數(shù)據(jù)了解消費者的喜好并對此做出調(diào)整。例如在超市，我們可以借助有關(guān)數(shù)據(jù)幫助超市合理上貨擺貨，有針對性的改進包裝缺陷。在淘寶等手機商店界面可以判斷消費者喜好并根據(jù)獲取信息推薦商品，有效的增加消費量。2.3.4醫(yī)學(xué)領(lǐng)域的應(yīng)用在醫(yī)學(xué)治療領(lǐng)域，英國卡迪夫大學(xué)地理與規(guī)劃學(xué)院做了相關(guān)的研究，該院的研究人員對于利用眼動追蹤技術(shù)研究控制亞歷克斯患者行為做出的反饋具有杰出貢獻。美國威視公司開發(fā)的VISXSTARS3可以治療遠(yuǎn)視和散光。在心理學(xué)方面宋杰等發(fā)現(xiàn)低焦慮者更關(guān)心積極的信息，高焦慮者更關(guān)心消極的信息。根據(jù)追蹤患者的眼睛運動軌跡可以分析他們的心理活動，醫(yī)生可以根據(jù)相關(guān)數(shù)據(jù)科學(xué)幫助病人更快更好的治療。2.3.5教育領(lǐng)域的應(yīng)用在教育領(lǐng)域，斯洛伐克科技大學(xué)專門對此做出了研究，為了研究學(xué)生的學(xué)習(xí)狀態(tài)以及生活狀態(tài)鍵入了眼動追蹤技術(shù)，老師可以隨時關(guān)注學(xué)生在發(fā)現(xiàn)并解決問題中注意力集中程度、得到的學(xué)習(xí)成果以及在此期間心理變化情況，以此可以確定出學(xué)生感興趣的區(qū)域。2.4眼動追蹤技術(shù)的各種實現(xiàn)方法2.4.1瞳孔定位技術(shù)1.眼睛區(qū)域求質(zhì)心法xp=xω(xp)=N（I(其中眼睛區(qū)域用Ω表示，灰度圖用I表示，N表示均值μ，方差σ2的2.基于Hough變換圓的瞳孔中心定位方法先對清晰圖像進行二值化處理然后進行邊緣提取，使用Hough變圓，圓心近似瞳孔中心。3.基于主動輪廓線定位方法該算法需要計算很長時間，會影響實驗進程，有些難懂，不建議使用。4.基于局部閾值分割法的定位方法我們先用公式取出圓的邊緣：max(r,檢測出圓形后，使用局部閾值分割對紅外圖像進行二值化操作，根據(jù)幾何平均得到瞳孔中心。5.幾何法定位技術(shù)該方法旨在區(qū)域內(nèi)使用Sobel算子提取瞳孔邊緣輪廓線。圖2.4.1構(gòu)造圖在輪廓線上任選三點構(gòu)造三角形并作出外接圓，外接圓的中心近似瞳孔中心，如圖2.4.1構(gòu)造圖。6.基于圖像梯度法的定位技術(shù)圖像梯度向量場的向量指向中心，使用下式找到平均值最大的點近似為瞳孔中心：除此之外還有很多對瞳孔定位的相關(guān)算法。2.4.2判斷視線技術(shù)1.模板匹配法假設(shè)有一個Img，在Img上疊放一個模板，模板在1≤之間移動。求誤差，E，i，j的最小值作為最終值，i32.坐標(biāo)系變換法該方法使用電磁頭動追蹤系統(tǒng)檢測頭部相對地面的方向位置，再使用角膜的偏移等方法得到眼睛的位置。3.最小二乘法設(shè)坐標(biāo)(Xa,Ya)為校準(zhǔn)點，Xb,Yb為中心坐標(biāo)偏移量，映射關(guān)系f:Xb,Yb->Xa,Ya最小的均值誤差可以是：ε=（xs?Ma）T(其中M：M=1Y其中a,b：a=M?X3.人臉檢測并獲取眼睛區(qū)域人臉檢測使用了基于Dlib的人臉識別算法。人臉特征點檢測是為我們獲取眼睛區(qū)域的位置提供方便，我們可以使用已驗證的公式計算拿到矩形區(qū)域的左拐點坐標(biāo)，還有矩形的長和高，這樣我們可以獲取到?jīng)]有眉毛等其他區(qū)域的干凈的眼睛部位。3.1人臉檢測被研究出的人臉檢測方法多種多樣，此次我們在人臉檢測方面主要使用了基于dlib人臉檢測算法，同時我們也測試了簡單的Haarcascade級聯(lián)器條件下的人臉識別方法，在Viola和Jones等人提出的算法的過程為：先要獲取一個強分類器，根據(jù)特定的物體獲取一些正確視圖和一些非正確視圖將視圖調(diào)整為相同大小35*35，多個強分類器組成級聯(lián)分類器，可以加速研究進程。研究過程中我們可以直接通過計算機獲取一個完整的Harrcascade級聯(lián)器然后將該級聯(lián)器的frontface文件直接復(fù)制到研究項目所在文件夾，通過引用直接使用，通過plot-rectangle語句繪制檢測到的人臉，利用opencv庫獲取人臉數(shù)據(jù)的坐標(biāo)，繪制矩形框。3.1.1Harr-like特征Harr-like特征分為三類：邊緣特征、線性特征和對角線特征，組合成一種由白色和黑色矩形構(gòu)造的特征模板，該模板的特征值為白色矩形減去黑色矩形像素和。簡單來說就是如果以B來判斷是否為眼睛，假設(shè)眼睛落在黑色區(qū)域則兩個區(qū)值相減為一個特征，如果矩形框落在臉頰部分則差值小。3.1.2HaarCascade級聯(lián)分類器HaarCascade是一系列用來確定一個對象是否存在在圖像中的對比檢查，這一過程分為多個階段，后段以前段為前提，對比檢查比較簡單，類似檢查圖像的中心垂直是否比邊緣更輕微之類的行為，前期會進行大范圍檢查，后期則是扣細(xì)小區(qū)域的問題。3.1.3Dlib人臉檢測基于Dlib的人臉檢測算法旨在獲取特征點然后將特征點轉(zhuǎn)換為特征向量，最后需要計算歐式距離，歐式距離指的是兩個向量（點）之間的直線距離，歐氏距離越小，向量距離越接近，差異性越小。設(shè)向量x(x1,x2xm)和向量y(y1,y2...ym),則歐氏距離：歐式距離越小兩人越相似。上述算法使用Python和OpenCV在Pycharm實現(xiàn)。3.2臉部特征點檢測為了定位人眼的位置，我們需要先實現(xiàn)人臉特征點的檢測，值得注意的是我們通過dlib.get-frontal-face-detector()來獲取人臉檢測器，使用dlib.shape-predictor()來預(yù)測人臉關(guān)鍵點，使用pycharm創(chuàng)建項目以及新建一個python文件face-landmark-vidio，整理出實現(xiàn)該程序的步驟：首先我們要加入庫cv2和dlib，然后我們需要實現(xiàn)打開攝像頭步驟，之后我們要獲取人臉檢測器并獲取人臉關(guān)鍵點檢測模型，此外我們還要讀取視頻流并進行灰度轉(zhuǎn)換然后實現(xiàn)接收人臉檢測，根據(jù)人臉檢測繪制每張人臉識別的矩形框確定矩形框的坐標(biāo)以及使用predictor檢測器檢測關(guān)鍵點，獲取68個關(guān)鍵點，然后需要獲取這68個關(guān)鍵點的坐標(biāo)，可以使用for循環(huán)，注意設(shè)置點的半徑，例如cv2.circle(frame,pt-position,3,(255,0,0),-1),其中關(guān)鍵點大小設(shè)置為3，設(shè)置-1使得關(guān)鍵點是一個實心圓，最后使用imshow語句將整個效果顯示出來。同理，也可使用相似方法實現(xiàn)對圖片的人臉關(guān)鍵點檢測。但是此次實驗我們發(fā)現(xiàn)在通過視頻獲取人臉關(guān)鍵點檢測時，如果人臉發(fā)生偏移運動則會出現(xiàn)檢測不準(zhǔn)確的情況，還有待改善。3.3眼睛區(qū)域提取通過網(wǎng)絡(luò)查找學(xué)習(xí)，我們了解到確定眼睛區(qū)域的具體方法是：獲取人臉特征點后我們需要定位眼睛區(qū)域,定位的結(jié)果要盡量排除干擾選項，比如眉毛，每個人的眉毛都不一樣，有的彎有的直，有的平有的挑，眉毛左右應(yīng)各有5個特征點,若無特殊情況是很準(zhǔn)確的,左右眼各有6個特征點。這樣我們可以判斷出不含眉毛的眼睛區(qū)域。研究時我們先根據(jù)已知特征點找到矩形的左拐點坐標(biāo)(X,Y),然后確定矩形的寬度W和高度H,最后用這個矩形區(qū)域框出眼睛區(qū)域圖像。我們舉個例子,如果我們設(shè)左邊眉毛的5個特征點從左往右數(shù)，每個點的坐標(biāo)依次為A1(xm1,ym1),A2(xm2,ym2)，A3(xm3,ym3)，A4(xm4,ym4)，A5(xm5,ym5),左眼的以左眼角點為旋轉(zhuǎn)點，以順時針為旋轉(zhuǎn)順序的6個特征點坐標(biāo)依次為B1(xe1,ye1)，B2(xe2,ye2)，B3(xe3,ye3)，B4(xe4,ye4)，B5(xe5,ye5)，B6(xe6,ye6),則應(yīng)該如下圖3.3.1所示:圖3.3.1人臉檢測和眼睛區(qū)域提取圖眉毛眼睛特征點矩形區(qū)域的左上角的Y坐標(biāo)使用下式計算得到:上式中,a,b,c作為設(shè)定參數(shù)。矩形區(qū)域的左上角的X坐標(biāo)使用公式計算得到:we=xe4XLT=xe1ɑ為0到1的一個小數(shù)。然后還要計算矩形的寬度和高度。矩形的高度HH=β寬度WW=λw根據(jù)計算得到的做拐點坐標(biāo)以及矩形的寬和高,這樣我們就可以在之前通過實驗獲取的人臉區(qū)域上得到一個矩形,這個矩形只包括了眼睛,不會包含眉毛等其他區(qū)域,如圖3.3.2人眼區(qū)域圖3.3.2人眼區(qū)域在實際生活中，由于人的運動，人臉的方向發(fā)生偏移，對于偏移角度大的圖像,如果眉毛的最低點低于眼睛的最高點還使用該方法則會剪出有眉毛的眼睛圖像,我們可以在偏移圖像旋轉(zhuǎn)糾正后再進行人眼定位,旋轉(zhuǎn)角即為對稱眉毛特征點連線與水平線之前的角度。假設(shè)兩個對稱特征點坐標(biāo)為Al(x1,y1),B2(x2,y2)。那么旋轉(zhuǎn)角應(yīng)該是:Θ=tan設(shè)我們獲取的人眼圖像中其中一個點的坐標(biāo)為(x0,y0),經(jīng)過旋轉(zhuǎn)后，在得到的圖像上這個點的對應(yīng)坐標(biāo)為(x,y),如果原來的人眼圖像中寬W高H,那么旋轉(zhuǎn)之后的人眼圖像寬和高可以設(shè)為w和h,那么旋轉(zhuǎn)后人眼圖像的圖像坐標(biāo)點與原人眼圖像中圖像坐標(biāo)點的對應(yīng)轉(zhuǎn)換如公式在目標(biāo)圖像中對每一個坐標(biāo)點進行訪問進行檢查和更新，這樣我們就定位了人眼區(qū)域,該區(qū)域沒有眉毛區(qū)域，再以上各個公式中類似a,b，c等參數(shù)選取需要我們重視,取值不合適會對定位的人眼區(qū)域包含不完全或者過多,寬度和高度大致差不多就可以,對最后瞳孔定位的影響不大。

4.人眼瞳孔定位算法研究與實現(xiàn)4.1基于圖像梯度瞳孔定位算法查漏補缺之前敘述的基于圖像梯度的瞳孔中心定位算法中，定位人眼區(qū)域所用圖像是同一比例，會因為干擾區(qū)域造成實驗誤差。我們可以探索從三方面優(yōu)化實驗提高準(zhǔn)確度：1.使用我們上文中敘述和研究的方法獲取眼睛區(qū)域的位置，這時我們拿到的是沒有眉毛、頭發(fā)等其他區(qū)域的眼睛區(qū)域；2.由于我們給眼球的范圍值大，但是其它范圍的值小，這樣就可以有效增大眼球范圍，提高定位區(qū)域的準(zhǔn)確，因此我們引入權(quán)值wc；3.在圖4.1中，這種情況并不合理，由于位移向量d和梯度向量g方向不同夾角為鈍角，這種情況不符合中心點要求，會增加點積的累加數(shù)值，從而造成在做定位時的誤差，所以我們可以不把這種情況下的點積放入公式4.1中。圖4.1可以忽略的位移向量和梯度向量除此之外然后我們要做的就是，借助我們知道的眉毛和眼睛的11個特征點精確的提取出只含有眼睛區(qū)域的圖像。另外我們發(fā)現(xiàn)提取出來的眼睛區(qū)域圖像中，眼球部分的顏色更深，所以我們萌生了一個想法，可以使用式4.5來對眼睛區(qū)域的灰度圖像進行取反值操作，對每個像素點都取反值來得到反值圖像，此時像眼球等顏色較深的位置會有相對大的值。眼睛原圖像和其反值圖如圖4.2所示。Ii255Ii（公式4.5）圖4.2眼睛原圖像與其反值圖像由于眼球的顏色比較深，眼球區(qū)域的反值圖像會有較大的值，同時也存在在一些特殊情況下比如在不同的光照下眼角、眼睫毛等也會顯得顏色比較深，有較深的顏色值，所以我們需要解決這個隱藏問題，繼續(xù)改進，我們先要用公式4.6進行操作對反值圖像進行二值化，二值化的閾值TD我們定義為圖像中亮度最大值乘以0.9。二值化后的圖像只保留眼球，眼睫毛等顏色深的區(qū)域，不計入其他顏色較淺的區(qū)域，在二值化圖像中，眼球所在區(qū)域的深度顏色最大，相對來說，眼睫毛等區(qū)域等深色較小且可以看作棉絮的形狀，所以我們要做的是要消除又細(xì)小又分散的亮點，對該二值化圖像進行先腐蝕操作后膨脹操作，我們稱之為開運算，開運算可以去掉細(xì)小又分散的區(qū)域，接著我們需要規(guī)整物體的邊線，最好不要改變其面積，然后再進行高斯模糊的操作，這樣我們就可以做到消除二值化圖像中的眼睫毛等其它不是眼睛的區(qū)域，拿到我們想要的權(quán)值圖。我們得到的權(quán)值圖大小比例應(yīng)該與眼睛圖像的大小比例一樣，并且把描述亮度點的大小看作權(quán)值大小。根據(jù)我們獲取的眼睛矩形區(qū)域的精確定位圖像，我們發(fā)現(xiàn)矩形的高和眼睛的直徑數(shù)值對等，我們設(shè)矩形高度即眼睛的直徑為h，那么對于估計點c和梯度點x，只要距離超過h的點積我們可以直接不計入數(shù)據(jù)。由此我們可得到新的中心定位計算公式4.7：想要改進算法的第三個缺陷，我們需要把圖4.6所示的情況，即位移向量和梯度向量不同方向的向量剔除，根據(jù)所學(xué)知識我們知道如果兩個向量形成的夾角為鈍角，那么它們的點積會是負(fù)值，因此我們把點積不是正數(shù)的位移向量和梯度向量放到累加公式中。改進后我們發(fā)現(xiàn)眼睛瞳孔中心定位公式應(yīng)該是：在公式4.2中對于點積數(shù)值非正數(shù)的位移向量和梯度向量，我們定義它為0來排除它們對定位結(jié)果的影響。對眼睛中心的定位我們使用該算法可以得到如圖4.3。圖4.3瞳孔定位的結(jié)果4.2在已獲取特征點基礎(chǔ)上的視線方向判斷在實驗過程中人是運動的，所以人眼也在不斷進行微運動，眼睛的運動會造成眉毛發(fā)生移動，但是眼球移動并不會造成眉毛特征點移動，所以可以以眉毛的特征點作為參考用來估計視線方向。左右上下的實現(xiàn)判斷方法是相似的，首先我們得得到一些雖然眼球運動但其位置不發(fā)生改變的點的坐標(biāo)，然后讓這個點的坐標(biāo)與我們實驗時得到的瞳孔中心的坐標(biāo)進行對比操作，用相對位置的變化來判斷視線方向，實驗過程中可能會出現(xiàn)一個問題就是眼球運動時上下移動范圍小，關(guān)鍵值難以確定且不夠準(zhǔn)確，而眼球在左右運動的空間較大，關(guān)鍵值的確定就簡單而準(zhǔn)確了。我們以左右視線方向的判斷為例子，進行簡單的描述：我們知道臉部的中線不會隨意發(fā)生改變，所以我們可以先獲取臉部的中線，假設(shè)左右兩邊眉毛最靠里的兩個特征點的坐標(biāo)為(x1,y1)和(x2,y2)，則中線方程式可以為：另外我們再設(shè)左右兩個瞳孔中心的坐標(biāo)為(x3,y3)和(x4,y4)，那么兩個瞳孔中心的連線可以用直線方程表示出來：之后我們要借助公式4.9和公式4.10求得交點，假設(shè)交點坐標(biāo)為(x0,y0)，我們就可以根據(jù)眼睛的瞳孔中心和交點(x0,y0)之間距離的大小來判斷左右視線方向。假設(shè)T為最大范圍，我們使用視頻正臉或其他幾幀圖像獲取一個標(biāo)準(zhǔn)S，然后對我們研究時得到的每一個圖像都進行一次計算并對比，再用得出的值與S比較。則判斷為向左注視；則判斷為向右注視；則為向前注視；同樣的我們想研究上下視線判斷的方法的話，需要獲取一個參照點，即不隨便改變位置的點，我們先要獲取兩邊眉毛的中垂線以及瞳孔連線的交點(x0,y0),已知眉毛兩特征點的中點為（xz,yz）,依據(jù)所學(xué)知識我們可以知道xz=(x1+x2)/2,yz=(y1+y2)/2。我們設(shè)此時T2為最大范圍，S2為標(biāo)準(zhǔn)值。利用中點(xz,yz)到眼睛的瞳孔連線的距離和瞳孔之間的距離比較來判斷上下視線方向。中點(xz,yz)到瞳孔連線的距離D可以表示為：如果則判斷為向上注視；如果則判斷為向下注視；如果則判斷為向前注視。

參考文獻李永強.一種用于智能頭顯的眼動跟蹤系統(tǒng)[J].現(xiàn)代計算機,2019(13):86-91.姚運萍,吳慶娟,高東波.一種低成本基于眼動跟蹤人機交互系統(tǒng)的研發(fā)[J].新技術(shù)新工藝,2008,000(012):86-88.田媚,黃雅平,李清勇,鄒琪.基于眼動追蹤技術(shù)的研究型教學(xué)體系建設(shè)[J].計算機教育,2015(03):37-40.孟春寧.人眼檢測與跟蹤的方法及應(yīng)用研究[D].南開大學(xué),2013.姜婷婷,吳茜,徐亞蘋,王瑤璇.眼動追蹤技術(shù)在國外信息行為研究中的應(yīng)用[J].情報學(xué)報,2020,39(02):217-230.ZhangZhen,YuChuang,WangSa.TheEyeMovementExperimentalStudyontheApplicationofGeometricPatternsinArchitecture——TakeVoronoiasaCase[C].中國環(huán)境行為學(xué)會、華中科技大學(xué)建筑與城市規(guī)劃學(xué)院.城鄉(xiāng)環(huán)境的差異與融合：第十三屆環(huán)境行為研究國際學(xué)術(shù)研討會論文集.中國環(huán)境行為學(xué)會、華中科技大學(xué)建筑與城市規(guī)劃學(xué)院:華中科技大學(xué)出版社有限責(zé)任公司,2018:30-35.馮小燕,王志軍,吳向文.我國教育技術(shù)領(lǐng)域眼動研究的現(xiàn)狀與趨勢分析[J].中國遠(yuǎn)程教育,2016(10):22-29.陸柳杏,石宇,李濟遠(yuǎn),吳丹.人機交互研究中的眼動追蹤:主題、作用、動向[J].圖書情報工作,2020,64(01):113-119.王曉明,趙歆波.閱讀眼動追蹤語料庫的構(gòu)建與應(yīng)用研究綜述[J].計算機科學(xué),2020,47(03):174-181.吳榮榮.VR環(huán)境下的眼動追蹤系統(tǒng)及其應(yīng)用研究[D].天津財經(jīng)大學(xué),2019.姚依妮,孫建明,林月華,武志云.眼動追蹤技術(shù)應(yīng)用分析[J].輕工科技,2018,34(09):80-82.王浩.眼動跟蹤技術(shù)的研究與實現(xiàn)[D].吉林大學(xué),2016.馮佳,王克非.探悉翻譯過程的新視窗:鍵盤記錄和眼動追蹤[J].中國翻譯,2016,37(01):12-18.周嘉賓.眼動跟蹤系統(tǒng)算法研究與實現(xiàn)[D].西安電子科技大學(xué),2010.安順鈺.基于眼動追蹤的手機界面可用性評估研究[D].浙江大學(xué),2008.

附錄Harrcascade級聯(lián)器#1導(dǎo)入庫

importcv2

importnumpyasnp

importmatplotlib.pyplotasplt

#2方法：顯示圖片

defshow_iamge(image,title,pos):

#BGRtoRGB

img_RGB=image[:,:,::-1]

plt.subplot(2,2,pos)

plt.title(title)

plt.imshow(img_RGB)

plt.axis("off")

#3方法：繪制圖片中檢測到的人臉

defplot_rectangle(image,faces):

#拿到檢測到的人臉數(shù)據(jù)，返回4個值：坐標(biāo)(x,y),寬高width,height

for(x,y,w,h)infaces:

cv2.rectangle(image,(x,y),(x+w,y+h),(255,0,0),3)

returnimage

#4主函數(shù)

defmain():

#5讀取一張圖片

image=cv2.imread("wx.jpg")

#6轉(zhuǎn)換成灰度圖片

gray=cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)

#7通過OpenCV自帶的方法cv2.CascadeClassifier()加載級聯(lián)分類器

face_alt2=cv2.CascadeClassifier("haarcascade_frontalface_alt2.xml")

#8通過第7步，對圖像中的人臉進行檢測

face_alt2_detect=face_alt2.det