人眼瞳孔定位算法研究與實(shí)現(xiàn)案例分析目錄TOC\o"1-3"\h\u27416人眼瞳孔定位算法研究與實(shí)現(xiàn)案例分析 1308541.1基于圖像梯度瞳孔定位算法查漏補(bǔ)缺 1143111.2在已獲取特征點(diǎn)基礎(chǔ)上的視線方向判斷 31.1基于圖像梯度瞳孔定位算法查漏補(bǔ)缺之前敘述的基于圖像梯度的瞳孔中心定位算法中，定位人眼區(qū)域所用圖像是同一比例，會(huì)因?yàn)楦蓴_區(qū)域造成實(shí)驗(yàn)誤差。我們可以探索從三方面優(yōu)化實(shí)驗(yàn)提高準(zhǔn)確度：1.使用我們上文中敘述和研究的方法獲取眼睛區(qū)域的位置，這時(shí)我們拿到的是沒有眉毛、頭發(fā)等其他區(qū)域的眼睛區(qū)域；2.由于我們給眼球的范圍值大，但是其它范圍的值小，這樣就可以有效增大眼球范圍，提高定位區(qū)域的準(zhǔn)確，因此我們引入權(quán)值wc；3.在圖1.1中，這種情況并不合理，由于位移向量d和梯度向量g方向不同夾角為鈍角，這種情況不符合中心點(diǎn)要求，會(huì)增加點(diǎn)積的累加數(shù)值，從而造成在做定位時(shí)的誤差，所以我們可以不把這種情況下的點(diǎn)積放入公式1.1中。圖1.1可以忽略的位移向量和梯度向量除此之外然后我們要做的就是，借助我們知道的眉毛和眼睛的11個(gè)特征點(diǎn)精確的提取出只含有眼睛區(qū)域的圖像。另外我們發(fā)現(xiàn)提取出來的眼睛區(qū)域圖像中，眼球部分的顏色更深，所以我們萌生了一個(gè)想法，可以使用式1.5來對(duì)眼睛區(qū)域的灰度圖像進(jìn)行取反值操作，對(duì)每個(gè)像素點(diǎn)都取反值來得到反值圖像，此時(shí)像眼球等顏色較深的位置會(huì)有相對(duì)大的值。眼睛原圖像和其反值圖如圖1.2所示。Ii255Ii（公式1.5）圖1.2眼睛原圖像與其反值圖像由于眼球的顏色比較深，眼球區(qū)域的反值圖像會(huì)有較大的值，同時(shí)也存在在一些特殊情況下比如在不同的光照下眼角、眼睫毛等也會(huì)顯得顏色比較深，有較深的顏色值，所以我們需要解決這個(gè)隱藏問題，繼續(xù)改進(jìn)，我們先要用公式1.6進(jìn)行操作對(duì)反值圖像進(jìn)行二值化，二值化的閾值TD我們定義為圖像中亮度最大值乘以0.9。二值化后的圖像只保留眼球，眼睫毛等顏色深的區(qū)域，不計(jì)入其他顏色較淺的區(qū)域，在二值化圖像中，眼球所在區(qū)域的深度顏色最大，相對(duì)來說，眼睫毛等區(qū)域等深色較小且可以看作棉絮的形狀，所以我們要做的是要消除又細(xì)小又分散的亮點(diǎn)，對(duì)該二值化圖像進(jìn)行先腐蝕操作后膨脹操作，我們稱之為開運(yùn)算，開運(yùn)算可以去掉細(xì)小又分散的區(qū)域，接著我們需要規(guī)整物體的邊線，最好不要改變其面積，然后再進(jìn)行高斯模糊的操作，這樣我們就可以做到消除二值化圖像中的眼睫毛等其它不是眼睛的區(qū)域，拿到我們想要的權(quán)值圖。我們得到的權(quán)值圖大小比例應(yīng)該與眼睛圖像的大小比例一樣，并且把描述亮度點(diǎn)的大小看作權(quán)值大小。根據(jù)我們獲取的眼睛矩形區(qū)域的精確定位圖像，我們發(fā)現(xiàn)矩形的高和眼睛的直徑數(shù)值對(duì)等，我們?cè)O(shè)矩形高度即眼睛的直徑為h，那么對(duì)于估計(jì)點(diǎn)c和梯度點(diǎn)x，只要距離超過h的點(diǎn)積我們可以直接不計(jì)入數(shù)據(jù)。由此我們可得到新的中心定位計(jì)算公式1.7：想要改進(jìn)算法的第三個(gè)缺陷，我們需要把圖1.6所示的情況，即位移向量和梯度向量不同方向的向量剔除，根據(jù)所學(xué)知識(shí)我們知道如果兩個(gè)向量形成的夾角為鈍角，那么它們的點(diǎn)積會(huì)是負(fù)值，因此我們把點(diǎn)積不是正數(shù)的位移向量和梯度向量放到累加公式中。改進(jìn)后我們發(fā)現(xiàn)眼睛瞳孔中心定位公式應(yīng)該是：在公式1.2中對(duì)于點(diǎn)積數(shù)值非正數(shù)的位移向量和梯度向量，我們定義它為0來排除它們對(duì)定位結(jié)果的影響。對(duì)眼睛中心的定位我們使用該算法可以得到如圖1.3。圖1.3瞳孔定位的結(jié)果1.2在已獲取特征點(diǎn)基礎(chǔ)上的視線方向判斷在實(shí)驗(yàn)過程中人是運(yùn)動(dòng)的，所以人眼也在不斷進(jìn)行微運(yùn)動(dòng)，眼睛的運(yùn)動(dòng)會(huì)造成眉毛發(fā)生移動(dòng)，但是眼球移動(dòng)并不會(huì)造成眉毛特征點(diǎn)移動(dòng)，所以可以以眉毛的特征點(diǎn)作為參考用來估計(jì)視線方向。左右上下的實(shí)現(xiàn)判斷方法是相似的，首先我們得得到一些雖然眼球運(yùn)動(dòng)但其位置不發(fā)生改變的點(diǎn)的坐標(biāo)，然后讓這個(gè)點(diǎn)的坐標(biāo)與我們實(shí)驗(yàn)時(shí)得到的瞳孔中心的坐標(biāo)進(jìn)行對(duì)比操作，用相對(duì)位置的變化來判斷視線方向，實(shí)驗(yàn)過程中可能會(huì)出現(xiàn)一個(gè)問題就是眼球運(yùn)動(dòng)時(shí)上下移動(dòng)范圍小，關(guān)鍵值難以確定且不夠準(zhǔn)確，而眼球在左右運(yùn)動(dòng)的空間較大，關(guān)鍵值的確定就簡(jiǎn)單而準(zhǔn)確了。我們以左右視線方向的判斷為例子，進(jìn)行簡(jiǎn)單的描述：我們知道臉部的中線不會(huì)隨意發(fā)生改變，所以我們可以先獲取臉部的中線，假設(shè)左右兩邊眉毛最靠里的兩個(gè)特征點(diǎn)的坐標(biāo)為(x1,y1)和(x2,y2)，則中線方程式可以為：另外我們?cè)僭O(shè)左右兩個(gè)瞳孔中心的坐標(biāo)為(x3,y3)和(x4,y4)，那么兩個(gè)瞳孔中心的連線可以用直線方程表示出來：之后我們要借助公式1.9和公式1.10求得交點(diǎn)，假設(shè)交點(diǎn)坐標(biāo)為(x0,y0)，我們就可以根據(jù)眼睛的瞳孔中心和交點(diǎn)(x0,y0)之間距離的大小來判斷左右視線方向。假設(shè)T為最大范圍，我們使用視頻正臉或其他幾幀圖像獲取一個(gè)標(biāo)準(zhǔn)S，然后對(duì)我們研究時(shí)得到的每一個(gè)圖像都進(jìn)行一次計(jì)算并對(duì)比，再用得出的值與S比較。則判斷為向左注視；則判斷為向右注視；則為向前注視；同樣的我們想研究上下視線判斷的方法的話，需要獲取一個(gè)參照點(diǎn)，即不隨便改變位置的點(diǎn)，我們先要獲取兩邊眉毛的中垂線以及瞳孔連線的交點(diǎn)(x0,y0),已知眉毛兩特征點(diǎn)的中點(diǎn)為（xz,yz）,依據(jù)所學(xué)知識(shí)我們可以知道xz=(x1+x2)/2,yz=(y1+y2)/2。我們?cè)O(shè)此時(shí)T2為最