基于支持向量機(jī)的眼動(dòng)記錄系統(tǒng)設(shè)計(jì)

1自然光照明環(huán)境下的眼動(dòng)跟蹤技術(shù)基于相機(jī)眼動(dòng)記錄系統(tǒng)的視覺(jué)評(píng)估，可分為基于表的方法和基于資源的方法。由于不同的光照條件或頭部姿態(tài)下的人眼外觀圖像差別巨大,目前大多采用基于特征的方法,即提取瞳孔或虹膜中心、反射光斑等特征點(diǎn)作為估計(jì)注視方向的依據(jù)。文獻(xiàn)和考慮到人眼注視不同方向時(shí)虹膜在像面的投影呈現(xiàn)橢圓的特點(diǎn),利用橢圓擬合后虹膜輪廓的長(zhǎng)短軸之比及方向角估計(jì)注視方向。由于虹膜投影橢圓的形變隨眼睛轉(zhuǎn)動(dòng)的變化非常緩慢,這種方法需要極高的圖像分辨率才能達(dá)到理想的精度。利用反射光斑和瞳孔中心估計(jì)注視方向的方法最為常見(jiàn),其中包括單攝像機(jī)單光源、單攝像機(jī)多光源和多攝像機(jī)多光源等方法。采用單相機(jī)、單光源的系統(tǒng)精度易受頭部運(yùn)動(dòng)影響,用多個(gè)攝像機(jī)或多個(gè)光源能夠精確估計(jì)頭部運(yùn)動(dòng)、建立相對(duì)準(zhǔn)確的3D模型實(shí)現(xiàn)視線估計(jì),但卻使系統(tǒng)裝配和校準(zhǔn)過(guò)程更加復(fù)雜、造價(jià)更加昂貴。另外,雖然紅外光源的使用能夠增加圖像對(duì)比度,但只能用于室內(nèi)環(huán)境,且長(zhǎng)期照射紅外光易使人增加患白內(nèi)障的風(fēng)險(xiǎn),因此未來(lái)眼動(dòng)跟蹤技術(shù)的發(fā)展趨勢(shì)還將是不使用紅外光源照明的系統(tǒng)。在自然光照明環(huán)境下,多采用虹膜中心和眼角點(diǎn)估計(jì)注視方向。由于眼角點(diǎn)的位置基本不隨眼睛運(yùn)動(dòng)而改變,因此采用虹膜中心-眼角點(diǎn)與瞳孔中心-反射光斑的方法基本等價(jià)。最近,Sesma等人的研究成果表明,采用虹膜中心和眼角點(diǎn)估計(jì)注視方向可以達(dá)到理想的精度。但是在自然環(huán)境下,精確定位虹膜中心特別是眼角點(diǎn)位置是該方法最大的難點(diǎn)。用于記錄眼動(dòng)數(shù)據(jù)的設(shè)備也稱為眼動(dòng)儀,現(xiàn)有的商用眼動(dòng)儀大多采用多攝像機(jī)結(jié)合主動(dòng)紅外光源的方法,精度都已達(dá)到0.5°左右,但造價(jià)都在10萬(wàn)人民幣以上。高質(zhì)量的能響應(yīng)紅外波段的攝像機(jī)和鏡頭,以及較小的市場(chǎng),是現(xiàn)有眼動(dòng)儀價(jià)格昂貴的主要原因。由于中央凹的面積決定了人眼無(wú)需轉(zhuǎn)動(dòng)便能看清1°左右視場(chǎng)內(nèi)的景物,因此精度已不是當(dāng)今眼動(dòng)技術(shù)的難點(diǎn),而低成本、無(wú)紅外光源的眼動(dòng)記錄技術(shù)才是未來(lái)眼動(dòng)研究的關(guān)鍵。另外,在自然光照明下獲取的人眼圖像中,異色邊緣是最顯著的特征,此時(shí)反射光斑法不再適用。針對(duì)這些問(wèn)題,本文設(shè)計(jì)了一種低成本、無(wú)紅外光源的穿戴式眼動(dòng)記錄系統(tǒng),裝置靈活輕便,可以記錄受試者自由地注視任何場(chǎng)景的眼動(dòng)信息?？紤]到自然光照明環(huán)境下虹膜圖像的特點(diǎn),提出一種分段加權(quán)環(huán)形Hough變換算法用于提取虹膜輪廓及中心,訓(xùn)練支持向量回歸機(jī)(SVR)估計(jì)特征點(diǎn)與注視點(diǎn)的映射關(guān)系。實(shí)驗(yàn)結(jié)果表明,方案達(dá)到了理想的估計(jì)效果。2人工拍攝眼動(dòng)圖像設(shè)計(jì)的耳麥?zhǔn)窖蹌?dòng)儀如圖1所示,主要由2個(gè)普通CMOS攝像機(jī)和1個(gè)耳麥?zhǔn)街Ъ軜?gòu)成。其中,注視攝像機(jī)固定在安裝麥克風(fēng)的前臂上,從眼睛的斜下方拍攝單眼圖像;場(chǎng)景攝像機(jī)固定在從耳麥?zhǔn)街Ъ艿纳戏揭龅挠操|(zhì)吊臂上,用于拍攝眼睛看到的視場(chǎng)圖像。2個(gè)攝像機(jī)的分辨率均為640×360,通過(guò)USB3.0連接普通計(jì)算機(jī)。使用openCV在VisualStudio開(kāi)發(fā)環(huán)境中同步采集兩個(gè)攝像機(jī)所攝取的視頻數(shù)據(jù)。頭部運(yùn)動(dòng)對(duì)估計(jì)注視方向的影響,是傳統(tǒng)遙測(cè)式眼動(dòng)儀需要解決的關(guān)鍵問(wèn)題。傳統(tǒng)的解決方案包括使用多個(gè)高質(zhì)量相機(jī)、多個(gè)紅外光源和采用自動(dòng)控制的云臺(tái)等,而頭戴式眼動(dòng)儀具有克服這一問(wèn)題的天然優(yōu)勢(shì),近距離拍攝眼部圖像不但降低了對(duì)相機(jī)分辨率的要求,還大大簡(jiǎn)化了人眼檢測(cè)等圖像處理過(guò)程。由于注視攝像機(jī)與人眼的相對(duì)位置不變,可采用虹膜中心在圖像坐標(biāo)中的位置代替眼角點(diǎn)-虹膜中心向量。因此,提取虹膜中心并估計(jì)其與場(chǎng)景圖像中注視點(diǎn)的映射關(guān)系便可實(shí)現(xiàn)視線估計(jì)。3膜定位3.1人臉圖像大小的估計(jì)為在人眼圖像中獲取更小的人眼窗口,并進(jìn)一步縮小下一步的Hough變換搜索的范圍,采用文獻(xiàn)的方法,在注視攝像機(jī)獲取的人眼圖像中檢測(cè)更精確的人眼窗口。首先根據(jù)人眼圖像的大小估計(jì)人臉圖像大小,按文獻(xiàn)的方法構(gòu)造尺度不變梯度算子。人眼圖像采用長(zhǎng)度為29的梯度算子,所得列梯度圖像如圖2(b)所示。然后利用最大期望算法(EM)結(jié)合尺度不變的梯度積分投影函數(shù)分割出更精確的人眼窗口,分割結(jié)果如圖2(c)所示。3.2holl明確化的hock變換圓形Hough變換作為虹膜和瞳孔檢測(cè)的一種經(jīng)典算法,在二值化的邊緣圖像的基礎(chǔ)上,利用投票的思想,在圓心坐標(biāo)(xc,yc)及半徑r的三維空間中迭代尋找投票值最大的參數(shù)組合。圓形Hough變換定義為其中:(xi,yi)是邊緣圖像中的邊緣點(diǎn);(xc,yc)是圓心坐標(biāo);r是圓半徑。并且如果對(duì)應(yīng)參數(shù)為(xc,yc,r)的圓經(jīng)過(guò)邊緣點(diǎn)(xi,yi),則這個(gè)點(diǎn)使得h(xi,yi,xc,yc,r)=1,有多少個(gè)邊緣點(diǎn)在參數(shù)為(xc,yc,r)的圓上,此圓就獲得多少投票值。獲得投票越多(即H越大)則越接近圓形。自然光照明下,人眼圖像中無(wú)法分辨出瞳孔。因此,只能定位虹膜中心作為人眼中心。然而虹膜極易受到眼瞼及睫毛遮擋,通常不會(huì)呈現(xiàn)出理想的圓形。文獻(xiàn)的實(shí)驗(yàn)結(jié)果也證明了經(jīng)典的Hough變換用于虹膜檢測(cè)的正確率不高。圖3展示了經(jīng)典的圓形Hough變換對(duì)數(shù)據(jù)錯(cuò)檢的例子,這是由于虹膜裸露部分較少導(dǎo)致眼瞼邊緣更易被檢出。針對(duì)上述問(wèn)題,提出一種分段加權(quán)環(huán)形Hough變換算法。該方法充分考慮到人眼圖像的3個(gè)特點(diǎn):1)虹膜邊緣的上部和下部最易受眼瞼和睫毛遮擋;2)虹膜左右側(cè)鄰接白色鞏膜,左側(cè)邊緣的梯度方向近似朝向左側(cè),右側(cè)向右;3)眼球轉(zhuǎn)動(dòng)會(huì)導(dǎo)致虹膜的成像并非正圓,且運(yùn)動(dòng)模糊等圖像噪聲也會(huì)導(dǎo)致虹膜邊緣并不是嚴(yán)格在正圓上。充分利用這些先驗(yàn)知識(shí)指導(dǎo)Hough變換的投票過(guò)程,構(gòu)造出一種權(quán)值為分段函數(shù)的環(huán)形Hough變換,定義為其中式中,R表示將落在半徑r-1到r+1的圓環(huán)里的點(diǎn)都記入投票。考慮到上述人眼圖像的第3個(gè)特點(diǎn),構(gòu)造此圓環(huán)可以增加對(duì)非嚴(yán)格正圓形狀的魯棒性。權(quán)重w為分段函數(shù)式中:θ為以Hough變換中圓心為中心的極坐標(biāo)中的極角;Rg為(xi,yi)為邊緣點(diǎn)(xi,yi)的梯度方向。每個(gè)邊緣點(diǎn)(xi,yi)在不同的參數(shù)對(duì)(xc,yc,r)下有不同的權(quán)值,權(quán)值大小由該點(diǎn)的梯度方向和該點(diǎn)在參數(shù)(xc,yc,r)對(duì)應(yīng)圓中的空間位置決定。依據(jù)上述人眼圖像的前兩個(gè)特點(diǎn),如圖4所示,以直線AC和BD將整個(gè)圓環(huán)上的點(diǎn)分為4個(gè)部分,滿足上述條件的左右兩部分的權(quán)重較大,而上下兩部分及不滿足第2個(gè)特點(diǎn)的邊緣點(diǎn)權(quán)重較小。3.3分段加權(quán)環(huán)形hock變換系統(tǒng)的注視相機(jī)距離人眼較近,并且由于普通CMOS攝像機(jī)景深較大,即使固定焦距攝像機(jī)也可在一定范圍內(nèi)獲得清晰的圖像。采用Canny算子提取人眼圖像邊緣,平滑參數(shù)取4,閾值根據(jù)直方圖波谷法自適應(yīng)確定。邊緣檢測(cè)結(jié)果如圖2(d)所示。在進(jìn)行分段加權(quán)環(huán)形Hough變換前,首先根據(jù)眼睛窗口估計(jì)虹膜半徑,目的是縮小Hough變換過(guò)程對(duì)半徑的搜索范圍。然后將每個(gè)半徑對(duì)應(yīng)的投票結(jié)果用周長(zhǎng)進(jìn)行歸一化,選取三維參數(shù)空間(xc,yc,r)中最大的值對(duì)應(yīng)的Hm圓作為虹膜檢測(cè)結(jié)果。圖2中,虹膜定位結(jié)果如(e)、(f)所示。圖5展示了分段加權(quán)環(huán)形Hough變換在max(Hm)對(duì)應(yīng)的半徑下對(duì)圖2中人眼窗口的投票結(jié)果。圖5中,最高峰的位置對(duì)應(yīng)圖2(e)、(f)中檢測(cè)出的虹膜中心坐標(biāo)。從圖5可看出,分段加權(quán)環(huán)形Hough變換在虹膜輪廓處得到顯著的極大值,符合最大化目標(biāo)與非目標(biāo)兩類間距的原則。4svr算法原理在同一頭部姿態(tài)下,眼睛依靠轉(zhuǎn)動(dòng)注視不同的方向。依據(jù)眼睛圖像中的特征點(diǎn)估計(jì)注視方向的常用方法有多項(xiàng)式擬合和神經(jīng)網(wǎng)絡(luò)等。多項(xiàng)式擬合法是傳統(tǒng)的基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的回歸方法,難以處理高維、非線性和小樣本問(wèn)題。人工神經(jīng)網(wǎng)絡(luò)具有很好的非線性逼近能力,但存在易出現(xiàn)過(guò)訓(xùn)練、訓(xùn)練不足或陷入局部極小值等缺陷?；诮y(tǒng)計(jì)學(xué)習(xí)理論的SVR算法能夠在一定程度上克服小樣本、非線性、過(guò)擬合及陷入局部極小等問(wèn)題,且擁有較強(qiáng)的泛化能力。類似支持向量機(jī)尋求使兩類樣本間距最大的超平面,SVR問(wèn)題是使所有樣本距離超平面的總偏差最小。其基本思想是在給定訓(xùn)練樣本集T={(xi,yi)|i=1,…,n}的基礎(chǔ)上,尋找使得期望風(fēng)險(xiǎn)最小化的函數(shù)f(x),其中xi是輸入空間中的一個(gè)樣本,yi是xi對(duì)應(yīng)的輸出值。SVR能夠在對(duì)訓(xùn)練數(shù)據(jù)的逼近精度與逼近函數(shù)的復(fù)雜性之間尋求折衷,實(shí)現(xiàn)結(jié)構(gòu)風(fēng)險(xiǎn)最小化。另外,SVR可以使用多種核函數(shù)處理高維非線性問(wèn)題。所用SVR機(jī)選擇ε不敏感損失函數(shù)及RBF核函數(shù),懲罰因子及核函數(shù)參數(shù)均由網(wǎng)格搜索法確定。利用訓(xùn)練樣本的虹膜中心坐標(biāo)作為輸入,分別將場(chǎng)景圖像中注視點(diǎn)的橫、縱坐標(biāo)作為輸出構(gòu)造兩個(gè)SVR機(jī),實(shí)現(xiàn)對(duì)測(cè)試樣本注視點(diǎn)的預(yù)測(cè)。5注視點(diǎn)估計(jì)誤差用設(shè)計(jì)的耳麥?zhǔn)窖蹌?dòng)記錄系統(tǒng),采集注視場(chǎng)景圖像中不同坐標(biāo)的視頻圖像。注視固定場(chǎng)景中不同的坐標(biāo)點(diǎn)與注視變化場(chǎng)景中的同一點(diǎn)的效果是相同的,由于測(cè)試者頭部可自由活動(dòng),很難使頭部固定在三維空間中某一位置不變。而人耳中的前庭可以感知頭部運(yùn)動(dòng),并調(diào)整眼動(dòng)補(bǔ)償頭動(dòng)以保持眼睛位置及注視點(diǎn)不變,這種天生的能力稱為前庭動(dòng)眼反射(VOR,vestibular-ocularreflex)。因此,采用不同頭部姿態(tài)注視同一點(diǎn)代替注視固定場(chǎng)景圖像中不同的點(diǎn),不僅方便了數(shù)據(jù)的采集和標(biāo)記,而且使得注視點(diǎn)坐標(biāo)位置不被局限于有限的標(biāo)記點(diǎn)。在目標(biāo)墻面上標(biāo)記了一個(gè)顯著的點(diǎn),在距離眼睛240cm左右處采集了不同頭部狀態(tài)下注視該點(diǎn)的視頻5段,共5min,從中選出200幀場(chǎng)景中包含注視點(diǎn)的圖像(同時(shí)選出對(duì)應(yīng)的200幅人眼圖像);在距離眼睛300cm左右處采集了不同頭部姿態(tài)下注視該點(diǎn)的視頻共2min,從中選出100幀。人眼圖像和場(chǎng)景圖像分辨率均為640×360。為方便校準(zhǔn),實(shí)驗(yàn)選取的注視場(chǎng)景為白色墻壁,無(wú)需借助其他校準(zhǔn)工具,可實(shí)現(xiàn)對(duì)黑色目標(biāo)點(diǎn)位置的自動(dòng)定位,黑色標(biāo)記點(diǎn)的中心即測(cè)試者的注視點(diǎn)。從距離眼睛240cm處的200幀圖像中選擇100幅作為訓(xùn)練樣本,另外100幅及距眼睛300cm處的100幅圖像分別作為測(cè)試樣本。通過(guò)標(biāo)定場(chǎng)景圖像中兩點(diǎn)之間的距離得出,在距眼睛240cm和300cm處的場(chǎng)景圖像中,每cm分別對(duì)應(yīng)3.65和2.85pixel,以此估算出的注視方向平均誤差見(jiàn)表1。由表1可看出,對(duì)240cm處的測(cè)試樣本的平均估計(jì)誤差為1.57°,而對(duì)沒(méi)訓(xùn)練過(guò)的300cm處的測(cè)試樣本的估計(jì)誤差為1.88°;對(duì)兩組測(cè)試樣本水平方向上的平均估計(jì)誤差均低于1°,已接近常見(jiàn)的商用眼動(dòng)儀。以在60cm處觀看48cm寬屏顯示器(1440×900)為例,系統(tǒng)在水平方向和垂直方向上的誤差分別為32和45pixel,約1到2個(gè)字符,能夠滿足日常交互需要。圖6為對(duì)部分訓(xùn)練樣本的測(cè)試結(jié)果,圖7為對(duì)兩組測(cè)試樣本中部分注視點(diǎn)的估計(jì)結(jié)果。為避免距離較近的注視點(diǎn)造成真實(shí)值與估計(jì)值的混淆,圖中只給出一部分測(cè)試結(jié)果。6工程應(yīng)用場(chǎng)景,美國(guó)svr-a設(shè)計(jì)了一套低成本、低侵入性的耳麥?zhǔn)窖蹌?dòng)記錄系統(tǒng),并充分考慮到自然環(huán)境下拍攝的人眼圖像的特點(diǎn),提出一種改進(jìn)的Hough變換算法定位虹膜,