1、基于眼睛狀態(tài)識(shí)別疲勞應(yīng)用于移動(dòng)設(shè)備的研究摘要：隨著移動(dòng)時(shí)代的到來，越來越多的人開始使用移動(dòng)設(shè)備，使用的時(shí)間也越來越長(zhǎng)。雖然移動(dòng)設(shè)備帶個(gè)人們生活上的便捷，同時(shí)也帶來健康上的。長(zhǎng)時(shí)間使用移動(dòng)設(shè)備會(huì)導(dǎo)致視力的減退，影響休息。本文將通過捕獲眼睛狀態(tài)來識(shí)別用戶的疲勞狀態(tài)，從而提醒用戶當(dāng)前的身體狀態(tài)。本文研究的主要包括人臉的捕獲與識(shí)別，人眼的捕獲與識(shí)別，眼睛狀態(tài)的分析，計(jì)算當(dāng)前的疲勞程度。：人臉，人眼，眼睛狀態(tài)識(shí)別Based on eye se recognition usedobile deviLiu HaoHuang Dong-JunAbstract：With the advent of the mo

2、bile era, more and more people start using mobiledeviare increasingly used in a long time. Although mobile deviwith theiral life convenient, but it also brings the threat of health on. Prolonged use ofmobile deviwill lead to viloss, affecting the rest. This article will identify thefatigue se of the

3、 users eye by capturing the se, thereby alerting the users currentphysical condition. This study includes the capture andysis of human facerecognition, identification and capture the eye, the eye condition, calculating thecurrent degree otigue.Key words: Face tracking, eye tracking, eye se recogniti

4、on第二章 人臉檢測(cè)及人眼定位2.1 引言眼睛狀態(tài)是進(jìn)行疲勞狀態(tài)判斷的重要依據(jù)，因此眼睛的定位是疲勞檢測(cè)系統(tǒng)的至關(guān)重要的一環(huán)。如果試圖在背景多變的中直接進(jìn)行人眼的定位，那么會(huì)有很多的干擾信息，使問題變得更加復(fù)雜。因此在定位人眼之前，先檢測(cè)出人臉，在人臉圖像上定位人眼，這樣能迅速縮減人眼定位區(qū)域，去掉無關(guān)區(qū)域信息造成的干擾，提高人眼定位的精確性與可靠性。人臉檢測(cè)就是在給定任意一張圖像，試圖找出圖像中所有的人臉，如果有則返回每個(gè)人臉的位置及大小17。對(duì)于人來說，這是一個(gè)極其簡(jiǎn)單的工作，然而對(duì)于計(jì)算機(jī)來說，這是非常具有性的。在過去的幾十年中，人臉檢測(cè)是計(jì)算機(jī)視研究最多的課題。這個(gè)課題主要集中于人臉圖

5、像的多樣性，比如尺度、位置的變化，人臉朝向、人臉姿態(tài)、人臉表情的變化，還會(huì)出現(xiàn)圖像光照變化及人臉可能會(huì)被背景部分遮擋。人眼定位是在一張包含人臉的圖像中準(zhǔn)確找出人眼的位置。相比于人眼檢測(cè)，人眼定位需要更高的準(zhǔn)確性，通常只允許有幾個(gè)像素的誤差。近期研究表明，確的人眼定位對(duì)于那些自動(dòng)人臉識(shí)別系統(tǒng)有很大的影響18，特別是基于人眼對(duì)齊的人臉，例如 Fisher 人臉和 Eigen 人臉。類似于其他的物體檢測(cè)，如人臉檢測(cè)19、行人檢測(cè)20、動(dòng)物檢測(cè)21等等，人眼定位最大的在于人眼變化的多樣性，如圖 2.2 所示。人眼會(huì)受大很多的影響，首先是人自身會(huì)有睜眼、閉眼、眨眼等狀態(tài)，造成了人眼外觀的變化，另外還有人

6、眼的大小和姿態(tài)的變化。其次是外在環(huán)境，比如光線的變化，被眼鏡，頭發(fā)等遮擋。在過去的幾十年里，在人臉檢測(cè)及人眼定位上已取得了非常大的進(jìn)步，比如對(duì)于正面人臉的檢測(cè)現(xiàn)已基本能夠達(dá)到實(shí)際需要的性能，廣泛應(yīng)用于實(shí)際中。但是要處理那些多姿態(tài)和遮擋問題時(shí)，性能就會(huì)下降，還需要進(jìn)一步的研究。人眼定位在處理一些特殊情況如眼睛小及遮擋問題時(shí)并不魯棒精確，也需要深一步的探索。2.2 人臉檢測(cè)方法概述人臉檢測(cè)是疲勞駕駛檢測(cè)系統(tǒng)的第一步，它為后續(xù)的人眼定位縮小檢測(cè)區(qū)域，從而提高檢測(cè)效率和精度。人臉檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域最重要、最基礎(chǔ)的技術(shù)。它為后面的其他研究擴(kuò)寬思路，指引方向。目前人臉檢測(cè)方法多種多樣，大致可以分為四大類

7、：基于知識(shí)的方法、基于不變特征的方法、基于模板匹配的方法和基于統(tǒng)計(jì)理論的方法。1.基于知識(shí)的人臉檢測(cè)方法。該方法首先需要通過分析和總結(jié)人臉的相關(guān)知識(shí)得到人臉圖像的先驗(yàn)知識(shí)，之后分析中的圖形形狀、灰度值等特征，并將分析這些特征得到的信息與人臉的先驗(yàn)知識(shí)相比對(duì)，檢驗(yàn)?zāi)繕?biāo)圖像是否符合先驗(yàn)知識(shí)或者人臉的相關(guān)特點(diǎn)從而獲得目標(biāo)圖像中存在人臉的圖像區(qū)域的相關(guān)信息。2.基于不變特征的人臉檢測(cè)方法。人的臉部圖像有很多特有的特征，比如臉部的結(jié)構(gòu)、皮膚的顏色、紋理等。這些特征都是區(qū)分人臉與臉圖像的主要依據(jù)。基于不變特征的人臉檢測(cè)算法是根據(jù)這些人臉的生理特征，使用一種或者多種特征訓(xùn)練相應(yīng)的分類器并對(duì)圖像進(jìn)行檢測(cè)。3.

8、基于模板匹配的人臉檢測(cè)方法。由于人的臉部特征的是一致的，那么將人臉圖像的各個(gè)特征看作為模板，該模板上各個(gè)特征的關(guān)系也是固定的，之后使用人臉和臉圖像作為樣本進(jìn)行訓(xùn)練并構(gòu)造分類器，將圖像中可能存在人臉的區(qū)域與之前提取的人臉模板進(jìn)行比較和分析來確定該區(qū)域是否存在人臉。4.基于統(tǒng)計(jì)理論的人臉檢測(cè)方法。該方法是將檢測(cè)的對(duì)象分為“人臉”和“非人臉”兩類樣本，并使用這兩類樣本來訓(xùn)練能夠區(qū)分這兩類樣本的分類器，通過判斷圖像中的疑似區(qū)域是否屬于“人臉”來進(jìn)行人臉檢測(cè)的。目前基于統(tǒng)計(jì)理論的方法使用較多，主要有：基于子空間的方法、基于神經(jīng)網(wǎng)絡(luò)的方法、基于支持向量機(jī)的方法、基于隱模型的方法以及 AdaBoost 算法

9、。目前由于AdaBoost 算法在速度方面的優(yōu)勢(shì)，實(shí)際應(yīng)用中基本都是基于該框架的人臉檢測(cè)系統(tǒng)，下面詳細(xì)介紹一下 AdaBoost 人臉檢測(cè)算法。2.3 AdaBoost 人臉檢測(cè)在人臉檢測(cè)中，最有的方法就是基于 AdaBoost 框架的人臉檢測(cè)方法。該方法由 Viola 和 Jones 在 200122提出，主要貢獻(xiàn)包括三個(gè)方面：首先，一種新的圖像表示即積分圖，它能夠使得特征的計(jì)算變得非常快速。其次是通過 AdaBoost 學(xué)習(xí)分類器，由多個(gè)弱分類器組成強(qiáng)分類器。最后是把分類器用級(jí)聯(lián)的結(jié)構(gòu)進(jìn)行組合。2.3.1 積分圖表示積分圖也被稱作圖像像素區(qū)域和表，是一種可以加速計(jì)算圖像矩形框中所有像素和的

10、算法。積分圖是由 Cow 在23中使用變頻編碼時(shí)，第一次引入到計(jì)算機(jī)圖像領(lǐng)域。Vioal 和 Jones 使用積分圖來快速計(jì)算Haar-like 特征。2.3.2 AdaBoost 學(xué)習(xí)對(duì)于檢測(cè)問題來說，通常檢測(cè)的物體具有很大的變化性，比如人臉檢測(cè)、行人檢測(cè)、動(dòng)物檢測(cè)等等。由于樣本的復(fù)雜性，很難找到一種合適的特征和分類器來很好地檢測(cè)物體，但是弱分類器是很容易找到的?；谶@種， Freund 和Schapire 在1990 年24首次提出通過聯(lián)合弱分類器來生成強(qiáng)分類器的Boosting算法。一種簡(jiǎn)單的 Boosting 算法就是采用舉手表決（majority vote）策略來聯(lián)合弱分類器，組成強(qiáng)

11、分類器。這種算法將所有弱分類器同等，效果不好。因?yàn)槿醴诸惼髂芰Σ煌?，投票時(shí)應(yīng)該賦予不同的權(quán)重。后來在 1997 年，F(xiàn)reund和 Schapire 在25提出了自適應(yīng)的 Boosting 算法，即 AdaBoost。AdaBoost (Adaptive Boosting) 是基于不同權(quán)重的投票算法，檢測(cè)率高的弱分類器往往會(huì)有高的權(quán)重，反之則低權(quán)重。2.3.3 級(jí)聯(lián)分類器在一幅圖像中進(jìn)行人臉檢測(cè)時(shí)，AdaBoost算法采用滑動(dòng)窗口方法，那么對(duì)于一張 240*320 的圖像，在不同位置將產(chǎn)生上百萬個(gè)子窗口，顯然檢測(cè)效率會(huì)很慢。 Viola-jones 分類器使用級(jí)聯(lián)分類器來率先淘汰那些背景子窗口

12、，并且保留正例樣本進(jìn)入下一層。因?yàn)樵谝粡垐D像中往往人臉?biāo)嫉淖哟翱跀?shù)是比較少的，所以前面幾層就會(huì)淘汰大多數(shù)的反例樣本，這樣整個(gè)圖像的檢測(cè)效率將得到很大提升。級(jí)聯(lián)分類器的整個(gè)檢測(cè)過程形成一棵決策樹，如圖 2.4 所示。測(cè)試的子窗口將輸入到第一層分類器中，如果，那么將直接丟棄，反之則傳入到下一層分類器中。通常情況下，每層弱分類器的數(shù)目將會(huì)遞增，例如在19中，前五層的弱分類器數(shù)目依次為 1,10,25,25,50。這個(gè)是很好理解的，因?yàn)槊恳粚佣荚诒ＷC正樣本進(jìn)入下一層的同時(shí)丟棄掉一部分負(fù)樣本，越往后面難度自然越大，所以需要的弱分類器來做決定。在開始幾層都會(huì)使用較少的弱分類器，這樣就會(huì)提高檢測(cè)效率，即平

13、均每個(gè)子窗口被掃描的次數(shù)比較少。級(jí)聯(lián)分類器在訓(xùn)練過程上和以往分類器的訓(xùn)練也有差別，由于人臉正樣本相對(duì)于負(fù)樣本（背景圖像）數(shù)量比較少。為了處理好這種正負(fù)樣本不均衡的情形，Viola和 Jones 訓(xùn)練時(shí)采用了自舉的方法。也就是，在每一層選定分類器的閾值后，訓(xùn)練好的分類器在負(fù)樣本池中測(cè)試，將那些沒有被篩選掉的樣本送入下一層的分類器中進(jìn)行訓(xùn)練。每一層分類器的訓(xùn)練都是獨(dú)立、互不影響的。有人說，這樣的訓(xùn)練過程為整個(gè)分類器加入了非線性結(jié)構(gòu)，從而提高了性能。然而最近的一些工作已經(jīng)證明在沒有這樣的層次結(jié)構(gòu)時(shí)，性能依然會(huì)提高。在19中，級(jí)聯(lián)分類器的構(gòu)建可以加入人工調(diào)整。在開始的幾層中，每層分類器的個(gè)數(shù)和閾值都是

14、進(jìn)行人工調(diào)整的。如果分類器閾值設(shè)比較激進(jìn)，那么檢測(cè)器速度會(huì)加快，但是檢測(cè)率會(huì)下降。另一方面，如果每層閾值設(shè)比較保守，那么越來越多的子窗口將傳送到后面層的分類器做判斷，這將使分類器的檢測(cè)速度變慢。所以，要訓(xùn)練一個(gè)好的人臉檢測(cè)器，必須花一定的時(shí)間來調(diào)節(jié)分類器的閾值。2.4 人眼定位當(dāng)把人臉檢測(cè)出來后，就可以在檢測(cè)的區(qū)域內(nèi)進(jìn)行人眼定位，這是疲勞檢測(cè)系統(tǒng)的第二個(gè)關(guān)鍵步驟?？紤]到人眼的多樣性，所以在人眼定位中，必須使用快速、準(zhǔn)確、魯棒的算法。本文使用文獻(xiàn)26中方法進(jìn)行人眼定位，實(shí)驗(yàn)結(jié)果是令人滿意的。下面主要介紹人眼定位的基本方法及在本文所使用的增強(qiáng)圖結(jié)構(gòu)模型的定位方法。2.4.1 人眼定位方法概述下面主

15、要介紹一下人眼定位一些現(xiàn)有的方法。至今人眼定位方法很多，很難有一個(gè)的分類，會(huì)存在一些混合的方法。根據(jù)方法中所使用人眼的信息和模式，將這些方法大致分為三類，分別為基于人眼特性的方法、基于統(tǒng)計(jì)學(xué)習(xí)的方法、基于結(jié)構(gòu)信息的方法。1.基于人眼特性的方法。此類方法把人眼看做人臉的一個(gè)部分，然后挖掘人眼所固有的一些屬性，比如人眼的輪廓信息，人眼顏色灰度對(duì)比信息，還有上下文關(guān)聯(lián)屬性，例如兩個(gè)眼睛在人臉中所間隔的區(qū)域，這時(shí)候人的眼角信息就比較重要。一般來說，這類方法相對(duì)比較簡(jiǎn)單，當(dāng)獲取人眼特性后，可以直接比對(duì)獲取的特性來定位人眼。但是這種方法只有在獲取的人眼比較理想的情況下，效果才好。然而實(shí)際生活中，人眼受光照

16、、姿態(tài)、遮擋等影響，變化是很大的。2.基于統(tǒng)計(jì)學(xué)習(xí)的方法。這種方法首先在人眼圖像中提取可靠、判別性好的一些視覺特征，然后收集較多的具有代表性的人眼樣本，在此基礎(chǔ)上通過統(tǒng)計(jì)學(xué)習(xí)建立人眼模型，典型的模型有模型27，AdaBoost28，還有濾波模型29，所有這些方法的必要條件是要收集很多的樣本。3.基于結(jié)構(gòu)信息的方法。該方法充分挖掘人眼的結(jié)構(gòu)信息，以及作為人臉一部分和其他人臉特征間的空間結(jié)構(gòu)信息。通常這種模型不能夠單獨(dú)使用，需要和一個(gè)統(tǒng)計(jì)模型相互結(jié)合，來提高算法的魯棒性和準(zhǔn)確性，特別是在人眼變化比較大的情況下。2.4.2 圖結(jié)構(gòu)方法不同于其他方法，基于結(jié)構(gòu)信息的方法更加傾向于利用特征間的關(guān)系來描述

17、對(duì)象，例如通常情況人眼包括眼珠、上眼瞼、下眼瞼，而這些部分都存在固定的關(guān)系。相比一些外觀特征，這種結(jié)構(gòu)特征不易受環(huán)境的影響。當(dāng)然，結(jié)構(gòu)信息和外觀特征之間是一種相互關(guān)系，所以基于結(jié)構(gòu)信息的方結(jié)合外觀特征一起使用。一般人臉和人眼通常同時(shí)出現(xiàn)，所以可以用臉部的結(jié)構(gòu)特征來描述眼睛，例如鼻子、嘴巴等。第三章 基于外觀模型的人眼閉眼檢測(cè)3.1 引言眼睛做為人臉中一個(gè)突出的特征，直接反應(yīng)人的精神狀態(tài)和目前所關(guān)注的物體，因此眼睛是疲勞駕駛檢測(cè)中最重要的信息來源。第二章闡述了人臉檢測(cè)及人眼定位，接下來就是進(jìn)行眼睛狀態(tài)的判別，也就是人眼開眼閉眼的檢測(cè)，這一步在疲勞駕駛檢測(cè)中極其重要，其檢測(cè)結(jié)果直接影響系統(tǒng)的可靠性

18、。另外有效準(zhǔn)確地獲知眼睛的狀態(tài)在計(jì)算機(jī)人類接口設(shè)計(jì)，表情分析34,35等人臉相關(guān)的應(yīng)用領(lǐng)域起著的作用。在實(shí)際中，由于人眼易受到光照、表情、姿態(tài)等影響，因此有效地獲知人眼狀態(tài)是一個(gè)非常的工作。面對(duì)這些，近十年來提出了通常可以分為許多人眼閉眼檢測(cè)方法36,37,38,39,40,41,42。這些方法的兩類，通過模式識(shí)別的方法來判斷人眼是否閉著，或者間接檢測(cè)人的眼睛是否開著。由于眼睛開著的時(shí)候往往展現(xiàn)出的外觀（比如眼球是可見的，眼皮是橢圓形的等等），所以很多方法都屬于后面這一類，例如通過收集人眼的局部信息來判斷出眼睛是開的，進(jìn)而得出眼睛不是閉的。然而這種方法具有它自己的局限性。例如，在一些人眼中，有

19、些眼球大部分被眼睫毛遮擋。這種情況下使用上述方法就很難檢測(cè)出眼球38。本文中使用第一類方法，即直接通過眼睛的外觀信息，判斷人眼睛是否為閉。這類方法的優(yōu)點(diǎn)是高效而且魯棒43,44。盡管人眼外觀的差異性很大可以使用當(dāng)前計(jì)算機(jī)視魯棒的中間特征來表示人眼睛分割出的塊信息。余下的差異性，可以使用機(jī)器學(xué)習(xí)中有效的方法來處理。出于實(shí)際應(yīng)用的考慮，通過這種策略實(shí)現(xiàn)的檢測(cè)方法很多，所以分析評(píng)估這些閉眼檢測(cè)方法變得不可或缺。本章主要的內(nèi)容是從工程的角度，對(duì)現(xiàn)有的幾種重要閉眼檢測(cè)方法做多方面的對(duì)比分析。主要深入分析閉眼檢測(cè)系統(tǒng)的幾個(gè)關(guān)鍵步驟，人眼對(duì)齊、特征提取及分類器選擇。在兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上，分別對(duì)三個(gè)分類器，最近

20、鄰（NN）、支持向量機(jī)（SVM）、AdaBoost，四種典型特征，灰度特征、Gabor 特征、LBP 特征45、 HOG 特征46進(jìn)行對(duì)比分析。在47,48,49中 LBP 特征和 Gabor 特征已被使用，但是 HOG 特征還沒有運(yùn)用到閉眼檢測(cè)中去。因?yàn)檫@些特征代表人眼不同方面的屬性（局部紋理信息、全局形狀信息、局部形狀信息），所以組合這些特征對(duì)于檢測(cè)結(jié)果將會(huì)十分有利。另外針對(duì)人眼對(duì)齊對(duì)檢測(cè)系統(tǒng)的影響進(jìn)行了探索。3.4 人眼對(duì)齊事實(shí)證明，對(duì)于某一特定物體進(jìn)行分類識(shí)別，識(shí)別效率可以通過將檢測(cè)到的物體放置在一個(gè)標(biāo)準(zhǔn)的位置來大大識(shí)別正確率。這樣的做法可以減少一個(gè)識(shí)別系統(tǒng)或者分類器在建模過程中必須處理的物體間的可變性。很多識(shí)別算法假定之前的物體已經(jīng)對(duì)齊到一個(gè)標(biāo)準(zhǔn)的位置。一般來說，物體對(duì)齊的越好，識(shí)別的結(jié)果就越好。因此在實(shí)驗(yàn)