第五章

駕駛?cè)诵袨榕c疲勞狀態(tài)監(jiān)測技術(shù)

主要內(nèi)容5.1引言5.2疲勞駕駛形成原因及預(yù)防措施5.3駕駛?cè)诵袨榕c疲勞狀態(tài)監(jiān)測技術(shù)研究進(jìn)展5.4駕駛?cè)诵袨榕c疲勞狀態(tài)監(jiān)測方法5.5基于視覺的駕駛?cè)诵袨榕c疲勞狀態(tài)監(jiān)測的實現(xiàn)5.6基于紅外的駕駛?cè)诵袨榕c疲勞狀態(tài)監(jiān)測的實現(xiàn)5.7未來展望5.1引言根據(jù)作用對象的不同，可以將汽車安全輔助駕駛技術(shù)的研究分成兩個主要的類別：對車輛的內(nèi)部信息進(jìn)行監(jiān)測和對車輛的外部信息進(jìn)行監(jiān)測。對車輛的外部信息進(jìn)行監(jiān)測主要是前面章節(jié)介紹的輔助駕駛員感知車輛周圍道路和障礙物信息。對車輛的內(nèi)部信息進(jìn)行監(jiān)測的主要對象是車內(nèi)的駕駛?cè)说男袨楹推跔顟B(tài)的檢測。機(jī)動車駕駛員的違法行為是導(dǎo)致發(fā)生道路交通事故的主要原因，其中由于駕駛?cè)似隈{駛、注意力不集中等原因引起的交通事故也占有相當(dāng)大的比例。由于交通事故并不是在駕駛疲勞一產(chǎn)生時就發(fā)生，在這種種情況下，開發(fā)出一套駕駛員疲勞監(jiān)控和警示系統(tǒng)，若在潛在交通事故發(fā)生前給駕駛?cè)税l(fā)出警報,則可避免類似的交通事故。運用車載多傳感器實時獲取并監(jiān)視駕駛行為信息與駕駛員生理信息，利用這些信息判斷車輛行駛的安全性，并采用相應(yīng)報警和防護(hù)措施。駕駛?cè)诵袨榕c疲勞狀態(tài)監(jiān)測技術(shù)研究主要針對兩方面展開：駕駛?cè)似跔顟B(tài)檢測駕駛行為監(jiān)督5.2疲勞駕駛形成原因及預(yù)防措施

5.2.1疲勞駕駛駕駛疲勞是指駕駛?cè)嗽陂L時間連續(xù)行車后，出現(xiàn)腰酸背疼、眼睛模糊、手指和身體不靈活、反應(yīng)遲鈍、判斷不準(zhǔn)等駕駛能力低落，產(chǎn)生生理機(jī)能和心理機(jī)能的失調(diào)的現(xiàn)象。我國《道路交通安全法實施條例》對疲勞駕駛的界定：連續(xù)駕車四小時休息不足20分鐘的。專家認(rèn)為疲勞駕駛是指駕駛員每天駕駛車輛超過8小時，從事公路運輸?shù)鸟{駛?cè)艘淮芜B續(xù)駕駛車輛超過3小時，或者從事其他勞動，體力消耗過大，或者睡眠不足，以致行車中困倦瞌睡、四肢無力，不能及時發(fā)現(xiàn)和準(zhǔn)確處理路面上的交通情況。疲勞駕駛對駕駛?cè)说挠绊懀旱【?、無力。注意功能失調(diào)。感知機(jī)能弱化。駕駛動作失調(diào)。反應(yīng)時間顯著增加。隨著疲勞的延長，對復(fù)雜刺激的反應(yīng)時間增加，動作準(zhǔn)確性下降，從而引發(fā)不安全行為。因此疲勞后嚴(yán)禁駕駛車輛。形成疲勞的順序是：眼睛，頸部、肩部、腰部，主要是眼睛和身體的疲勞。駕駛?cè)似跁r的主要表現(xiàn)分生理癥狀和心理癥狀兩大類：生理癥狀和心理癥狀。根據(jù)駕駛?cè)笋{車時的外表征兆可以將疲勞程度分為輕微疲勞、中度疲勞和重度疲勞三個等級。5.2.2疲勞駕駛的形成原因疲勞是由于體力或腦力勞動使人產(chǎn)生生理機(jī)能和心理機(jī)能失調(diào)的一種正常的、復(fù)雜的生理現(xiàn)象。理論上講，駕駛時間、睡眠、駕駛強(qiáng)度和速度、人體生物節(jié)律、體質(zhì)、駕駛技術(shù)、駕駛環(huán)境、營養(yǎng)條件等都對疲勞具有直接的影響。引起疲勞駕駛的因素：睡眠駕駛?cè)说纳硇臈l件工作環(huán)境生活環(huán)境5.2.3疲勞駕駛的預(yù)防疲勞可分為身體疲勞和精神疲勞。從疲勞恢復(fù)時間來看，可分為急性疲勞、慢性疲勞和積蓄性疲勞。駕駛?cè)嗽诔霈F(xiàn)過度疲勞和慢性疲勞時，都不宜駕駛車輛。預(yù)防駕駛?cè)似诘拇胧罕ＷC足夠的睡眠時間和良好的睡眠效果?？茖W(xué)的安排行車時間，注意勞逸結(jié)合。行車過程中注意自我調(diào)節(jié)，保持良好的身心條件。駕駛時間不宜過長。保持良好的工作環(huán)境。教育與管理。運用科技手段及時發(fā)現(xiàn)有效預(yù)防疲勞駕駛。5.3駕駛?cè)诵袨榕c疲勞狀態(tài)監(jiān)測技術(shù)研究進(jìn)展5.3.1國外研究進(jìn)展1美國打瞌睡駕駛員偵探系統(tǒng)DDDS(TheDrowsyDriverDetectionSystem)，約翰霍普金斯大學(xué)。系統(tǒng)軟件界面：DriverFatigueMonitor（DD850）AttentionTechnologies公司，是一款基于駕駛員生理反應(yīng)特征的駕駛員疲勞監(jiān)測預(yù)警產(chǎn)品。系統(tǒng)通過從攝像頭所拍攝的視頻中測量緩慢的眼瞼閉合來檢測駕駛疲勞?？梢园惭b在車輛的儀表盤上，具有可旋轉(zhuǎn)的底座，以便駕駛員調(diào)節(jié)攝像頭的角度，通過紅外CCD采集駕駛員眼部信息。具有足夠大的視野范圍，可以捕捉各種頭部運動。它通過亮瞳效應(yīng)進(jìn)行眼睛定位和跟蹤，并測量PERCLOS參數(shù)以判斷駕駛疲勞。Copilot系統(tǒng)卡內(nèi)基梅隆大學(xué)CarnegieMellon機(jī)器人研究所開發(fā)。系統(tǒng)采用PERCLOS衡量睜眼和閉眼狀態(tài)。采用紅外照明，根據(jù)眼睛對紅外光反射在圖像中的光點效應(yīng)，以及視網(wǎng)膜對不同波長紅外光的反射率不同，分別用兩個CCD攝像機(jī)采集波長為850nm和900nm紅外光照明的圖像，同時獲得兩幅圖像，根據(jù)這兩幅圖像的差圖像，得到眼睛的位置，并分析眼球的大小，從而得到駕駛員的眼睛睜開程度，該方法可解決駕駛員佩戴眼鏡的影響。S.A.M(steeringattentionmonitor)疲勞報警裝置

由E1ectronicSafetyProducts開發(fā)。利用置于方向盤下方的磁條檢測方向盤的轉(zhuǎn)角。如果方向盤4s不運動,S.A.M.就會發(fā)出報警聲直到方向盤繼續(xù)正常運動為止。S.A.M.被固定在車內(nèi)錄音機(jī)旁,方向盤下面的桿上裝有一條磁性帶,用以監(jiān)測方向盤的運動。使用S.A.M.并不意味延長駕駛時間,而是要提醒駕駛員駕車時不要打瞌睡。另外,S.A.M.與錄像機(jī)配合使用可以為保險公司提供證據(jù)。SafeTRAC疲勞報警裝置

由AssistWare公司開發(fā)。利用前置攝像頭對車道線進(jìn)行識別，當(dāng)車輛開始偏離車道時進(jìn)行報警，該產(chǎn)品也可通過車道保持狀態(tài)結(jié)合駕駛員的方向盤操作特性判斷駕駛員的疲勞狀態(tài)。2日本電子“清醒帶”

固定在駕駛員頭部，將“清醒帶”一端的插頭插入車內(nèi)點煙器的插座，裝在帶子里的半導(dǎo)體溫差電偶使平展在前額部位的鋁片變涼，使駕駛員睡意消除，精神振作。尼桑公司，一種能自動提醒駕駛員駕駛過程中發(fā)生疲勞狀態(tài)的電子報警系統(tǒng)。系統(tǒng)通過安裝在駕駛室內(nèi)儀表盤上的攝像機(jī)實時監(jiān)控駕駛員的眼部圖像，然后將圖像信息輸入系統(tǒng)中的處理器進(jìn)行處理。研究表明駕駛員當(dāng)時的清醒程度與駕駛員的單位時間內(nèi)眨眼頻率和次數(shù)有直接的關(guān)系，如果駕駛員單位時間內(nèi)的眨眼次數(shù)過多或頻率過高，系統(tǒng)的電子報警器就會發(fā)出聲音，并向駕駛室噴放一種帶有醒腦物質(zhì)的香味，消除駕駛員的困意。豐田開發(fā)的系統(tǒng)是針對駕駛員眼部的偵測，內(nèi)置在駕駛員前方的攝像頭會記錄駕駛員的眼部狀態(tài)，如果系統(tǒng)偵測駕駛員的眼睛已經(jīng)閉合，車內(nèi)會立即發(fā)出警報提醒駕駛員。目前，應(yīng)用在Lexus各系列的A-PCS安全預(yù)警系統(tǒng)利用安裝在儀表板的紅外視覺來實現(xiàn)對駕駛員瞌睡的監(jiān)控。3歐盟AWAKE工程項目目的是驗證監(jiān)視駕駛員警覺性的技術(shù)可行性，以及尋求影響該技術(shù)應(yīng)用的因素。該項目對人眼生理反應(yīng)信息、方向盤操作轉(zhuǎn)角信息、方向盤轉(zhuǎn)向力信息以及車道線信息進(jìn)行了檢測和記錄，通過研究這些信息與疲勞之間的關(guān)系，利用信息融合技術(shù)實現(xiàn)駕駛?cè)似诜旨壴u價，采用聲音、光照閃爍以及安全帶振動等方式對疲勞實現(xiàn)預(yù)警，開發(fā)了駕駛?cè)似跈z測報警系統(tǒng)。德國柏林SensoMotoricInstlllments(SMI)公司，基于計算機(jī)視覺的非接觸式駕駛員操作監(jiān)控系統(tǒng)。該系統(tǒng)通過安裝在駕駛盤上的高速攝像機(jī)和三個紅外光源測量參數(shù)PERCL0s以判斷疲勞狀態(tài)，并估計頭部位置及方向，視線方向，眼瞼閉合程度，瞳孔位置及直徑以進(jìn)行疲勞狀態(tài)的輔助監(jiān)測。大眾“疲勞識別系統(tǒng)”

從駕駛開始時便對駕駛員的操作行為進(jìn)行記錄，并能夠通過識別長途旅行中駕駛操作的變化，對駕駛員的疲勞程度進(jìn)行判斷。駕駛員轉(zhuǎn)向操作頻率變低，并伴隨輕微但急驟的轉(zhuǎn)向動作以保持行駛方向是駕駛精力不集中的典型表現(xiàn)。根據(jù)以上動作的出現(xiàn)頻率，并綜合諸如旅途長度、轉(zhuǎn)向燈使用情況、駕駛時間等其他參數(shù)，系統(tǒng)對駕駛員的疲勞程度進(jìn)行計算和鑒別，如果計算結(jié)果超過某一定值，儀表盤上就會閃爍一個咖啡杯的圖案，提示駕駛員需要休息，駕駛員疲勞識別系統(tǒng)將駕駛員注意力集中程度作為衡量駕駛員駕駛狀態(tài)的重要考慮因素，以致力于道路安全的提高。只要打開疲勞識別系統(tǒng)，無論系統(tǒng)是否進(jìn)行監(jiān)測，系統(tǒng)每隔4小時都會提醒駕駛員需要休息了。奔馳“注意力輔助系統(tǒng)”

有71個傳感器，在80-180km/h間的車速范圍內(nèi)檢測縱向和橫向加速度的方向盤和踏板傳感器，一旦判定駕駛?cè)似隈{駛或者注意力分散，會發(fā)出聲頻警示信號，儀表盤閃現(xiàn)“請休息片刻”提示信息。核心技術(shù)是佩戴在司機(jī)耳朵上的司機(jī)安全駕駛儀（電子報警器），還有貼在方向盤上的紙狀心跳感應(yīng)器。這一系統(tǒng)還安裝有汽車內(nèi)置感應(yīng)器，可以檢側(cè)汽車速度的變化和方向盤操作頻率的變化，汽車導(dǎo)航設(shè)備還可以檢測汽車是否蛇行。沃爾沃“駕駛員安全警告系統(tǒng)(DAC)”這套系統(tǒng)在車輛進(jìn)入容易使司機(jī)進(jìn)入放松狀態(tài)的筆直、平坦的道路，容易使司機(jī)分神和打盹的環(huán)境，以及當(dāng)車速超過65公里/小時，均會被激活。系統(tǒng)由一個攝像頭、若干傳感器和一個控制單元組成。如果檢測到您的駕駛行為有疲態(tài)或分心的跡象出現(xiàn)，評估的結(jié)果是高風(fēng)險時，即通過聲音信號向司機(jī)發(fā)出警示。此外，在儀表盤上還顯示一段文字信息，用一個咖啡杯的符號提示司機(jī)休息。4澳大利亞faceLAB系統(tǒng)

通過監(jiān)測駕駛員臉部與眼部的追蹤功能獲取眨眼頻率、頭部位置與轉(zhuǎn)動數(shù)據(jù)、眼瞼孔徑數(shù)據(jù)、嘴角與眉毛運動數(shù)據(jù)、瞳孔大小的數(shù)據(jù)，進(jìn)行多特征融合，實現(xiàn)對駕駛員精神狀態(tài)的實時監(jiān)測，能夠提供頭部姿勢、凝視方向、眼瞼閉合追蹤及車輛安全區(qū)域立即廣泛影響的主動信息察覺系統(tǒng)。用一對視頻相機(jī)獲得視頻圖像，從左到右匹配得出每個特征的三維位置。采用最小二乘優(yōu)化法定位頭部三維位置，F(xiàn)aceLAB軟件并行處理眼睛凝視數(shù)據(jù)，定位虹膜中心，根據(jù)眼睛凝視向量確定眼睛凝視方向，計算眼睛張開以及眨眼頻率，監(jiān)控眼瞼。DSS（駕駛員狀態(tài)監(jiān)測系統(tǒng)）在儀表盤上安裝一種微型傳感器，能夠獲得駕駛?cè)嗣娌勘砬椴y量眼瞼閉合的次數(shù)和觀測駕駛員頭部的偏轉(zhuǎn)方向。5.3.2國內(nèi)研究進(jìn)展南京遠(yuǎn)驅(qū)科技有限公司gogo850疲勞駕駛預(yù)警系統(tǒng)

比亞迪“疲勞駕駛預(yù)警系統(tǒng)(BAWS)”基于駕駛?cè)松韴D像反應(yīng)，由ECU和攝像頭兩大模塊組成，利用駕駛員的面部特征、眼部信號、頭部運動性等推斷駕駛員的疲勞狀態(tài)。吉林大學(xué)JLUVA-DFWS系統(tǒng)利用彩色圖像中的膚色特征定位人臉區(qū)域。在此基礎(chǔ)上分別檢測出眼睛和嘴唇的精確特征狀態(tài)信息，最后通過眼睛和嘴唇張度推斷駕駛員的精神狀態(tài)，并以面部特征區(qū)域相對于輪廓線的位置變化作為特征量，利用BP神經(jīng)網(wǎng)絡(luò)對面部朝向估計確定是否對駕駛員進(jìn)行警示。在此研究的基礎(chǔ)上，根據(jù)紅外光譜和夜間駕駛員紅外人臉圖像的特點，根據(jù)夜間駕駛員眼睛的瞳孔紅外反射特性，對瞳孔和普爾欽光斑的進(jìn)行檢測，利用兩者的位置關(guān)系判斷駕駛員的視線方向，并分析視線方向的精度，采用PERCLOS方法對白天駕駛員疲勞狀態(tài)進(jìn)行檢測和基于面部橫擺角的駕駛員精神分散檢測方法。5.4駕駛?cè)诵袨榕c疲勞狀態(tài)監(jiān)測方法駕駛?cè)似跈z測研究方法分三類：1)從駕駛員自身特征出發(fā)，通過某種設(shè)備獲取駕駛員的生理信號特征或者利用駕駛員在正常狀態(tài)和疲勞狀態(tài)下的特征模式不同，利用視覺傳感器采集駕駛員面部各器官特征，采用相應(yīng)的模式識別技術(shù)分類進(jìn)行判別，從而判斷駕駛員是否處于疲勞狀態(tài)。2)根據(jù)車輛的狀態(tài)參數(shù)間接判斷駕駛員是否產(chǎn)生疲勞。3)采用信息融合的方法，結(jié)合駕駛員生理特征參數(shù)檢測結(jié)果和車輛的狀態(tài)參數(shù)或駕駛行為信號，從而判斷駕駛員的疲勞狀態(tài)。

5.4.1基于駕駛員生理信號的方法通過某些設(shè)備得出駕駛員的有關(guān)生理信號，如腦電圖(EEG)、心電圖(ECG)、肌電圖(EMG)、眼電圖(EOG)等，根據(jù)參數(shù)變化情況來判斷是否有疲勞產(chǎn)生。1腦電圖通過對腦電信號的分析，反映人體的疲勞程度。人瞌睡時θ波有明顯增加，在清醒的時候β波較多。但腦電圖受環(huán)境的影響比較大，頭部轉(zhuǎn)動、喝水等動作對腦電圖都會產(chǎn)生很大影響。由于波段能夠反映疲勞情況，波譜的提取以及分類情況對識別效果有很大影響，目前的研究集中在對波段數(shù)據(jù)的特征提取以及分類上。如使用小波分析提取EEG數(shù)據(jù)特征，利用支持向量機(jī)對對EEG疲勞進(jìn)行分類，或者使用小波包分析與核學(xué)習(xí)方法進(jìn)行疲勞的自動識別，或者利用駕駛疲勞時EEG譜分量的可再現(xiàn)性以及重復(fù)性來檢測疲勞。北京理工大學(xué)利用模擬駕駛系統(tǒng)模擬駕駛員疲勞駕駛的情況，并用腦電儀記錄駕駛員的腦電情況，以研究疲勞駕駛時的腦電特性。浙江大學(xué)利用動態(tài)腦電儀描記了健康的駕駛員駕車行駛時的動態(tài)腦電波，并同靜止條件下睜眼和坐在椅子上得到的清醒狀態(tài)和磕睡狀態(tài)的腦電波進(jìn)行對比，得到了判斷駕駛員是否處于疲勞狀態(tài)的依據(jù)。通過腦電圖實驗得出腦電圖中的信號變化情況與疲勞的關(guān)系。結(jié)果表明：疲勞早期，腦電圖中的和θ波改變幅度小；隨著疲勞的加深，波幅增加；在最疲勞時，、θ以及波都會增加。也可以根據(jù)腦電圖波形與疲勞程度的這一關(guān)系，進(jìn)一步根據(jù)疲勞情況把腦電圖數(shù)據(jù)分成四類，把原始腦電圖數(shù)據(jù)經(jīng)過傅里葉變換轉(zhuǎn)換到頻率空間，根據(jù)各個波段的幅度變化情況判斷疲勞程度?；蛘呃媚X電圖的譜分量以及各個頻帶譜值比率關(guān)系來檢測疲勞。2心電圖每個心動周期中，心臟的起搏點、心房和心室相繼興奮，生物電會發(fā)生變化，心電圖就是通過心電描記器，從體表引出這些不同形式電位變化的圖形。心電圖波形的主要波段和間段：心電圖利用心電圖儀器測出波形圖，根據(jù)心跳的變化情況判斷疲勞。豐田公司設(shè)計了一種通過測量人體生理信號的駕駛員防疲勞系統(tǒng)，在駕駛員的手腕上佩戴一塊像手表一樣的裝置，通過測量脈搏、心律等生理信號對駕駛員是否疲勞進(jìn)行分析。只要駕駛員在操縱轉(zhuǎn)向盤時遲鈍，或脈搏異常變化，該裝置就能測出這些反應(yīng)，并發(fā)出警告，令座墊振動或自動剎車。腦電圖、心電圖屬于接觸式測量，對駕駛員的操縱帶來負(fù)面作用。并且測試條件苛刻，價格過高，因此，難以投入實際運用。但它們準(zhǔn)確度高，可提供測量標(biāo)準(zhǔn)。3肌電圖通過對肌電信號(肌電信號功率譜中值頻率、肌電圖積分值)的分析，反映人體的疲勞程度。EMG信號的測量一般采用誘發(fā)電位的方法，在肌肉表面固定好表面電極，肌電信號經(jīng)表面電極傳至肌電圖記錄儀供研究人員分析。該方法測試較為簡單，結(jié)論較明確。肌電圖的頻率隨著疲勞的產(chǎn)生和疲勞程度的加深呈現(xiàn)下降趨勢，而肌電圖的幅值增大則表明疲勞程度增大。4眼電圖在眼睛的上下方各放置電極，取得垂直方向的EOG數(shù)據(jù)。該方法可以通過分析從EOG波形圖中得出峰尖幅值、上升時間和下降時間三個特征參數(shù)。眼睛閉上時，其電極值達(dá)到最大值，對應(yīng)于波形圖則表現(xiàn)為峰尖幅值，上升時間為閉眼持久度而下降時間則為睜眼持久度，根據(jù)此峰尖值、閉眼時間以及睜眼時間參數(shù)值對EOG波形進(jìn)行聚類，得出各種疲勞狀態(tài)下的EOG波形圖。基于駕駛員生理信號的疲勞檢測技術(shù)優(yōu)點：客觀性強(qiáng)，能較準(zhǔn)確地反映人體的疲勞狀態(tài)。缺點：準(zhǔn)確性與生理參數(shù)檢測儀器有較大關(guān)系，同時一般都為接觸式的檢查方法，給駕駛員帶來不便，且對個人依賴程度較大，在實際用于駕駛員疲勞監(jiān)測時有很多的局限性。5.4.2基于駕駛員生理反應(yīng)特征的方法跟蹤和分析眼瞼狀態(tài)和眼睛的注視位置，在疲勞狀態(tài)的識別精度和實用性上都較好。非接觸式檢測途徑，利用實時圖像處理技術(shù)，分析駕駛?cè)苏Ｑ坌畔?、眼球的運動和頭部運動特性等推斷駕駛員的疲勞狀態(tài)。駕駛員眼球的運動和眨眼信息被認(rèn)為是反映疲勞的重要特征，眨眼幅度、眨眼頻率和平均閉合時間都可直接用于檢測疲勞。如PERCLOS方法，將眼睛閉合時間占一段時間的百分比作為判斷疲勞的指標(biāo)。利用面部識別技術(shù)定位眼睛和嘴部位置，將眼睛和嘴部位置結(jié)合起來，再根據(jù)對駕駛員視線的跟蹤可以獲得駕駛員注意力方向，并判斷駕駛員的注意力是否分散。1PERCLOS檢測Wierwille證明眼睛的閉合時間可以在一定程度上反映駕駛員的疲勞狀態(tài)。卡內(nèi)基梅隆研究所提出度量疲勞的物理量PERCLOS。Grace等人根據(jù)人的視網(wǎng)膜對不同波長紅外光反射量不同的生理特點，在相同照度的情況下，利用2個攝像頭同時采集人臉圖像，分析差分后瞳孔圖像的大小和位置，以此來計算“PERCLOS”，可實現(xiàn)對駕駛員疲勞狀況進(jìn)行全天候監(jiān)測。Hong等人利用圖像處理技術(shù)首先定位初始人眼區(qū)域，然后使用目標(biāo)跟蹤算法跟蹤眼部區(qū)域，最后根據(jù)“PERCLOS”原理通過對眼睛睜閉狀態(tài)的分析確定駕駛員是否疲勞。為提高檢測算法的實用性，Weng等人采用紅外光源和DSP嵌入式系統(tǒng)采集駕駛員臉部圖像，利用模板匹配算法對睜眼和閉眼狀態(tài)進(jìn)行識別，將改進(jìn)后的“PERCLOS”計算方法作為判斷駕駛員是否疲勞的標(biāo)準(zhǔn)。賓夕法尼亞大學(xué)智能交通實驗室和NHTSA采用PERCLOS為精神生理疲勞程度的測量指標(biāo)。明尼蘇達(dá)大學(xué)NikolaosP.Papanikolopoulos教授開發(fā)了一套駕駛員眼睛的追蹤和定位系統(tǒng)，通過安置在車內(nèi)的一個CCD攝像頭監(jiān)視駕駛員的臉部。用發(fā)光二極管來測定視網(wǎng)膜的反射，探測PERCLOS所表征的駕駛疲勞存在問題：發(fā)光二極管來測定眼睛的凝視方向是不準(zhǔn)確的，導(dǎo)致示警系統(tǒng)不能始終正確如一地告訴駕駛員疲勞出現(xiàn)。Delphi公司開發(fā)的DriverStateMonitor(DSM)系統(tǒng)。它在儀表盤上安裝了正對駕駛員的單目攝像機(jī)和兩個紅外光源，以實現(xiàn)對駕駛員眼睛閉合狀態(tài)的檢測和頭部姿態(tài)的估計。通過對一分鐘內(nèi)眼睛平均閉合時間的測量，該系統(tǒng)可以實現(xiàn)在多種光照條件下估計駕駛員的狀態(tài)。2嘴部狀態(tài)檢測吉林大學(xué)根據(jù)駕駛員在正常駕駛、說話及打哈欠等狀態(tài)下嘴部張開程度的不同，利用機(jī)器視覺的方法提取嘴部形狀的幾何特征并將其作為特征值，根據(jù)BP神經(jīng)網(wǎng)絡(luò)來識別駕駛員的疲勞狀態(tài)。北京工業(yè)大學(xué)提出了新方法，首先利用模板匹配算法檢測到人臉，然后通過灰度投影算法檢測到嘴巴的左右角點，并用Gabor小波變換抽取嘴部角點的紋理特征，最后利用線性判別分析識別駕駛員是否打呵欠，并將其作為判別是否駕駛疲勞的依據(jù)。

3頭部位置檢測頭部位置傳感器用于計算駕駛員頭部位置。設(shè)計安裝在司機(jī)座位上面的一個相鄰的電極電容傳感器陣列，每個傳感器都能輸出司機(jī)頭部距離傳感器的位置，可以計算出頭在X、Y、Z三維空間中的位置，利用三角代數(shù)算法可以實時計算出頭在三維空間中的位置，同時根據(jù)各時間段頭部位置的變化特征來辨別駕駛員是處于清醒還是瞌睡狀態(tài)。清華大學(xué)在將頭部朝向近似為視線方向的前提下，研究了駕駛?cè)祟^部朝向角度與注意力分散之間的關(guān)系；提出了頭部朝向偏離路面的持續(xù)時間和時問比例兩個注意力分散指標(biāo)，建立了基于駕駛員面部特征點的模型以進(jìn)行頭部朝向角度的估算和注意力分散程度的判別。4視線方向檢測駕駛?cè)苏ｑ{駛眼睛正視前方，出現(xiàn)疲勞時視線方向會發(fā)生偏離。美國明尼蘇達(dá)大學(xué)利用顏色分析法在人臉圖像中首先確定嘴唇的位置，然后在人臉膚色區(qū)域內(nèi)定位雙眼，根據(jù)瞳孔處圖像比周圍像素暗的事實確定瞳孔的位置，最后根據(jù)瞳孔和眼角的相對位置關(guān)系確定視線方向，如果人眼視線偏離正前方向，則認(rèn)為能因疲勞而注意力不集中。葡萄牙研究發(fā)現(xiàn)，當(dāng)駕駛?cè)俗⒁暦较虬l(fā)生改變時，面部朝向也會發(fā)生相應(yīng)改變。根據(jù)人臉形狀和面部器官分布，利用機(jī)器視覺檢測技術(shù)和橢圓擬合方法獲得駕駛員的面部三維朝向信息，由面部朝向可間接反映駕駛員的視線方向，進(jìn)而檢測是否疲勞或注意力不集中。5.4.3基于車輛運行狀態(tài)的方法從駕駛員對車輛的操控情況去間接判斷是否有疲勞發(fā)生。原理：用線路跟蹤或結(jié)合駕駛車輛與前車的距離等車輛行為表現(xiàn)出的狀態(tài)進(jìn)行疲勞檢測。當(dāng)駕駛?cè)似跁r，其駕駛行為與正常狀態(tài)通常存在較大的差異，如反應(yīng)遲鈍，動作遲緩，應(yīng)急能力下降；失去方向感，駕車左右搖擺；行駛速率不穩(wěn)定等等。因此，利用車輛行駛軌跡變化和車道線偏離等車輛行駛信息也可推測駕駛員的疲勞狀態(tài)。具體方法：用線路跟蹤、駕駛車輛與前車的距離等車輛行為進(jìn)行睡意檢測。車輛離開白線的時間和程度、駕駛時車輛航道保持、方向盤的控制、剎車踏板、車輛速度、駕車時的側(cè)加速、車輛側(cè)位移等等都可以用于監(jiān)測駕駛?cè)藛T是否處于睡意或疲勞狀態(tài)，進(jìn)而提出警告或提醒等等。1轉(zhuǎn)向盤轉(zhuǎn)動情況檢測日本針對轉(zhuǎn)向盤轉(zhuǎn)角信號，利用快速傅立葉和小波變換提取轉(zhuǎn)向盤轉(zhuǎn)角信號特征，通過對信號的分析來評價駕駛員是否疲勞。中國科學(xué)技術(shù)大學(xué)利用能量分析和小波分析技術(shù)，通過對車輛行駛軌跡和轉(zhuǎn)向盤轉(zhuǎn)動角度情況的監(jiān)控也實現(xiàn)了對駕駛員是否疲勞駕駛的檢測。西班牙通過監(jiān)測方向盤的轉(zhuǎn)向壓力來監(jiān)測駕駛?cè)祟WU研究員正在研究的基于人工神經(jīng)網(wǎng)絡(luò)的疲勞監(jiān)測系統(tǒng)。研究表明，駕駛?cè)饲逍褧r，方向盤的調(diào)整幅度較小，車輛的行駛軌跡較平穩(wěn)。駕駛?cè)似跁r，方向盤的轉(zhuǎn)動幅度較大，車輛的行駛軌跡也變化得比較劇烈。該系統(tǒng)根據(jù)方向盤的轉(zhuǎn)動幅度，利用人工神經(jīng)網(wǎng)絡(luò)將駕駛員狀態(tài)分為疲勞或者清醒兩類。美國提出通過檢測方向盤參數(shù)檢測駕駛疲勞，出發(fā)點是疲勞的駕駛?cè)藘A向于選擇比較突然的操作方式。上海交通大學(xué)通過傳感器測量駕駛?cè)笋{駛時方向盤、踏板等一些參數(shù)來判別駕駛員的安全因素。2車輛行駛速度檢測

Volvo公司“駕駛員警示系統(tǒng)”可記錄下駕駛?cè)说鸟{駛行為，通過實時監(jiān)測車輛的行駛速度，判斷車輛是處于有效控制狀態(tài)還是處于失控狀態(tài)，從而間接反映駕駛員是否疲勞駕駛。瑞典通過對車速、車輛橫向位置、轉(zhuǎn)向盤轉(zhuǎn)角和航偏角的測量，利用前饋神經(jīng)網(wǎng)絡(luò)（FFNN）對測得的疲勞特征數(shù)據(jù)進(jìn)行分類，進(jìn)而判斷駕駛?cè)耸欠衿凇?車道偏離檢測美國Iteris公司的AutoVue系統(tǒng)通過一個朝向道路前方的CCD攝像頭檢測駕駛員的行車軌跡，在駕駛員人因疲勞而導(dǎo)致無意識偏離車道時，可及時發(fā)出警告。臺灣利用機(jī)器視覺檢測技術(shù)對車道標(biāo)志線進(jìn)行實時檢測，當(dāng)發(fā)現(xiàn)車輛異常偏離中線位置時，系統(tǒng)會發(fā)出警報提醒駕駛員。美國EllisonResearchLabs實驗的DAS2000型路面警告系統(tǒng)就是一種設(shè)置在高速公路上用計算機(jī)控制的紅外線監(jiān)測裝置，當(dāng)車輛偏離道路中線時，會向駕駛?cè)税l(fā)出警告。優(yōu)勢：非接觸檢測，信號容易提取，不會對駕駛員造成干擾。問題：如何提高駕駛員狀態(tài)的預(yù)測精度。5.4.4基于信息融合技術(shù)的檢測方法依據(jù)信息融合技術(shù)，將基于駕駛行為的監(jiān)測方法和基于駕駛員生理特征的監(jiān)測方法相結(jié)合將是理想的監(jiān)測方法。

日本慶應(yīng)大學(xué)中島研究室利用EEG評價駕駛?cè)说乃猓芯堪l(fā)現(xiàn)車輛的橫向位移量、方向盤操作量可以用來作為駕駛?cè)似跔顟B(tài)的評價指標(biāo)，而且可以實現(xiàn)疲勞早期預(yù)警。清華大學(xué)以眼部生理反應(yīng)特征為主，結(jié)合方向盤轉(zhuǎn)角信息和車輛行駛軌跡等特征，充分利用不同信息之間的互補(bǔ)性和冗余性，通過信息融合提高對駕駛?cè)藸顟B(tài)判別結(jié)果的準(zhǔn)確性與可靠性。歐盟AWAKE項目的駕駛員疲勞檢測報警系統(tǒng)，對方向盤操作轉(zhuǎn)角信息、方向盤轉(zhuǎn)向力信息、人眼生理反應(yīng)信息以及車道線偏離信息進(jìn)行了檢測和記錄，通過研究這些信息與疲勞之間的關(guān)系，利用信息融合技術(shù)實現(xiàn)駕駛?cè)似跈z測，采用聲音、光照閃爍以及安全帶振動等方式對疲勞預(yù)警。奔馳“疲勞識別”輔助系統(tǒng)紅外線攝像機(jī)持續(xù)記錄駕駛?cè)苏Ｑ垲l率以及每次閉眼的時長，一旦發(fā)現(xiàn)閉眼過長，會響起警告信號。使用其它生理監(jiān)測如腦電圖等，獲取疲勞時的客觀指標(biāo)。融合行駛時動態(tài)數(shù)據(jù)分析，如轉(zhuǎn)向和制動行為，如果駕駛?cè)溯^長時間沒有操縱轉(zhuǎn)向設(shè)備，系統(tǒng)也會發(fā)出警告。由歐盟IST項目資助的駕駛?cè)烁呒壉O(jiān)測系統(tǒng)系統(tǒng)包括基于多個參數(shù)的駕駛?cè)似趯崟r監(jiān)測模塊和駕駛?cè)藞缶到y(tǒng)。駕駛?cè)似趯崟r監(jiān)測模塊融合駕駛?cè)吮O(jiān)測的傳感器信息(包括眼瞼的活動、注意力和轉(zhuǎn)向握力等數(shù)據(jù))和駕駛?cè)诵袨閿?shù)據(jù)(包括車道跟蹤、制動和轉(zhuǎn)向數(shù)據(jù))來判斷駕駛?cè)似诔潭取ｑ{駛?cè)藞缶到y(tǒng)包括聲音、視覺、觸覺報警器。視覺報警器安裝在汽車后視鏡或儀表盤。安裝在座椅安全帶鎖扣上的觸覺報警器是一種振動發(fā)生器。法國的一些研究機(jī)構(gòu)在聯(lián)合研制一種監(jiān)測駕駛員精神分散的系統(tǒng)，它可以通過聲音或光電信號提醒駕駛員。計劃用五種傳感器來檢測駕駛員是否處于疲勞狀態(tài)：腳踏板傳感器、方向盤傳感器、汽車速度傳感器、視頻傳感器、眼瞼傳感器。瑞士針對疲勞駕駛的駕駛室采用最新的“靈敏表面技術(shù)”以及各種先進(jìn)的發(fā)光薄膜材料、傳感器等，駕駛?cè)诵枰谑滞笊吓宕饕粋€生物統(tǒng)計測量表，以測量其脈搏變化，而安裝在車上的攝像頭將監(jiān)測汽車的速度、變線頻率以及與前車的距離，所有這些傳感監(jiān)控數(shù)據(jù)都將匯總到車載電腦中，電腦對駕駛?cè)说木駹顟B(tài)做出快速評估，并迅速啟動應(yīng)對程序。當(dāng)駕駛?cè)孙@出倦意時，駕駛室的4個液晶監(jiān)控器就會顯示橙色，以刺激駕駛?cè)说拇竽X，座椅開始振動，以喚醒昏昏欲睡的駕駛?cè)恕Ｈ绻{駛?cè)诵那闊┰昊蛘呔o張，監(jiān)控器就會發(fā)出藍(lán)色，使他們能夠放松；如果駕駛?cè)藸顟B(tài)良好，監(jiān)控器就會發(fā)出綠色，示意駕駛?cè)死^續(xù)保持這樣的狀態(tài)。同時，車內(nèi)還會同時啟動相應(yīng)的音樂和香味來更好地調(diào)節(jié)駕駛?cè)说臓顟B(tài)，從而提高行車安全。5.5基于視覺的駕駛員人為與疲勞狀態(tài)監(jiān)測的實現(xiàn)從圖像采集角度看，有普通圖像采集和基于紅外光源的圖像采集。從模型建立角度看，有對眼睛建立的2D模型和對頭部建立的3D模型進(jìn)行視線估計。疲勞狀態(tài)的判斷角度看，有單一疲勞參數(shù)判斷和多個疲勞參數(shù)結(jié)合機(jī)器學(xué)習(xí)算法進(jìn)行識別。5.5.1駕駛員眨眼頻率的監(jiān)測眨眼頻率是指單位時間內(nèi)眨眼的次數(shù)。研究表明：在疲勞引發(fā)的事故發(fā)生之前，駕駛員眨眼行為提前發(fā)生變化，表現(xiàn)為眨眼頻率增加和眼皮覆蓋眼睛的百分比增加。眼動技術(shù)能提供眼球在時間和空間上的定位，并進(jìn)行精確的描繪和定量分析?？捎脕矸治鼍凭⑵诤透鞣N環(huán)境因素對駕駛行為的影響，并可運用于車輛和道路設(shè)計的研究。眼動的基本形式：眨眼、注視、眼跳。1眼睛定位方法眼睛定位指在輸入的圖像中檢測出眼睛的位置，是判斷眼睛狀態(tài)的前提。眼睛狀態(tài)識別就是在眼睛定位后從已經(jīng)提取的眼睛特征中判斷出眼睛的開閉狀態(tài)，進(jìn)而判斷出駕駛員是否疲勞。疲勞時的眼睛表現(xiàn)如長時間的眨眼，緩慢的眼瞼活動，眼睛睜開程度變小或閉合，視線變化不大等。眼睛狀態(tài)分析的研究方向：基于機(jī)器學(xué)習(xí)的方法進(jìn)行狀態(tài)分類和基于圖像理解的方法進(jìn)行狀態(tài)分析。眼睛檢測與定位方法包括：結(jié)合可變形模板邊緣提取法、對稱變換法、虹膜檢測法、積分投影法和區(qū)域分割法等。1)區(qū)域分割法定位眼睛

利用眼睛在人臉中的區(qū)域灰度特征結(jié)合二值化來定位眼睛。在得到的二值化圖像中，進(jìn)行邊緣圖像置白、黑色連通片區(qū)域的搜索，得到若干可疑的人眼區(qū)域，對這些區(qū)域做平滑處理排除單個黑色像素點的干擾，再收縮窗口以減小運算量，最后搜索人眼窗口并按照一定的條件判斷左眼和右眼的位置。另一種方法是先用直方圖閾值法將圖像二值化，再根據(jù)二值化圖像中黑色區(qū)域的相對位置、面積和形狀等幾何特征確定瞳孔的位置，最后通過邊緣追蹤法依次找到上眼眶、眼角和下眼眶。2）結(jié)合可變形模板邊緣提取法首先對人臉圖像進(jìn)行邊緣提取，然后通過Hough變換檢測眼球，構(gòu)造一個包括眼睛、眼瞼的眼部模板，從能量角度用一系列函數(shù)找出眼瞼該方法需要做大量預(yù)處理，參數(shù)過多的眼眼模板對個體差異太大的人臉不適合。灰度投影法是對人臉圖像進(jìn)行水平和垂直方向的投影，根據(jù)波谷和波峰的分布信息來對眼睛進(jìn)行定位。這種方法定位速度較快，但波谷、波峰的分布對姿態(tài)的變化和不同的人臉異常敏感，所以定位精度較差，而且容易陷入局部最小而導(dǎo)致定位失敗。模板匹配首先根據(jù)眼睛參數(shù)構(gòu)造兩只眼睛模板，也可以從人臉庫中進(jìn)行選取，然后分別用左眼模板和右眼模板在原圖像中進(jìn)行匹配，分別得到兩個相似度最大的區(qū)域作為定位的眼睛區(qū)域。該方法使用方便，不需要大量的先驗信息，但計算量大，不能同時實現(xiàn)雙眼定位，結(jié)果經(jīng)常只能定位到一只眼睛。3）對稱變換法

廣義對稱變換，可以用來定位人眼進(jìn)而提取臉部特征。方向?qū)ΨQ變換，利用對稱性在不同方向上的分布情況反映了物體的基本形狀特征，并提高了定位的精確度。離散對稱變換，結(jié)合方向?qū)ΨQ變換和廣義對稱變化的優(yōu)點。不僅可以由廣義對稱變換描述物體對稱性的大小，而且還可通過對點鄰域的考察，去除處于規(guī)則區(qū)域外的點，從而大大降低了計算量，是一種對眼睛定位的快速算法。4）積分投影法用積分投影法定位眼睛只可給出虹膜的左右邊界。由于眼睛的灰度特性在面部特征中較明顯，基于灰度的投影法定位眼睛是一種非常有效的方法。常用的投影函數(shù)：積分投影函數(shù)(integralProjectionfunction，簡稱IPF)、方差投影函數(shù)(varianceprojectionfunction，VPF)和混合投影函數(shù)(hybridprojectionfunction，HPF)。到目前為止已經(jīng)有很多學(xué)者將投影函數(shù)成功運用于定位面部特征,提出了方差投影函數(shù)的概念，而且同時提出了一種利用方差投影函數(shù)定位眼睛的簡單方法，同時將積分投影函數(shù)成功地應(yīng)用于人臉識別，用拉普拉斯算子對原始灰度圖進(jìn)行二值化，再用積分投影函數(shù)對二值圖像進(jìn)行分析。綜合上述兩種方法的混合投影法，并應(yīng)用該方法對眼睛中心點進(jìn)行了精確定位。2眼睛特征提取1）虹膜檢測基于虹膜的灰度特征和幾何特征。由于虹膜的灰度與周圍鞏膜和皮膚的灰度差異很大，故可以用灰度投影法來檢測。由于虹膜是圓形的特殊結(jié)構(gòu)，可以用圓或是橢圓來擬合它。Daugman圓形檢測子定位虹膜使用積分微分操作分別檢測虹膜和瞳孔的圓心和半徑。事實上，它們可以看成圓檢測器，因為對于正常的虹膜而言，鞏膜總是比虹膜亮，瞳孔一般比虹膜暗。設(shè)I(x，y)為坐標(biāo)(x，y)處的圖像強(qiáng)度，并且將虹膜內(nèi)邊界和外邊界模型化為圓心在(xc，Yc)，半徑為r的圓。由下式的最大值確定：式中，為高斯函數(shù)。Daugman的虹膜定位方法是現(xiàn)代商用虹膜識別的基礎(chǔ)，但是該方法過分依賴瞳孔圓心的定位，欠缺魯棒性。灰度投影法定位虹膜基于虹膜在眼睛區(qū)域內(nèi)特殊的灰度特征，可以用灰度投影法檢測。常用的灰度投影法：積分投影法，方差投影法和混合投影法。采用三種灰度投影法對眼睛窗口處理，實驗結(jié)果：積分投影法對邊緣的表現(xiàn)比其他二者明顯，但是只能給出虹膜的左右邊界，并不能精確勾勒虹膜完整外邊緣。同時對虹膜的內(nèi)邊緣更是無能為力。Hough變換法定位虹膜

Hough變換是一種基于參數(shù)空間變換的思想進(jìn)行圖像分割的方法。圖像分割中一種常用的方法是在圖像中移動一個合適形狀和大小的掩模，尋找圖像與掩模問的相關(guān)性。但是由于形狀變形、旋轉(zhuǎn)、縮放、遮擋等原因，該掩模與在待處理的圖像中物體的表示相差太大。有時圖像中部分重疊或遮擋導(dǎo)致物體表示有限。這些情況下的圖像分割都可以用Hough變換來解決。Hough變換法主要是利用眼球的圓形特征，在邊緣檢測后提取的邊緣中用Hough變換尋找到眼球。缺點：對眼睛狀態(tài)敏感，如果眼睛閉合或者即將閉合，那么提供的虹膜邊緣太少，就無法檢測出虹膜。2）眼角檢測內(nèi)外眼角是一個重要特征，可以將眼角作為角點來檢測。角點可以看作是兩條直線的交點，由此定義可以先擬合兩條直線，然后尋找其交點；角點也可以看作圖像邊界上曲率最大的點，因此可以用鏈碼跟蹤后的輪廓點計算曲率來判定角點；角點還可以看作圖像中梯度值和梯度變化率都很高的點，則可以利用方向?qū)?shù)來檢測角點。已有的角點檢測方法歸為兩類：一是根據(jù)圖像邊緣特征，用輪廓點計算邊緣曲率或夾角來判定角點；二是直接利用灰度信息進(jìn)行角點檢測。3眼睛狀態(tài)識別1)基于特征分析的眼睛狀態(tài)識別邊緣復(fù)雜度法首先，將眼睛圖像二值化得到眼睛邊緣圖，其次，計算眼睛邊緣復(fù)雜度：其中，含左右眼睛的圖像大小為m*n，b(i,j)為二值圖中的0或1，a、b為調(diào)整權(quán)重參數(shù)。如果眼睛區(qū)域復(fù)雜度較大，說明眼睛為開眼，否則為閉眼。模板匹配法任給一個未知狀態(tài)的眼睛，如果有開眼模板和閉眼模板兩個模板，那么就可以通過看它和哪個眼睛模板最相似來判斷它的狀態(tài)。如果它和開眼模板最相似，那么就可以認(rèn)為眼睛是開的，否則就是閉的。眼瞼曲率法開眼時，上眼瞼邊緣類似開口朝下的拋物線，而閉眼時，上眼瞼邊緣類似開口朝上的拋物線；因此選擇尋找上眼瞼并計算眼瞼曲率來判斷眼睛狀態(tài)。投影的方法閉眼的邊緣圖中常常有兩條足夠接近的直線，因此可以用投影的方法來觀察是否存在這樣兩條足夠接近的線，如果存在這樣的線則認(rèn)為這個是閉眼；否則為開眼，或再進(jìn)行下一步檢測。

眼睛面積法S(t)表示眼睛面積隨時間的變化，m左、m右、M左、M右分別表示初始化統(tǒng)計的左右眼睛面積的最小值和最大值。如果P(t)大于0.5則表示為開眼，否則為閉。

2)基于模式分類的眼睛狀態(tài)識別

根據(jù)樣本自動學(xué)習(xí)規(guī)則或知識的方法將眼睛狀態(tài)識別的問題轉(zhuǎn)化為判斷圖像區(qū)域是睜眼還是閉眼的分類問題。包括：特征眼、神經(jīng)網(wǎng)絡(luò)、SVM和HMM等方法。特征眼方法將所有眼睛圖像看成是一個空間，將包括睜眼、閉眼狀態(tài)的眼睛狀態(tài)圖像集合看成一個子空間。采用正交變換可以得到子空間的正交基，其中對應(yīng)較大特征值的一些特征向量稱為特征眼，如果一個圖像區(qū)域與特征子空間的距離小于閾值，則屬于相應(yīng)的特征子空間即眼睛狀態(tài)。神經(jīng)網(wǎng)絡(luò)方法不同眼睛狀態(tài)的眼睛特征作為神經(jīng)網(wǎng)絡(luò)輸入，已知的眼睛狀態(tài)作為網(wǎng)絡(luò)輸出，訓(xùn)練得到眼睛狀態(tài)識別分類器。輸入新圖像，將獲得的駕駛員眼睛特征向量輸入到神經(jīng)網(wǎng)絡(luò)中，根據(jù)網(wǎng)絡(luò)的輸出判斷駕駛員眼睛的睜閉狀態(tài)。具有魯棒性和自適應(yīng)性的特點。SVM方法基本思想是使用最簡單的線形分類器劃分樣本空間，即通過一組訓(xùn)練矢量加權(quán)組合得到一個超平面，使得兩類物體的分離最優(yōu)。HMM方法HMM是一組統(tǒng)計模型，用于描述信號的統(tǒng)計特征。識別之前，需要用一個眼睛圖像數(shù)據(jù)庫訓(xùn)練HMM；檢測時根據(jù)HMM的輸出概率決定圖像窗口中的眼睛是開眼還是閉眼。4眨眼頻率分析正常情況人每次眨眼時間為0.1秒到0.3秒之間，每分鐘的眨眼頻率在10~15次左右，當(dāng)駕駛員眼睛閉合的時間超過0.5秒的時候則很容易發(fā)生交通事故。在采集到的視頻圖像中，由于每一幀圖像里的眼睛可以分為兩種狀態(tài)，即睜眼狀態(tài)記為0，和閉眼狀態(tài)記為1，識別出這兩種狀態(tài)之后，就可以計算駕駛員的眨眼頻率。每隔一秒的眼睛狀態(tài)采樣：5PERCLOS判定準(zhǔn)則PercentageofEyelidClosureOverthePupilOverTime，即在單位時間里眼睛閉合時間所占的百分率。WaltWierwille最早研究PERCLOS，80年代到90年代的研究表明，疲勞與缺乏睡眠、瞳孔直徑、注目凝視、眼球快速轉(zhuǎn)動、眉眼掃視、眨眼睛以及其他因素有關(guān)，并發(fā)現(xiàn)PERCLOS是最具潛力的疲勞測定方法之一，其數(shù)據(jù)真正能夠代表疲勞，是對疲勞進(jìn)行估價測定的最好方法。1999年4月美國聯(lián)邦公路管理局召集討論了PERCLOS和其他眼睛活動測量方法的有效性，研究認(rèn)為，應(yīng)該優(yōu)先考慮把測量機(jī)動車輛駕駛員的PERCLOS作為車載的、實時的、非接觸式的疲勞測評方法。PERCLOS方法有三種標(biāo)準(zhǔn):P7O:表示當(dāng)瞳孔面積有超過70%被眼瞼遮住時，就認(rèn)為眼睛處于閉合狀態(tài)。統(tǒng)計在單位時間內(nèi)眼睛閉合時間所占的時間比例。P80:表示當(dāng)瞳孔面積有超過80%被眼瞼遮住時，就認(rèn)為眼睛處于閉合狀態(tài)。統(tǒng)計在單位時間內(nèi)眼睛閉合時間所占的時間比例。EM:表示當(dāng)瞳孔面積有超過50%被眼瞼遮住時，就認(rèn)為眼睛處于閉合狀態(tài)。統(tǒng)計在單位時間內(nèi)眼睛閉合時間所占的時間比例。

實驗結(jié)果表明：PERCLOS中的P80與疲勞發(fā)展程度的相關(guān)性較好，且具有良好的線性關(guān)系。曲線圖：測量PERCLOS的原理：

通過測量出t1-t4就能計算出PERCLOS的值：

PERCLOS的測量方法：用攝像機(jī)抓取駕駛員的臉部圖像，通過圖像處理方法得到眼睛圖像，經(jīng)過圖像分析和識別的手段確定眼睛是睜開還是閉合的。定義眼睛瞳孔開度大于20％是睜開；而瞳孔開度等于20％或更小為閉合。眼睛閉開比是當(dāng)測量時間內(nèi)眼睛閉合的時間與眼睛睜開的時間之比。眼睛睜開是通過眼睛圖像像素的模板比較得出的；同樣眼睛閉合也是通過眼睛圖像的像素模板比較得出的。時間是通過每幀圖像處理的時間計算出的。5.5.2駕駛員嘴部活動的監(jiān)測1基于Fisher線性變換的嘴唇分割

駕駛員在正常駕駛過程中，其嘴基本上處于閉合狀態(tài)；但當(dāng)頻繁地與他人說話或打手機(jī)通話時，其嘴部大部分時間處于普通張嘴的狀態(tài)或一張一閉的重復(fù)狀態(tài)。當(dāng)駕駛員頻繁地打哈欠時，其嘴張開很大，據(jù)此可判斷其處于疲勞駕駛狀態(tài)。通過嘴唇分割，可以得到駕駛員的嘴部區(qū)域。方法：在灰度圖像里基于區(qū)域和基于邊界檢測的方法等。但是這些方法在有明顯的嘴唇口紅或標(biāo)記的正面圖像才有較好的實驗結(jié)果。嘴唇分隔過程：在RGB顏色空間，對膚色和唇色的顏色向量進(jìn)行Fisher變換，如(e)所示，膚色和唇色很好的分割開了。該方法提高了嘴部定位的準(zhǔn)確性，包含了唇色和膚色的相對關(guān)系，能夠在變化的光照條件下提供相對不變性，并能利用人臉的彩色圖像精確地定位嘴唇區(qū)域，克服灰度圖像的缺點。嘴唇的主要顏色特征是唇色相對膚色顏色較紅，而且歸一化RGB顏色對光照和人臉運動和旋轉(zhuǎn)具有不變性。取顏色象素區(qū)分嘴唇唇色和膚色。Fisher線性分類器能夠?qū)ふ乙粋€投影方向，使Fisher準(zhǔn)則函數(shù)值最大，即類間距盡可能大，類內(nèi)距盡可能小。將顏色向量投影到上后，膚色和唇色顏色信息則能夠很好地區(qū)分出來。為了保證Fisher線性分類器頑健性，訓(xùn)練采用不同人、光照、嘴部張開狀態(tài)下的30幅人臉圖像數(shù)據(jù)作為訓(xùn)練樣本。通過手動標(biāo)定唇色和膚色象素，并將其存入唇色和膚色訓(xùn)練集中，并進(jìn)行Fisher線性變換訓(xùn)練學(xué)習(xí)，得到最佳Fisher線性變換的投影方向。利用得到投影方向，通過式計算圖像每個樣本顏色象素Fisher線性變換值，就可得到樣本Fisher線性變換投影圖：嘴唇和皮膚顏色向量Fisher線性變換值差異明顯，其中唇色Fisher線性變換值大于膚色Fisher線性變換值。決策規(guī)則：

ifthen唇色

ifthen膚色取人臉下半部分作為嘴部的初步感興趣區(qū)域。利用Fisher線性變換將感興趣區(qū)域內(nèi)的人臉膚色和唇色分開。鼻孔、胡須、嘴唇內(nèi)腔的陰影區(qū)域等黑色部分均不在皮膚和嘴唇顏色范圍內(nèi)。經(jīng)過上述Fisher線性變換，會使這些部分的Fisher變換值常常與嘴唇象素的變換值非常接近，影響嘴唇的檢測，需要一定的限制條件將它們排除出去?？梢岳萌四樐w色(包括嘴唇)的相似度作為約束條件將非人臉膚色剔除掉。有限制的Fisher線性變換公式：2基于連通區(qū)域標(biāo)記的嘴部定位經(jīng)過Fisher線性變換分割得到的圖像常包括多個區(qū)域，需要通過連通成分標(biāo)示分析把它們分別提取出來。標(biāo)示分割后(二值)圖像中各區(qū)域的簡單而有效的方法是檢查各象素與其相鄰象素的連通性。(a)表示了經(jīng)過Fisher線性變換嘴唇分割后的嘴部感興趣區(qū)域圖像的某個部分。Y代表嘴唇象素或與嘴唇象素顏色相似的非嘴唇象素，初步可以判斷出該幅圖像中包含三個不同物體。連通成分標(biāo)示的作用就是對不同物體進(jìn)行有序編號。采用八連通標(biāo)示算法來進(jìn)行標(biāo)示。有三種不同的情況：左上、上、右上、左位置上的各點皆為背景0，則P點加一新標(biāo)記。左上、上、右上、左位置上的各點有的為背景0，有的不為0，則從左上鄰域點開始按逆時針方向的第一個為非背景0的標(biāo)記值標(biāo)記。左上、上、右上、左位置上的各點皆已經(jīng)加上標(biāo)記，則P點標(biāo)記值與左點的標(biāo)記值相同。在第一次掃描后所有物體上的點Y都已經(jīng)被加上標(biāo)記，如圖(b)。這時圖中同一物體上可能有幾種不同標(biāo)記，因此需進(jìn)行第二次掃描把同一物體上的標(biāo)記統(tǒng)一起來。第二次掃描的規(guī)則： (1)掃描按從左至右從上到下的順序進(jìn)行。(2)掃描過程中，如果遇到某點P加有標(biāo)記，則該點八連通的標(biāo)記值全部改為P點的標(biāo)記值。標(biāo)記值的改變是統(tǒng)一進(jìn)行的。

嘴部區(qū)域連通成分標(biāo)示結(jié)果:經(jīng)過八連通成分標(biāo)示后標(biāo)簽圖像上剩下了1、2、3、4、5、6、7和8共8個標(biāo)簽，這表示嘴部感興趣圖像經(jīng)唇色分割處理后被分割成了相互獨立的8個區(qū)域。駕駛?cè)四槻繄D像區(qū)域參數(shù)為：人臉寬度為164個象素，人臉高度為108個象素，人臉下半部分中心位置為(124，197)。根據(jù)上述的約束條件，從表5-1中可以得出標(biāo)簽為4的區(qū)域符合嘴部的幾何約束條件，該區(qū)域的最大外接矩陣即為嘴部區(qū)域。8個區(qū)域的約束參數(shù)計算結(jié)果:3駕駛員嘴部區(qū)域特征提取駕駛員在正常駕駛過程中，其嘴基本上處于閉合狀態(tài)，嘴形呈自然狀態(tài)；當(dāng)駕駛員處于頻繁說話時，其嘴大部分時間處于普通張嘴的狀態(tài)或一張一閉的重復(fù)狀態(tài)，嘴形變化較大；當(dāng)駕駛員處于打哈欠狀態(tài)時，其嘴處于張大嘴的狀態(tài)，下顎下垂，嘴角向內(nèi)收縮。通過觀察駕駛員嘴部張開程度，可以直觀地把駕駛員頻繁說話時的普通張嘴、打哈欠時的大張嘴、不說話時的嘴閉合三種狀態(tài)表示出來。嘴部區(qū)域在以上三種狀態(tài)下的嘴形的幾何特征有明顯區(qū)別。根據(jù)這個基本規(guī)律，可提取出表示駕駛員嘴部狀態(tài)的嘴部幾何特征值。嘴部的三種狀態(tài)：三種形狀區(qū)別明顯，如果找出能夠表征嘴部區(qū)域形狀的特征值并輸入神經(jīng)網(wǎng)絡(luò)分類器，則利用神經(jīng)網(wǎng)絡(luò)模糊分類的優(yōu)點，就可以識別出駕駛員嘴部的三種不同狀態(tài)。嘴部區(qū)域的形狀嘴部區(qū)域的最大寬度嘴部區(qū)域的最大高度上、下嘴唇之間的高度駕駛?cè)嗽谌N嘴部狀態(tài)下，三個幾何特征值變化情況圖將三個幾何特征值組成一個特征向量得到嘴唇特征點：左右嘴角點A，B、上嘴唇中心最上點C、上嘴唇中心最下點D、下嘴唇中心最上點E、下嘴唇中心最下點F。經(jīng)過圖像象素顏色值的Fisher線性變換和連通成分標(biāo)示分析可以得到完整的嘴唇輪廓。根據(jù)人臉嘴唇特征點的幾何分布特征，并通過水平投影確定左、右嘴角，再作垂直于左右嘴角的直線，在直線的方向上進(jìn)一步搜索可得到上嘴唇中心最上點、上嘴唇中心最下點、下嘴唇中心最上點、下嘴唇中心最下點。1)左、右嘴角點定位嘴唇象素點的垂直投影圖的縱坐標(biāo)為圖像中一列上所有嘴唇象素點之和。橫坐標(biāo)為列坐標(biāo)號。利用嘴部區(qū)域圖像中的嘴唇象素點的垂直投影來確定嘴唇左、右邊界，左、右嘴角的橫坐標(biāo)。在嘴唇左、右邊界列上，把計算所有嘴唇象素的縱坐標(biāo)值的平均值，作為左、右嘴角的縱坐標(biāo)。2)上嘴唇中心最上點、下嘴唇中心最下點定位嘴角定位后，連接左、右嘴角點，作連線的中垂線。上嘴唇中心最上點、下嘴唇中心最下點的橫坐標(biāo)是中垂線的坐標(biāo)位置值。在中垂線左右對稱象素寬度范圍內(nèi)進(jìn)行嘴唇象素的水平投影。在該寬度范圍內(nèi)取最上方和最下方水平投影值滿足水平投影最大值的70％的縱坐標(biāo)作為上嘴唇中心最上點、下嘴唇中心最下點的縱坐標(biāo)值。3)上嘴唇中心最下點、下嘴唇中心最上點定位嘴閉合和嘴張開時，定位方法不同。據(jù)中垂線附近嘴唇象素的水平投影來決定嘴是否張開。在水平投影中只有一個投影量峰值則為閉嘴。在嘴閉合時，上嘴唇中心最下點、下嘴唇中心最上點和左右嘴角點在同一直線上，取其左、右嘴角點坐標(biāo)值的中點作為上嘴唇中心最下點、下嘴唇中心最上點的坐標(biāo)值。如果在水平投影中有兩個投影量峰值則嘴為張開。在嘴張開時，同樣按照上嘴唇中心最上點、下嘴唇中心最下點定位的方法，取其兩峰值中間水平投影量滿足水平投影最大值的70％的縱坐標(biāo)作為上嘴唇中心最下點、下嘴唇中心最上點的縱坐標(biāo)值。上嘴唇中心最下點、下嘴唇中心最上點定位嘴部區(qū)域和嘴唇特征點定位

4基于神經(jīng)網(wǎng)絡(luò)嘴部狀態(tài)識別BP網(wǎng)絡(luò)為三層結(jié)構(gòu)，輸入層有3個神經(jīng)元，分別代表駕駛員嘴部區(qū)域的不同幾何特征；隱層選用14個神經(jīng)元；輸出層有3個神經(jīng)元，分別代表駕駛員嘴部三種不同狀態(tài)，隱層的傳遞函數(shù)為Sigmoid函數(shù)。輸出向量Y1=[1，0，0]T、Y2=[0，1，0]T和Y3=[0，0，1]T。Y1代表駕駛員打哈欠時的大張嘴；Y2代表駕駛員正常說話時的普通張嘴；Y3代表駕駛員在正常行駛狀態(tài)時的嘴閉合。根據(jù)駕駛員嘴部狀態(tài)的連續(xù)時間系列數(shù)據(jù)統(tǒng)計規(guī)律統(tǒng)計決定駕駛員的狀態(tài)?！?”表示嘴閉合，“1”表示普通張嘴，“2”表示張大嘴。打哈欠：人在打哈欠時張大嘴的平均時間至少持續(xù)5秒以上。以6秒作為計算周期，系統(tǒng)監(jiān)測頻率為12幀/秒。如果6秒內(nèi)統(tǒng)計駕駛員嘴部連續(xù)處于張大嘴狀態(tài)的時間超過5秒，則可判斷處于打哈欠的疲勞狀態(tài)。打哈欠過程嘴部幾何特征值和狀態(tài)變化圖：說話：人在說話時嘴張開的時間大于閉合的時間。采用駕駛?cè)似胀◤堊焖嫉臅r間百分比作為駕駛員說話的判斷標(biāo)準(zhǔn)。選擇時間百分比為60％，即嘴部狀態(tài)時間系列中“1”的次數(shù)所占的比例為60％。連續(xù)的說話過程中三個嘴部幾何特征值及相應(yīng)的嘴部狀態(tài)值變化圖：5.5.3駕駛?cè)祟^部運動方向的監(jiān)測疲勞時打磕睡，表現(xiàn)為頻繁的點頭運動，將點頭頻率應(yīng)用到疲勞檢測系統(tǒng)中。只需統(tǒng)計出眼睛的垂直運動規(guī)律。將眼睛的垂直坐標(biāo)隨時間的變化規(guī)律繪制成曲線。對位置一時間曲線的升高值的要求:(1)該升高值必須達(dá)到一定的規(guī)模才能計算到統(tǒng)計值中去。(2)整個升高過程的時間跨度必須比較小。如果不滿足上述要求，則不予統(tǒng)計。垂直位置一時間曲線的示例：5.5.4駕駛?cè)嗣娌砍虻墓烙嫹謨深?基于臉部特性的方法假定在三維人臉姿態(tài)與某種人臉圖像特性之間存在特定的因果關(guān)系，解決問題的核心是如何獲得這種關(guān)系。基于模型的方法給定一個三維人臉模型，首先建立二維與三維特征點的對應(yīng)，然后用傳統(tǒng)的姿態(tài)估計方法來估計人臉的姿態(tài)。兩種思路：一種是首先利用膚色特征檢測圖像中的人臉區(qū)域，然后在人臉區(qū)域中檢測出人面部的可視化視覺特征（眼睛、嘴等）并估計出其相應(yīng)的狀態(tài)，最后根據(jù)一定時間段內(nèi)各特征的狀態(tài)變化規(guī)律估計出當(dāng)前駕駛員的駕車精神狀態(tài)；另一種是利用眼睛瞳孔對于近紅外光源的反射特性，首先尋找到圖像中的眼睛位置，根據(jù)眼睛位置及狀態(tài)估計駕駛員的駕車精神狀態(tài)。清華大學(xué)研究了頭部朝向角度與注意力分散之間的關(guān)系；提出了頭部朝向偏離路面的持續(xù)時間和時問比例兩個注意力分散指標(biāo)，建立了基于駕駛員面部特征點的模型。浙江大學(xué)首先使用彩色空間轉(zhuǎn)換提取人臉區(qū)域。然后采用Canny算子進(jìn)行邊緣檢測，再利用Hough變換提取面部特征，最后對駕駛?cè)祟^部朝向進(jìn)行分析和跟蹤。吉林大學(xué)根據(jù)面部輪廓相似于橢圓，在面部二值化圖像基礎(chǔ)上，利用鏈碼跟蹤算法對檢測到的圖像邊緣點進(jìn)行跟蹤檢測，獲得用于描繪面部輪廓的初始邊緣點集。為了提高最終面部輪廓曲線擬合的準(zhǔn)確度，引入曲率相位對稱性約束、邊緣點坐標(biāo)約束和面部幾何約束三種條件對初始邊緣點集進(jìn)行篩選，獲得用于最終面部輪廓線擬合的邊緣點集合。選用最小二乘方法對篩選出的所有邊緣點集進(jìn)行擬合，從而獲得了面部輪廓曲線的各種空間位置參數(shù)。面部幾何特征示意圖：選擇四個特征值用于組成面部幾何特征向量(1)眼睛位置與輪廓線間的相對位置信息(2)眼睛與嘴部所組成特征三角形的形狀信息(3)眼睛與嘴部在面部輪廓曲線內(nèi)的相對垂直位置信息(4)嘴部位置與面部輪廓線間的相對位置信息對駕駛?cè)嗽谡ｑ{駛狀態(tài)、面部發(fā)生左右偏轉(zhuǎn)、上下俯仰時的上述四個特征進(jìn)行統(tǒng)計，各特征變化情況：5.6基于紅外的駕駛?cè)诵袨榕c疲勞狀態(tài)監(jiān)測的實現(xiàn)

5.6.1駕駛?cè)搜劬ν椎臋z測人眼中的虹膜、鞏膜對紅外線的吸收和反射各不相同。其中虹膜對波長為850nm的近紅外線反射為90%，對可見光的反射為50%，鞏膜幾乎全部反射。因此眼睛在紅外光源照射下的成像是邊緣豐富、層次清晰的圖像。眼睛結(jié)構(gòu)：

眼睛在不同光照條件下的圖像：為了獲得眼睛瞳孔的位置，根據(jù)反射特征利用二維類間方法閾值分割方法對眼睛區(qū)域重新進(jìn)行閾值分割，通過Canny邊緣檢測的方法提取眼睛瞳孔的邊緣，運用Hough變換方法和橢圓擬合法檢測瞳孔的位置。Hough變換基本思想：將圖像的空間域變換到參數(shù)空間，用大多數(shù)邊界點滿足的某種參數(shù)形式來描述圖像中的曲線的區(qū)域邊界。在預(yù)先不知道區(qū)域形狀的條件下，利用Hough變換可以方便地得到邊界曲線，將不連續(xù)的邊緣像素點連接起來。優(yōu)點：受噪聲和曲線間斷的影響較少，對區(qū)域邊界噪聲干擾或被其它目標(biāo)遮蓋而引起邊界發(fā)生間斷的情況，具有很好的容錯性和魯棒性。Hough變換檢測任意曲線的原理：假設(shè)為需檢測曲線的參數(shù)方程，為形狀參數(shù)，x、y為空間域的圖像點坐標(biāo)，對于圖像空間的任意點，利用該參數(shù)方程可將該點變換為參數(shù)空間中的一條曲線。對空間域中位于同一曲線上的n個點逐一進(jìn)行上述變換，在參數(shù)空間中對應(yīng)的得到n條曲線，這n條曲線必定經(jīng)過同一點，找到參數(shù)空間中的這個點就決定了空間域中的曲線。對于Hough變換的圓檢測，假設(shè)希望在圖像平面（X-Y平面）考察并確定一個圓周，令為圖像中確定的圓周上的點的集合，而為集合中的一點，它在參數(shù)系中方程為:該方程為三維錐面，對于圖像中的任意確定的一點均有參數(shù)空間的一個三維錐面與之對應(yīng)。對于圓周上的任何點集合，這些三維錐面構(gòu)成圓錐面簇：若集合中的點在同一圓周上，這些圓錐簇相交于參數(shù)空間上某一點，恰好對應(yīng)于圖像平面的圓心坐標(biāo)及圓的半徑。根據(jù)瞳孔閾值分割的結(jié)果，已經(jīng)知道了瞳孔的面積，通過計算獲得瞳孔半徑，使得Hough變換的維數(shù)減少一維。對于離散圖像對空間域的A，它的半徑為r的可能的圓心位于圖2參數(shù)空間中以A為圓心、r為半徑的圓周上。由于Hough變換計算量的復(fù)雜程度和變量的個數(shù)成指數(shù)增加，因此盡量較少變量的個數(shù)。原圖像空間中的一個圓對應(yīng)了參數(shù)空間中的一個點，參數(shù)空間中的一個點對應(yīng)了圖像空間中的一個圓，原圖像空間中在同一個圓上的點。所以，將原圖像空間中的所有點變換到參數(shù)空間后，根據(jù)參數(shù)空間中點的聚集程度就可以判斷出圖像空間中有沒有近似于圓的圖形。圓錐面簇Hough變換的瞳孔檢測結(jié)果圖

5.6.2基于HARRIS角點的普爾欽光斑檢測當(dāng)使用紅外輔助光源照射到人的臉部時，在眼睛虹膜表面形成反射像，此反射像被稱為普爾欽光斑。當(dāng)眼球轉(zhuǎn)動時，可以認(rèn)為普爾欽光斑的絕對位置是不變的，而瞳孔的位置發(fā)生相應(yīng)的變化，這樣紅普爾欽光斑和瞳孔的相對位置關(guān)系也發(fā)生了變化，通過這種相對位置關(guān)系的確定可以判斷駕駛員的視線方向。普爾欽光斑的特征：普爾欽光斑最亮，而瞳孔最暗、虹膜次之。普爾欽光斑基本為一個斑點，而瞳孔與虹膜分別為一個近似的圓。夜間紅外圖像的普爾欽光斑在瞳孔不同位置示意圖：首先采用了Harris角點特征提取的方法定位駕駛員的普爾欽光斑位置。Harris算子是一種基于信號的點特征提取算子，優(yōu)點：計算簡單、提取的點特征均勻而且合理、可定量的提取特征角點、穩(wěn)定。Harris算子通過計算窗口沿任何方向移動后的灰度變化，并用