行人檢測(cè)技術(shù)研究綜述

1行人檢測(cè)技術(shù)的現(xiàn)狀確定輸入圖像（或視頻地址）是否包含行人。如果是，請(qǐng)給出位置信息。這是車輛輔助駕駛[1.4]、智能視頻監(jiān)控和人體行為分析的第一步。近年來(lái)，它也被用于促進(jìn)客運(yùn)圖像和受害者救援等新興領(lǐng)域。行人的外觀具有剛性和柔軟性，外觀容易受到服裝、比例、開(kāi)口、姿態(tài)和視角的影響。行人的檢測(cè)是計(jì)算視覺(jué)的難度和熱點(diǎn)。自2005年以來(lái),行人檢測(cè)技術(shù)的訓(xùn)練庫(kù)趨于大規(guī)模化、檢測(cè)精度趨于實(shí)用化、檢測(cè)速度趨于實(shí)時(shí)化(2.67幀每秒).在這樣的形勢(shì)下,有必要及時(shí)地對(duì)行人檢測(cè)技術(shù)的現(xiàn)狀進(jìn)行梳理.許言午等從技術(shù)和原型系統(tǒng)這兩方面總結(jié)了2001年至2006年這段時(shí)間內(nèi)行人檢測(cè)系統(tǒng)的進(jìn)展.Enzweiler等和Dollar等在公共數(shù)據(jù)集上比較了行人檢測(cè)技術(shù)經(jīng)典算法之間的性能差異;文獻(xiàn)總結(jié)了車輛輔助駕駛系統(tǒng)中行人感興趣區(qū)域分割和識(shí)別技術(shù)這兩方面的研究現(xiàn)狀.這些綜述文獻(xiàn)從不同的側(cè)面對(duì)行人檢測(cè)的技術(shù)進(jìn)行梳理,但缺少對(duì)不同領(lǐng)域下行人檢測(cè)技術(shù)的共性問(wèn)題進(jìn)行深入剖析.本文對(duì)行人檢測(cè)技術(shù)中最核心的兩個(gè)問(wèn)題—特征提取、分類與定位—進(jìn)行綜述.文章中首先將這兩個(gè)問(wèn)題的處理方法分為不同的類別(見(jiàn)圖1),然后從縱橫兩個(gè)方向?qū)@些方法進(jìn)行分析和比較,文章最后給出了我們?cè)跇?gòu)建行人檢測(cè)系統(tǒng)時(shí)積累的一些經(jīng)驗(yàn),并對(duì)行人檢測(cè)技術(shù)的未來(lái)進(jìn)行展望.篇幅所限,本綜述主要總結(jié)2005-2011這段時(shí)間內(nèi)的行人檢測(cè)技術(shù)進(jìn)展.2基于學(xué)習(xí)的特征行人特征描述子可分為三類:底層特征、基于學(xué)習(xí)的特征和混合特征.底層特征指的是顏色、紋理和梯度等基本的圖像特征;基于學(xué)習(xí)的特征指的是通過(guò)機(jī)器學(xué)習(xí)的方法,從大量的行人樣本中學(xué)習(xí)到的行人特征表示;混合特征指的是多種底層特征的融合,或者是底層特征的高階統(tǒng)計(jì)特征.這三類特征的優(yōu)缺點(diǎn)如表1所示.本節(jié)最后依時(shí)間順序列出了2005-2011較具代表性的行人特征,見(jiàn)表2.2.1行人檢測(cè)技術(shù)Dalal等提出HOG(HistogramofOrientedGradient,HOG)是目前廣泛使用的行人特征描述子.HOG刻畫(huà)圖像的局部梯度幅值和方向特征,基于梯度特征、對(duì)塊的特征向量進(jìn)行歸一化處理、允許塊之間相互重疊,因此對(duì)光照變化和小量的偏移并不敏感,能有效地刻畫(huà)出人體的邊緣特征.HOG也有其缺點(diǎn):維度高、計(jì)算慢.針對(duì)這些缺點(diǎn),Zhu等允許HOG中塊大小可變,利用積分直方圖技術(shù)來(lái)快速計(jì)算HOG特征,通過(guò)Adaboost算法選擇判別能力較強(qiáng)的塊,然后構(gòu)建級(jí)聯(lián)的分類器,該方法的檢測(cè)速度比Dalal等的快將近70倍.Wojek等則采用并行技術(shù),在GPU上實(shí)現(xiàn)HOG,構(gòu)建了一個(gè)實(shí)時(shí)的行人檢測(cè)系統(tǒng).局部二值模式(LocalBinaryPattern,LBP)最早是由Ojala等提出的一種用于紋理分類的特征提取方法,廣泛應(yīng)用在人臉識(shí)別中.Mu等根據(jù)行人的特點(diǎn),提出LBP的兩個(gè)變種:Semantic-LBP(S-LBP)和FourierLBP(F-LBP).Wang等則簡(jiǎn)單地將局部圖像塊的LBP直方圖特征串聯(lián)起來(lái)作為行人的特征描述子,其檢測(cè)性能并不比S-LBP差,但Walk等在其他行人數(shù)據(jù)上的實(shí)驗(yàn)表明HOG與LBP特征的結(jié)合并沒(méi)有提高檢測(cè)性能.究其原因是LBP在圖像比較模糊或者光照變化強(qiáng)烈等成像條件較差時(shí),不能有效地刻畫(huà)出紋理特征.與LBP特征類似的有,Wu等提出的CENTRIST特征,即CENsusTRansformhISTogram.該特征能刻畫(huà)場(chǎng)景的全局信息,最早用在場(chǎng)景分類中.2011年Wu等將CENTRIST應(yīng)用在行人檢測(cè)中,利用積分圖技術(shù)快速計(jì)算該特征,并與級(jí)聯(lián)分類器相結(jié)合構(gòu)建了一個(gè)實(shí)時(shí)的行人檢測(cè)系統(tǒng).顏色是最基本的圖像特征,易受光照的影響,不適合作為行人的特征描述子,但是由于人體的結(jié)構(gòu)具有相對(duì)的穩(wěn)定性,不同部位的顏色之間差異較小,因此Walk等提出了顏色自相似特征來(lái)刻畫(huà)局部塊特征之間的相互關(guān)系,與HOG特征相結(jié)合,大大提高了檢測(cè)性能.2.2局部特征檢測(cè)基于學(xué)習(xí)的特征,利用Boosting進(jìn)行特征選擇,選擇出來(lái)的特征可看作是行人的中間層表示.如Viola等提出了基于“AdaBoost+Haar”的人臉檢測(cè)方法中,利用AdaBoost從大量的Haar特征中選擇判別能力較強(qiáng)的特征(弱分類器),后來(lái)該方法成功地應(yīng)用在行人檢測(cè)中.Wu等提出Edgelet來(lái)描述行人的局部輪廓方向特征.所謂的Edgelet是一段長(zhǎng)為k的直線或弧線,記其上各象素點(diǎn)的梯度幅值和方向分別為則Edgelet在圖像I中點(diǎn)p處的特征值Edgelet(p)定義為:其中,表示由Sobel算子計(jì)算出的邊緣強(qiáng)度和方向.Gavrila等提出ChamferSystem也是基于邊緣特征的行人檢測(cè)方法,該方法從樣本中學(xué)習(xí)待檢測(cè)目標(biāo)的形狀分布模型,采用層次聚類的方法對(duì)模板進(jìn)行索引以提高檢測(cè)速度,缺點(diǎn)是需要手工標(biāo)注模板;邊緣模板依賴于二值化邊緣的提取,在邊緣不顯著的情況下,可能出現(xiàn)漏檢;層次索引中,不同層次的邊緣模板仍然有很大的相似性,存在大量重復(fù)計(jì)算.與Gavrila的邊緣模板特征相比,Edgelet特征具有如下優(yōu)點(diǎn):由機(jī)器學(xué)習(xí)算法自動(dòng)篩選,不需要手動(dòng)標(biāo)注;描述行人局部特征,能有效處理遮擋;綜合考慮邊緣的強(qiáng)度和方向特征,誤檢率較低;Gao等提出了自適應(yīng)的輪廓特征,利用Adaboost算法在方向粒度空間中進(jìn)行特征選擇,定義了“生長(zhǎng)”、“合并”和“切割”三種操作,能有效刻畫(huà)形狀的共現(xiàn)特征.2.3從cohog到cohog、積分特征的融合Tuzel等利用各種不同特征(象素的坐標(biāo)、灰度的一階導(dǎo)數(shù)、二階導(dǎo)數(shù)和梯度方向等)的協(xié)方差矩陣來(lái)描述行人的局部區(qū)域特征,將協(xié)方差矩陣視為聯(lián)通的黎曼流形,在黎曼幾何空間中對(duì)行人進(jìn)行分類.Watanabe等則采用類似灰度共生矩陣的特征,提出了共生梯度方向直方圖特征(Co-occurrenceHistogramsofOrientedGradients,簡(jiǎn)稱CoHOG).CoHOG通過(guò)“梯度對(duì)”更好地描述了梯度的空間分布特征,缺點(diǎn)是向量維度太高.Liu等提出GGP(Granularity-tunableGradientsPartition)特征,粒度用來(lái)定義霍夫空間中線段的空間位置和角度的不確定性,該特征刻畫(huà)了圖像區(qū)域的結(jié)構(gòu)信息和統(tǒng)計(jì)特征,并將二者統(tǒng)一在可調(diào)粒度的梯度空間中.Dollar等提出了積分通道特征,利用積分圖技術(shù)對(duì)圖像的各特征通道(線性或非線性變換后的圖像),如局部和、直方圖特征和哈爾特征等進(jìn)行快速計(jì)算.該方法不僅將多特征有機(jī)結(jié)合起來(lái),且解決了多特征融合計(jì)算速度慢的缺點(diǎn).有部分研究者通過(guò)行人的顏色、形狀、紋理和場(chǎng)景等多種信息相互融合,構(gòu)建魯棒的行人檢測(cè)系統(tǒng).如Schwartz等將HOG特征與顏色、紋理和邊緣等特征相結(jié)合,構(gòu)建一高維的描述子,并通過(guò)偏最小二乘降維.其他的特征混合方式有:形狀與紋理信息相結(jié)合,表觀信息與運(yùn)動(dòng)信息相結(jié)合,表觀信息與深度信息相結(jié)合.3滑動(dòng)窗口法和超越滑動(dòng)窗口法行人檢測(cè)中的分類指的是判斷當(dāng)前檢測(cè)窗口是否包含行人,定位指的是行人在圖片中的具體位置.行人的分類與定位方法可分為兩大類:滑動(dòng)窗口法(SlidingWindow)和超越滑動(dòng)窗口法(BeyondSlidingWindow).滑動(dòng)窗口法是目標(biāo)檢測(cè)中的主流方法,主要思路如下:選一固定大小的窗口在圖像的尺度空間內(nèi)(即縮放后得到的圖片)依次滑動(dòng)窗口,利用預(yù)先訓(xùn)練好的分類器判斷窗口內(nèi)是否包含行人,通過(guò)窗口的滑動(dòng)對(duì)圖片進(jìn)行遍歷,從而給出行人在圖片中出現(xiàn)的位置.超越滑動(dòng)窗口法是近年來(lái)隨著基于“詞袋”(bag-of-words,BOW)的場(chǎng)景分類技術(shù)的發(fā)展而出現(xiàn)的,其中較具代表性的方法有隱式形狀模型、高效子窗口法和跳躍窗口法.文獻(xiàn)的5.3.5節(jié)通過(guò)實(shí)驗(yàn)比較了二者在不同性能評(píng)價(jià)準(zhǔn)則下的檢測(cè)率,有關(guān)滑動(dòng)窗口法和超越滑動(dòng)窗口法的優(yōu)缺點(diǎn)分析見(jiàn)表3.3.1整體法和其他法.滑動(dòng)窗口法依據(jù)所利用的人體結(jié)構(gòu)信息可進(jìn)一步分為整體法和部位法.整體法是對(duì)掃描窗口內(nèi)的圖像進(jìn)行特征提取,獲取行人的全局信息;部位法對(duì)行人的部位(如頭肩部、軀干、手和腳等)進(jìn)行特征提取,構(gòu)建部位間的幾何關(guān)系.3.1.1行人檢測(cè)的主要方法目前大部分的行人檢測(cè)方法采用整體法,這些方法的不同在于分類器和特征,第2節(jié)已對(duì)行人的特征進(jìn)行了綜述,這里主要總結(jié)目前行人檢測(cè)中常用的分類器:SVM、Boosting和多示例學(xué)習(xí)等.Oren等最早提出基于SVM的行人檢測(cè)方法,隨著核函數(shù)在計(jì)算機(jī)視覺(jué)的廣泛應(yīng)用,Maji等提出基于直方圖交叉核支持向量機(jī)(HistogramIntersectionKernelSVM,HIKSVM)的行人檢測(cè)方法,并設(shè)計(jì)相應(yīng)的快速近似算法,性能優(yōu)于線性核SVM.最早將AdaBoost應(yīng)用到目標(biāo)檢測(cè)的是Viola等,Viola等利用哈爾特征、AdaBoost算法和級(jí)聯(lián)分類器成功地實(shí)現(xiàn)第一個(gè)實(shí)時(shí)人臉檢測(cè)系統(tǒng),并將該方法應(yīng)用到智能監(jiān)控的行人檢測(cè)中.Chen等改進(jìn)級(jí)聯(lián)結(jié)構(gòu),在每級(jí)輸出中引入MetaStage,利用每級(jí)的輸出構(gòu)建分類器,大大提高了行人檢測(cè)的速度和準(zhǔn)確性.Tuzel等針對(duì)協(xié)方差矩陣,在黎曼流形空間中利用LogitBoost對(duì)行人進(jìn)行分類.Kim等提出多分類器增強(qiáng)算法MCBoost(MultipleClassifierBoosting)對(duì)圖像和視覺(jué)特征進(jìn)行協(xié)同聚類(Co-Clustering),MCBoost能有效解決目標(biāo)檢測(cè)中的多類別和多視角問(wèn)題,在INRIA上的實(shí)驗(yàn)表明MCBoost的性能優(yōu)于AdaBoost.多示例學(xué)習(xí)已成為與監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)并列的一種機(jī)器學(xué)習(xí)框架.Lin等和Babenko等針對(duì)行人檢測(cè)中因姿態(tài)問(wèn)題所導(dǎo)致的局部特征不匹配的現(xiàn)象,提出基于多示例學(xué)習(xí)框架下的基于部位行人檢測(cè)方法.該方法能自動(dòng)對(duì)齊行人的局部特征,對(duì)部位的形變進(jìn)行建模,與級(jí)聯(lián)結(jié)構(gòu)相比,所需特征數(shù)量更少,提高了檢測(cè)的準(zhǔn)確率.各個(gè)分類器都有其優(yōu)缺點(diǎn):線性核SVM的訓(xùn)練和預(yù)測(cè)時(shí)間比較快,Boosting技術(shù)和多示例學(xué)習(xí)的訓(xùn)練時(shí)間則很長(zhǎng),在行人檢測(cè)中目前尚無(wú)統(tǒng)一的實(shí)驗(yàn)平臺(tái)來(lái)驗(yàn)證到底哪個(gè)分類器性能最優(yōu).3.1.2dpm方法的改進(jìn)部位法將人體看成是部位的組合,重點(diǎn)要解決以下兩個(gè)問(wèn)題:構(gòu)造有效的部位檢測(cè)器、對(duì)部位間的幾何關(guān)系進(jìn)行建模.近年來(lái)這方面最具代表性的工作是Felzenszwalb等提出的形變部位模型(DeformablePartModel,DPM).DPM包括低分率的整體模型、高分辨率下的部位模型及部位相對(duì)于整體的形變模型.為了得到形變部位模型的參數(shù),Felzenszwalb把各個(gè)部位相對(duì)于整體的位置偏移作為隱變量,提出了基于隱式支持向量機(jī)的參數(shù)求解方法.DPM雖然能在一定程度上解決人體姿態(tài)的變化,但是檢測(cè)的速度較慢.由于DPM包含低分辨率模型和高分辨率模型,低分辨模型可以快速去除大部分非行人區(qū)域,因此Felzenszwalb等借鑒Viola在人臉檢測(cè)中采用的級(jí)聯(lián)思想,提出級(jí)聯(lián)形變部位模型,大大提高了檢測(cè)速度.Pedersoli等通過(guò)實(shí)驗(yàn)觀察到:基于部位法的目標(biāo)檢測(cè)中,部位與圖像進(jìn)行匹配占用了大部分的檢測(cè)時(shí)間.為此他們提出了由粗到細(xì)的快速形變部位模型法:低分辨率下將部位和圖像進(jìn)行匹配,將局部窗口內(nèi)檢測(cè)器的響應(yīng)值最大的區(qū)域保留下來(lái),高分辨率檢測(cè)器只在低分辨率檢測(cè)器保留下的區(qū)域內(nèi)進(jìn)行進(jìn)一步的檢測(cè).該方法大大縮短了檢測(cè)和訓(xùn)練時(shí)間.部位法的難點(diǎn)在于如何對(duì)部位進(jìn)行劃分和構(gòu)建有效的部位檢測(cè),Parikh等的研究表明:部位法中部位檢測(cè)器對(duì)檢測(cè)性能的影響大于部位之間的幾何關(guān)系對(duì)檢測(cè)性能的影響.整體法的優(yōu)點(diǎn)是訓(xùn)練數(shù)據(jù)庫(kù)的標(biāo)注只需用矩形框標(biāo)出行人的區(qū)域,而部位法為了建立部位模型則需要標(biāo)注出行人各部位的區(qū)域.整體法的缺點(diǎn)是無(wú)法克服部分遮擋的影響,部位法采用“分而治之”的策略,能在一定程度上克服部分遮擋的影響.3.2高效子窗口搜索法“詞袋”模型是場(chǎng)景分類中的代表性方法,通常包含如下三個(gè)步驟:視覺(jué)詞典的構(gòu)建、基于詞典的圖片表示和分類器學(xué)習(xí).超越滑動(dòng)窗口是基于BOW的方法,目前常見(jiàn)的有隱式形狀模型、高效子窗口法和跳躍窗口法.其中,高效子窗口的視覺(jué)詞典并沒(méi)有考慮局部特征塊的空間信息,利用直方圖特征來(lái)表示圖片,分類器采用線性核SVM;隱式形狀模型和跳躍窗口均考慮了局部特征塊相對(duì)于目標(biāo)中心的偏移,其幾何模型為星型模型.以下分別介紹這三種方法.高效子窗口搜索法(EfficientSubwindowSearch,ESS)是Lampert等提出的一種快速目標(biāo)定位技術(shù),該方法利用線性支持向量機(jī)的可加性,將分類器的輸出轉(zhuǎn)化為各個(gè)維度的權(quán)重累加和,采用分支限定技術(shù)尋找參數(shù)空間的極大值.ESS雖然能在參數(shù)空間中尋找一個(gè)最優(yōu)值,但是檢測(cè)速度較慢.不少研究者對(duì)ESS進(jìn)行改進(jìn)和擴(kuò)展.An等改進(jìn)ESS的搜索策略,構(gòu)建更為緊湊的上界函數(shù),提高了ESS的檢測(cè)速度.Vijayanarasimhan等提出了基于區(qū)域搜索的目標(biāo)檢測(cè)方法,該方法能定位不規(guī)則形狀的目標(biāo).Yuan等將ESS推廣到三維空間中,提出了基于時(shí)空分支界限的人體行為檢測(cè)方法.隱式形狀模型將行人檢測(cè)視為廣義的霍夫變換問(wèn)題:首先通過(guò)局部特征檢測(cè)算子尋找關(guān)鍵點(diǎn);然后在關(guān)鍵點(diǎn)的周圍選取一固定大小的圖像塊,通過(guò)聚類、隨機(jī)森林或者最大間隔等方法建立局部塊的空間分布模式;最后通過(guò)霍夫投票方式確定行人位置.隱式形狀模型能有效解決遮擋,但是并不是所有的物體都能利用局部特征檢測(cè)器檢測(cè)到關(guān)鍵點(diǎn),該方法只有在側(cè)面行人檢測(cè)時(shí)有較好的效果.跳躍窗口法與隱式形狀模型類似,不同在于每個(gè)局部特征不是對(duì)行人的中心點(diǎn)進(jìn)行投票,而是對(duì)應(yīng)一個(gè)行人可能出現(xiàn)的矩形框位置,最后對(duì)所有的矩形框位置進(jìn)行融合.4行人檢測(cè)結(jié)果的描述和應(yīng)用構(gòu)建一個(gè)魯棒的行人檢測(cè)系統(tǒng),除了與行人特征、分類與定位技術(shù)有關(guān)外,系統(tǒng)的性能還與訓(xùn)練樣本的選擇、預(yù)處理和后處理等密切相關(guān).本節(jié)主要總結(jié)相關(guān)文獻(xiàn)中提及的,以及我們?cè)跇?gòu)建行人檢測(cè)系統(tǒng)中積累的一些經(jīng)驗(yàn).訓(xùn)練樣本的收集“巧婦難為無(wú)米之炊”,基于統(tǒng)計(jì)學(xué)習(xí)的方法來(lái)構(gòu)建行人檢測(cè)器,首先需要建立一個(gè)行人數(shù)據(jù)庫(kù).(1)對(duì)于通用場(chǎng)景的行人檢測(cè)器來(lái)說(shuō),為了提高檢測(cè)器的泛化能力,需要包含各種不同條件下的行人樣本.(2)對(duì)于某一固定場(chǎng)景的行人檢測(cè)器,若條件允許,最好收集針對(duì)某一固定場(chǎng)景下的行人正樣本和負(fù)樣本,避免樣本的非獨(dú)立同分布對(duì)檢測(cè)器性能的影響.另外,(3)行人訓(xùn)練樣本的標(biāo)注中往往給出的是包含行人的最小矩形窗口,但訓(xùn)練時(shí)最好對(duì)該窗口進(jìn)行擴(kuò)充,尤其是向下延伸,如圖2所示.因?yàn)樾腥艘话阏驹诘孛嫔?而地面的表觀特征通常相對(duì)固定.預(yù)處理在實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景中,可利用場(chǎng)景的先驗(yàn)信息預(yù)先確定行人可能出現(xiàn)的區(qū)域,縮小檢測(cè)器的搜索范圍.在視頻監(jiān)控系統(tǒng),由于攝像頭靜止,背景信息相對(duì)固定,可采用減背景法獲取運(yùn)動(dòng)目標(biāo)區(qū)域,將其作為候選區(qū)域.在車輛輔助駕駛中,基于雙目視覺(jué)或者其它非視覺(jué)的傳感器可獲取路面信息,行人檢測(cè)器只需對(duì)路面區(qū)域進(jìn)行掃描.后處理對(duì)檢測(cè)結(jié)果進(jìn)行篩選,濾掉誤檢的行人窗口可進(jìn)一步提高檢測(cè)性能.如Gavrila等通過(guò)比較立體圖像對(duì)中左圖像和右圖像的輪廓相關(guān)性對(duì)檢測(cè)結(jié)果進(jìn)行驗(yàn)證.Leibe等采用倒角匹配(ChamferMatching)對(duì)檢測(cè)結(jié)果的形狀進(jìn)行驗(yàn)證和細(xì)化.Shashua等在對(duì)檢測(cè)結(jié)果進(jìn)行跟蹤后,提取多幀的信息,如步態(tài)模式、運(yùn)動(dòng)特征和單幀的檢測(cè)結(jié)果置信度(即分類器對(duì)單個(gè)檢測(cè)窗口的輸出值)等,然后根據(jù)這些特征進(jìn)行驗(yàn)證.總之,通過(guò)上述對(duì)各種方法的分析和比較,圍繞著行人檢測(cè)器的速度和準(zhǔn)確率,可得出如下的兩條經(jīng)驗(yàn):(1)提高檢測(cè)速度的方法:根據(jù)應(yīng)用場(chǎng)合,充分利用場(chǎng)景的先驗(yàn)信息,確定行人的候選區(qū)域;關(guān)于特征提取,可以利用GPU或者積分直方圖技術(shù)進(jìn)行快速計(jì)算;在分類器的構(gòu)造上,可以結(jié)合級(jí)聯(lián)、多分辨等由粗到細(xì)的方法