碩士學(xué)位論文基于視頻檢測的行人交通參數(shù)提取技術(shù)研究ExtractionTechnologyofPedestrianTrafficParametersBasedonVideoDetection北京交通大學(xué)DATE\@"yyyy年M月"2021年6月學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解北京交通大學(xué)有關(guān)保存、使用學(xué)位論文的規(guī)定。特授權(quán)北京交通大學(xué)可以將學(xué)位論文的全部或局部內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，提供閱覽效勞,并采用影印、縮印或掃描等復(fù)制手段保存、匯編以供查閱和借閱。同意學(xué)校向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤?！脖Ｃ艿膶W(xué)位論文在解密后適用本授權(quán)說明〕學(xué)位論文作者簽名：導(dǎo)師簽名：簽字日期：年月日簽字日期：年月日中圖分類號：學(xué)校代碼：10004UDC：密級：公開北京交通大學(xué)學(xué)位論文基于視頻檢測的行人交通參數(shù)提取技術(shù)研究ExtractionTechnologyofPedestrianTrafficParametersBasedonVideoDetection作者姓名： 學(xué)號：導(dǎo)師姓名：職稱：學(xué)位類別：工學(xué) 學(xué)位級別：碩士學(xué)科專業(yè)：交通運(yùn)輸規(guī)劃與管理 研究方向：城市交通規(guī)劃與管理北京交通大學(xué)DATE\@"yyyy年M月"2021年6月中文摘要摘要：目前交通監(jiān)控的主要方式是兩種：人工觀察；攝像機(jī)記錄，人工統(tǒng)計(jì)。這兩種方式都需要投入大量的人力和物力資源，并且人工統(tǒng)計(jì)的準(zhǔn)確性有限，可能會出現(xiàn)疏漏，對異常情況不能及時(shí)做出反響。為此需要建立一種不需人工干預(yù)、或者只需要很少人工操作的智能交通管理系統(tǒng)，通過安裝在固定位置的攝像機(jī)拍攝視頻，實(shí)現(xiàn)對目標(biāo)的定位、識別和跟蹤及交通參數(shù)的提取和分析，并在此根底上進(jìn)一步實(shí)現(xiàn)目標(biāo)〔例如行人、車輛等〕行為的分析與判斷。目前，針對車輛的目標(biāo)檢測、跟蹤、識別研究已經(jīng)比擬成熟，但針對行人的目標(biāo)檢測、跟蹤、識別研究那么相對滯后，而且具體情況異常復(fù)雜，例如行人為非剛體，在視頻中的面積小，行動較為隨機(jī)，速度并不連貫，而且行人之間的間距有可能較小，這些都給相關(guān)技術(shù)造成了很大的挑戰(zhàn)。本文對上述難點(diǎn)進(jìn)行了研究，通過提取交叉口的行人流量、速度、步行方向等參數(shù)，給行人的交通管理與控制以及仿真系統(tǒng)模擬現(xiàn)實(shí)提供根底數(shù)據(jù)。本文的主要研究內(nèi)容包括：〔1〕分析了智能交通監(jiān)控視頻中的降質(zhì)因素，并研究了各種噪聲的數(shù)學(xué)模型，針對交通視頻中最常見的椒鹽噪聲和高斯噪聲實(shí)現(xiàn)了經(jīng)典濾波算法的去噪，并設(shè)計(jì)了一種改良算法，將參加圖像像素點(diǎn)是否為噪聲的判決預(yù)處理，只針對可能為噪聲點(diǎn)的區(qū)域進(jìn)行去噪，而對于非噪聲點(diǎn)不進(jìn)行去噪，更好地保持了圖像的細(xì)節(jié)信息?！?〕對于行人檢測和識別問題，針對各種具體難點(diǎn)設(shè)計(jì)了具體的解決方案和步驟。比擬了常用目標(biāo)檢測算法，并根據(jù)交叉口智能交通監(jiān)控視頻的特點(diǎn)選用了適宜的行人檢測算法。由于檢測算法可能造成區(qū)域的不完整和空洞，采用形態(tài)學(xué)操作對行人目標(biāo)區(qū)域的斷裂區(qū)域?qū)崿F(xiàn)連接，并對目標(biāo)區(qū)域內(nèi)的空洞進(jìn)行填充。對可能存在噪聲的區(qū)域采用區(qū)域面積統(tǒng)計(jì)的方法計(jì)算面積，并去除小面積的噪聲斑塊。對陰影采用幾何形狀的方法予以去除。對交叉路口復(fù)雜環(huán)境中的各種運(yùn)動目標(biāo)進(jìn)行建模，并總結(jié)了行人目標(biāo)的特點(diǎn)，實(shí)現(xiàn)了基于視頻檢測的行人目標(biāo)識別?！?〕實(shí)現(xiàn)了交通視頻中交叉口行人目標(biāo)的跟蹤。通過對攝像機(jī)視場的標(biāo)定，完成了攝像機(jī)空間拍攝的視頻數(shù)字圖像中的坐標(biāo)到實(shí)際物理世界空間坐標(biāo)系的映射換算，提取了包括行人目標(biāo)的質(zhì)心、位移、速度、加速度和流量等交通參數(shù)，為仿真系統(tǒng)模擬現(xiàn)實(shí)提供實(shí)際狀況提供了翔實(shí)的根底數(shù)據(jù)。 綜上所述，本文的研究成果能夠?yàn)榉抡嫦到y(tǒng)模擬現(xiàn)實(shí)提供實(shí)際狀況，并分析所在路口的交通狀況，為交通管理與控制提供依據(jù)。關(guān)鍵詞：交通參數(shù)提??；行人檢測；行人識別；行人跟蹤；視場標(biāo)定ABSTRACTABSTRACT:Currently,mostmonitoringoftrafficsceneismainlyachievedthroughmanualsupervisorycontrolorartificialobservationofvideoaftertheevent.Thesemethodsneedalotofmanpower,materialresources;furthermore,omissionsmayoccurabnormalsituationscan’tberespondedduetothelimitationofhuman'senergyandattention.Thusthereisneedtoestablishintelligenttrafficmanagementsystemthatiswithouthumaninterventionorrequiresverylittlemanualoperation.Inthesystem,installingcamerasarefixedtocapturevideotoachievetargetslocation,identificationandtracking.Behaviorofgoals(suchaspedestrians,vehicles,etc.)areanalyzedandjudgedbasedonthetrafficparametersthatareanalyzedandextracted.Themethodsofvehicledetection,trackingandrecognitionhavebeenproposedandachievedsomefruitsandcontributions,however,pedestriandetection,trackingandrecognitionisrelativelylaggingbehind.Besides,thespecificsituationofpedestrianismuchmorecomplex.Thepedestrianareainthevideoissmall;theactionofpedestrianisrandom;thespeedofpedestrianisnotconsistent;andthespacingbetweenthepedestriansmaybeverysmall.Theaboveproblemsposeagreatthreatontechnologicalrealization.Therefore,itisrequiredtosearchandsolvethedifficultiesofparametersextracting,includingtheamountofpedestrianonintersectionoftraffic,speed,directionandotherparametersimportanttrafficdatawhichareimportanttothesimulationsystemthatcansimulatetheactualstateofreality.Themaincontentsofthispaperinclude:(1)Thelowerqualityfactorsoftheintelligenttrafficsurveillancevideowereanalyzedandvariousnoisemodelsaresummarizes.Themostcommonnoiseinintelligenttrafficvideo,salt&peppernoiseandGaussiannoise,werereducedbyclassicalfilteringalgorithms.Animprovedalgorithmwasproposedinwhichtheimagepixelswillbepre-judgedasnoiseornon-noise.Onlypossiblepixelsintheregionofnoisewerefilteredwhilenon-noisepixelswerenotfiltered,thustheimagedetailswereremainedbetter.(2)Forpedestriandetectionandidentification,specificsolutionsandspecificstepsweredevelopedtosolvethedifficulties.Thecommonlyalgorithmsusedfortargetdetectionwerecomparedandsuitablepedestriandetectionalgorithmwasselectedaccordingtothecharacteristicsintelligenttrafficintersectionsurveillancevideo.Thedetectedregionofpedestriansisoftenincompleteandhasemptyregions,morphologicaloperationswereemployedonthepedestrianregiontoconnectthefractureofthetargetareaandfilltheholesinthetargetregion.Smallnoisepatchesthatmayexistinregionofpedestrianswereremovedbyareacalculation.Theshadowofpedestrianwasremovedbygeometric-basedmethod.Variousmovingobjectmodelsinthecomplexenvironmentofintersectionwereestablishedandthecharacteristicsofpedestriangoalsweresummarizedtoachievevideo-basedpedestriandetectionandrecognition.(3)Pedestriantrackingalgorithminintelligenttrafficvideointersectionswasrealized.Throughcalibrationofthecamerafield,thecameraspaceofdigitalimagecoordinatesinvideowasmappedtotheactualphysicalworldspacecoordinate.Alotofimportanttrafficparameterswereextracted,includingcenterofpedestriantarget,displacement,walkingspeed,walkingacceleration,flowrateofpedestriantrafficandsoon.Thevaluabletrafficinformationanddataareimportantforthesimulationsystemtoproviderealisticsimulationoftheactualsituation.Inconclusion,theresultsandconclusionsofthisresearchprojectcanprovidepracticalsimulationsystemwiththerealtrafficsituationwhichanalyzesthetrafficsituationinthejunctionofthetransportationsystem.Besides,itprovidesthebasisforcomprehensivemanagementandmaintenance.Thus,thispaperisnotonlyofgreattheoreticalsignificance,butalsohasextensiveapplicationvalue.KEYWORDS：Trafficparameterextraction;pedestriandetection;pedestrianrecognition;pedestriantracking;fieldcalibration目錄TOC\o"1-3"\h\z31632中文摘要 v31537ABSTRACT vi281321緒論 10171411.1研究背景和意義 10303281.2智能交通系統(tǒng)概況 11218201.3國內(nèi)外研究現(xiàn)狀 12227071.4主要研究內(nèi)容和論文框架 1330622交通圖像預(yù)處理 1588052.1視頻圖像降質(zhì)模型 15212212.2常用的濾波去噪模型 1663172.2.1空間域?yàn)V波器 16269852.2.2頻率域?yàn)V波器 17228242.3去噪實(shí)驗(yàn)及分析 18193322.3.1椒鹽噪聲 18146842.3.2高斯噪聲 22174072.4本章小結(jié) 26324483基于視頻檢測的行人檢測與識別 27309543.1常用檢測算法 2771283.1.1背景消除法 2732613.1.2光流場法 28171983.1.3幀間差分法 294903.2本文行人檢測方法 30264293.3區(qū)域處理 32152663.3.1形態(tài)學(xué)概述 32139573.3.2連接斷裂區(qū)域 3336083.3.3空洞填充 34239003.4噪聲區(qū)域抑制 3585853.4.1噪聲斑塊去除 35254093.4.2陰影去除 38181283.5基于視頻檢測的行人識別算法 41265453.5.1運(yùn)動目標(biāo)特征建模 4144333.5.2行人運(yùn)動目標(biāo)判斷準(zhǔn)那么 42253053.6本章小結(jié) 44270024行人跟蹤與交通參數(shù)提取 46288224.1常用跟蹤算法 4692744.1.1基于特征的跟蹤 4683444.1.2基于3D模型的跟蹤 46202374.1.3基于活動輪廓的跟蹤 47237334.1.4基于區(qū)域的跟蹤 4775704.2本文交叉口行人的跟蹤 48160404.2.1MeanShift概述 4832824.2.2基于MeanShift的行人跟蹤 49145314.3攝像機(jī)視場的標(biāo)定和轉(zhuǎn)換 50126904.3.1標(biāo)定原理 50208484.3.2本文的標(biāo)定方法 5147154.3.3標(biāo)定過程與結(jié)果 52285244.4交通參數(shù)提取 55131874.4.1質(zhì)心 55258884.4.2位移 56268994.4.3步行速度 5670494.4.4加速度 57284524.4.5流量 583934.5本章小結(jié) 60307595總結(jié)與展望 6119097參考文獻(xiàn) 6312624作者簡歷 668243獨(dú)創(chuàng)性聲明 6729414學(xué)位論文數(shù)據(jù)集 68緒論研究背景和意義我國的交通事業(yè)經(jīng)過了幾十年的快速開展，已取得了突飛猛進(jìn)的進(jìn)步。但隨著快速開展給人們生活帶來極大便利的同時(shí)，也引起了各種平安隱患。例如交通事故發(fā)生率逐年上升，交通擁擠現(xiàn)象也成為大城市亟待解決的交通問題。交叉路口是交通事故和交通堵塞的頻發(fā)地帶，因此需要對交叉路口實(shí)現(xiàn)交通視頻的監(jiān)控，防止和減少事故和堵塞的發(fā)生。目前對高速路出入口、事故多發(fā)路口、停車場、住宅小區(qū)出入口等交通場景監(jiān)控的主要方式是通過安排專人監(jiān)看。不僅需要消耗大量的人力和物力資源，并且由于人工的方式準(zhǔn)確度是有限的，可能會出現(xiàn)在高強(qiáng)度工作環(huán)境下發(fā)生錯誤，從而不能對特殊情況及時(shí)做出反響。為了解決這些問題，在一些交通場景中也使用了攝像機(jī)進(jìn)行錄像，事后再采用人工觀察的手段來進(jìn)行統(tǒng)計(jì)，但是這種做法仍然需要大量的人工輔助工作，同樣無法對特殊情況做出實(shí)時(shí)的應(yīng)對。目前，監(jiān)測的手段大局部是使用環(huán)形線圈傳感器來對交通的情況進(jìn)行監(jiān)測，但這種傳感器只能監(jiān)測機(jī)動車的交通量、速度等信息，獲得的信息非常有限，無法分析和識別目標(biāo)的行為，并且無法對非機(jī)動車進(jìn)行有效的監(jiān)測。除此以外這種線圈的安裝和維護(hù)有其自身的缺點(diǎn)，比方在橋梁、立交橋上不能埋設(shè)，維修需要開挖路面等等，安裝和檢修的代價(jià)太大，因此具有很大的局限性。智能交通視覺監(jiān)控的技術(shù)主要采用數(shù)字圖像處理技術(shù)和計(jì)算機(jī)視覺技術(shù)來共同建立一個(gè)完整的智能交通管理系統(tǒng)。此系統(tǒng)不需要人工干預(yù)、或者只需要很少的人工操作，通過安裝在固定位置的攝像機(jī)拍攝的視頻，實(shí)現(xiàn)對目標(biāo)的定位、識別和跟蹤及交通參數(shù)的分析，并在此根底上進(jìn)一步實(shí)現(xiàn)目標(biāo)〔例如行人、車輛等〕行為的分析和判斷，并對目標(biāo)行為給出合理的語義描述，做到既能完成日常管理，又能在發(fā)生緊急情況時(shí)做出及時(shí)反響，從而提供了一種準(zhǔn)確性、適應(yīng)性更好的監(jiān)控方案。智能交通系統(tǒng)中的交通檢測和信息采集技術(shù)已經(jīng)成為視覺技術(shù)應(yīng)用的兩個(gè)重要課題。當(dāng)前，智能交通系統(tǒng)是計(jì)算機(jī)視覺的一個(gè)重要研究方向。與傳統(tǒng)方法相比，智能交通系統(tǒng)具有本錢低、性能好、功能多等優(yōu)點(diǎn)?；谝曨l檢測的交叉口行人交通參數(shù)提取技術(shù)是智能交通系統(tǒng)的技術(shù)之一，也是智能交通系統(tǒng)中的重要應(yīng)用。對行人的檢測、識別、跟蹤，并對具體的交通參數(shù)進(jìn)行提取，例如行人的流量、步行速度、方向等，這些參數(shù)將成為交通數(shù)據(jù)統(tǒng)計(jì)的重要依據(jù)，因此具有重要的實(shí)用價(jià)值。由于基于視頻的交叉口行人檢測、跟蹤的復(fù)雜性，該技術(shù)仍處在起步階段，需要不斷的研究并加以改良。本論文針對行人檢測、識別、跟蹤中一些關(guān)鍵問題進(jìn)行了探索和研究，提出了新的方法，這些關(guān)鍵技術(shù)可以有效地提高行人檢測與跟蹤的性能，提高所提取的交通參數(shù)的準(zhǔn)確性。智能交通系統(tǒng)世界各國城市化的開展和車輛家庭化的普及，使事故發(fā)生率上升和擁擠現(xiàn)象成為亟待解決的交通問題。為了解決該問題，美國、西歐和日本等興旺國家先后投入了大量的人力、物力，在智能交通系統(tǒng)(IntelligentTransportSystems，簡稱ITS)的研究上取得了一定的成果。ITS將先進(jìn)、快速、準(zhǔn)確的計(jì)算機(jī)技術(shù)、數(shù)據(jù)通訊傳輸技術(shù)、信息技術(shù)、電子技術(shù)、自動控制技術(shù)等進(jìn)行整合，綜合運(yùn)用到整個(gè)交通運(yùn)輸體系中，在車輛、道路、使用者三者之間建立了緊密的聯(lián)系，實(shí)現(xiàn)交通運(yùn)輸管理的智能化。通過各種先進(jìn)的設(shè)備和手段實(shí)時(shí)采集和處理交通信息，對突發(fā)的交通狀況進(jìn)行協(xié)調(diào)和處理，建立起實(shí)時(shí)、高效。準(zhǔn)確的綜合交通運(yùn)輸管理體系，充分利用先進(jìn)的交通設(shè)施，更大程度的提高交通效率和平安，最終使得交通運(yùn)輸效勞質(zhì)量和管理水平進(jìn)一步提升，實(shí)現(xiàn)交通運(yùn)輸管理的集約式開展。ITS研究始于歐洲1986年的高效平安歐洲交通方案〔PROMETHEUS〕和美國的智能車輛與道路系統(tǒng)(IVHS，1992年)。該系統(tǒng)的最初目的是實(shí)現(xiàn)對建成的道路網(wǎng)功能擴(kuò)展，實(shí)現(xiàn)車輛管理的智能化。隨著其他領(lǐng)域技術(shù)的不斷開展，PROMETHEUS和IVHS的研究逐漸開展為整個(gè)ITS的研究。為了減少交通擁擠，改善交通環(huán)境，世界各國投入大量的物力和人力加緊研究，以爭取在未來競爭的ITS市場中占據(jù)一席之地。歐洲作為最早開展ITS研究的地區(qū)，早在70年代就開始智能交通方面的研究，2000年歐共體推出了一項(xiàng)e-Europe的方案，目的是投入更多的人力和物力推進(jìn)ITS在歐洲的開展；日本開始是從道路的智能控制研究起步，70年代就己經(jīng)成功研制了許多道路控制系統(tǒng)。當(dāng)前，日本的ITS研究的主要領(lǐng)域包括：自動收費(fèi)系統(tǒng)、車輛導(dǎo)航系統(tǒng)以及平安駕駛系統(tǒng)等。經(jīng)過近幾年的開展，歐美和日本在ITS研究和ITS系統(tǒng)開發(fā)上都處于領(lǐng)先地位。中國經(jīng)濟(jì)20世紀(jì)90年代以后步入了高速開展時(shí)期，導(dǎo)致交通需求越來越高，車輛和道路的供需矛盾越來越大，智能交通系統(tǒng)在我國的實(shí)施開展是大勢所趨。雖然智能交通系統(tǒng)的研究在我國仍然處于起步階段，但I(xiàn)TS作為新的經(jīng)濟(jì)增長點(diǎn)和作為解決交通供需矛盾的主要手段已得到相關(guān)部門的高度重視。國內(nèi)外研究現(xiàn)狀將道路系統(tǒng)和車輛作為緊密相關(guān)的一個(gè)整體去考慮，是當(dāng)前ITS研究的根本思想，因此，智能車輛系統(tǒng)IMS(IntelligentVehicleSystem)成為智能交通系統(tǒng)ITS的一個(gè)重要組成局部。美國的ITS工程開發(fā)分為7類，其中的自動高速公路系統(tǒng)AHS(AutomatedHighwaySystem)、先進(jìn)的駕駛員信息系統(tǒng)ADIS(AdvancedDriverInformationSystem)、先進(jìn)車輛控制系統(tǒng)AVCS(AdvancedVehicleControlSystem)都是緊緊圍繞車輛進(jìn)行。各個(gè)國家不斷開展和完善ITS體系，加強(qiáng)了智能車輛系統(tǒng)的研發(fā)，經(jīng)過近幾年的開展，歐美和日本在智能車輛方面的研究和開展處于世界領(lǐng)先地位，一些地區(qū)已經(jīng)實(shí)現(xiàn)了成熟的智能車輛控制系統(tǒng)。在實(shí)際生活中，交通使用者通過直接的觀察可以得到90%左右的交通信息，例如車輛根本狀況、交通信號燈、交通標(biāo)志牌、車道線、道路根本狀況、道路標(biāo)記、障礙物等。因此，可以考慮應(yīng)用視覺技術(shù)來識別道路環(huán)境?；谝曈X技術(shù)的智能車輛研究始于60年代末，由于需要實(shí)時(shí)圖像處理的數(shù)據(jù)量非常大，而當(dāng)時(shí)計(jì)算機(jī)的運(yùn)算能力有限，只有少數(shù)幾個(gè)研究組能夠從事這方面的研究。隨著計(jì)算機(jī)技術(shù)的不斷開展，目前的計(jì)算機(jī)硬件水平到達(dá)了實(shí)時(shí)圖像處理的要求。一方面，計(jì)算機(jī)硬件的價(jià)格不斷下降，體積不斷變小，性能有了大幅度的提高；另一方面，CCD(ChargeCoupledDevice)攝像頭的價(jià)格廉價(jià)，體積小，圖像處理算法有準(zhǔn)確性高和適應(yīng)能力強(qiáng)等特點(diǎn)。因此視覺技術(shù)在智能交通系統(tǒng)中有廣闊的應(yīng)用前景。目前國內(nèi)外對基于視頻圖像處理的運(yùn)動目標(biāo)檢測和跟蹤研究有很多，有一批很有應(yīng)用價(jià)值的文獻(xiàn)和一些成型的系統(tǒng)HYPERLINK[1]。國內(nèi)如西安交通大學(xué)的圖像處理與識別研究所、華中理工大學(xué)的圖像識別與人工智能研究所，他們的研究重點(diǎn)放在運(yùn)動目標(biāo)的檢測上。清華大學(xué)的圖形圖像研究所、中科院自動化所模式識別國家重點(diǎn)實(shí)驗(yàn)室以及上海交通大學(xué)的圖像處理與模式識別研究所那么主要是針對運(yùn)動跟蹤中的輪廓跟蹤算法進(jìn)行了深入的研究。但是國內(nèi)的研究主要停留在理論方面，還沒有出現(xiàn)比擬大型的并應(yīng)用于實(shí)際的成型系統(tǒng)。國外的研究重點(diǎn)在于在應(yīng)用中的理論研究，如卡內(nèi)基梅隆大學(xué)和Sarnoff公司聯(lián)合開發(fā)的視頻監(jiān)控系統(tǒng)VASM(VideoSurveillanceAndMonitoring)系統(tǒng)[2]，該系統(tǒng)的目的是為了改良自動視頻識別技術(shù)，它通過用戶的操作可以監(jiān)視復(fù)雜的場景，如城市市中心或戰(zhàn)場；美國馬里蘭州大學(xué)和IBM公司聯(lián)合開發(fā)的實(shí)時(shí)視頻監(jiān)控系統(tǒng)W4HYPERLINK[3],該系統(tǒng)能夠?qū)⑿螤罘治龊透櫦夹g(shù)相結(jié)合，對人的外觀進(jìn)行模型構(gòu)建。該系統(tǒng)可以在復(fù)雜的環(huán)境下檢測到人群并實(shí)現(xiàn)跟蹤；美國麻省理工學(xué)院開發(fā)的PfinderHYPERLINK[4]系統(tǒng)實(shí)現(xiàn)了人的三維描述，能夠在復(fù)雜的室內(nèi)環(huán)境下對單個(gè)人進(jìn)行跟蹤等。從上文可以看出，針對車輛的目標(biāo)檢測、跟蹤、識別研究已有局部的成果問世，車輛的體積大，速度穩(wěn)定，運(yùn)動軌跡較為連貫，和具有一定的規(guī)律，而且車輛之間的間距較大，因此車輛方面的相關(guān)技術(shù)相對較為容易。但針對行人的目標(biāo)檢測、跟蹤、識別研究那么相對滯后，而且具體情況異常復(fù)雜，例如行人在視頻中的面積小，行動較為隨機(jī)，速度并不連貫，而且行人之間的間距有可能較小，甚至可能有重疊，這在車輛的檢測中是不可能出現(xiàn)的，這些都給相關(guān)技術(shù)造成了很大的技術(shù)難點(diǎn)。主要研究內(nèi)容和論文框架本文主要是針對交通視頻中交叉口行人的檢測、識別、跟蹤和交通參數(shù)提取技術(shù)進(jìn)行研究，其中對視頻圖像預(yù)處理、行人的檢測、識別、行人的跟蹤和交通參數(shù)提取幾個(gè)步驟的相關(guān)算法進(jìn)行了設(shè)計(jì)和改良。主要創(chuàng)新點(diǎn)為：〔1〕提出一種改良的中值濾波去噪算法，此算法對受噪聲污染的圖像的像素點(diǎn)進(jìn)行分類，有針對性的對噪聲點(diǎn)區(qū)域去噪，而對于非噪聲點(diǎn)不進(jìn)行操作，更好的保持了圖像的細(xì)節(jié)信息，使去噪更有針對性，降低了濾波器去噪過程的模糊效應(yīng)。〔2〕針對智能交通交叉口的行人的檢測和識別問題，設(shè)計(jì)了具體操作步驟解決各種技術(shù)難點(diǎn)。設(shè)計(jì)了完整的行人檢測、區(qū)域處理、行人識別和陰影的去除算法的完整流程，實(shí)現(xiàn)了基于視頻檢測的行人目標(biāo)識別?！?〕完成了攝像機(jī)空間拍攝的視頻數(shù)字圖像中的坐標(biāo)到實(shí)際物理世界空間坐標(biāo)系的映射換算，建立了世界坐標(biāo)與圖像坐標(biāo)之間的函數(shù)關(guān)系，得到了圖像中目標(biāo)點(diǎn)在現(xiàn)實(shí)中的二維位置坐標(biāo)，為之后的交通參數(shù)提取打下了根底。針對行人的特點(diǎn)，提取了包括行人目標(biāo)的質(zhì)心、位移、步行速度、步行加速度和行人的流量等交通參數(shù)，為交通根底研究、仿真系統(tǒng)模擬現(xiàn)實(shí)提供了珍貴的數(shù)據(jù)和信息。本文共分成五個(gè)章節(jié)，第一章緒論，包括本文的選題背景和研究意義、智能交通系統(tǒng)概述、國內(nèi)外研究現(xiàn)狀和全文章節(jié)體系。第二章至第四章分別對視頻圖像預(yù)處理、行人檢測、識別、跟蹤和交通參數(shù)提取三個(gè)方面的研究內(nèi)容進(jìn)行闡述，并對原有方法和改良方法進(jìn)行了比照。第五章為總結(jié)與展望。交通圖像預(yù)處理由于存在客觀因素如系統(tǒng)噪聲〔成像系統(tǒng)在成像、通信過程產(chǎn)生的噪聲〕、攝像設(shè)備的分辨率因素和外界干擾因素的影響，都會使受噪聲影響的交通視頻質(zhì)量下降，從而導(dǎo)致有關(guān)信息的喪失和提取錯誤。因此有必要對交通視頻圖像采取一定的預(yù)處理，從而得到高質(zhì)量的圖像。視頻圖像降質(zhì)模型由于智能交通視頻的每幀數(shù)字圖像的信號產(chǎn)生、傳送和處理到最后成像的過程的復(fù)雜性，最終得到的圖像很有可能受到噪聲的干擾。例如，在圖像傳輸中會產(chǎn)生脈沖噪聲，在激光和超聲圖像中常存在乘性椒鹽噪聲，而照明不穩(wěn)定、鏡頭或感光器件灰塵以及非線性信道傳輸引起的圖像退化等都會產(chǎn)生不同種類的噪聲。受到上述噪聲干擾圖像的數(shù)學(xué)模型根據(jù)方式的不同可以分為高斯噪聲、椒鹽噪聲和乘性噪聲等噪聲類型[5]。 高斯噪聲和椒鹽噪聲屬于原始信號疊加噪聲，公式為 (2-1)其中為參加噪聲后的圖像，分別是原始的圖像和噪聲信號?！?〕高斯噪聲主要為在原始的圖像信號上參加了正態(tài)分布的噪聲，高斯噪聲的概率密度函數(shù)滿足正態(tài)分布，公式為 (2-2)其中，z表示灰度值，表示z的均值或期望值，表示z的標(biāo)準(zhǔn)差?！?〕椒鹽噪聲是在原始的圖像信號上疊加數(shù)值為0或者255的噪聲信號。0對應(yīng)黑色表示椒噪聲，255對應(yīng)白色表示鹽噪聲。表現(xiàn)在圖像上是很多白色和黑色的噪聲點(diǎn)?！?〕乘性噪聲的信號跟原始信號的強(qiáng)度有關(guān)，具體公式為： (2-3)從公式中可以看出，對原始圖像通過函數(shù)f的運(yùn)算得到了乘性噪聲的系數(shù)。函數(shù)的表達(dá)式根據(jù)具體的情況進(jìn)行建模。去噪屬于圖像處理中非常根本也是最重要的一類問題之一。因?yàn)閳D像處理的關(guān)鍵問題即通過處理增強(qiáng)圖像的質(zhì)量。由于通信信道中干擾因素，即噪聲的存在使圖像清晰度降低，質(zhì)量下降，通過去噪處理提高圖像清晰度，盡量恢復(fù)原先圖像的內(nèi)容。交通的視頻中最常見的是高斯噪聲，有時(shí)也會出現(xiàn)椒鹽噪聲，因此主要針對這兩種噪聲類型進(jìn)行分析和去噪。圖2.1是交通監(jiān)控視頻中出現(xiàn)的椒鹽噪聲和高斯噪聲的情況?！瞐〕椒鹽噪聲〔b〕高斯噪聲圖2.1交通監(jiān)控視頻中的噪聲圖像常用的濾波去噪模型不同的情況下和不同的應(yīng)用背景中通常存在不同的噪聲類型，各種去噪算法針對不同的噪聲類型表現(xiàn)出不同的性能特點(diǎn)。去噪的濾波器主要分成了空間域和頻率域兩大類，空間域去噪包括均值濾波和中值濾波兩大經(jīng)典算法[6-7]?？臻g域?yàn)V波器〔1〕均值濾波器均值濾波也被稱為“鄰域平均法〞，是圖像增強(qiáng)算法中很實(shí)用的空間域去噪算法。通常，圖像中相鄰像素的灰度或色彩有極強(qiáng)的相關(guān)性，因此灰度和色彩也能更改是連續(xù)地、緩慢變化。椒鹽噪聲表現(xiàn)為明顯的黑色點(diǎn)〔椒噪聲〕和白色點(diǎn)〔鹽噪聲〕，這些點(diǎn)與周圍非噪聲點(diǎn)比照強(qiáng)烈，可以通過周圍的非噪聲點(diǎn)對噪聲點(diǎn)進(jìn)行處理，到達(dá)平滑噪聲的效果，均值濾波的公式可表示為： (2-4)其中M表示窗口中的像素個(gè)數(shù)。g(x,y)是均值濾波后中心像素的灰度值。均值濾波是一種線性濾波器，但模糊效應(yīng)比擬嚴(yán)重，去噪的同時(shí)會引起細(xì)節(jié)信息的喪失[8-9]?！?〕中值濾波器中值濾波通常選取含有奇數(shù)個(gè)點(diǎn)的滑動模板，將模板中各點(diǎn)的灰度值排序，選取中值代替模板中心像素的的灰度值，中值濾波公式表示為： (2-5)其中，i,j的取值取決于滑動模板長與寬的尺寸。中值濾波是一種非線性濾波器，模糊效應(yīng)沒有均值濾波嚴(yán)重，一般可以保存更多的邊緣等細(xì)節(jié)信息。中值濾波可以有效濾除孤立的噪聲點(diǎn)，因此非常適合處理椒鹽噪聲[10]。頻率域?yàn)V波器圖像在頻域通過低通濾波器去除高頻的噪聲成分也是消除噪聲的有力手段。噪聲在圖像的灰度值中主要集中在傅里葉變換的高頻局部，因此，可以通過衰減抑制圖像傅里葉變換后的高頻成分消除噪聲，得到圖像平滑增強(qiáng)的效果。頻域中的濾波模型可用下式表示：(2-6)其中，是含有噪聲圖像的傅里葉變換，是平滑后圖像的傅里葉變換，是去噪濾波器的傳遞函數(shù)。頻域?yàn)V波的目標(biāo)是選擇一個(gè)濾波變換函數(shù)，通過衰減的高頻成分得到，通過傅里葉反變換可以得到平滑圖像。由于具有低通濾波特征，這種方法稱為低通濾波平滑處理。常用的濾波器有理想濾波器、巴特沃斯濾波器和高斯濾波器。這三種濾波器涵蓋了從非常鋒利到非常平坦范圍的濾波器函數(shù)。當(dāng)巴特沃斯濾波器的階數(shù)較高時(shí)，比擬接近理想濾波器，因此，巴特沃斯濾波器可以看作其他兩種濾波器的過渡。頻率域?yàn)V波器需要通過傅里葉變換轉(zhuǎn)化到頻率域操作，最后再進(jìn)行傅里葉反變換，恢復(fù)到空間域，因此這種方法的計(jì)算的復(fù)雜性較高，處理的時(shí)間相對較長，對于交通視頻需要具備實(shí)時(shí)性處理的要求不太符合。因此本文主要研究和設(shè)計(jì)空間域的濾波去噪算法?！踩掣牧贾兄禐V波器為了降低中值濾波帶來的模糊，本文對中值濾波算法進(jìn)行了改良，對中值濾波前期進(jìn)行預(yù)處理，通過統(tǒng)計(jì)分析和判決條件來搜索圖像的噪聲區(qū)域，把圖像分成非噪聲局部和噪聲局部兩類區(qū)域，對非噪聲區(qū)域不進(jìn)行去噪處理，也就不會帶來模糊效應(yīng)，對噪聲區(qū)域采取去噪處理，去除噪聲，改良算法在保持中值濾波原有去噪能力的根底上進(jìn)一步降低了去噪引起的模糊效應(yīng)。具體算法過程如下：〔1〕首先對圖像中的每個(gè)像素進(jìn)行灰度值的判斷，如果在[0,0+α]或[255-α,255]兩個(gè)范圍內(nèi)，說明可能是椒鹽噪聲點(diǎn)；如果不在這兩個(gè)范圍內(nèi)，那么不是椒鹽噪聲點(diǎn)。對于非噪聲點(diǎn)，不進(jìn)行處理，而對于可能屬于椒鹽噪聲點(diǎn)的像素進(jìn)行濾波處理?！?〕對于可能是椒鹽噪聲的像素點(diǎn)進(jìn)行濾波處理，將此噪聲點(diǎn)3×3鄰域范圍九個(gè)像素的灰度值，分別判斷統(tǒng)計(jì)是否屬于[0,0+α]或[255-α,255]兩個(gè)范圍內(nèi)。在高強(qiáng)度噪聲的情況下，周圍鄰域的點(diǎn)假設(shè)屬于這個(gè)范圍也可能是噪聲點(diǎn)，假設(shè)用這些噪聲點(diǎn)平滑，那么效果不理想，因?yàn)槿サ羿徲騼?nèi)灰度屬于噪聲區(qū)域范圍的像素，只保存不在這個(gè)范圍內(nèi)的像素?！?〕將3×3鄰域內(nèi)不在噪聲區(qū)域范圍內(nèi)的像素保存下來，組成一個(gè)序列，并對這個(gè)序列進(jìn)行排序，選取中值取代中心位置原先像素的灰度值?！?〕如果圖像原先的某個(gè)區(qū)域就很亮，或者很暗，那么區(qū)域內(nèi)的像素灰度可能都處在噪聲區(qū)域范圍內(nèi)，這種情況下通常3×3鄰域的九個(gè)像素的灰度值都屬于噪聲區(qū)域，那么根據(jù)上述判斷準(zhǔn)那么所有的像素點(diǎn)都去掉了，序列中沒有任何元素。所有為了防止這樣的情況，參加了一個(gè)判斷語句，如果序列長度為0，即此時(shí)為空序列，那么這個(gè)像素點(diǎn)不做處理，還是保持原先灰度值。這種改良算法更有針對性地濾波可能的椒鹽噪聲點(diǎn)，同時(shí)防止濾波引起的非噪聲點(diǎn)的模糊現(xiàn)象，去噪性能更好。下文將有詳細(xì)具體的實(shí)驗(yàn)結(jié)果和比照分析。去噪實(shí)驗(yàn)及分析椒鹽噪聲對于椒鹽噪聲，中值濾波效果通常比均值濾波效果好，中值濾波的模糊效應(yīng)低于均值濾波，可以更好的保護(hù)圖像的邊緣等細(xì)節(jié)信息，但仍存在模糊效應(yīng)。改良的中值濾波對于高強(qiáng)度的椒鹽噪聲仍可以較為準(zhǔn)確的分辨噪聲像素和非噪聲像素，從而可以實(shí)現(xiàn)更理想的去噪效果。圖2.2是交通監(jiān)控視頻椒鹽噪聲存在下列圖像去噪比照，其中(b)~(e)中自左至右分別為噪聲圖像、均值濾波結(jié)果、中值濾波結(jié)果、改良中值濾波算法去噪結(jié)果。從圖中可以明顯的看出，對于椒鹽噪聲，中值濾波的性能明顯優(yōu)于均值濾波，本文的改良算法又明顯優(yōu)于傳統(tǒng)的中值濾波算法。(a)原始圖像 (b)0.2椒鹽噪聲 (c)0.4椒鹽噪聲 (d)0.6椒鹽噪聲 (e)0.8椒鹽噪聲圖2.2交通監(jiān)控視頻椒鹽噪聲污染圖像去噪比照〔每組的四個(gè)圖中，自左至右、自上至下分別為噪聲圖像、均值濾波結(jié)果、中值濾波結(jié)果、改良中值濾波算法去噪結(jié)果〕為了驗(yàn)證和比照去噪算法的有效性，僅從圖中難以直觀得到定量結(jié)果，因此選擇全參考的客觀評價(jià)測度來比擬不同方法的性能。首先介紹全參考評價(jià)測度，設(shè)x={x1,x2,…,xN}表示沒有噪聲污染的圖像的每個(gè)像素的灰度，N表示像素的個(gè)數(shù)，y={y1,y2,…,yN}表示去噪處理后輸出的圖像的每個(gè)像素的灰度，N也表示像素的個(gè)數(shù)。每個(gè)像素的灰度數(shù)值對應(yīng)的噪聲去噪后的誤差ei計(jì)算公式為 〔2-7〕均方誤差(meansquarederror,MSE)衡量算法誤差的定義為 〔2-8〕其中，均方誤差也稱為標(biāo)準(zhǔn)誤差，定義為各測量值誤差的平方和的平均值的平方根。反映了每個(gè)像素去噪后對沒有噪聲污染情況下的平均能量失真。MSE值越小，說明去噪后的像素灰度和對應(yīng)的沒有噪聲污染的實(shí)際灰度差異越小。由于MSE具有明確的物理意義，而且計(jì)算簡單，被廣泛應(yīng)用各種統(tǒng)計(jì)學(xué)領(lǐng)域衡量算法優(yōu)劣。在MSE的根底上引入峰值信噪比(PeakSignaltoNoiseRatio，縮寫PSNR)衡量去噪的效果。峰值“peak〞的中文翻譯是頂點(diǎn)。而radio的意思是比率或比例的，PSNR的意思是到達(dá)噪音比率的頂點(diǎn)信號，一般作為一個(gè)重要指標(biāo)參數(shù)用于最大值信號和背景噪音之間的衡量。通常噪聲污染和去除噪聲后，輸出的圖像通常會與原始影像在某種程度上不一致，為了衡量經(jīng)過去噪處理后的圖像質(zhì)量，通?？梢詤⒖糚SNR值來認(rèn)定某種去噪算法的效果，數(shù)值越高說明去噪效果越好。PSNR的計(jì)算公式為 (2-9)三種算法在椒鹽噪聲強(qiáng)度為0.2、0.4,、0.6、0.8的情況下計(jì)算得到的PSNR的數(shù)值見表2-1所示，表中的數(shù)據(jù)對應(yīng)了圖2.2的統(tǒng)計(jì)數(shù)值。圖2.3是表中數(shù)據(jù)對應(yīng)的不同噪聲強(qiáng)度下幾種去噪算法的PSNR比照。表2-1椒鹽去噪算法PSNR比照噪聲強(qiáng)度0.8均值濾波21.621218.97817.714617.0905中值濾波27.503121.758117.338914.4376改良中值濾波28.657826.255324.950723.5192圖2.3不同強(qiáng)度椒鹽噪聲下幾種去噪算法的PSNR比照。從以上的實(shí)驗(yàn)可以得出以下結(jié)論：〔1〕隨著椒鹽噪聲強(qiáng)度的不斷增加，每種算法的PSNR值都呈現(xiàn)下降趨勢。因?yàn)樵肼暶芏仍酱螅敲磳τ谌ピ氲碾y度越大，和原始圖像的差異就越大?！?〕椒鹽噪聲中，中值濾波通常效果較均值濾波效果好。但如果噪聲密度太大，例如到0.8時(shí)，大局部的數(shù)據(jù)已經(jīng)是噪聲點(diǎn)，此時(shí)均值濾波的PSNR值反而高于中值濾波?？梢娭兄禐V波對于椒鹽噪聲的去噪效果優(yōu)于均值濾波是有噪聲強(qiáng)度約束的，假設(shè)噪聲強(qiáng)度過大，那么中值濾波和均值濾波的性能難以簡單比擬?！?〕三種算法中傳統(tǒng)中值濾波隨著噪聲強(qiáng)度的增加，去噪的性能下降較快，均值濾波的下降相對中值濾波較慢?！?〕改良的中值濾波性能明顯優(yōu)于中值濾波和均值濾波，并且噪聲密度越大，這種優(yōu)勢越明顯。隨著噪聲密度的增加，改良中值濾波算法的PSNR值下降的也最慢，因此是一種良好的去除椒鹽噪聲的濾波算法。高斯噪聲對于高斯噪聲，均值濾波效果通常比中值濾波效果好，但對于噪聲強(qiáng)度不強(qiáng)的時(shí)候，中值濾波可能有更好的效果，并更好地保護(hù)圖像的邊緣等細(xì)節(jié)信息。圖2.4是交通監(jiān)控視頻高斯噪聲污染圖像去噪效果比照，其中(b)~(e)中自左至右分別為噪聲圖像、均值濾波結(jié)果、中值濾波結(jié)果、改良中值濾波算法去噪結(jié)果。從圖中可以明顯的看出，對于高斯噪聲，總體來說，均值濾波的性能優(yōu)于中值濾波，但在噪聲強(qiáng)度不大的時(shí)候，可能本文改良的中值濾波也有較好的優(yōu)勢，但隨著噪聲強(qiáng)度增強(qiáng)，均值濾波的優(yōu)勢更為明顯。(a)原始圖像 (b)10dB高斯噪聲 (c)20dB高斯噪聲 (d)30dB高斯噪聲 (e)40dB高斯噪聲圖2.4交通監(jiān)控視頻高斯噪聲污染圖像去噪比照〔每組的四個(gè)圖中，自左至右、自上至下分別為噪聲圖像、均值濾波結(jié)果、中值濾波結(jié)果、改良中值濾波算法去噪結(jié)果〕為了驗(yàn)證和比照去噪算法的有效性，僅從圖中難以直觀得到定量結(jié)果，因此仍選擇PSNR來比擬不同方法的性能。三種算法在椒鹽噪聲強(qiáng)度為10dB、20dB、30dB、40dB的情況下計(jì)算得到的PSNR的數(shù)值見表2-1所示，表中的數(shù)據(jù)對應(yīng)了圖2.2的統(tǒng)計(jì)數(shù)值。圖2.3是表中數(shù)據(jù)對應(yīng)的不同噪聲強(qiáng)度下幾種去噪算法的PSNR比照。表2-2高斯噪聲去噪算法PSNR比照噪聲強(qiáng)度(dB)10203040均值濾波28.868528.256224.711417.8773中值濾波29.631228.39823.717315.4339改良中值濾波38.071128.04918.157510.4033圖2.3不同強(qiáng)度高斯噪聲下幾種去噪算法的PSNR比照。上面的實(shí)驗(yàn)結(jié)果圖和表的數(shù)據(jù)是對應(yīng)了，從以上的實(shí)驗(yàn)可以得出以下結(jié)論：〔1〕隨著高斯噪聲強(qiáng)度的不斷增加，每種算法的PSNR值都呈現(xiàn)下降趨勢。因?yàn)樵肼暶芏仍酱?，那么對于去噪的難度越大，和原始圖像的差異就越大。〔2〕高斯噪聲中，均值濾波通常效果較中值濾波效果好。但如果噪聲密度不大，例如小于20dB時(shí)，此時(shí)均值濾波的PSNR值反而低于中值濾波。此時(shí)，本文的改良的中值濾波算法性能也優(yōu)于傳統(tǒng)中值濾波。假設(shè)噪聲強(qiáng)度超出這個(gè)閾值，那么均值濾波對高斯噪聲的去噪性能更優(yōu)?！?〕三種算法中本文的改良中值濾波隨著噪聲強(qiáng)度的增加，去噪的性能下降較快，均值濾波的下降較慢。從不同強(qiáng)度的椒鹽噪聲和高斯噪聲的比照圖中可以看出，通常情況下的噪聲強(qiáng)度一般不會過高，本文的實(shí)驗(yàn)在較為極端的情況下模擬了高強(qiáng)度的噪聲實(shí)驗(yàn)，并對各種算法的實(shí)驗(yàn)結(jié)果進(jìn)行了比擬和分析。針對椒鹽噪聲，本文的改良中值濾波的方法有理想的優(yōu)勢。對于高斯噪聲，當(dāng)強(qiáng)度小于20dB的情況下，本文的改良算法一般優(yōu)于經(jīng)典算法。因此在高斯噪聲強(qiáng)度低于20dB的情況下，也可以使用本文方法進(jìn)行去噪，實(shí)現(xiàn)圖像的增強(qiáng)。本章小結(jié)本章分析了智能交通監(jiān)控視頻中的降質(zhì)因素，并總結(jié)了各種噪聲的數(shù)學(xué)模型，針對智能交通視頻中最常見的椒鹽噪聲和高斯噪聲實(shí)現(xiàn)了均值濾波和中值濾波算法的去噪。雖然中值濾波可以更好的保持細(xì)節(jié)，但中值濾波仍然會帶來一定的模糊效應(yīng)，并且對于噪聲的去噪過程沒有針對性，因此本文提出一種改良算法，總體思路是將參加圖像像素點(diǎn)是否為噪聲的判決預(yù)處理，只針對可能為噪聲點(diǎn)的區(qū)域進(jìn)行去噪，而對于非噪聲點(diǎn)不進(jìn)行去噪。對不同強(qiáng)度下的椒鹽噪聲、高斯噪聲進(jìn)行各種去噪算法的實(shí)驗(yàn)和比照，分析了各種算法的優(yōu)勢。預(yù)處理后的智能交通視頻去除了噪聲的干擾，為后續(xù)的操作步驟奠定了根底。基于視頻檢測的行人檢測與識別常用檢測算法傳統(tǒng)的交通監(jiān)控方法，如電磁感應(yīng)環(huán)線圈式車輛檢測器，不能識別車輛的行駛方向，不能進(jìn)行車輛分類等。雷達(dá)波檢測器只能檢測運(yùn)動目標(biāo)，但對目標(biāo)緩行和目標(biāo)靜止的情況不能有效地提取背景，可能無法做出準(zhǔn)確的檢測。當(dāng)圖像處理逐步開展為一個(gè)成熟的領(lǐng)域之后，出現(xiàn)了基于圖像處理的交通監(jiān)控系統(tǒng)，但圖像處理往往是把一張圖像變成另一張圖像，圖像處理的手段僅一些圖像增強(qiáng)、圖像壓縮和校正等工作、仍然需要大量的人工干預(yù)把喪失信息恢復(fù)回來。另外由于計(jì)算機(jī)硬件和軟件的制約，能得到的交通參數(shù)實(shí)際上很有限，這樣的系統(tǒng)無法做到信息的實(shí)時(shí)回饋，無法在交通發(fā)生擁擠時(shí)起到及時(shí)疏導(dǎo)交通的作用[11]。因此基于視頻的運(yùn)動目標(biāo)的處理技術(shù)更具有實(shí)際的研究價(jià)值和應(yīng)用意義。近年來，國內(nèi)外學(xué)者對視頻圖像的運(yùn)動目標(biāo)檢測和識別做了許多研究，常見的方法有背景差分法、光流場法HYPERLINK[12-16]以及圖像差分法HYPERLINK[17-19]。背景消除法背景消除法是目前運(yùn)動分割檢測中一種很常見的方法，也稱為背景差分法，通過比擬當(dāng)前圖像與背景圖像的差異實(shí)現(xiàn)目標(biāo)運(yùn)動區(qū)域的檢測。如果假設(shè)B為背景幀，It是第t幀的視頻序列，那么差分的計(jì)算公式為： (3-1)其中，(i,j)表示每個(gè)像素點(diǎn)的位置,|·|表示絕對值運(yùn)算，通過進(jìn)入畫面的目標(biāo)與背景的差異可以檢測到目標(biāo)的位置。但得到的差異需要通過閾值的判定實(shí)現(xiàn)二值化操作，最終確定目標(biāo)的位置，二值化的公式為： (3-2)其中，τ是閾值，即做差后差異到達(dá)一定的閾值才認(rèn)為是目標(biāo)。這種算法定位精確、速度快，但缺乏合理的背景更新方法，因此大局部研究人員目前都需要開發(fā)出不同的背景模型。其中Haritaoglu等人[20]利用最小、最大強(qiáng)度值和最大時(shí)間的差分值為交通場景中每個(gè)像素進(jìn)行統(tǒng)計(jì)建模，并且周期性的進(jìn)行背景更新；McKenna等HYPERLINK[21]利用了像素色彩與梯度信息具備相關(guān)性這個(gè)特質(zhì)，建立了自適應(yīng)背景模型以排除陰影對分割的影響；Karmann、Brandt[22]和Kilger[23]那么采用了基于卡爾曼濾波的自適應(yīng)背景模型以應(yīng)對天氣和光照的變化情況；Staufer和GrimsonHYPERLINK[24]采用了自適應(yīng)的混合高斯背景模型，并且對Haritaoglu提出的統(tǒng)計(jì)模型進(jìn)行了一系列改良。光流場法光流場法檢測HYPERLINK[25]是利用目標(biāo)隨時(shí)間變化所產(chǎn)生的光流特性進(jìn)行檢測。光流的含義是圖像亮度狀況的運(yùn)動，當(dāng)目標(biāo)運(yùn)動時(shí)，在圖像上對應(yīng)的目標(biāo)的亮度也在變化，表現(xiàn)出一種類似運(yùn)動的直觀感覺。通過光流法可以得到位移向量的光流場，從來初始化目標(biāo)的輪廓，便于后續(xù)基于輪廓的跟蹤算法有效地檢測和跟蹤目標(biāo)。光流場方法的兩個(gè)根本假設(shè)是：1、圖像上的任意一點(diǎn)某一時(shí)刻所觀測到的亮度在時(shí)間間隔dt內(nèi)是恒定不變的；2、圖像上任一點(diǎn)都不是獨(dú)立的，光流在整個(gè)圖像范圍內(nèi)作平滑變化。假設(shè)在時(shí)間t的時(shí)刻圖像中坐標(biāo)為(i,j)的像素點(diǎn)灰度值為I(i,j,t)，經(jīng)過時(shí)間Δt后，運(yùn)動到(i+Δi,j+Δj)，灰度值變?yōu)镮(i+Δi,j+Δj,t+Δt)。那么這兩個(gè)點(diǎn)實(shí)際上就可以看成是同一個(gè)點(diǎn)在不同時(shí)刻的兩個(gè)位置，因此可以假設(shè)這兩個(gè)點(diǎn)的灰度是一致的，即 (3-3)前文已經(jīng)指出灰度隨(i,j,t)是緩慢變化的，并且變化過程是連續(xù)的，因此，對上述公式的右邊用泰勒級數(shù)展開： (3-4)式中，e是dx,dy,dt的二次和高次項(xiàng)，對二次項(xiàng)化簡和約去，得到 (3-5)假設(shè)，那么可用下式表示光流場的根本方程 (3-6)光流法的主要優(yōu)點(diǎn)在于能夠直接用于攝像機(jī)運(yùn)動下的目標(biāo)檢測，對目標(biāo)在幀間的運(yùn)動的限制較少，可以處理大的幀間位移；主要缺點(diǎn)是大多數(shù)光流計(jì)算方法相當(dāng)復(fù)雜，且抗噪性能差，如果沒有相關(guān)硬件支持，不適合實(shí)時(shí)處理。幀間差分法幀間差分法〔也可簡稱為幀差法〕可以提取出物體的運(yùn)動信息。幀差法根據(jù)公式中計(jì)算需要幀的個(gè)數(shù)可以分為二幀差分法、三幀差分法等。幀差法的根本假設(shè)是在視頻序列中相鄰兩幀的視頻序列圖像是連續(xù)性，假設(shè)畫面中沒有待檢測的目標(biāo)，那么相鄰幀圖像的變化非常?。欢羞\(yùn)動目標(biāo)進(jìn)入畫面時(shí)，會引起比擬明顯的幀差。如采用前后相鄰兩幀做差，通過相鄰兩幀的差異檢測運(yùn)動目標(biāo)的方法成為二幀差分法，這也是運(yùn)動目標(biāo)檢測中最簡單也最常用的運(yùn)動目標(biāo)檢測方法。假設(shè)假設(shè)It是第t幀的視頻序列，It+1是第t+1幀的視頻序列，那么二幀的差分的計(jì)算公式為 (3-7)在背景圖像區(qū)域的灰度值和位置變化不大的情況下，二幀差分法可以得到比擬好的檢測效果。假設(shè)背景圖像有明顯的抖動，并且位置本身存在變化，那么這種方法的應(yīng)用就會受到局限。二幀差分法得到的幀差結(jié)果也需要通過設(shè)置適宜的閾值進(jìn)行二值化才能得到具體的運(yùn)動目標(biāo)區(qū)域。二幀差分法的主要缺點(diǎn)是檢測出的目標(biāo)可能不完整、位置也未必精確，而且運(yùn)動目標(biāo)內(nèi)部可能存在“空洞〞，并且運(yùn)動物體的形狀沿運(yùn)動方向被拉伸，因此檢測得到的目標(biāo)比實(shí)際物體的面積大，存在一定的失真。為此有人提出了許多改良的方法，像是基于邊緣的背景消除法HYPERLINK[26]，但該方法存在一定的缺點(diǎn)，比方當(dāng)運(yùn)動目標(biāo)的邊緣與背景邊緣重疊的時(shí)候，局部運(yùn)動目標(biāo)信息就可能被消除了。此外，C.VierenHYPERLINK[27]提出的一種獲取運(yùn)動目標(biāo)精確位置的方法——三幀差分法，但該方法需要連續(xù)的三幀圖像，并且需要計(jì)算梯度圖像，計(jì)算量大并且有一幀時(shí)間的滯后性。三幀差分法，采用基于相鄰的三幀圖像進(jìn)行差分運(yùn)算，然后將第一幀和第二幀，第二幀和第三幀計(jì)算得到的兩個(gè)差分圖像進(jìn)行對應(yīng)像素的“與〞運(yùn)算，實(shí)現(xiàn)運(yùn)動目標(biāo)的提取。假設(shè)假設(shè)It-1是第t-1幀的視頻序列，It是第t幀的視頻序列，It+1是第t+1幀的視頻序列，將這連續(xù)三幀圖像每兩幀分別差分，將所得到的兩個(gè)差分圖像的對應(yīng)像素“與〞運(yùn)算，得到 (3-8)同樣，三幀差分法得到的幀差結(jié)果也需要通過設(shè)置適宜的閾值進(jìn)行二值化才能得到具體的運(yùn)動目標(biāo)區(qū)域。前文對各種檢測算法進(jìn)行了闡述和介紹，表3-1總結(jié)了各種檢測算法對檢測所得信息、復(fù)雜度、技術(shù)難點(diǎn)和適用情況進(jìn)行了比照[28]。每種算法都有各自的優(yōu)缺點(diǎn)，因此沒有絕對優(yōu)勢的方法，一般需要針對具體的工程應(yīng)用背景、條件、環(huán)境、指標(biāo)因素等綜合考慮，選擇滿足精度和實(shí)時(shí)性的檢測方法，表3-1常用檢測算法比照背景消除法光流場法二幀差法三幀差法所得信息目標(biāo)位置、大小、形狀等目標(biāo)位置、大小、形狀等目標(biāo)邊界目標(biāo)邊界、位置復(fù)雜度小大小較小難點(diǎn)背景選取機(jī)制、背景更新復(fù)雜度高空洞空洞、滯后性適用情況攝像固定；實(shí)時(shí)性要求不高；對目標(biāo)信息要求較高；有光照、光線、天氣等影響攝像固定；對目標(biāo)信息要求高；背景或者容易獲?。还庹?、光線、天氣等影響小；攝像固定；實(shí)時(shí)性要求高；對目標(biāo)信息要求不高；攝像固定；實(shí)時(shí)性要求高；對目標(biāo)信息要求不太高；行人檢測方法由于在交叉路口通常難以在無人的情況下建立背景場景，同時(shí)受各種因素，例如光照、光線、天氣等，可能使背景消除法失效，而光流場的計(jì)算較大，限制了光流場法在實(shí)時(shí)性較高的智能交通視頻監(jiān)控中，因此本文主要考慮采用幀差法，包括二幀差分法和三幀差分法，并比照。圖3.1是二幀差分法的行人檢測效果，圖(a)(b)分別是智能交通視頻中相鄰兩幀的圖像，圖(c)是二幀幀差檢測到的行人目標(biāo)。圖3.2是采用三幀差分法的行人檢測效果，圖(a)(b)(c)分別是智能交通視頻中相鄰三幀的圖像，圖(d)(e)是每相鄰兩幀得到的幀差，圖(f)是兩個(gè)兩幀幀差“與〞運(yùn)算得到的三幀幀差檢測的行人目標(biāo)效果。從圖中可以看出，二幀幀差雖然可能導(dǎo)致目標(biāo)的失真，也存在空洞問題，但是整體的目標(biāo)檢測較為完整，后期經(jīng)過形態(tài)學(xué)等區(qū)域處理方法可以得到較為完整的區(qū)域，三幀幀差雖然減少了目標(biāo)的失真，但是提取區(qū)域信息過少，除了空洞問題外還難以閉合，并且計(jì)算復(fù)雜度高于二幀差分法，因此本文采用二幀差分法進(jìn)行行人目標(biāo)的檢測，針對二幀幀差法的具體問題，可以考慮采用更多的后期處理予以解決。(a)第t幀 (b)第t+1幀(c)二幀幀差圖3.1二幀差分法行人檢測(a)第t幀 (b)第t+1幀(c)第t+2幀 (d)前兩幀二幀差(e)后兩幀二幀差 (f)三幀幀差圖3.2行人檢測區(qū)域處理行人檢測可以大致確定行人的目標(biāo)，但是這種目標(biāo)非常不規(guī)整，存在空洞、間隙。因此需要其他手段對區(qū)域進(jìn)行規(guī)整處理。這里采用形態(tài)學(xué)進(jìn)行區(qū)域處理，包括連接斷裂區(qū)域、空洞填充、去除孤立噪聲區(qū)域三個(gè)步驟。形態(tài)學(xué)概述形態(tài)學(xué)(Morphology)一詞來源于生物學(xué)的一個(gè)分支，是主要研究動植物形態(tài)和結(jié)構(gòu)的科學(xué)。數(shù)學(xué)形態(tài)學(xué)運(yùn)算是對于二值化圖像根據(jù)集合論方法建立并開展的圖像處理方法，其語言是集合論，擁有完備的數(shù)學(xué)根底[29-30]。數(shù)學(xué)形態(tài)學(xué)由法國巴黎礦業(yè)學(xué)院的Mathern和其學(xué)生Serra于1964年提出，他們在研究過程中提出了“擊中/擊不中變換〞理論，并在理論上首次闡述了形態(tài)學(xué)的表達(dá)式。法國楓丹白露數(shù)學(xué)形態(tài)學(xué)研究中心于1968年成立，這一領(lǐng)域引起學(xué)者的普遍關(guān)注。Serra于1982年發(fā)表專著?圖像分析與數(shù)學(xué)形態(tài)學(xué)?[31]，首次將數(shù)學(xué)形態(tài)學(xué)與圖像分析相結(jié)合，提出了數(shù)學(xué)形態(tài)學(xué)圖像處理的根本理論。近年來數(shù)學(xué)形態(tài)學(xué)在數(shù)字圖像處理、機(jī)器視覺等領(lǐng)域中得到了廣泛的應(yīng)用，成為一種獨(dú)立開展的圖像處理的方法，并且在當(dāng)今的圖像相關(guān)領(lǐng)域發(fā)揮著越來越大的作用。其中在醫(yī)學(xué)圖像方面已在細(xì)胞檢測、心臟運(yùn)動過程研究、脊椎骨癌圖像自動數(shù)量描述等方面的應(yīng)用有成功的案例。連接斷裂區(qū)域一般的形態(tài)學(xué)圖像處理都表現(xiàn)為在鄰域中的運(yùn)算形式，這種經(jīng)過特殊定義過的鄰域結(jié)構(gòu)叫做“結(jié)構(gòu)元素〞〔StructureElement〕。通過這種結(jié)構(gòu)元素定義的鄰域關(guān)系，對每個(gè)像素進(jìn)行與二值圖像相應(yīng)區(qū)域特定的邏輯操作，邏輯計(jì)算的結(jié)果作為此像素的輸出值，每個(gè)像素進(jìn)行操作后得到了一次形態(tài)學(xué)的結(jié)果。形態(tài)學(xué)計(jì)算的結(jié)果往往與結(jié)構(gòu)元素的尺寸、形狀和邏輯運(yùn)算的定義等有關(guān)。腐蝕(Erosion)和膨脹(Dilation)是兩種最根本的數(shù)學(xué)形態(tài)學(xué)運(yùn)算，其他的形態(tài)學(xué)運(yùn)算一般都可以通過這兩種根本的運(yùn)算形式進(jìn)行一定的組合和衍生。下面給出腐蝕和膨脹的公式。假設(shè)A和B是Z中的兩個(gè)集合，其中B是結(jié)構(gòu)元素，那么A被B腐蝕，可以表示為A?B，計(jì)算公式可以表示為： (3-9)式〔3-9〕的含義表示A被B腐蝕即所有B中包含在A中的點(diǎn)的集合用平移。當(dāng)然，腐蝕的公式形式并不唯一。假設(shè)A和B是Z中的兩個(gè)集合，其中B是結(jié)構(gòu)元素，那么A被B膨脹，可以表示為B，計(jì)算公式可以表示為： (3-10)式〔3-10〕是為了得到B的相對于其原點(diǎn)的映像且由對其映像進(jìn)行平移為根底的。所有B中包含在A中的點(diǎn)的集合用平移。A被B膨脹是所有位移的集合。從而與A至少有一個(gè)元素是重疊的，所以公式也可以寫成= (3-11)一般行人目標(biāo)的檢測難以形成閉合區(qū)域，并且區(qū)域之間由于幀差不夠明顯可能出現(xiàn)斷裂，因此需要將區(qū)域連接。這里采用膨脹的算法將圖像的區(qū)域膨脹連接。圖3.2是對幀差檢測結(jié)果進(jìn)行膨脹后的效果，膨脹后斷裂的區(qū)域彼此可以更好的連接。(a)幀差結(jié)果(b)膨脹結(jié)果圖3.2斷裂區(qū)域連接空洞填充空洞填充是對圖像中的空洞進(jìn)行填充，使圖像中的目標(biāo)成為實(shí)心的區(qū)域，防止空心目標(biāo)區(qū)域?？斩刺畛渌惴ㄒ彩切螒B(tài)學(xué)中的一種重要的處理方法，但和其他的形態(tài)學(xué)操作不同，填充的空洞屬于目標(biāo)外的背景區(qū)域，因此空洞填充是對目標(biāo)區(qū)域內(nèi)部的空洞的背景區(qū)域?qū)崿F(xiàn)操作。對于智能交通視頻中的行人檢測的結(jié)果，行人目標(biāo)區(qū)域很可能出現(xiàn)空洞，因此需要采用相應(yīng)的填充算法對空洞填充，使行人區(qū)域完整。區(qū)域填充是在集合膨脹、求補(bǔ)和交集預(yù)算的根底上實(shí)現(xiàn)的。如果定義表示包含子集的集合，其子集元素都是區(qū)域的八連通邊界點(diǎn)。需要得到的效果是從邊界點(diǎn)的一個(gè)點(diǎn)開始，填充整個(gè)空洞區(qū)域。這個(gè)過程可以看作是一個(gè)迭代過程，因此，指定所有的背景〔非邊界點(diǎn)〕標(biāo)記為1，以將1賦給點(diǎn)開始進(jìn)行迭代過程，整個(gè)填充過程可以表示為 (3-12)圖3.3是對膨脹連接斷裂區(qū)域的結(jié)果進(jìn)行空洞填充的效果，空洞填充后行人目標(biāo)區(qū)域成為實(shí)心，區(qū)域更為完整。(a)膨脹結(jié)果 (b)空洞填充圖3.3空洞填充效果噪聲區(qū)域抑制噪聲區(qū)域同傳統(tǒng)的噪聲不同，傳統(tǒng)噪聲一般是疊加與原始圖像信號上的，但是噪聲區(qū)域一般是一個(gè)區(qū)域?qū)π腥四繕?biāo)檢測造成的干擾，這種區(qū)域一般可以分為兩種，一種是由于檢測情況的復(fù)雜性造成的孤立的噪聲區(qū)域，這些噪聲區(qū)域一般有一定的面積，并且此時(shí)的圖像已經(jīng)是二值化圖像，因此一般的去噪算法并不適用。另外一種是經(jīng)常遇到的陰影問題，由于行人目標(biāo)通常會有一定的陰影區(qū)域，因此需要考慮根據(jù)陰影的特點(diǎn)實(shí)現(xiàn)有效的陰影去除的方法。噪聲斑塊去除噪聲斑塊通常是由于檢測算法不能完全準(zhǔn)確完整提取目標(biāo)或者其他的干擾區(qū)域造成的，這種噪聲斑塊并非是一個(gè)像素，而是由多個(gè)像素構(gòu)成的區(qū)域，可以通過判斷區(qū)域的面積進(jìn)行比擬，去除面積較小的噪聲斑塊。通過對每個(gè)連通區(qū)域進(jìn)行統(tǒng)計(jì)，計(jì)算每個(gè)連通區(qū)域的像素點(diǎn)的個(gè)數(shù)，假設(shè)此區(qū)域全部像素的個(gè)數(shù)總和小于一定數(shù)值，說明此區(qū)域的面積過小，屬于噪聲斑塊，可以去除。具體對每個(gè)連通區(qū)域像素的統(tǒng)計(jì)采用基于垂直掃描的種子生長算法。具體步驟如下：〔1〕對每列進(jìn)行掃描，自左至右，根據(jù)列數(shù)從小到大依次掃描，假設(shè)掃描到一個(gè)點(diǎn)為1，即對應(yīng)的二值化圖像中的點(diǎn)是白色，那么將此點(diǎn)作為種子，并開始這個(gè)種子的生長。假設(shè)此種子點(diǎn)的坐標(biāo)為(m,n)，并記作此區(qū)域?yàn)閠?！?〕設(shè)置標(biāo)記矩陣，用于標(biāo)記已經(jīng)搜索過的點(diǎn)，初始化為矩陣中元素全部為0，記為。 (3-13)〔3〕建立隊(duì)列保存每次根據(jù)起點(diǎn)進(jìn)行區(qū)域生長的新的點(diǎn)的位置，初始化的位置為種子位置，即F(m,n)=1?！?〕假設(shè)對初始點(diǎn)周圍鄰域搜索為空，說明整對第t區(qū)域的填充過程完畢，否那么繼續(xù)下一輪搜索。 (3-14)〔5〕以起點(diǎn)開始，上下左右四個(gè)鄰域分別搜索，假設(shè)相鄰點(diǎn)與種子點(diǎn)的狀態(tài)相同，都為目標(biāo)前景點(diǎn)，并且標(biāo)記矩陣中說明此點(diǎn)未被搜索過，那么將此點(diǎn)的坐標(biāo)保存到第t區(qū)域的坐標(biāo)隊(duì)列中Quenet。(3-15)其中，。每生長一個(gè)點(diǎn)，將新生長的點(diǎn)的坐標(biāo)記為(m1,n1)，每次新生長的點(diǎn)生成的(m1,n1)將覆蓋原先的點(diǎn)的(m1,n1)。因此(m1,n1)是最后一個(gè)生長的點(diǎn)?！?〕以此次搜索過程最后一個(gè)填充的點(diǎn)為新的起點(diǎn)，即m=m1,n=n1，返回步驟〔4〕進(jìn)行下一輪的搜索。此算法的具體流程圖如圖3.4所示。通過這個(gè)算法可以完整的將一個(gè)連通區(qū)域的坐標(biāo)保存起來。第t區(qū)域完成種子生長后，將第t區(qū)域的全部的點(diǎn)去除，然后進(jìn)入下一個(gè)區(qū)域，即第t+1區(qū)域的種子生長，t=0,…,N。N是整個(gè)二值化圖像中全部連通區(qū)域的個(gè)數(shù)。然后對每個(gè)連通區(qū)域的面積進(jìn)行統(tǒng)計(jì)，即每個(gè)區(qū)域的像素點(diǎn)的個(gè)數(shù)，也就是每個(gè)區(qū)域的坐標(biāo)隊(duì)列的長度，記為Areat。 (3-16)設(shè)置適宜的閾值，判斷每個(gè)區(qū)域是否為噪聲點(diǎn)區(qū)域，標(biāo)記為Noiset。噪聲區(qū)域記為1，非噪聲區(qū)域記為0。 (3-17)τ是面積閾值。圖3.4種子生長算法流程圖將噪聲區(qū)域的點(diǎn)全部清楚，即將噪聲區(qū)域由前景點(diǎn)變?yōu)楸尘包c(diǎn)。圖3.5是去除噪聲區(qū)域的結(jié)果。(a)空洞填充后效果 (b)噪聲區(qū)域去除圖3.5噪聲點(diǎn)去除效果陰影去除陰影去除問題是視頻識別檢測的根底工作，對于室外交通視頻，由于日照變化因素的干擾，視頻圖像中的目標(biāo)往往在地面形成影子。而且影子的形狀是隨著光照強(qiáng)度、目標(biāo)運(yùn)動等因素不斷變化的。因此，它不能作為目標(biāo)的一局部被識別，否那么會導(dǎo)致目標(biāo)識別的失敗。在視頻檢測中，必須采取必要的手段去除目標(biāo)的影子，為目標(biāo)的正確識別提供條件。國內(nèi)外學(xué)者對運(yùn)動目標(biāo)的影子去除進(jìn)行了許多研究，根據(jù)這些方法使用的信息或者模型，常用的方法可以大致分為四類：顏色模型〔Colormodel〕方法，紋理模型〔Texturalmodel〕方法，統(tǒng)計(jì)模型〔Statisticalmodel〕方法，幾何模型〔Geometricmodel〕方法[32]。文獻(xiàn)[33,34]提出了基于HSV顏色空間模型和基于形態(tài)學(xué)的目標(biāo)重構(gòu)方法消除運(yùn)動陰影。HSV顏色空間中，H表示色度，S表示飽和度，V表示亮度，反映了人的視覺系統(tǒng)感知色彩的方式，比RGB顏色空間能更準(zhǔn)確地檢測出陰影。RGB色彩空間到HSV顏色空間的轉(zhuǎn)換公式為： (3-18)HSV顏色空間中，陰影像素點(diǎn)與背景像素點(diǎn)相比，色度變化不大，飽和度較小，因此可以采用下式區(qū)分陰影： (3-19)其中，和分別是原始圖像和背景圖像在處的像素值。采用HSV顏色空間模型檢測陰影，得到消除陰影后的前景圖像。由于去除陰影的過程中有一些與陰影相類似的或者更暗的像素點(diǎn)被誤判為陰影而被消除掉，導(dǎo)致這些像素點(diǎn)喪失。為了盡可能提高前景目標(biāo)的完整性，將采取基于形態(tài)學(xué)的處理方法對目標(biāo)進(jìn)行重構(gòu)： (3-20)紋理模型方法的假設(shè)是前景對象和背景的紋理存在差異，陰影區(qū)域雖然光線比沒有陰影時(shí)暗，但與背景的紋理根本不變。Xu等人提出了一組步驟實(shí)現(xiàn)室內(nèi)場景下陰影的檢測，包括變化模板檢測、Canny邊緣提取、多幀融合陰影區(qū)域檢測、邊緣匹配、條件膨脹、后處理[35]。Leone等人采用冗余系統(tǒng)的方式表示紋理信息，通過一個(gè)過完備原子庫上的追蹤算法實(shí)現(xiàn)陰影檢測[36]。Zhang等人通過分析正交變換的歸一化系數(shù)來進(jìn)行陰影檢測[37]。但由于本文未使用背景消除法，沒有對背景建模，因此此種方法并不適用。統(tǒng)計(jì)模型的陰影檢測也是很常用的方法。Toth等學(xué)者通過顯著性檢驗(yàn)檢測陰影[38]。Wang等人用高斯分布為背景、陰影和邊緣信息建模，采用貝葉斯框架檢測陰影[39]。Martel-Brisson和Zaccarin一起提出一種利用混合高斯模型去除陰影的方案[40]。基于幾何模型的陰影檢是通過地面和目標(biāo)的幾何形狀信息區(qū)分陰影。Hsieh等人使用一個(gè)直方圖方法檢測道路分割線，并借助這些分割線去除車輛陰影[41]。本文針對垂直拍攝的視頻，在沒有背景建模的情況下難以用顏色等特征來實(shí)現(xiàn)陰影的去除，因此設(shè)計(jì)了一種“多層區(qū)域分割〞模型的陰影檢測和去處算法。此模型假設(shè)檢測到的人的區(qū)域分為三個(gè)區(qū)域〔也有可能分為多個(gè)區(qū)域〕。具體算法過程如下：〔1〕搜索整個(gè)區(qū)域的最暗的一個(gè)像素點(diǎn)，或者幾個(gè)像素的區(qū)域位置。此像素或者此區(qū)域通常位于人頭內(nèi)部?！?〕檢測到的人的區(qū)域明顯的特征是人頭的黑色類似圓形區(qū)域，陰影局部也為黑色，但可能沒有人頭黑色區(qū)域暗。通過對檢測到的區(qū)域進(jìn)行分析，分割出人頭最暗的區(qū)域?！?〕在人頭區(qū)域的外層隨意選取一個(gè)初始化種子點(diǎn)，采用種子填充算法實(shí)現(xiàn)人頭區(qū)域的外圍分割。種子填充算法的具體過程和原理前文已經(jīng)論述。人頭區(qū)域的外層通常對應(yīng)的是上衣的區(qū)域?！?〕然后再新的外層根底上繼續(xù)上述過程，直至整個(gè)目標(biāo)檢測區(qū)域分割完畢?！?〕上述過程中，第一層分割的通常是人頭區(qū)域，第二層對應(yīng)的是上衣區(qū)域，第三層對應(yīng)的是陰影區(qū)域。也可能由于更復(fù)雜的目標(biāo)過程分成多層，例如由于拍攝的并且絕對理想垂直，導(dǎo)致人頭區(qū)域外層是人臉和脖子區(qū)域，然后是上衣區(qū)域，假設(shè)步行過程中雙腿的區(qū)域也出現(xiàn)在視頻中，并且褲子的顏色較上衣不同，也可能上衣區(qū)域外是褲子區(qū)域等。〔5〕對區(qū)域面積進(jìn)行統(tǒng)計(jì)，由于被多層區(qū)域分割，可能小的區(qū)域例如胳膊、腳步等小面積區(qū)域也被分割，假設(shè)面積過小，那么予以去除?！?〕逐層分割后，假設(shè)存在陰影，那么最外層通常對應(yīng)的是陰影區(qū)域。統(tǒng)計(jì)最外層區(qū)域的亮度，假設(shè)滿足較暗，那么認(rèn)為是陰影，予以去除?！?〕假設(shè)最外層區(qū)域不滿足陰影的亮度范圍，那么不進(jìn)行處理。保持檢測的運(yùn)動目標(biāo)的原狀。圖3.6是根據(jù)上述過程實(shí)現(xiàn)的陰影去除效果。此圖的情況是實(shí)現(xiàn)了三層區(qū)域分割，依次是人頭、上衣和陰影。對三個(gè)區(qū)域分割的定位效果準(zhǔn)確。最終從檢測的運(yùn)動目標(biāo)中去除陰影，得到了較為準(zhǔn)確的行人區(qū)域。(a)含有陰影的行人區(qū)域 (b)運(yùn)動目標(biāo)檢測(c)人頭區(qū)域 (d)上衣區(qū)域(e)陰影區(qū)域 (f)去除陰影區(qū)域結(jié)果圖3.6陰影去除效果基于視頻檢測的行人識別算法運(yùn)動目標(biāo)特征建模以往智能交通系統(tǒng)監(jiān)控視頻大多以車輛作為研究目標(biāo)進(jìn)行檢測、識別和跟蹤，對行人為研究目標(biāo)進(jìn)行檢測、識別和跟蹤的成果較少，在國內(nèi)也屬于起步階段。智能交通系統(tǒng)監(jiān)控視頻中行人的移動目標(biāo)比擬復(fù)雜，包括車輛、摩托車和自行車等目標(biāo)，因此需要提取行人與以上干擾目標(biāo)不同的特征，通過分析總結(jié)下述假設(shè)和模型：〔1〕面積而言，車輛的面積較大，并且車輛不會出現(xiàn)與人頭面積相當(dāng)?shù)暮谏珔^(qū)域，假設(shè)為黑色汽車，那么整個(gè)車頂都為黑色，面積較大；假設(shè)為其他顏色汽車，那么汽車區(qū)域不會出現(xiàn)黑色區(qū)域。〔2〕摩托車和自行車等目標(biāo)也面積較大，如果騎摩托車或者自動車的人佩戴的頭盔，可能這些區(qū)域不存在黑色的人頭區(qū)域，假設(shè)沒有佩戴頭盔，那么會出現(xiàn)人頭區(qū)域，但人頭一般位于整個(gè)車身區(qū)域的中間位置。行人運(yùn)動目標(biāo)判斷準(zhǔn)那么通過上述分析，可以總結(jié)交叉口具體場景下，根據(jù)每個(gè)區(qū)域接近黑色的區(qū)域情況，對行人識別的具體條件為：〔1〕假設(shè)沒有一定面積的黑色區(qū)域，那么不是行人?！?〕假設(shè)存在較大面積的黑色區(qū)域，并且此區(qū)域面積S遠(yuǎn)超過人頭的可能范圍，那么一般是黑色汽車，不是行人?！?〕假設(shè)存在屬于人頭面積范圍內(nèi)的黑色區(qū)域，可能是行人，也可能是沒有佩戴頭盔的人在騎自行車或者摩托車。此時(shí)需要進(jìn)一步根據(jù)三種情況判斷：a)假設(shè)區(qū)域面積S不大()，那么說明是普通行人。b)假設(shè)區(qū)域面積S較大，區(qū)域的長短軸比L超出一定的范圍，說明對應(yīng)的是自行車或者摩托車。c)假設(shè)區(qū)域面積S較大，黑色區(qū)域?qū)?yīng)的人頭在區(qū)域一頭，說明對應(yīng)的是人手拉提箱等情況。注：對于、L、3個(gè)參數(shù)確實(shí)定依據(jù)視頻的具體情況，一般根據(jù)前期采集的視頻得到人頭的所占像素范圍，繼而確定、L、的值。行人判斷流程如下列圖3.7所示：圖3.7行人判斷檢測流程上述情況的前兩種情況較為容易去除，主要針對第三種情況較為復(fù)雜。圖3.8是對運(yùn)動目標(biāo)區(qū)域進(jìn)行黑色檢測的效果，并根據(jù)結(jié)果進(jìn)行正確的行人判斷的過程。其中，圖(a)對六個(gè)主要的運(yùn)動目標(biāo)區(qū)域進(jìn)行了編號，圖(b)是檢測到的六個(gè)運(yùn)動目標(biāo)區(qū)域，圖(c)中人頭的區(qū)域都可以檢測到，但是也存在其他的干擾區(qū)域，具體的判斷過程如下：〔1〕編號4和編號5根本沒有干擾，作為運(yùn)動目標(biāo)可以檢測到正常的黑色人頭區(qū)域，因此能夠正確判斷為行人?！?〕編號2的行人的黑色褲子也檢測成了黑色區(qū)域，但是并不影響他們作為行人的判斷。〔3〕編號3的行人手拉拖箱，因此此區(qū)域比沒有拖箱的行人區(qū)域有所增加，但是未影響行人的判斷條件?！?〕編號1的是其自行車的情況，并且手提的黑包，對應(yīng)的區(qū)域長短軸比超過了一定的范圍，行人行走過程檢測的運(yùn)動區(qū)域的長短軸比不會像自行車、摩托車那么明顯，因此判斷，此區(qū)域超出了認(rèn)為是行人的條件范圍，因此予以去除?！?〕左下角編號6的人騎著摩托車，與自行車的編號為1號的情況類似，根據(jù)長短軸比判斷，此區(qū)域超出了認(rèn)為是行人的條件范圍，因此予以去除。通過上述過程，最終可以將圖中的行人目標(biāo)識別為5個(gè)，非機(jī)動車數(shù)為7個(gè)，得到正確的行人目標(biāo)識別結(jié)果和個(gè)數(shù)，如圖(d)所示。(a)智能交通監(jiān)控視頻畫面 (b)檢測運(yùn)行目標(biāo)區(qū)域(c)檢測運(yùn)行目標(biāo)中的黑色區(qū)域 (d)行人目標(biāo)識別結(jié)果圖3.8行人目標(biāo)識別本章小結(jié)本章主要內(nèi)容解決交叉路口復(fù)雜環(huán)境下行人的檢測和識別問題。針對各種技術(shù)難點(diǎn)提出了有針對性的具體解決方案。通過比擬常用的運(yùn)動目標(biāo)檢測算法，根據(jù)交叉口智能交通監(jiān)控視頻的特點(diǎn)，分析了背景消除法和光流場法的缺陷和不適合性，而采用幀差法作為交叉口的智能交通視頻的行人檢測。由于檢測算法的固有缺陷，一般檢測的運(yùn)動目標(biāo)會存在區(qū)域的不連接，采用形態(tài)學(xué)的膨脹運(yùn)算，實(shí)現(xiàn)了區(qū)域斷裂的連接。運(yùn)動目標(biāo)可能存在的空洞現(xiàn)象，那么采用形態(tài)學(xué)的空洞填充予以填充，使目標(biāo)區(qū)域更為完整。對可能存在的噪聲斑塊區(qū)域采用區(qū)域面積統(tǒng)計(jì)的方法計(jì)算面積，設(shè)置適宜的面積閾值，去除小面積的噪聲斑塊。對陰影采用幾何形狀的方法予以去除。通過交叉路口復(fù)雜環(huán)境中的各種運(yùn)動目標(biāo)進(jìn)行建模，總結(jié)了各種運(yùn)動目標(biāo)的特點(diǎn)，并設(shè)計(jì)了行人目標(biāo)的判斷準(zhǔn)那么。行人跟蹤與交通參數(shù)提取本文通過實(shí)現(xiàn)攝像機(jī)標(biāo)定后，得到了視頻圖像中和實(shí)際空間物理距離的映射關(guān)系，將圖像中的一些參數(shù)通過映射，轉(zhuǎn)化為