國防科學(xué)技術(shù)大學(xué)研究卜院碩士學(xué)位論文 摘要 基于運(yùn)動(dòng)成像平臺(tái)的運(yùn)動(dòng)日標(biāo)檢測，文獻(xiàn)中又稱為獨(dú)立運(yùn)動(dòng)目標(biāo) ( i n d e p e n d e n t l ym o v i n go b j e c t s ) 檢測是計(jì)算機(jī)視覺的研究熱點(diǎn)之一，在工業(yè)自 動(dòng)化、視頻監(jiān)控、人工智能、醫(yī)學(xué)圖像分析、軍事等領(lǐng)域有著廣闊的應(yīng)用前景。 基于單視覺傳感器的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測方法，由于成像平臺(tái)運(yùn)動(dòng)、相機(jī)抖動(dòng)和 有限圖像分辨率等多種因素的影響，檢測實(shí)時(shí)性和穩(wěn)定性仍需改進(jìn)。 慣性傳感器與視覺傳感器具有很好的互補(bǔ)特性，兩者的融合可以解決單一視 覺或慣性傳感器運(yùn)動(dòng)估計(jì)存在的模糊，從而改善獨(dú)立運(yùn)動(dòng)目標(biāo)檢測性能。一方面， 圖像觀測可以修正慣性傳感器的誤差積累，可以區(qū)分傳感器的旋轉(zhuǎn)、加速運(yùn)動(dòng)、 重力場以及加速度測量中的偏差的影響；另一方面，慣性傳感器數(shù)據(jù)可以解決圖 像場景墮化( d e g e n e r a t i o n ) 問題例如場景中包含的特征點(diǎn)少、特征點(diǎn)無限遠(yuǎn)，可以 解決由于特征點(diǎn)的進(jìn)入和離開視野所造成的運(yùn)動(dòng)估訃不連續(xù)性問題，司以使運(yùn)動(dòng) 估計(jì)對特征的誤匹配具有魯棒性。 本文首先回顧了基于視覺傳感器的靜止成像平臺(tái)、運(yùn)動(dòng)成像平臺(tái)以及基于多 傳感器融合的運(yùn)動(dòng)成像平臺(tái)下的運(yùn)動(dòng)目標(biāo)檢測方法。存分析慣性傳感器數(shù)據(jù)特點(diǎn) 和融合檢測策略的基硎：上，本文對三種典型應(yīng)用場景下的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測進(jìn)行 了研究( 1 ) 針對成像平臺(tái)沿成像光軸方向的平移運(yùn)動(dòng)可忽略或場景的深度變化遠(yuǎn) 小丁二場景絕對深度的情形，本文提出了一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜诤蠁文恳曈X傳感器 和慣性傳感器的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測的新方法，在單目工業(yè)相機(jī)和微機(jī)電慣性傳感 器組成的傳感器平臺(tái)采集到的室內(nèi)數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)；( 2 ) 針對成像平臺(tái)旋轉(zhuǎn)運(yùn)動(dòng) 可忽略的情形，本文提出了一j f l - 基于擴(kuò)展點(diǎn)光流一致性約束的融合單目視覺傳感 器和慣性傳感器的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測新方法，在v i s a t 多傳感器移動(dòng)測量系統(tǒng)實(shí) 測的單目序列圖像和慣性傳感器數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)；( 3 ) 針對無成像平臺(tái)運(yùn)動(dòng)模式 限制的復(fù)雜場景t j 獨(dú)立運(yùn)動(dòng)n 標(biāo)檢測情形，本文提出了種基于時(shí)域空域雙重重 采樣的粒子濾波的融合雙目立體視覺與慣性傳感器的的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測的新方 法，在v i s a t 多傳感器移動(dòng)測量系統(tǒng)實(shí)測的雙目序列圖像和慣性傳感器數(shù)據(jù)上進(jìn) 行了實(shí)驗(yàn)。不同應(yīng)用場景下的實(shí)驗(yàn)結(jié)果與分析證明了本文提出的三種方法的有效 性。 主題詞：獨(dú)立運(yùn)動(dòng)目標(biāo)檢測多傳感器融合運(yùn)動(dòng)補(bǔ)償光流粒子濾波 笫i 貝 國防科學(xué)技術(shù)大學(xué)研究生院碩士學(xué)位論文 a b s t r a c t m o v i n go b j e c t s d e t e c t i o nw i t hm o v i n g i m a g i n gp l a t f o r m s ，a l s o k n o w n 硼 i n d e p e n d e n t l ym o v i n go b j e c t s ( i m o s ) d e t e c t i o ni nt h el i t e r a t u r e ，h a sb e e nt h ef o c u s o fc o m p u t e rv i s i o nr e s e a r c ha n di s w i d e l ya p p l i e d i na r e a ss u c ha s i n d u s t r y a u t o m a t i z a t i o n , v i d e os u n ，e i l e n c e ，a r t i f i c a li n t e l l i g e n c e ，m e d i c a li m a g ea n a l y s i sa n d m i l i t a r ya p p l i c a t i o n s i n d e p e n d e n t l ym o v i n go b j e c t sd e t e c t i o nw h i c hc a nb ea p p l i e dt o p r a t i c a ls i t u a t i o n sc a l li a o tb ee a s i l ya c h i e v e db yv i s i o ns e n s o ra l o n ec o n s i d e r i n gt h e c o m p l i c a t e de f f a o t so fp l a t f o r mm o t i o n ，i m p e r f e c tc a m e r ac a l i b r a t i o na n dl i m i t e di m a g e r o s e l u t i o n v i s i o na n di n e r t i a ls e n s o r sa l eg o o dc a n d i d a t e st ob ed e p l o y e dt o g e t h e rs i n c ee a c h c a nb eu s e dt or e s o l v et h ea m b i g u i t i e si nt h ee s t i m a t e dm o t i o nu s i n gt h eo t h e rm o d a l i t y a l o n e f o ri n s t a n c e ，i m a g em e a s u r e m e n t sc a nh e l pt oc o u n t e r a c tt h ee r r o rt h a l _ a c c u m u l a t e sw h e ni n t e g r a t i n gi n e r t i a lr e a d i n g s ，a n dc a nb eu s e dt od i s t i n g u i s hb e t w e e n t h ee f f e c t so fs e n s o ro r i e n t a t i o n ，a c c e r l a t i o n ，g r a v i t y ，a n db i a s i na o c e l e r o m e t e r m e a s u r 鉍n e n t s o nt h eo t h e rh a n d ，i n e r t i a ld a t ac a l lh e l pt or e s o l v et h ea m b i g u i t i e s i n m o t i o n 。e s t i m a t i o n b yac a m e r a t h a ts e e sad e g e n e r a t es c e n e ，s u c ha s0 1 1 0c o n t a i n i n g t o of e wf e a t u r e s , f e a t u r e si n f i n i t e l yf a ra w a y ；t or e i n e v et h ed i s c o n t i n u i t i e si ne s t i m a t i o n m o t i o nt h a tr e s u l tf r o mf e a t u r e se n t e r i n go rl e a v i n gt h ec a m e r a sf i e l do fv i e w ；t om a k e m o t i o ne s t i m a t i o nm o r er o b u s tt om i s t r a c k e di m a g ef e a t u r e s t h i sp a p e rf i r s t l yp r e se n t sag e n e r a li n t r o d u c t i o nt ot h em e t h o d si n v o l v i n gd e t e c t i o n o fm o v i n go b j c o t sb ys t a t i o n a r yi m a g i n gs y s t e m s ，m o x ，i n gi m a g i n gs y s t e m sw i t hv i s i o n s e n s o r sa l o n ea n db ym o v i n gi m a g i n gs y s t e m sf u s i n gm u l t i p l es e n s o r s b a s e do nt h e a n a l y s i so fi n e r t i a ld a t aa n dm o v i n go b j e c t sd e t e c t i o ns t r a t e g yb yv i s i o na n di n e r t i a l s e n s o r s ，w eh a v ed e v o t e do u rr e s e a r c ht ot h r e ep a r t i c u l a rs e t so fa p p l i c a t i o n s ( 1 ) f o rt h e o a s eo fm o v i n gp l a t f o r mh a sn e g l e c t i b l em o t i o nc o m p o n e n t sa l o n gt h eo p t i c a la x i so r v a r a t i o n so f8 c o n ed e p t ha r er e l a t i v e l ys m a l li nc o m p a r i o nt ot h ea b s o l u t ed e p t ho f o b s e r v e ds c e n e ，w ep r o p o s e dan o v e li m o sd e t e c t i o nm e t h o du s i n gm o n o c u l a rv i s i o n a n di n e r t i a ls e n s o r sb ym o t i o nc o m p e n s a t i o n e x p e r i m e n t sh a v eb e e nc a r r i e do nt h ed a t a c o l l e c t i n gi n d o o r su s i n gam o n o c u l a ri n d u s t r i a lc a m e r aa n dm e m s ( m i c r o e l e c t r o n i c m a g e t i os y s t e m ) i m u ( i n e r t i a lm e a s u r e m e n tu n i t ) o i l am o v i n gp l a t f o r m ( 2 ) f o rt h e c a s eo fm o v i n gp l a t f o r mh a sn e g l e c t i b l er o t a t i o nm o t i o nc o m p o n e n t s ，w ep r o p o s e da n o v e li m o sd e t e c t i o nm e t h o du s i n gm o n o o t d a rv i s i o na n di n e r t i a ls e n s o r so nt h eb a s i s o ff o e 口o c u so fe x p a n s i o n ) 一r e l a t e do p t i c a lv e c t o r sc o n s t r a i n t e x p e r i m e n t sh a v eb e e n c a r r i e do nt h er e a l - - r o a dm o b i l em a p p i n gm o n o c u l a rv i si o na n dg e e - r e f e r e n c e di m a g e s e q u e n c eo fv i s a ts y s t e m s ( 3 ) f o rt h eg e n e r a lc a s oo fam o v i n gp l a t f o r mw i t hn o a s s u m p a t i o nm a d eo nt h em o t i o nc h a r a c t e r i s t i c so rt h eo b s e r v e ds c e n e ，w ep r o p o s e da 第i i 貝 崮防科學(xué)技術(shù)大學(xué)研究生院碩士學(xué)位論文 h o v e ll m o sd e t e c t i o nm e t h o du s i n gb i n o c u l a rv i s i o na n di n e r t i a ls e n s o r su n d e ra s p a t i a l - t e m p o r a lp a r a l l e lr e s a m p l ep a r t i c l ef i l t e r i n gf r a m e w o r k e x p e r i m e n t sh a v eb e e n c a r r i e d0 nt h er e a l - r o a dm o b i l em a p p i n gb i n o c u l a rv i s i o na n dg e e - r e f e r e n o e di m a g e s e q u e n c eo fv i s a ts y s t e m s v a r i o u se x p e r i m e n t so fp a r t i c u l a rs e t so fa p p l i c a t i o n sh a v e p r o v e dt h ee f f e e t i v e n e s so ft h ep r o p o s e dm e t h o d s k e yw o r d s ：i n d e p e n d e n t l ym o v i n go b j e c t sd e t e c t i o ns e n s o rf u s i o n o p t i c a lf l o w m o t i o nc o m p e n s a t i o np ar t i c l ef i l t e r 第i i i 貝 國防科學(xué)技術(shù)大學(xué)研究生院碩士學(xué)位論文 表且錄 表1 1 典型的多傳感器融合運(yùn)動(dòng)目標(biāo)檢測方法7 表2 1 慣性導(dǎo)航數(shù)據(jù)1 辛 第1 i l 頁 國防科學(xué)技術(shù)大學(xué)研究生院碩士學(xué)位論文 圖目錄 圖1 1 反透視投影變換。6 圖2 1 捷聯(lián)慣性導(dǎo)航系統(tǒng)框圖1 2 圖2 2 微機(jī)電慣性傳感器1 3 圖2 3 捷聯(lián)慣性導(dǎo)航系統(tǒng)數(shù)據(jù)解算框圖。1 3 圖2 4 參考坐標(biāo)系統(tǒng)1 4 圖2 5 成像平臺(tái)運(yùn)動(dòng)投影。1 5 圖3 1 透視投影模型18 圖3 2 運(yùn)動(dòng)補(bǔ)償法流程圖2 0 圖3 3 檢測算法流程圖2 l 圖3 4 不同運(yùn)動(dòng)速度下的差分圖2 2 圖3 5 數(shù)據(jù)同步處理2 3 圖3 6 系統(tǒng)實(shí)驗(yàn)平臺(tái)2 4 圖3 7 獨(dú)立運(yùn)動(dòng)目標(biāo)實(shí)驗(yàn)環(huán)境配置2 4 圖3 8 室內(nèi)簡單背景下的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測2 5 圖3 9 室內(nèi)復(fù)雜背景下的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測2 6 圖4 1 典型的平移運(yùn)動(dòng)模型。2 8 圖4 2 光流的形成2 9 圖4 3 典型運(yùn)動(dòng)模式下的光流圖3 0 圖4 4 擴(kuò)展點(diǎn)性質(zhì)。3 2 圖4 5 擴(kuò)展點(diǎn)位置3 2 圖4 6 運(yùn)動(dòng)成像分析。3 3 圖4 7 光流法檢測流程圖3 4 圖4 8 三幀共現(xiàn)性約束濾波3 5 圖4 9 幅值比值統(tǒng)計(jì)濾波3 6 圖4 1 0 運(yùn)動(dòng)場中的擴(kuò)展點(diǎn)與光流3 6 圖4 1 1 實(shí)驗(yàn)數(shù)據(jù)v i s a t l i m 測繪平臺(tái)3 7 圖4 1 2 光流場穩(wěn)健性濾波3 7 圖4 1 3 獨(dú)立運(yùn)動(dòng)目標(biāo)檢測3 8 圖4 1 4 獨(dú)立運(yùn)動(dòng)目標(biāo)檢測3 9 圖5 1 立體視覺幾何結(jié)構(gòu)4 1 圖5 2 會(huì)聚式立體視覺模型4 2 圖5 3 三角解算原理4 3 第l v 頁 國防科學(xué)技術(shù)大學(xué)研究生院碩士學(xué)位論文 圖5 4 狀態(tài)空問模型4 6 圖s 6 極線幾何約束4 9 圖5 7 極線約束匹配區(qū)域4 9 圖多8 特征匹配搜索距離4 9 閣5 9 粒子濾波獨(dú)立運(yùn)動(dòng)檢測系統(tǒng)5 2 圖5 1 0s i f t 特征提取及運(yùn)動(dòng)矢量提取5 2 圖5 1 l 獨(dú)立運(yùn)動(dòng)目標(biāo)檢測結(jié)果5 3 第v 頁 獨(dú)倉i j 性聲明 本人聲明所呈交的學(xué)位論文是我本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得 的研究成果盡我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含 其他人已經(jīng)發(fā)表和撰寫過的研究成果，也不包含為獲得國防科學(xué)技術(shù)大學(xué)或其它 教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料與我一同工作的同志對本研究所做的任 何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意 學(xué)位論文題目：融企塑鱟塑邀性僮盛墨的獨(dú)童運(yùn)邈旦捶撿型 學(xué)位論文作者簽名： 孟1 = i 堡 日期： 細(xì)羅年f 7 月侈日 學(xué)位論文版權(quán)使用授權(quán)書 本入完全了解國防科學(xué)技術(shù)大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定。本人授權(quán) 國防科學(xué)技術(shù)大學(xué)可以保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子 文檔，允許論文被查閱和借閱；可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù) 庫進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文 ( 保密學(xué)位論文在解密后適用本授權(quán)書。) 學(xué)位論文題目：融企塑鱟貍邀性籩盛墨鮑獨(dú)童運(yùn)邊旦握撿測 學(xué)位論文作者簽名：型：監(jiān) 。 作者指導(dǎo)教師簽名： 日期：勱羅年 月侈日 日期：t 口。年f f 月弓日 圜防科學(xué)技術(shù)大學(xué)研究牛院碩士學(xué)位論文 第一章緒論 運(yùn)動(dòng)成像平臺(tái)下的運(yùn)動(dòng)目標(biāo)檢測，文獻(xiàn)中又稱為獨(dú)立運(yùn)動(dòng)目標(biāo)( i n d e p e n d e n t l y m o v i n go b j e c t s ) 檢測洶硎是計(jì)算機(jī)視覺的研究熱點(diǎn)之一，在工業(yè)自動(dòng)化、視頻監(jiān) 控、人工智能、商業(yè)、體育、醫(yī)學(xué)和軍事等領(lǐng)域有著廣闊的應(yīng)用前景。獨(dú)立運(yùn)動(dòng) 目標(biāo)的正確檢測是實(shí)現(xiàn)目標(biāo)識(shí)別與跟蹤、運(yùn)動(dòng)圖像編碼、安全監(jiān)控、基于內(nèi)容的 檢索等視頻分析和應(yīng)用的基礎(chǔ)，具有十分重要的理淪和現(xiàn)實(shí)意義。 1 1 課題背景和意義 近年來，基于運(yùn)動(dòng)成像平臺(tái)的運(yùn)動(dòng)目標(biāo)檢測又稱獨(dú)立運(yùn)動(dòng)目標(biāo)( i n d e p e n d e n t l y m o v i n go b j e c t s ) 檢測舊“6 引逐漸成為計(jì)算機(jī)視覺研究領(lǐng)域的一個(gè)熱點(diǎn)，它在工業(yè)自 動(dòng)化、視頻監(jiān)控、人工智能、軍事等領(lǐng)域有著廣闊的應(yīng)用前景。基于單一視覺傳 感器的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測方法，由于成像平臺(tái)運(yùn)動(dòng)、相機(jī)抖動(dòng)和有限圖像分辨率 等因素的影響，檢測實(shí)時(shí)性和穩(wěn)定性仍需改進(jìn)n o ?；诙鄠鞲衅餍畔⑷诤系姆椒?可以改善檢測性能嘟：。慣性導(dǎo)航系統(tǒng)由于其不靠外界任何條件，能自主地提供姿 態(tài)、位置、速度等信息的特點(diǎn)，在航天測控、智能導(dǎo)航和計(jì)算機(jī)視覺等領(lǐng)域有著 廣泛的應(yīng)用。但由于傳統(tǒng)的慣性傳感器體積大、價(jià)格貴，很多實(shí)際應(yīng)用場合中限 制了慣性傳感器的使用。近年來，隨著微機(jī)電m e m s ( m i c r oe l e c t r om e c h a n i c a l s y s t e m ) 制造技術(shù)、微慣性測量器件逐漸成熟。r ，微機(jī)電捷聯(lián)慣導(dǎo)系統(tǒng)m e m s s i n s ( s t r a p d o w ni n e r t i a ln a v i g a t i o ns y s t e m ) 發(fā)展迅速。但市場上廣泛應(yīng)用的 中低端微機(jī)電慣性測量單元m e m si m u ( i n e r t i a lm e a s u r e m e n tu n i t ) 由于測量精度 和數(shù)據(jù)漂移等問題，不能單獨(dú)應(yīng)用于自主定位與運(yùn)動(dòng)參數(shù)的獲取。慣性傳感器與 視覺傳感器具有很好的互補(bǔ)特性，兩者的融合可以解決單一視覺或慣性傳感器運(yùn) 動(dòng)估計(jì)存在的模糊性 1 1 n “叼，從而改善獨(dú)立運(yùn)動(dòng)目標(biāo)檢測性能。一方面，圖像觀測 可以修正慣性傳感器的誤著積累，可以區(qū)分傳感器的旋轉(zhuǎn)、加速運(yùn)動(dòng)、重力場以 及加速度測量中的偏差的影響n u ；另一方面，慣性傳感器數(shù)據(jù)可以解決圖像場景 墮化( d e g e n e r a t i o n ) 問題1 例如場景中包含的特征點(diǎn)少、特征點(diǎn)無限遠(yuǎn)，可以解決 由于特征點(diǎn)的進(jìn)入和離開視野所造成的運(yùn)動(dòng)估計(jì)小連續(xù)性問題，可以使運(yùn)動(dòng)估計(jì) 對特征的誤匹配具有魯棒性。 融合視覺和慣性傳感器的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測具有十分重要的現(xiàn)實(shí)意義和應(yīng)用 價(jià)值，例如在智能交通系統(tǒng)中一羽，運(yùn)用基于視覺和慣性傳感器融合的方法對獨(dú)立 運(yùn)動(dòng)目標(biāo)進(jìn)行報(bào)警，可以大大改善系統(tǒng)性能，減輕人工i - 預(yù)負(fù)擔(dān)，實(shí)現(xiàn)自動(dòng)化； 在車輛智能駕駛過程中h 3 1 ，對行人或其他運(yùn)動(dòng)車輛的實(shí)時(shí)檢測，可以保證駕駛安 稠防科學(xué)技術(shù)大學(xué)形f 究牛院碩士學(xué)位論文 全；在工業(yè)智能機(jī)器人應(yīng)用方面，快速有效地檢測出獨(dú)立運(yùn)動(dòng)目標(biāo)，避免產(chǎn)生事 故，是多種任務(wù)順利完成的前提：在高精端武器導(dǎo)航領(lǐng)域，基于視覺和慣性傳感 器的運(yùn)動(dòng)姿態(tài)估計(jì)和獨(dú)立運(yùn)動(dòng)目檢測是實(shí)現(xiàn)精確打擊的前提；在移動(dòng)測繪領(lǐng)域“ ， 獨(dú)立運(yùn)動(dòng)目標(biāo)的檢測和歸類是評估測繪數(shù)據(jù)有效性的一個(gè)重要手段。 1 2 課題研究現(xiàn)狀及挑戰(zhàn) 目前文獻(xiàn)中有大量的運(yùn)動(dòng)目標(biāo)檢測方法，根據(jù)所使用的傳感器不同，可分為基 于視覺傳感器的運(yùn)動(dòng)目標(biāo)檢測和基于多傳感器融合的運(yùn)動(dòng)目標(biāo)檢測?；谝曈X傳 感器的運(yùn)動(dòng)目標(biāo)檢測根據(jù)成像平臺(tái)是否運(yùn)動(dòng)，又可以分為兩類：一類是成像平臺(tái) 靜止情況下的運(yùn)動(dòng)目標(biāo)檢測，一類是成像平臺(tái)運(yùn)動(dòng)情況下的運(yùn)動(dòng)目標(biāo)檢測。為區(qū) 別于序列圖像中的成像平臺(tái)的運(yùn)動(dòng)投影，文獻(xiàn)中常把成像平臺(tái)運(yùn)動(dòng)情況下的運(yùn)動(dòng) 目運(yùn)動(dòng)目標(biāo)的檢測稱為獨(dú)立運(yùn)動(dòng)i i 標(biāo)( i n d e p e n d e n t l ym o v i n g0 b j e c t s ) 檢測舊m 6 刳。 1 2 1 基于視覺傳感器的運(yùn)動(dòng)目標(biāo)檢測 靜止成像平臺(tái)下的運(yùn)動(dòng)目標(biāo)檢測 成像平臺(tái)靜止情況下的運(yùn)動(dòng)r i 標(biāo)檢測方法非常多，根據(jù)門標(biāo)特性，背景的復(fù)雜 度，具體應(yīng)用場合的要求等不同情況，算法有很大的差別。但總體思路主要有三 種，一是對序列圖像的時(shí)域分析，二是對序列圖像的空域分析，三是結(jié)合時(shí)空域 豹信息分析處理序列圖像?；跁r(shí)域分析豐要是以時(shí)問變化檢測為準(zhǔn)則，利用幀 伺的相關(guān)性，例如幀間差、光流場、運(yùn)動(dòng)欠量等信息實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測和分割。 基于空域分析主要是以空間同性為準(zhǔn)則，利用圖像的亮度、色度紋理或其他的統(tǒng) 計(jì)量信息實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測和分割。時(shí)空域結(jié)合的方法繼承了前兩者的優(yōu)勢， 綜合利用序列圖像可獲取的信息，是目前的研究熱點(diǎn)和未來的發(fā)展方向。文獻(xiàn)中 針對成像平臺(tái)靜止情況下的運(yùn)動(dòng)目標(biāo)榆測方法大致可以分為以下幾類： 1 基于變化的運(yùn)動(dòng)目標(biāo)檢測；固定空間位置時(shí)域的變化性包含了運(yùn)動(dòng)目標(biāo)的 信息，基于變化的方法利用差異性進(jìn)行運(yùn)動(dòng)目標(biāo)檢測。i i 前比較常用和成熟的算 法有： 奪背景減法：根據(jù)某種背景模型更新參考圖像，計(jì)算當(dāng)前圖像與參考圖像的差分 圖像，然后閾值化分割出運(yùn)動(dòng)物體，這種方法計(jì)算簡單，如果參考圖像選擇得 當(dāng)，這種方法的優(yōu)點(diǎn)是可以準(zhǔn)確地分割出運(yùn)動(dòng)物體。背景模型的建立更新有很 多方法，基于統(tǒng)計(jì)信息的自適應(yīng)背景更新模型法如高斯模型，混合高斯模型， 非參數(shù)化模型法；運(yùn)用稀疏采樣的方法估計(jì)背景模型的方法；基于預(yù)測的方法， 如卡爾曼濾波和維納濾波方法。文獻(xiàn) 8 3 中，提出了一種基于概率的動(dòng)態(tài)信息 窗口的自適應(yīng)背景更新方法解決背景的復(fù)雜性問題。文獻(xiàn) 9 1 中將圖像的每一 筧2 叭 國防科學(xué)技術(shù)大學(xué)研究牛院碩士學(xué)位淪文 象素點(diǎn)與該象素點(diǎn)對應(yīng)的混合高斯模型的各個(gè)高斯模型進(jìn)行比較，從而將圖像 分成前景和背景的部分。h a r i t a o g l u 等陋利用最小、最大強(qiáng)度值和最大時(shí)間 差分值為場景中每個(gè)像素進(jìn)行統(tǒng)計(jì)建模，并且進(jìn)行周期性地背景更新；m c k e n n a 等洲利用像素色彩和梯度信息相結(jié)合的自適應(yīng)背景模型來解決影子和不可靠 色彩線索對于分割的影響；k a r m a n n 與b r a n d t 3 、k i l g e r 口田采用基于卡爾曼濾 波( e a l m a nf i l t e r i n g ) 的自適應(yīng)背景模型以適應(yīng)天氣和光照的時(shí)間變化： s t a u f f e r 與g r i m s o n 心_ 利用自適應(yīng)的混合高斯背景模犁( 即對每個(gè)像素利用混 合高斯分布建模) ，并且利用在線估計(jì)來更新模型，從而可靠地處理了光照變 化、背景混亂運(yùn)動(dòng)的干擾等影響；t o y a m a 等測提出的w a l l f l o w e r 算法利用線 性維納濾波器學(xué)習(xí)和預(yù)測背景變化，并在像素級，區(qū)域級和相框級三個(gè)層次上 進(jìn)行背景的維護(hù)；e l g a m m a l 等啪提出了一種非參數(shù)模型對動(dòng)態(tài)背景進(jìn)行建模： h a n z iw a n g 等日在分析對比各種背景模型的基礎(chǔ)上，提出了一種基于樣本一 致性有效的背景建模方法s a c o n ，對標(biāo)準(zhǔn)w a l l f l o w e r 序列圖像實(shí)驗(yàn)表明背景 的建?？梢赃m應(yīng)多種因素的變化。背景減法依賴于所采用的背景模型更新方 法，以彌補(bǔ)動(dòng)態(tài)場景中的光線變化等因素帶來的不利影響，不適合在復(fù)雜環(huán)境 下運(yùn)動(dòng)物體的檢測，因?yàn)閼敉鈴?fù)雜環(huán)境條件下很難建立背景模型。 冷時(shí)域差分法；對相鄰的兩幀( 或多幀) 連續(xù)圖像進(jìn)行相減，以去除靜止或移動(dòng) 較慢的物體和背景，它是消除圖像中的靜止物體以及提供運(yùn)動(dòng)物體運(yùn)動(dòng)軌跡的 最直接的方法，優(yōu)點(diǎn)是計(jì)算簡單且不易受環(huán)境光線變化的影響，缺點(diǎn)是最終的 效果與圖像采樣頻率以及被檢測物體的速度有關(guān)，且不能夠完整的分割運(yùn)動(dòng)對 象，不利于進(jìn)一步的對象分析和識(shí)別，分割出的區(qū)域比實(shí)際的要大，在運(yùn)動(dòng)目 標(biāo)中會(huì)形成空洞。l i p t o n o 怖1 等利用兩幀差分的方法從序列圖像巾檢測出運(yùn)動(dòng)口 標(biāo)進(jìn)行分類和跟蹤。為提高差分圖像法的性能，最近有學(xué)者義提出了累積圖像 差分法和對稱圖像差分法，這兩種方法都可以很有效的改善簡單幀差法的不 足。g a m e d a m l 采用概率統(tǒng)計(jì)的方法通過三幀連續(xù)圖像間的運(yùn)動(dòng)信息分割運(yùn)動(dòng)物 體，np a r a g i o s m l 等人提出了基于卒間m a r k o v 隨機(jī)場的連續(xù)幀圖像間的差值 統(tǒng)計(jì)量來描述幀間差異，此外還有一些學(xué)者提出結(jié)合單幀圖像分割結(jié)果來修1 e 差分圖像法所得到的圖像運(yùn)動(dòng)信息的方法。 2 基于運(yùn)動(dòng)能量的運(yùn)動(dòng)目標(biāo)檢測；把序列圖像看作由二維窄域加上時(shí)間維構(gòu) 成的三維空間，使用時(shí)空梯度算子計(jì)算每一像素點(diǎn)的各個(gè)時(shí)空梯度方向上的分量， 經(jīng)過高斯平滑后的時(shí)空梯度分量稱為運(yùn)動(dòng)能量m 3 引卵。運(yùn)動(dòng)對象經(jīng)過的那些位置 的像素，凼所有像素點(diǎn)基本都沿某個(gè)一致方向運(yùn)動(dòng)，這一方向的運(yùn)動(dòng)能最值較人， 而雜亂運(yùn)動(dòng)像素( 樹葉，煙火等) 各個(gè)力。向的運(yùn)動(dòng)能量基本均衡，計(jì)算能量梯度 后，雜亂運(yùn)動(dòng)像素點(diǎn)處的能量梯度值基本為零，而致運(yùn)動(dòng)像素的能量梯度很大， 篩3 貞 1 虱防科學(xué)技術(shù)大學(xué)研究牛院碩士學(xué)位論文 這樣真正的運(yùn)動(dòng)對象就被檢測出來。運(yùn)動(dòng)能量法能消除背景中的抖動(dòng)像素，使按 某一方向運(yùn)動(dòng)的對象更加突出地顯現(xiàn)出來，其缺點(diǎn)是只能估計(jì)出運(yùn)動(dòng)對象的大概 位置，不能夠精確提取對象。 3 基于時(shí)空域聯(lián)合信息的運(yùn)動(dòng)目標(biāo)檢測；基于時(shí)域的運(yùn)動(dòng)目標(biāo)檢測可以標(biāo)記 出靜止和運(yùn)動(dòng)的區(qū)域，但一般無法提供準(zhǔn)確的運(yùn)動(dòng)邊界，基于空域的運(yùn)動(dòng)物體分 割可以提供邊界信息，但常常會(huì)造成過分割。融合時(shí)域和空域信息的運(yùn)動(dòng)目標(biāo)檢 測方法，是在檢測過程中通過區(qū)域捆綁逐步融合時(shí)域和空域信息，而不是在時(shí)域 分割結(jié)束之后再融合空域信息，通過早期分割得到許多小區(qū)域，然后將這些小區(qū) 域捆綁成一些捆綁核，再將剩下的區(qū)域通過強(qiáng)或弱的規(guī)則捆綁到相鄰的捆綁核， 從而實(shí)現(xiàn)目標(biāo)區(qū)域的分割。m aa n dz h a n g b 3 + 提出了基于圖象時(shí)域和空域熵的運(yùn)動(dòng) 目標(biāo)檢測，基于象素點(diǎn)屬性的時(shí)空不確定性進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測取得了較好效果， g u o 等m 1 對基于時(shí)空熵的檢測算法進(jìn)行改進(jìn)，提出了基于差分圖象熵運(yùn)動(dòng)目標(biāo)檢測 算法。目前研究熱點(diǎn)正是綜合利用各種圖像的時(shí)空域信息實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的自動(dòng)檢 測和分割。 4 基于高階統(tǒng)計(jì)的運(yùn)動(dòng)目標(biāo)檢測3 玎引；高階統(tǒng)計(jì)包括高階累積矩和高階矩， 它具有從高斯信號背景下提取出非高斯信號的獨(dú)特優(yōu)點(diǎn)。實(shí)際巾遇到的許多信號 具有非零的高階統(tǒng)計(jì)，且噪聲呈現(xiàn)高斯分布。視頻序列圖像中，由于目標(biāo)的運(yùn)動(dòng)， 相鄰的兩幀圖像的幀差相當(dāng)于一個(gè)零均值的、對稱的概率密度函數(shù)，所以其概率 分布與高斯信號函數(shù)相差較大。在幀差巾，由噪聲、亮度變化引起的隨機(jī)波動(dòng)、 慢變的背景紋理都相當(dāng)于高斯信號，所以可以用圖像信號的四階統(tǒng)計(jì)或者四階矩 來提取運(yùn)動(dòng)區(qū)域。先計(jì)算局部估計(jì)的幀差零延遲四階矩，自適應(yīng)地設(shè)定與背景相 適應(yīng)變化地閾值，將計(jì)算出的四階矩與其比較，然后確定運(yùn)動(dòng)區(qū)域和背景，從而 分離出有別于背景波動(dòng)和噪聲的運(yùn)動(dòng)區(qū)域。 5 基于特征聚類的運(yùn)動(dòng)目標(biāo)檢測釓；目標(biāo)通常被認(rèn)為是根據(jù)特定的條件具 有一致性的一組區(qū)域，且根據(jù)多個(gè)特z 1 正z f | 匕e 夠區(qū)分這些不同的區(qū)域。圖像中常用的 一些特征如坐標(biāo)、線條、拐點(diǎn)、輪廓、紋理、形狀、顏色、運(yùn)動(dòng)、直方圖、空間 連同性、時(shí)間一致性等。此類算法可以簡單地同時(shí)檢測出具有類似性質(zhì)的多個(gè)對 象，但是由于對象或?qū)ο箝g的遮擋，會(huì)影響某些特征的出現(xiàn)或隱藏，這使得檢測 算法變得更復(fù)雜。 此外，近年來基于m i i f 場的方法，基于人工神經(jīng)網(wǎng)絡(luò)的方法，基于小波的方法， 分形方法和遺傳算法在運(yùn)動(dòng)目標(biāo)檢測中的應(yīng)用也有大量的研究。 獨(dú)立運(yùn)動(dòng)目標(biāo)( i n d e p e n d e n t l ym o v i n go b j e c t s ) 檢測 成像平臺(tái)運(yùn)動(dòng)情況下的運(yùn)動(dòng)目標(biāo)檢測，又稱獨(dú)立運(yùn)動(dòng)目標(biāo)檢測省剛1 ，比成像平 臺(tái)靜止情況下的難度更大，其很多檢測方法以成像平臺(tái)靜止情況下的檢測方法為 國防科學(xué)技術(shù)大學(xué)研究牛院碩士學(xué)位淪文 基礎(chǔ)。目前文獻(xiàn)中大量的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測方法大致可以分為以下兒類： 1 基于先驗(yàn)知識(shí)的方法；基于先驗(yàn)知識(shí)的方法利用先驗(yàn)信息獲得運(yùn)動(dòng)目標(biāo)在 圖像中的位置，常用的運(yùn)動(dòng)目標(biāo)的先驗(yàn)信息有對稱性、色彩信息、陰影信息和幾 何特征( 例如角點(diǎn)、水平垂直邊緣) 、紋理信息、運(yùn)動(dòng)物體特性( 車燈信息等) 。 奪對稱性：人造物體通常都有著較明顯的對稱性信息，這種對稱性信息可以在計(jì) 算機(jī)視覺領(lǐng)域被廣泛的用來進(jìn)行目標(biāo)檢測與識(shí)別。文獻(xiàn) 4 0 1 1 4 1 ：乖1 j 用對稱性對 運(yùn)動(dòng)車輛進(jìn)行檢測。 色彩信息：在車輛道路檢測等多種應(yīng)用場合，運(yùn)動(dòng)目標(biāo)與背景在色彩或亮度信 息上存在差異性，這種差異性可用來運(yùn)動(dòng)目標(biāo)的識(shí)別。文獻(xiàn)f 4 2 】f 4 3 】用色彩信 息對道路進(jìn)行檢測從而將運(yùn)動(dòng)車輛從背景中分離。 奪陰影信息：陰影信息的存在是由于目標(biāo)的遮擋效應(yīng)所弓i 起的，遮擋區(qū)域的灰度 特性與背景區(qū)域的特性存在不一致性，通過檢測陰影信息的變化，可以檢測出 運(yùn)動(dòng)目標(biāo)的存在。 令幾何特征：不同的運(yùn)動(dòng)目標(biāo)具有不同的幾何特征，例如車輛通?？梢员硎境删?，形具有四個(gè)顯著角點(diǎn)的模型，人臉可以表示成具有橢圓特性的模型，通過模板 匹配法可以利用幾何特征進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測。b e r t o z z i 等。們提出了一種基于 角點(diǎn)的方法來得到運(yùn)動(dòng)車輛的可能位置，m a t t h e w s 等一u 利用邊緣檢測獲取強(qiáng) 的垂直邊緣，在邊緣圖的基礎(chǔ)上計(jì)算垂直積累定位運(yùn)動(dòng)車輛的左右邊界。 奪紋理信息：運(yùn)動(dòng)目標(biāo)的存在會(huì)導(dǎo)致圖像局部灰度特性的變化，不同的運(yùn)動(dòng)目標(biāo) 在圖像中產(chǎn)生的灰度變化規(guī)律不同的紋理模型，這種紋理模型可用來檢測運(yùn)動(dòng) 目標(biāo)。 2 基于立體視覺的方法。卵j 【；基于立體視覺的方法利用空間立體信息進(jìn)行運(yùn) 動(dòng)目標(biāo)檢測，常采用的方法有差異圖和反透視投影變換。 奪差異圖：在雙目視覺系統(tǒng)中，對應(yīng)像素點(diǎn)在左視圖和右視圖中不一致性成為差 異，所有的像素點(diǎn)的不一致性構(gòu)成籌異圖。獲得了差異圖后，在同一感興趣深 度( 根據(jù)差異間隔確定) 的像素點(diǎn)可以構(gòu)成相應(yīng)的差異直方圖，如果運(yùn)動(dòng)目標(biāo) 出現(xiàn)在某感興趣深度范圍，相應(yīng)的差異直方圖中塊會(huì)出現(xiàn)突變，通過檢測差異 直方圖的突變可以檢測運(yùn)動(dòng)目標(biāo)h 制。 今反透視投影變換：通過約束目標(biāo)點(diǎn)在水平平面從而進(jìn)行逆投影解算。假設(shè)p 為 三維空間中一點(diǎn)，透視投影模型下，其在圖像平面中的投影點(diǎn)為p 與投影中心 連線與投影平而的交點(diǎn)。反透視投影變換( 見圖1 1 ) 的步驟為： p ；為圖像中一 點(diǎn)，其與投影中心n 連線與水平面的交點(diǎn)為反透視投影變換結(jié)果。如果進(jìn)行透 視變化和反透視變化，水平而將映射為其本身，高出水平面的場景會(huì)不同程度 失真。通過檢測失真度可以檢測獨(dú)立運(yùn)動(dòng)目標(biāo)。在平坦道路的假設(shè)前提下，z h a o 倒防科學(xué)技術(shù)大學(xué)研究牛院碩士學(xué)位淪文 和y u t a n 2 1 在立體視覺框架下，利用反透視投影變換在給定左圖像的情況下對 右圖像進(jìn)行預(yù)測后進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測。 圖1 1 反透視投影變換 3 基于光流的方法。朝剛k 6 2 1 ；光流是空間運(yùn)動(dòng)物體被觀測面上的像素點(diǎn)運(yùn)動(dòng)產(chǎn) 生的瞬時(shí)速度場，包含了物體3 d 表面結(jié)構(gòu)和動(dòng)態(tài)行為的重要信息。一般情況下， 光流由相機(jī)運(yùn)動(dòng)、場景中日標(biāo)運(yùn)動(dòng)，或兩者的運(yùn)動(dòng)產(chǎn)牛。當(dāng)場景中有獨(dú)立的運(yùn)動(dòng) 目標(biāo)時(shí)，通過光流分析可以確定運(yùn)動(dòng)目標(biāo)的數(shù)目、運(yùn)動(dòng)速度、目標(biāo)距離和日標(biāo)的 表面結(jié)構(gòu)。光流研究已經(jīng)在環(huán)境建模、目標(biāo)檢測與跟蹤、自動(dòng)導(dǎo)航及視頻事件分 析中得到了廣泛的應(yīng)用。 4 基于運(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄔ ：；基于運(yùn)動(dòng)補(bǔ)償?shù)姆椒ò凑請鼍吧疃茸兓c場景 絕對深度相對關(guān)系，可以分為基于二維的補(bǔ)償方法和基于! i 維的補(bǔ)償方法。 奪基于二維的補(bǔ)償方法通常必須滿足以下假設(shè)之一j ：i ) 觀測場景可以近似為 平面，i i ) 場景中的深度變化比場景的絕對深度耍小得多，i i i ) 成像系統(tǒng)只存 在旋轉(zhuǎn)和縮放運(yùn)動(dòng)?；诙S的運(yùn)動(dòng)補(bǔ)償方法是首先對全局背景運(yùn)動(dòng)進(jìn)行運(yùn)動(dòng) 估計(jì)和補(bǔ)償校正，然后再利用成像平臺(tái)靜i ：情況下的運(yùn)動(dòng)目標(biāo)檢測方法實(shí)現(xiàn)檢 測。運(yùn)動(dòng)補(bǔ)償校正技術(shù)的核心問題是平臺(tái)運(yùn)動(dòng)估計(jì)，其包括三個(gè)方面：攝像機(jī) 運(yùn)動(dòng)仿射參數(shù)模型、運(yùn)動(dòng)估計(jì)匹配準(zhǔn)則和運(yùn)動(dòng)估計(jì)搜索策略。視頻圖像足三維 成像空間在二維圖像平面上的投影。圖像坐標(biāo)中各像素點(diǎn)的運(yùn)動(dòng)速度并不相 同，而是遵循同一攝像機(jī)的運(yùn)動(dòng)參數(shù)，其為全局運(yùn)動(dòng)參數(shù)。典型的攝像機(jī)運(yùn)動(dòng) 仿射參數(shù)模型有：基于平行投影的六參數(shù)模型、基于透視投影的八參數(shù)模型、 基于旋轉(zhuǎn)平移假設(shè)的四參數(shù)模型等。南于圖像中各個(gè)背景點(diǎn)的運(yùn)動(dòng)參數(shù)都相 同，因此無需求得所有背景點(diǎn)的運(yùn)動(dòng)場，只要選擇稀疏特征點(diǎn)估計(jì)出圖像背景 的全局運(yùn)動(dòng)參數(shù)就可以得到各個(gè)背景點(diǎn)的運(yùn)動(dòng)位移。但目標(biāo)點(diǎn)和噪聲點(diǎn)與背景 點(diǎn)的運(yùn)動(dòng)參數(shù)明顯不同，當(dāng)它們被選為特征點(diǎn)時(shí)，將得不到精確的結(jié)果。魯棒 性較差。在實(shí)際的系統(tǒng)一u l - 必須消除由于門標(biāo)運(yùn)動(dòng)和噪聲帶來的全局運(yùn)動(dòng)參數(shù)估 引+ 誤差。文獻(xiàn)中已有大量關(guān)于二維運(yùn)動(dòng)估計(jì)方法的研究，可以歸納為光流場方 第6 頁 困防科學(xué)技術(shù)大學(xué)研究牛院碩士學(xué)能論文 法、塊匹配方法、像素遞歸法和相位相關(guān)法。 令基于三維的補(bǔ)償方法，主要分為兩類，一類是直接利用成像平臺(tái)運(yùn)動(dòng)估計(jì)消除 相機(jī)運(yùn)動(dòng)所帶來的影響：一類是間接的把場景分為多個(gè)平面，利用、1 1 面+ 視差 的方法進(jìn)行處理。s a w h e n y “班等提出一種在= 三維場景中利用平面+ 視差方法檢 測獨(dú)立運(yùn)動(dòng)，利用極線幾何約束和形狀約束，從序列圖像中漸進(jìn)求解平面和視 差參數(shù)?；诠潭〝U(kuò)展點(diǎn)的假設(shè)，h u 和u c h i m u r a 通過從相鄰圖像特征對應(yīng) 性來估計(jì)相機(jī)運(yùn)動(dòng)參數(shù)信息的方法檢測運(yùn)動(dòng)目標(biāo)。 1 2 2 基于多傳感器融合的運(yùn)動(dòng)目標(biāo)檢測 基于單一視覺傳感器的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測，由于成像平臺(tái)運(yùn)動(dòng)、相機(jī)抖動(dòng)和 有限圖像分辨率等因素的影響，在實(shí)際很多應(yīng)用場合中榆測有效性和系統(tǒng)穩(wěn)定性 仍需改進(jìn)u 們?；诙鄠鞲衅餍畔⑷诤系姆椒梢愿纳茩z測性能川。多種不同的傳 感器都可以用來進(jìn)行獨(dú)立運(yùn)動(dòng)目標(biāo)檢測礓，例如單目或多目視覺( 彩色或灰度) 傳感器、紅外( i n f r ar e d ) 傳感器、激光雷達(dá)( l i d a r ) 傳感器、g p s d g p 和慣性傳感 器( , i n e r t i a ls e n s o r s ) 等。融合檢測的方法很多，按照數(shù)據(jù)抽象層次來分，可 分為數(shù)據(jù)級融合檢測，特征級融合檢測和決策級融合檢測1 15 。表1 1 中列出了幾種 典型的融合檢測方法陽1 | 。 表1 t 輿型的多傳感器融合運(yùn)動(dòng)目標(biāo)檢測方法 研究者傳感器類型，融合特征或線索融合方法 h a n d m a n nc ta 1 單目視覺，雷達(dá)色彩、邊緣和局部圖像熵最大似然估計(jì) s t i l l e re ta 1 立體視覺，雷達(dá)，l i d a r s ，垂直邊緣、立體差、光流卡爾曼濾波 d ( ；p s i n s k a t oc ta 1 單日相機(jī)，嚳達(dá)k a n a d e l u c a s t o m a s i 特基于距離信息 征、距離信息的序列圖像特 征禍合 s t e a x e t a l 彩色相機(jī)，雷達(dá)陰影位置、對稱性、顏色置信網(wǎng)絡(luò) t h r a ne ta 1 彩色相機(jī)( 單h ) ，g p s ，色彩信息、半臺(tái)位置，姿態(tài)攀升卡爾曼濾 l i d a r s ，加速度訃，陀螺儀 和速度波 視覺傳感器和慣性傳感器的融合榆測方法研究有很多，目前應(yīng)用較廣的方法 為貝葉斯濾波方法和神經(jīng)網(wǎng)絡(luò)方法。 1 2 3 面臨挑戰(zhàn) 雖然對運(yùn)動(dòng)目標(biāo)檢測的研究已經(jīng)經(jīng)歷了幾十年的時(shí)間，但到目前為止仍面臨 蔸1 貝 國防科學(xué)技術(shù)大學(xué)研究，+ 院碩士學(xué)位論文 孬多不能很好解決的問題碑m 9 r “h 2 釘也口= 螂f 幢。： 1 ) 在運(yùn)動(dòng)目標(biāo)分割過程中，如果成像平臺(tái)是靜i = 的，則運(yùn)動(dòng)目標(biāo)分割相對容易 實(shí)現(xiàn)，然而在多種應(yīng)用場合，存在成像平臺(tái)的運(yùn)動(dòng)導(dǎo)致圖像中存在多種模式的運(yùn) 動(dòng)，使得運(yùn)動(dòng)目標(biāo)檢測十分困難。 2 ) 視頻場景中光線變化問題( 漸變、突變、反光等) 會(huì)影響運(yùn)動(dòng)目標(biāo)的提取。 3 ) 光照條件下，目標(biāo)存在陰影。與背景不同，運(yùn)動(dòng)目標(biāo)的陰影將隨運(yùn)動(dòng)目標(biāo)移 動(dòng)，檢測分割的結(jié)果可能足陰影與被檢測對象連為一個(gè)整體出現(xiàn)，使得運(yùn)動(dòng)目標(biāo) 形狀失真，從而導(dǎo)致相關(guān)的聚類工作失敗。另一種檢測結(jié)果是陰影與目標(biāo)分離成 兩個(gè)獨(dú)立的運(yùn)動(dòng)目標(biāo)，導(dǎo)致了虛假運(yùn)動(dòng)目標(biāo)的出現(xiàn)。 4 ) 遮擋也是運(yùn)動(dòng)目標(biāo)檢測過程中一個(gè)難以解決的問題，在運(yùn)動(dòng)目標(biāo)前方的遮擋 物可能會(huì)作為目標(biāo)的一部分被提取出來，從而造成檢測目標(biāo)形變，嚴(yán)重時(shí)會(huì)造成 運(yùn)動(dòng)目標(biāo)檢測的失敗。 5 ) 背景物體的干擾運(yùn)動(dòng)，背景中存在的如風(fēng)中樹葉的搖動(dòng)、水面波光的閃動(dòng)、 車窗玻璃的反光以及天氣的變化等許多細(xì)微活動(dòng)，同樣會(huì)影響到運(yùn)動(dòng)目標(biāo)的檢測。 6 ) 另外目標(biāo)運(yùn)動(dòng)過程是否連續(xù)、速度如何、是否存在往返運(yùn)動(dòng)的現(xiàn)象等問題也 影響運(yùn)動(dòng)目標(biāo)的檢測結(jié)果。 1 3 主要研究內(nèi)容和工作 本文在研究和分析融合視覺和慣性傳感器的獨(dú)市運(yùn)動(dòng)目標(biāo)檢測基本原理和融 合策略的基礎(chǔ)上，對三種典型應(yīng)用場景下的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測進(jìn)行了研究( 1 ) 針對 成像平臺(tái)沿成像光軸方向的平移運(yùn)動(dòng)可忽略或場景的深度變化遠(yuǎn)小于場景絕對深 度的情形，本文提出了利，基于運(yùn)動(dòng)補(bǔ)償?shù)娜诤蠁蝞 視覺傳感器和慣性傳感器的 獨(dú)立運(yùn)動(dòng)目標(biāo)檢測的新方法，在單目工業(yè)相機(jī)和微機(jī)電慣性傳感器組成的傳感器 平臺(tái)采集到的室內(nèi)數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)；( 2 ) 針對成像平臺(tái)旋轉(zhuǎn)運(yùn)動(dòng)可忽略的情形， 本文提出了一種基于擴(kuò)展點(diǎn)光流。致性約束的融合單日視覺傳感器和慣性傳感器 的獨(dú)立運(yùn)動(dòng)目標(biāo)檢測新方法，在v i s a t 多傳感器移動(dòng)測量系統(tǒng)實(shí)測的單目序列圖 像和慣性傳感器數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)；( 3 ) 針對尢成像平臺(tái)運(yùn)動(dòng)模式限制的復(fù)雜場景 中獨(dú)立運(yùn)動(dòng)目標(biāo)檢測情形，本文提出了一種基于時(shí)域空域