學位論文完成日期： 指導教師簽字： 答辯委員會成員簽字： y i p 廠 獨創(chuàng)聲明 本人聲明所呈交的學位論文是本人在導師指導下進行的研究工作及取得的 研究成果。據(jù)我所知，除了文中特別加以標注和致謝的地方外，論文中不包含其 他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含未獲得 l 逵! 墊遺查基絲蠡蔓掛剔直跑的：奎攔亙窒或其他教育機構的學位或證書使 用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明 確的說明并表示謝意。 學位論文作者簽名乒午良簽字日期：矽。3 年珀。日 學位論文版權使用授權書 本學位論文作者完全了解學校有關保留、使用學位論文的規(guī)定，并同意以下 事項： 1 、學校有權保留并向國家有關部門或機構送交論文的復印件和磁盤，允許 論文被查閱和借閱。 2 、學校可以將學位論文的全部或部分內(nèi)容編入有關數(shù)據(jù)庫進行檢索，可以 采用影印、縮印或掃描等復制手段保存、匯編學位論文。同時授權清華大學“中 國學術期刊( 光盤版) 電子雜志社 用于出版和編入c n k i 中國知識資源總庫， 授權中國科學技術信息研究所將本學位論文收錄到中國學位論文全文數(shù)據(jù)庫。 ( 保密的學位論文在解密后適用本授權書) 學位論文作者簽名：王彳中缸 導師粹弛 簽字日期：糾。年廠月玎日簽字日期：弘戶年，月即日 ： ! 、 ? 卜 ： 基于平行雙目視覺的環(huán)境特征提取方法研究 摘要 基于平行雙目視覺的環(huán)境特征提取方法研究是移動機器人導航領域的重要 研究內(nèi)容。它利用左右兩個視覺傳感器采集的圖像進行處理，提取其中的環(huán)境特 征信息，為機器人導航的控制決策提供可靠的信息保障。 本文在傳統(tǒng)的雙目視覺理論研究的基礎上，結合有關課題中移動機器人導航 應用的實際要求，研究了平行雙目視覺系統(tǒng)中的成像模型和攝像機內(nèi)外參數(shù)的標 定，并通過設計實驗來達到實際應用的要求；接著研究了特征點的提取和立體匹 配，視差圖的生成，不規(guī)則障礙物的檢測及其三維信息的計算，并且在各部分通 過實驗以驗證算法的有效性。論文的主要創(chuàng)新點有以下幾個方面： ( 1 ) 研究了張正友攝像機標定方法，設計了符合實際應用的平行雙目視覺 系統(tǒng)，并通過設計實驗確定攝像機內(nèi)外參數(shù)，提出了實際應用中所應注意的問題 并給出解決方法。 ( 2 ) 研究了特征點的提取和立體匹配，改進了一種基于點特征的雙目視覺 圖像立體匹配方法。通過采用h a r r i s 角點的提取算子，首先對雙目視覺圖像中 的特征點進行檢測，并改進了s i f t ( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ) 算法 中的特征描述方法在h a r r i s 特征點描述當中的應用；然后利用歐氏距離對特征 點進行匹配；最后提出一種利用匹配點對的斜率來排除錯誤匹配的方法。實驗表 明該算法不僅可以達到較高的匹配精度，還可以有效縮短匹配時間，滿足自主移 動機器人雙目視覺實時性的要求。 ( 3 ) 介紹了雙目視覺在目標檢測領域的研究進展，并根據(jù)實際項目中移動 機器人的要求，提出了一種基于視差圖的不規(guī)則障礙物檢測方法。該方法利用視 差圖中匹配點的高度信息和匹配點連通區(qū)域的范圍作為判別障礙物的首要依據(jù)， 排除了形狀和顏色所帶來的判別障礙，并通過實驗驗證該法的有效性。 作者期待本文能夠?qū)谄叫须p目視覺的環(huán)境特征提取具有一定的參考意 義，從而對雙目視覺和機器人導航的相關理論建設和實際應用做出貢獻。 關鍵詞：雙目視覺；機器人導航；特征點匹配；障礙物監(jiān)測 i l r e s e a r c ho ne x t r a c tio n c h a r a c t e ris tic sb a s e d t e c h n oi o g 。e so fe n v r o n m e r i e c ie sl ：n vir o n m e n t alii o np a r al leibin o c ularvisio n a b s t r a c t e x t r a c t i o nt e c h n o l o g yo fe n v i r o n m e n t a lc h a r a c t e r i s t i c sb a s e do nb i n o c u l a rv i s i o n i sa ni m p o r t a n tr e s e a r c he l e m e n ti nt h er o b o tn a v i g a t i o nf i e l d i tu s e st w ov i s i o n s e n s o r st oc a p t u r eag r e a td e a lo fe n v i r o n m e n t a li n f o r m a t i o n ，w h i c ho t h e rs e n s o r sc a n n o tc o m p a r ew i t h t h ee n v i r o n m e n t a li n f o r m a t i o nc a l lg u a r a n t e ear e l i a b l ed e e e s i o n f o rt h ec o n t r o lo fr o b o tn a v i g a t i o n i nt h i sp a p e r , t h et r a d i t i o n a lt h e o r yo fb i n o c u l a rv i s i o ni s s t u d i e d c o m b i n i n g w i t ht h er e q u i r e m e n t si nt h e p r a c t i c a la p p l i c a t i o no fm o b i l er o b o tn a v i g a t i o n ，t h e p a p e rc a r r i e so u tar e s e a r c ho nt h ei m a g i n gm o d e l sa n dc a l i b r a t i o no fc a m e r a p a r a m e t e r s t h e nt h ep a p e rd e s i g n se x p e r i m e n t st oa c h i e v et h ep r a c t i c a lr e q u i r e m e n t s i nt h el a t e rc h a p t e r s ，e x t r a c t i o no ft h ef e a t u r ep o i n t sa n ds t e r e om a t c h i n g ，g e n e r a t i o n o fd i s p a r i t y m a p ，i r r e g u l a ro b s t a c l ed e t e c t i o n , a sw e l la st h ec a l c u l a t i o no f t h r e e d i m l e n s i o n a li n f o r m a t i o na r ea l ls t u d i e d i nt h es a m et i m e e x p e r i m e n t sh a v e b e e nd o n et ov e r i f yt h ee f f e c t i v e n e s so ft h e a l g o r i t h mi na l lp a r t s t h ep r i n c i p a l i n n o v a t i o n so ft h ep a p e ra l el i s t e db e l o w ： ( 1 ) c a m e r ac a l i b r a t i o nm e t h o dr a i s e db yz h e n g y o uz h a n gi ss t u d i e di nt h ef i r s t p l a c e t h e nt h ep a p e rd e s i g n st h eb i n o c u l a rv i s i o ns y s t e mi nl i n ew i t ht h ep r a c t i c a l a p p l i c a t i o na n dt h r o u g ht h ed e s i g no fe x p e r i m e n t s ，t h ep a p e rc a l c u l a t e st h ep a r a m e t e r s o ft h ec a m e r a s t h ep a p e rp u t sf o r w a r dt h ep r o b l e m sw h i c hs h o u l db ep a i da t t e n t i o n t oi nt h ep r a c t i c a la p p l i c a t i o n sa n dg i v e sa p p r o p r i a t es o l u t i o n s ( 2 ) t h ep a p e ri m p r o v e sa ni m a g em a t c h i n gm e t h o do fb i n o c u l a rs t e r e ov i s i o n b a s e do nf e a t u r ep o i n t s f i r s t l y , t h eh a r r i sc o r n e rd e t e c t o ri s i m p r o v e dt od e t e c t f e a t u r ep o i n t sa n dt h em e t h o dt od e s c r i b et h ef e a t u r e so ft h ep o i n t sw i t hs i f t ( s c a l e 1 1 1 v a r i a n tf e a t u r et r a n s f o r m ) i se n h a n c e d s e c o n d l y , e u c l i d i a nd i s t a n c ei su t i l i z e dt o g e te x a c tm a t c h i n gi nt h ep o i n t ss e ta b o v e f i n a l l y , as i m p l ee f f i c i e n tw a yt oe l i m i n a t e w r o n gm a t c h e si sg i v e n t h i sm e t h o di sp r o v e dt om e e tt h en e e d so fr e a l t i m e b i n o c u l a rv i s i o nb ya c t u a lt e s t ，a n di tc a nb ea p p l i e dt op r a c t i c e ( 3 ) t h ep a p e rd e s c r i b e st h er e s e a r c hp r o g r e s si nt h et a r g e td e t e c t i o na r e ao f b i n o c u l a rv i s i o n ，a n db a s e do nt h ea c t u a lr e q u i r e m e n t so ft h ep r o j e c t , t h ep a p e r p r e s e n t sa ni r r e g u l a ro b s t a c l ed e t e c t i o nm e t h o db a s e do nd i s p a r i t ym a p t h em e t h o d i i i i v 目錄 1 緒論1 ll 課題背景及研究意義1 1 2 國內(nèi)外雙目視覺發(fā)展現(xiàn)狀2 l3 環(huán)境特征信息分析4 1 4 雙目視覺關鍵技術5 1 5 論文的研究內(nèi)容和創(chuàng)新點8 1 5 1 論文的研究內(nèi)容8 1 5 2 論文的創(chuàng)新點9 2 成像模型與攝像機標定1 o 2 1 攝像機成像模型1 0 2 1 1 四個參考坐標系1 0 2 1 2 針孔模型下平行雙目視覺坐標公式推導1 2 2 2 攝像機標定方法1 6 2 2 1 傳統(tǒng)攝像機標定方法1 6 2 2 1 1 透視變換法1 7 2 2 1 2 利用最優(yōu)化算法的標定方法：1 8 2 2 1 3t s a i 兩步法。“1 9 2 2 1 4 雙平面標定方法1 9 2 2 2 攝像機自標定方法2 0 2 2 3 張正友標定方法2 0 2 3 攝像機參數(shù)標定實驗。2 0 2 3 1 平行攝像機視覺系統(tǒng)內(nèi)參數(shù)標定及實驗2 l 2 3 2 平行攝像機視覺系統(tǒng)外參數(shù)標定及實驗2 3 2 4 本章小結2 5 3 特征點提取與基于點特征的立體匹配2 6 3 1 特征點提取2 6 3 1 1m o r a v e c 算子2 7 3 1 2s u s a n 算子2 8 3 1 3t r a j k o v i c 算子3 0 3 1 4h a r r i s 算子一3 1 3 2 特征點描述符：，3 2 3 2 1 特征點描述符概述3 3 3 2 2 改進的特征點描述符3 3 3 3 基于點特征的立體匹配一3 5 3 3 1 基于點特征匹配方法的特征分析3 6 3 3 2 改進的基于點特征的立體匹配方法一3 7 3 4 實驗結果3 9 3 4 本章小結：4 l 4 不規(guī)則障礙物檢測與特征信息提取4 3 4 1 雙目視覺障礙物檢測分析4 3 4 2 本文采用的障礙物檢測算法4 4 4 2 1 視差圖信息提取4 4 4 2 2 障礙物檢測算法4 7 4 2 3 障礙物特征信息提取5 1 4 4 系統(tǒng)整合與實驗結果5 1 4 4 1 平行雙目視覺系統(tǒng)整合5 1 4 4 2 實驗結果5 2 4 5 本章小結5 4 5 總結與展望5 5 5 1 總結5 5 5 2 展望5 5 參考文獻5 7 致謝5 9 個人簡歷、在學期間發(fā)表的學術論文6 1 基于平行雙目視覺的環(huán)境特征提取方法研究 1 緒論 1 1 課題背景及研究意義 本課題來源于國家8 6 3 項目：基于聲納和水下視覺的深海復雜環(huán)境下a u v 組合導航系統(tǒng)關鍵技術研究。本論文旨在探索運用計算機雙目立體視覺系統(tǒng)，實 現(xiàn)周圍環(huán)境的自動感知，包括運行環(huán)境當中障礙物的自動采集，實時立體匹配， 不規(guī)則障礙物識別以及障礙物方位和角度的計算，以達到移動機器人后續(xù)利用這 些信息實現(xiàn)自主導航的目的。 自主移動機器人的研究與發(fā)展水平體現(xiàn)了一個國家的高科技水平與工業(yè)自 動化的程度。機器人技術是集合了計算機技術、自動控制技術、通訊技術、傳感 器技術和仿生學等多學科和應用的一門綜合性研究技術，體現(xiàn)了當前高科技的發(fā) 展前沿，也是科技研究的熱門方向。自主移動機器人是機器人研究領域的一個重 要分支。移動機器人按其控制方式和自主程度大致可分為三種，分別是：遙控式、 半自主式和自主式。其中自主式移動機器人的設計目標是在沒有人的干預并且無 需對環(huán)境做任何規(guī)定和改變的條件下，機器人在行進過程中，不斷感知周圍的環(huán) 境信息，自主地做出各種決策，有目的地移動和完成相應任務。因此，自主式移 動機器人稱得上是一種具有高度自規(guī)劃、自組織、自適應能力，適合于在復雜的 非結構化環(huán)境中工作的機器人。 在自主式移動機器人研究當中，自主導航始終是研究的核心問題，也是當下 機器人研究的熱點。機器人自主導航代表了一種更高層的智能，要求機器人在能 夠判別并且避開障礙物的同時，走向目標。自主導航需要移動機器人根據(jù)環(huán)境信 息，按照先前給出的任務命令，做出全局路徑規(guī)劃，并且需要在行進過程中，不 斷地感知周圍的局部環(huán)境信息，自主做出決策，并隨時調(diào)整自身姿態(tài)，引導自身 安全行駛達到目標位置。 由于人類7 0 以上的信息是通過視覺來獲取的，因此對移動機器人來說視覺 信息的獲得是至關重要的。雙目立體視覺是基于視差原理，由兩幅圖像獲取物體 基于平行雙目視覺的環(huán)境特征提取方法研究 三維信息的方法。雙目視覺測距方法在移動機器人導航中被大量采用，是因為與 激光、雷達、超聲相比，雙目視覺導航具有以下幾項優(yōu)點：首先激光、雷達和超 聲的原理都是通過主動發(fā)射脈沖和接受脈沖來測距的，因此當多個機器人同時工 作時，相互之間可能產(chǎn)生干擾，而雙目視覺是被動測量，多個機器人相互之間的 干擾可以減少到最小；其次是即使在丟棄了絕大部分的視覺信息后，所剩下的關 于周圍環(huán)境的信息仍然比激光、雷達和超聲更多更精確。 隨著雙目視覺理論的發(fā)展和完善，基于雙目視覺系統(tǒng)的環(huán)境特征感知技術正 越來越多的應用于移動機器人的導航定位系統(tǒng)中。雙目立體視覺技術是對移動機 器人外部環(huán)境中同一目標在不同視角下的兩幅圖像進行提取、識別、匹配和三維 重建的過程，它可以為移動機器人提供關于目標的位置描述，以支持移動機器人 完成導航定位以及探測識別等特定任務，克服了利用聲納進行感知所帶來的缺 陷?；陔p目視覺的導航技術不僅可以大大提高移動機器人對周圍環(huán)境的考察精 度，而且可以減少移動機器人對昂貴的高精度導航設備的依賴，降低運行成本， 為許多移動機器人的用戶提供低成本的移動機器人導航技術和裝備。因而市場應 用前景非常廣闊。同時這必將推動移動機器人對周圍環(huán)境感知技術的發(fā)展，也將 對移動機器人的降低成本和產(chǎn)業(yè)化起到極大的推動作用。 1 。2 國內(nèi)外雙目視覺發(fā)展現(xiàn)狀 自1 9 7 7 年英國的m a r r 教授提出了自己的全新視覺理論以來，該理論是視覺 研究中迄今為止最為完善，影響最為廣泛的視覺理論f j - 2 。但隨著雙目視覺技術 研究的不斷深入，m a r r 視覺理論的局限性開始越來越多的顯現(xiàn)出來【3 】。進入8 0 年代中后期，大量空間幾何的方法以及物理知識被運用在雙目視覺技術的研究 中。這一時期由于引入了主動視覺的研究方法，并采用了距離傳感器和信息融合 等技術，可以直接取得深度圖或通過移動獲取深度圖，從而使得m a r r 視覺理論 中很多病態(tài)問題變成了良態(tài)【 5 】。在這種情況下，雙目視覺系統(tǒng)才得以廣泛應用。 隨著雙目視覺理論的完善和視覺傳感器技術的發(fā)展，基于雙目視覺的環(huán)境特征提 取技術正越來越多的應用于移動機器人的自主導航當中【潤。 在美國，華盛頓大學與微軟公司展開合作，為火星衛(wèi)星“探測者 號研制了 寬基線立體視覺系統(tǒng)。該系統(tǒng)使用同一個攝像機在“探測者 的不同位置上拍攝 2 基于平行雙目視覺的環(huán)境特征提取方法研究 圖像對，拍攝間距越大，基線越寬，能觀測到越遠的地貌。系統(tǒng)采用非線性優(yōu)化 得到兩次拍攝圖像時攝像機的相對準確的位置，利用魯棒性強的最大似然概率法 結合高效的立體搜索進行圖像匹配，得到亞像素精度的視差，并根據(jù)此視差計算 圖像對中各點的三維坐標。相比傳統(tǒng)的立體視覺系統(tǒng)，該系統(tǒng)能夠更精確地繪制 “探測者 號周圍的地貌和以更高的精度觀測到更遠的地形，使“探測者 號能 夠在火星上對其即將跨越的幾千米內(nèi)的地形進行精確的定位導航1 9 。另外，美國 普渡大學( p u r d u eu n i v e r s i t y ) 機器人視覺實驗室對視覺導航移動機器人進行了研 究，其研制的視覺導航移動機器人p e t e r 采用了雙目主動立體視覺系統(tǒng)，可以獲 取移動機器人的運行環(huán)境和障礙物的立體數(shù)據(jù)【l o l 。美國國家斯坦福研究所 ( r l i n t e m a t o i n a l ) 研制的移動機器人弗來克( f l k a y e ) 能夠?qū)崿F(xiàn)全局路徑規(guī)劃和動態(tài) 地局部路徑規(guī)劃【l l 】。 在日本，奈良科技大學信息科學學院提出了一種基于雙目立體視覺的增強現(xiàn) 實系統(tǒng)( a r ) 注冊方法，通過動態(tài)修正特征點的位置達到提高注冊精度的目的。該 系統(tǒng)將單攝像機注冊( m r ) 與立體視覺注冊( s r ) 相結合，利用m r 和三個標志點 來算出特征點在每副圖像上的二維坐標和誤差，利用s r 和圖像對計算出特征點 的三維位置總誤差，反復修正特征點在圖像對上的二維坐標，直至三維總誤差小 于某個閾值。該方法比僅使用m r 或s r 的方法大大提高了a r 系統(tǒng)注冊深度和 精度。另外，大阪大學自適應機械系統(tǒng)研究院研制的一種自適應雙目視覺伺服系 統(tǒng)，利用雙目立體視覺的原理，以每幅圖像中相對靜止的三個標志為參考，實時 計算目標圖像的雅可比矩陣，從而預測出目標下一步運動方向，實現(xiàn)了對運動方 式未知的目標的自適應跟蹤。該系統(tǒng)僅要求兩幅圖像中都有靜止的參考標志，無 需攝像機參數(shù)。而傳統(tǒng)的視覺跟蹤伺服系統(tǒng)需要事先知道攝像機的運動、光學等 參數(shù)和目標的運動方式【1 2 1 3 1 。 、 其他國家，如法國的i f r e m e r 研究開發(fā)了視頻鑲嵌技術，并在2 0 0 3 年r o v “v i c t o r 6 0 0 0 ”的海底火山探測實驗中得到應用；英國克蘭菲爾大學研究視覺 探測系統(tǒng)用于水下航行器的智能導航，采用距離選通技術結合激光三角法測距技 術【1 4 】；澳大利亞的c s i r oi c tc e n t r e 在a u v “s t a r b u g ”上嵌入了一個基于視覺 的運動控制系統(tǒng)，裝有朝向下和朝前向的c m o s 攝像機，分別用于運動估計和 避碰控制；澳大利亞國立大學信息科學與工程研究院開展了a u v 視覺導航和目 3 基于平行雙目視覺的環(huán)境特征提取方法研究 標跟蹤技術的研究，開發(fā)了用于水下機器人k a m b a r a 的視覺系統(tǒng)【1 5 】。 我國的雙目立體視覺環(huán)境特征提取研究起步較晚，但是目前我國的很多研究 機構都開展了這方面的研究，并且有不少的原樣機問世。雖然我國的大部分研究 成果還沒有轉化為生產(chǎn)力，但已具備了開展視覺研究的人才和技術條件，如清華 大學的智能技術與系統(tǒng)國家重點實驗室等。同時我國各大院校也正在加大雙目立 體視覺研究的力度，陸續(xù)也取得了一些成果。 中國科學院自動化所自行設計、制造的全方位移動式機器人視覺導航系統(tǒng) c a s i a i 可廣泛應用于醫(yī)院、圖書館、科技館及展覽館等公共場所，以提供服務、 作業(yè)、展示與娛樂等功能( 如圖卜l 所示) 。該移動機器人的基本結構包括傳感 器、控制器和運動機構。傳感器由位于機器人底層的十六個觸覺紅外傳感器、位 于機器人中間兩層的十六個超聲傳感器和十六個紅外傳感器、位于機器人頂部的 攝像機等組成。再多傳感器信息融合的基礎上，完成感覺周圍環(huán)境的情況變化等 各項外界感覺功能，再由中央處理器將獲取的各種信息綜合起來進行處理，從而 使其理解自己的狀態(tài)和所處外部環(huán)境信息，實時做出運動控制決策，躲避障礙物 和尋找最優(yōu)路徑，以實現(xiàn)自主移動和軌跡跟蹤等【1 6 1 。 圖1 - 1 中國科學院智能移動機器人c a s i a - i 此外，哈工大采用異構雙目視覺系統(tǒng)實現(xiàn)了全自主足球機器人的導航；中國 科學院沈陽自動化研究所研制的自動引導車輛系統(tǒng)( a g v ) 和防爆機器人；吉林 大學智能車輛課題組研制了一種新型視覺自動引導車，該車以地面上涂設的條帶 狀路標作為路徑標識符，運用計算機視覺快速識別路徑。 1 3 環(huán)境特征信息分析 4 基于平行雙目視覺的環(huán)境特征提取方法研究 平行雙目視覺系統(tǒng)在實際應用中，除了可以用圖像自動記錄下周圍環(huán)境的信 息外，一般用于移動機器人對周圍環(huán)境的感知，這包括對采集到的圖像進行處理 和特征信息提取。本文針對移動機器人自主導航中需要用到的環(huán)境特征信息進行 分析。 自主導航移動機器人是一個集環(huán)境感知、動態(tài)決策和規(guī)劃、行為控制與執(zhí)行 等多種功能于一體的綜合系統(tǒng)。其在運行的過程中，不需要人工的任何干預，所 有的運算都是靠自身的設計來完成。由此可以看出，環(huán)境特征感知是移動機器人 后續(xù)決策等操作的基礎，也是決定性條件。在移動機器人導航中，對環(huán)境的感知 主要是對障礙物識別，并計算出障礙物與機器人的距離和角度，將此信息傳達給 后續(xù)的動態(tài)決策和路徑規(guī)劃模塊，以完成機器人的自主導航。因此檢測障礙物并 獲得障礙物的距離和角度成為移動機器人導航中環(huán)境信息的主要特征。 本文平行雙目視覺系統(tǒng)的設計可以將前方視野范圍5 米之內(nèi)的障礙物進行 檢測。針對基于點特征的s l a m 導航算法的要求，本文對障礙物的特征進行了 分析。在移動機器人導航中，對前方障礙物的信息要求能夠滿足控制系統(tǒng)進行判 斷的需求，距離和角度是必不可少的。本文研究的主要內(nèi)容是對障礙物中心點的 信息進行提取。這樣做有以下好處。首先，本文針對的障礙物沒有具體特征束縛， 因此無法對整個障礙物的幾何特征點進行確定。本文提出的障礙物中心點特指在 視差圖中組成障礙物聯(lián)通域中心小方塊的最接近小方塊平均距離的點。其次，在 移動機器人導航中，需要用到基于點特征的s l a m 導航算法，該方法需要將障 礙物視為一個點進行定位，本文將障礙物作為一個點來進行研究滿足s l a m 的 要求。最后通過實驗可以發(fā)現(xiàn)，將障礙物中心點的信息來作為整個障礙物信息， 計算速度較快，可以快速傳給s l a m 以完成地圖創(chuàng)建。 1 4 雙目視覺關鍵技術 雙目立體視覺模仿人類的視覺立體感知過程，基本原理是從兩個視點觀察同 一場景，以獲取不同視角下的圖像。通過計算兩幅圖像中像素點之間的對應關系， 根據(jù)三角測量原理來獲得物體的三維信息。一個完整的雙目立體視覺系統(tǒng)一般包 括圖像的獲取、攝像機標定、圖像預處理與特征提取、立體匹配、深度信息提取 以及三維重建等五個部分【1 7 1 。下面對平行雙目視覺系統(tǒng)按照圖像的處理順序( 如 5 基于平行雙目視覺的環(huán)境特征提取方法研究 圖1 2 所示) 做一個基本介紹。 圖1 - 2 本文根據(jù)圖像處理的流程圖 圖像的獲?。韩@取數(shù)字圖像是進行圖像處理和實現(xiàn)計算機視覺的前提條件。 在雙目立體視覺當中，數(shù)字圖像的獲取所用的硬件設備一般是c c d 攝像機和視 頻采集卡。圖像采集不但要滿足系統(tǒng)的應用要求，而且要考慮視點差異、光照條 件、攝像機性能以及景物特點等因素的影響，以利于計算移動機器人導航所用的 三維坐標和角度信息【1 7 1 。 攝像機標定：從二維圖像中恢復出物體的三維信息，必須已知空間坐標系中 的物體點與它在計算機圖像平面上像點之間的對應關系，而這個對應關系是由成 像模型和攝像機的位置、屬性參數(shù)所決定的。確定這些攝像機參數(shù)的過程就稱為 攝像機標定。攝像機標定實質(zhì)上就是根據(jù)成像模型確定由世界坐標系到計算機圖 像坐標系的變換矩陣。攝像機標定方法可分為兩大類，第一類是直接估計攝像機 位置、光軸方向、焦距等參數(shù)；第二類是通過最d x - 乘法擬合，確定三維空間點 映射為二維圖像點的變換矩陣。建立有效適用的攝像機模型，并且通過實驗得到 模型的精確參數(shù)和攝像機自身的參數(shù)，除了能夠精確地恢復出空間景物的三維信 息以外，還有利于提高立體匹配的精確性1 1 7 1 。 圖像預處理和特征提?。河晒鈱W成像系統(tǒng)生成的二維圖像的過程中包含了各 種各樣的隨機噪聲和畸變，因此需要對原始圖像進行預處理，以改善圖像質(zhì)量和 突出有用信息、抑制無用信息。圖像預處理的主要目的有兩個：一是改善圖像的 視覺效果，提高圖像的視覺清晰度；二是使圖像變的更有利于計算機處理，便于 在復雜的環(huán)境特征信息中提取障礙物特征。圖像預處理技術包括圖像隨機噪聲的 去除、對比度的增強、邊緣特征的加強等。特征提取是為了得到具有實際應用意 義的圖像匹配特征。由于目前尚沒有一種普遍適用的理論可運用于圖像特征的提 6 基于平彳亍雙目視覺的環(huán)境特征提取方法研究 取，從而導致了立體視覺研究中匹配特征的多樣性。良好的匹配特征應具有可區(qū) 分性、不變性、穩(wěn)定性以及有效解決歧義匹配的能力。目前，常用的匹配特征主 要有區(qū)域特征、線特征和點特征等。一般來講，小尺度特征的數(shù)目較多，其所含 信息較少，因而在匹配時需要較強的約束準則和匹配策略，以克服歧義匹配和提 高運算效率。而大尺度特征含有較豐富的圖像信息，在圖像中的數(shù)目較少，易于 得到快速的匹配，但它們的定位精度差，特征提取與描述困難【1 7 1 。 立體匹配：該部分是雙目視覺中最重要也是最困難的問題，要解決的是同一 空間點在雙目視覺兩幅圖像中像點的對應關系。當空間三維場景被投影為二維圖 像時，同一景物在不同視點下的計算機圖像會有很大的不同，而且場景中的諸多 因素，如景物幾何形狀和物理特性、光照條件、攝像機特性以及噪聲干擾和畸變 等，都被綜合成單一的圖像中的灰度值。因此，要準確地對包含了如此之多不利 因素的圖像進行無歧義的匹配，顯然是十分困難的。由于立體匹配涉及的問題太 多，至今仍未得到很好的解決，特別是在復雜場景中，如何提高算法去除歧義匹 配和增加抗干擾能力，降低實現(xiàn)的復雜度和計算量，都需要更深入的探索和研究。 對于任何一種立體匹配方法，其有效性有賴于幾個問題的解決，即選擇正確的匹 配特征，尋找特征之間的本質(zhì)屬性及建立能正確匹配所選特征的穩(wěn)定算法。立體 匹配的研究都圍繞著這三方面展開，并已經(jīng)提出了大量各具特色的匹配方法1 1 7 1 。 障礙物檢測：機器人實現(xiàn)自主導航，雙目視覺系統(tǒng)必須要對機器人移動過程 當中遇到的障礙物進行檢測。由于機器人是在未知的環(huán)境當中移動，單純的依靠 已知模型的障礙物進行檢測是行不通的。國內(nèi)在單純已知模型方面的研究比較 多，有基于形狀的，有基于顏色的，但是在未知環(huán)境中對未知障礙物的研究目前 還處于剛起步階段，文獻資料很少。本人嘗試了一種對未知環(huán)境當中對障礙物進 行識別的方法，實驗效果可以滿足實際移動機器人的應用，以實現(xiàn)機器人的自主 導航。 深度和角度信息提?。夯谄叫须p目視覺的環(huán)境特征信息提取最終要得到的 信息是障礙物的深度和角度信息。已知立體成像模型、完成立體匹配并檢測出障 礙物之后，深度和角度信息的恢復是比較容易的。重要的是如何提高計算的精確 度，其影響因素是多方面的，如攝像機參數(shù)標定、圖像特征定位的精確程度和立 體匹配的準確性等等，因此要提高計算的精度還需要更深入的研究。 7 基于平行雙目視覺的環(huán)境特征提取方法研究 1 5 論文的研究內(nèi)容和創(chuàng)新點 1 5 1 論文的研究內(nèi)容 本論文共分五章，章節(jié)內(nèi)容如下安排： 第一章緒論主要介紹了基于平行雙目視覺環(huán)境特征提取相關技術的國內(nèi) 外研究現(xiàn)狀、主要技術難點以及論文的組織結構和研究內(nèi)容。 第二章成像模型與攝像機標定介紹了雙目視覺系統(tǒng)常用的成像模型、相機 標定原理和常用的相機標定方法，并簡單介紹了i n t e l 公司的視覺開發(fā)庫 o p e n c v 。最后給出本文所用的攝像機成像模型，首先通過推導，給出計算公式， 并指出當中所要注意的關鍵問題，并通過設計實驗，本章實現(xiàn)了攝像機內(nèi)外參數(shù) 的標定，并總結在今后的實際應用當中所應注意的問題以及所采取的方法。 第三章特征點提取與基于點特征的立體匹配介紹了常用的特征點提取方 法和圖像匹配方法，并針對以前的工作，改進了一種基于點特征的雙目視覺圖像 匹配方法。通過采用h a r r i s 角點的提取算法，首先對雙目視覺圖像中的特征點 進行檢測，并改進了s i f t ( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ) 算法中的特征 描述方法在h a r r i s 特征點描述當中的應用；然后利用歐氏距離對特征點進行匹 配；最后提出一種利用匹配點對的斜率來排除錯誤匹配的方法。實驗表明該算法 不僅可以達到較高的匹配精度，還可以有效縮短匹配時間，滿足自主機器人雙目 視覺實時性的要求。 第四章不規(guī)則障礙物檢測與特征信息提取通過前一章的圖像匹配計算，可 以進一步生成視差圖。首先介紹了視差圖的生成原理，包括其對圖像當中三維信 息的隱藏；其次介紹了雙目視覺中常用的目標檢測方法以及這些方法在移動機器 人導航當中的不足，并根據(jù)移動機器人導航的實際需要，本節(jié)提出了一種快速的 不規(guī)則障礙物檢測方法。最后，對整個雙目視覺系統(tǒng)進行整合，對應用于機器人 導航中的未知環(huán)境特征信息中障礙物深度和角度進行提取，在v c + + 6 0 平臺和 實際環(huán)境當中進行實驗。通過實驗，驗證了本文所設計的雙目視覺系統(tǒng)滿足移動 機器人導航的應用。 第五章結論和展望總結本文的工作，并提出今后需要進一步研究的問題。 8 基于平行雙目視覺的環(huán)境特征提取方法研究 1 5 2 論文的創(chuàng)新點 有： 本文對基于平行雙目視覺的環(huán)境特征信息提取方法進行了研究，主要創(chuàng)新點 ( 1 ) 研究了成像模型和攝像機標定，并根據(jù)推導得出的三維坐標公式對平 行雙目視覺系統(tǒng)重新設計標定實驗，根據(jù)實驗結果確定平行雙目視覺系統(tǒng)攝像機 內(nèi)外參數(shù)，并提出需要注意的問題以及給出解決辦法； ( 2 ) 研究了特征點的提取和匹配方法，采用了h a r r i s 角點的檢測方法，改 進了基于點特征的雙目視覺立體匹配方法，并提出了一種利用匹配點的斜率來實 現(xiàn)快速去除誤匹配的算法； ( 3 ) 研究了視差圖的生成原理，并根據(jù)移動機器人對環(huán)境特征信息的要求 提出了一種不規(guī)則障礙物的檢測方法，并通過實際實驗驗證了該方法的有效性。 9 基于平行雙目視覺的環(huán)境特征提取方法研究 2 成像模型與攝像機標定 2 1 攝像機成像模型 在雙目視覺中，攝像機成像幾何模型解決的是客觀世界場景中的點與視覺系 統(tǒng)采集的計算機圖像平面上的點之間的對應問題。幾何模型中所涉及的參數(shù)包括 攝像機內(nèi)部參數(shù)和外部參數(shù)，內(nèi)外參數(shù)的獲得就是攝像機標定。簡而言之，攝像 機標定就是建立攝像機圖像像素位置與場景點位置之間的對應關系，其途徑是根 據(jù)攝像機成像模型，由已知特征點的圖像坐標和世界坐標求解攝像機成像模型的 參數(shù)。因此確定攝像機成像模型是雙目視覺當中至關重要的第一步，直接影響到 攝像機標定等后續(xù)工作。 攝像機成像幾何模型常用的有兩種，平行投影和透視投影。平行投影是指將 中心投影法的投射中心移至無窮遠處，則各投射線成為相互平行的直線。透視投 影是用中心投影法將形體投射到投影面上，從而獲得的一種較為接近視覺效果的 單面投影圖。透視投影符合人們心理習慣，即離視點近的物體大，離視點遠的物 體小，遠到極點即為消失，成為滅點。它的視景體類似于一個頂部和底部都被切 除掉的棱錐。本小節(jié)根據(jù)相關項目中對環(huán)境特征信息提取的實際要求，在相機的 透視投影模型基礎上展開研究，最后給出了本文所采用的雙目視覺構造模型。 2 1 1 四個參考坐標系 攝像機成像可分為三個過程：由世界坐標系到攝像機坐標系的轉換、由攝像 機坐標系到成像平面坐標系的轉換和由成像平面坐標系到計算機圖像坐標系的 轉換。為了方便后文定量敘述攝像機成像過程，在這里首先介紹一下這四個參考 坐標系f 1 8 】： ( 1 ) 計算機圖像坐標系：攝像機采集的圖像以標準電視信號的形式輸入計 算機，然后經(jīng)過數(shù)模轉換器轉換為數(shù)字圖像。每幅數(shù)字圖像在計算機內(nèi)以數(shù)組形 式存儲。在灰度圖像的模式下，數(shù)組中的每一個元素( 像素) 的值就是圖像點的亮 度。如圖2 1 所示，在圖像上定義直角坐標系0 0 一刎，原點d o 位于圖像平面的 1 0 基于平行雙目視覺的環(huán)境特征提取方法研究 左上角，每一像素的坐標( 甜，v ) 分別表示該像素在數(shù)組中的列數(shù)和行數(shù)。所以， ( 甜，1 ，) 是以像素為單位的圖像坐標系坐標。 o o q o ，v o ) 1 r 圖2 - 1 計算機圖像坐標系與成像平面坐標系 ( 2 ) 成像平面坐標系：由于圖像坐標系并沒有用實際物理單位表示出該像 素在圖像中的位置，只表示像素位于圖像數(shù)組中的列數(shù)和行數(shù)，因此還需要建立 以物理單位( 毫米) 表示的圖像坐標系q 一砂，我們稱它為成像平面坐標系，如圖 2 1 所示。在q 一砂坐標系中，原點q 位于攝像機光軸與圖像平面的交點，x ，y 軸分別平行于甜，y 軸。在本論文的以后章節(jié)中，如不加特別說明，( 甜，1 ，) 表示以 像素為單位的計算機圖像坐標系坐標，( x ，y ) 表示以毫米為單位的成像平面坐標 系坐標。 ( 3 ) 攝像機坐標系：以照相機的光心為攝像機坐標系原點d c ，丘軸和藝軸 分別平行于成像平面坐標系的x 軸和y 軸，相機的光軸為互軸，它與圖像平面垂 直，正方向指向正前方，構成了攝像機坐標系d c 一挺磁，坐標值用( 鼉，藝，z c ) 表示。光心到成像平面的距離就是攝像機的有效焦距廠。 ( 4 ) 世界坐標系：由于雙目攝像機和障礙物等可以放在現(xiàn)實環(huán)境中的任何 位置，因此還需要在環(huán)境中選擇一個基準坐標系來描述攝像機的位置，并用它來 描述環(huán)境中障礙物目標的位置，這個坐標系就叫做世界坐標系d l 匕乙。在雙 目視覺中，通常以所觀測物體的中心三維坐標系或攝像機坐標系來定義世界坐標 系。這是一個假想的坐標系，坐標原點可人為設定，可以根據(jù)具體情況來選擇， 可僅用作一般的參考。 行的，型號也一樣，極點移到無限遠處，在采集到的圖像中極線是平行的，如圖 2 3 所示。這種模型計算簡單并且可以滿足實際要求。本小節(jié)將確定出平行雙目 視覺系統(tǒng)的系統(tǒng)搭建和從二維計算機圖像坐標系坐標到世界坐標系坐標的計算 公式，從而給出下一步需要進行標定的攝像機內(nèi)外參數(shù)。 在雙目視覺系統(tǒng)的左右攝像機架構部分，本文采用了平行雙目視覺系統(tǒng)，這 是因為在該系統(tǒng)下左右兩攝像機之間的坐標轉換比較容易計算，有利于攝像機的 標定，而且有利于三維坐標的計算，符合移動機器人導航對環(huán)境特征信息的數(shù)據(jù) 要求。在實驗階段，本文的攝像機型號采用的是陜西維視圖像的m v | - v d 0 3 0 s c ， 通過u s b 連接筆記本電腦。攝像頭型號采用c o m p u t a r 的m 0 8 1 4 - m p ，雙目相 機小支架采用的是陜西維視的m v - b r 2 8 型號。本文架設的平行雙目立體視覺系 1 2 世界坐標系。在這種情況下，平行雙目視覺系統(tǒng)中世界坐標系到右攝像機坐標系 的轉換可表示如下： x c 藝 z t l = 瞄 x 。 匕 乙 1 式( 2 1 ) 其中尺為旋轉矩陣，由于是平行雙目視覺系統(tǒng)，不存在旋轉關系，r 為單位矩陣， 1 3 r = 一 基于平行雙目視覺的環(huán)境特征提取方法研究 ，為平移向量，模為基距6 。由于是向右平移，所以在計算時應取負號。o t 為元 素為0 的橫向量。 ( 2 ) 攝像機坐標系到成像平面坐標系的轉換：因為本文采用的攝像機成像 模型為小孔成像模型，所以，攝像機坐標系到成像平面坐標系的轉換過程符合透 視投影，可用齊次坐標表示如下： 00 o - i l - f0 0 010l j x c 藝 z c 1 式( 2 2 ) 其中，是攝像機的焦距，( t ，藝，互) 是攝像機坐標系空間中任一點尸的三 維坐標，( x ，y ) 是尸點在成像平面坐標系中的二維坐標。 ( 3 ) 由成像平面坐標系到計算機圖像坐標系的轉換： 譬淵礦 赫 其中，( ，吒) 是成像平面坐標系原點在計算機圖像坐標系中的坐標，往往 取為計算機圖像的中心點坐標。( 攻，) 分別是成像平面坐標系在x 方向和y 方向 相鄰像素間的距離。 將式2 1 ，2 2 帶入式2 3 得： z c 陣 = 一l 或一墨以? d o 三 ；： 竹一檔u oo 1 4 x w 匕 乙 1 式( 2 - 4 ) 式( 2 5 ) y o o 。l = 1-1 x y 1 。l 乙 基于平行雙目視覺的環(huán)境特征提取方法研究 式2 4 可簡寫為： m ：墨 l 0 1 h 乙”肼 x 。 匕 乙 l = 9 x 。 圪 乙 1 式( 2 6 ) 式( 2 - 7 ) 其中，尺為旋轉矩陣，t 為平移向量，為攝像機的內(nèi)參數(shù)矩陣，m 為攝像 機的外參數(shù)矩陣，q = n m 為攝像機的投影矩陣。在平行雙目視覺系統(tǒng)中，由于 左右攝像機之間是平行移動關系，而且已經(jīng)確定左攝像機坐標系為世界坐標系， 因此旋轉矩陣足為單位矩陣，平移向量t 的模為左右兩攝像機之間的基距6 ，因 此針對左攝像機和右攝像機，式2 _ 4 可以進一步簡化如式2 8 和式2 - 9 ： 叩爭w 乙 。m2 1 - f _ - y ”+ 乙 式( 2 - 8 ) 2 羔+ 扣 卻， v 2 = 蘭乎+ 乙 口。 整理