PAGE2–PAGE21–基于usb攝像頭哥python語言的嵌入式視覺測距系統(tǒng)設計摘要隨著計算機技術的迅速發(fā)展，我們可以使用計算機來完成各式各樣的任務，也視覺是人類獲取外界信息的重要方式之一，使用計算機來模擬人類的視覺系統(tǒng)并進一步對所獲取的信息進行加工處理有著不可替代的理論價值和實際應用價值，由此衍生出了一門新的學科—計算機視覺，并受到了各國的大力關注與支持。視覺測距就是這門學科的一個重要分支，利用計算機和相機的結(jié)合來獲取目標圖像，然后對目標進行圖像預處理、攝像機標定、特征匹配等步驟，最終根據(jù)測距原理得到目標的距離。主要研究內(nèi)容有：第一，分析掌握單目和雙目視覺測距技術的基本原理，研究該系統(tǒng)的詳細搭建方法。第二，詳細分析攝像機標定的各種算法，并進行應用。第三，搭建一個可以進行視覺測距的平臺，并進行實驗與結(jié)果分析。本實驗所采用的硬件為便攜并使用方便的usb攝像頭，軟件方面使用python語言與OpenCV庫的大量圖像處理算法，最終完成測距目的。最后結(jié)果表明，本文所實現(xiàn)的測距系統(tǒng)能在一定距離內(nèi)進行較為精準的測距工作。關鍵詞：測距系統(tǒng)；攝像機標定；特征匹配目錄16720摘要 I243251緒論 111.1課題研究背景及意義 1299751.2課題國內(nèi)外研究現(xiàn)狀 2171231.2.1國外研究現(xiàn)狀 2293831.2.2國內(nèi)研究現(xiàn)狀 3301951.3本文的研究內(nèi)容與結(jié)構安排 4224861.3.1本文研究內(nèi)容 4174481.3.2本文結(jié)構安排 432512課題研究相關的基礎知識和基本原理 6612.1人眼的視覺原理分析 674382.2雙目測距原理與數(shù)學模型 78942.3視覺測距系統(tǒng)結(jié)構說明 8286602.4本章小結(jié) 1020293單目測距系統(tǒng)實現(xiàn) 11127743.1所使用基本原理說明 111313.2步驟處理說明分析 1221813.3測距結(jié)果與分析 14185943.4本章小結(jié) 1694214雙目視覺測距系統(tǒng)設計 1730614.1攝像機標定 17122754.1.1相機模型介紹 1746764.1.2常用攝像機標定方法介紹 211緒論1.1課題研究背景及意義隨著當代我國政治經(jīng)濟社會的各個方面不斷進步,計算機基礎科學與信息技術也在蓬勃發(fā)展,其綜合計算力的不斷逐步增強,它在各個領域都已經(jīng)扮演了一個幾乎不可可以取代的重要角色,征服了無數(shù)使用它的人,利用計算機來處理和模擬人類能獲取到的信息就逐漸發(fā)展為了單獨的一門學科,這包括了很多方面,本文著重討論的則是視覺這一方面。我們?nèi)绻銐蚰芎啽愕赝ㄟ^基于人體自身的各種視覺處理系統(tǒng)或者信息網(wǎng)絡來直接分析獲取一系列來自外界周圍環(huán)境中的信息,那么這將伴隨多個相關學科的技術進步,如數(shù)字圖像處理、傳感器控制技術、機器深度學習等不斷進步和快速發(fā)展,計算機也能在一定條件下模仿人類的視覺系統(tǒng),來進行對周圍環(huán)境的感知和識別。圍繞這一時代主題,海內(nèi)外大量的科學家們都做出了不懈努力,經(jīng)過幾十年來的不斷探索與實踐,一門嶄新的學科終于產(chǎn)生了一門新的計算機視覺。計算機視覺的蓬勃發(fā)展為我們在各方面帶來了進步與看得到的便利。模式識別(patternmecognition)主要是指利用計算機數(shù)字技術手段對研究模型進行信息的自動化處理與辨別。常見的應用包括在移動設備中使用的二維碼的識別和手寫輸入。生物學中的特征識別辨認的方法就是通過充分運用基于人類自己固有的各種行為生理視覺特征(其中例如人體指紋、人臉面部影像、虹膜等)及其他各種行為心理特點(其中例如手寫筆記、語音、腳踏等)等來進行對于人類個人身份的特征辨認。運動目標的識別與分析、機器人視覺導航、醫(yī)學檢測與分析等領域也有計算機視覺的影響?；陔娔X的視覺檢測系統(tǒng)主要是指將電腦中的計算機視覺產(chǎn)品將捕捉到的目標信息轉(zhuǎn)換為圖像信號,傳輸?shù)诫娔X中的圖像信息系統(tǒng),圖像信息系統(tǒng)再根據(jù)它們的像素分布及亮度、顏色等信息,轉(zhuǎn)換為一個數(shù)字化的信號。計算機的圖像系統(tǒng)對這些信號進行復雜的計算,以提取出設備所需要的目標特征信息,然后按照判別結(jié)果控制設備的動作并對相關信息進行處理,甚至拒絕這樣的方式來調(diào)整自身的系統(tǒng)特性。它具有不與人類接觸,速度慢,精確性好等優(yōu)勢。它是一種先進的檢測方法,非常適合現(xiàn)代制造。本文的主題-視覺測距是視覺檢測最常見和最廣泛使用的應用之一。我們要追上這項技術的腳步,就必須不斷地更新自己的測量裝置,以便能夠滿足日益增長的測量需要。與此同時,測量方法的發(fā)展與進步為科學技術的進一步開拓打下了基礎。將計算機科學技術和儀器科學技術充分地融入到工業(yè)生產(chǎn)中。計算機輔助測量的突出優(yōu)越性之處在于該軟件大幅度地提高了測量的精度、準確率、經(jīng)濟性,投資小,見效大,性能和價格相對比好。而且,由于該軟件的靈活性,可以在不需要改變?nèi)魏斡布臈l件下,通過該軟件自動實現(xiàn)不同的測量功能,用于各種測量目標,從而促進測量系統(tǒng)的通用?；赑C平臺的測試系統(tǒng)因為其獨特的技術性能、特殊功能、系統(tǒng)集成程序設計能力及較低成本,將在未來幾年內(nèi)逐步發(fā)展為計算機檢測儀器儀表領域的一種先進技術。本課題要研究的視覺測量系統(tǒng)是在優(yōu)越的計算機技術及其強大的應用功能的基礎上,將虛擬儀器與機器視覺相結(jié)合的產(chǎn)物。1.2課題國內(nèi)外研究現(xiàn)狀1.2.1國外研究現(xiàn)狀作為新興研究科目，計算機視覺得到了世界范圍內(nèi)各個國家的重要關注，投入了大量的人力、物力進行研究。目前,它在歐美、日本等發(fā)達國家的市場上發(fā)展得相對迅速,相應的技術和應用也更趨于成熟,并且在電子制造行業(yè)和微處理器半導體制造行業(yè)中占據(jù)重要位置。在國外,計算機視覺技術的基礎上可以明確地劃分為三個組成部分:即底層研制部分、二次開發(fā)部分及最終實際使用。第一部分是指通用機器視覺系統(tǒng)的研制與開發(fā),例如:dvt、西門子、歐姆龍、evision、康耐視等企業(yè),這幾家企業(yè)都投入了巨額的人力物力來開發(fā)通用機器視覺硬件和軟件產(chǎn)品。第二十一部分主要是通用機器視覺系統(tǒng)的特殊性能使用,針對最終的需求方面進行二次開發(fā),對于各種特殊的系統(tǒng)進行開發(fā),通用通用機器視覺系統(tǒng)公司也都會配備有自己的解決方案來服務于客戶。第三部分用戶群體是真正把機器視覺系統(tǒng)運用于不同領域的人。他們利用已經(jīng)開發(fā)形成的機器人視覺系統(tǒng),并由自己負責測試和評價。國外在單目視覺測量系統(tǒng)技術方面研究和開發(fā)了許多成熟的技術,例如metronor的scs系統(tǒng),由專利激光筆、測量接口頭、筆記本計算機和三腳架部件組成。它以位于光學探頭上的紅外發(fā)光二極管作為主要的成像對象,攝影機所獲得的單幅影像可以實現(xiàn)對單機的視覺檢測。測量范圍為1.5~10m,分辨率范圍為0.001毫米,三軸線長度測量的精度指標:0.035毫米、0.090毫米、0.188毫米。該模塊系統(tǒng)軟件結(jié)構簡單、重量輕、使用迅速方便、精確性高、測量時間長,并且具有cad對比測量、led補償、最優(yōu)匹配等特點。它是一種廣泛應用于汽車,航空,造船和金屬零部件的各類大小型零件的檢測儀器,可以很容易地準確測量各種尺寸的零部件。至于雙目視覺測量系統(tǒng),就有l(wèi)ecia的v-stars/m系統(tǒng),這也是現(xiàn)場標定的雙目視覺測量系統(tǒng)中最為典型的一個代表,具有很高的測量效率和精度,在國際上已經(jīng)得到了廣泛的應用。它還通過使用一個接觸式的光學探頭來作為三維成像的目標,并且使用一個包含了反射光學特性點的接觸式光學探頭來對這些特性點進行實現(xiàn)三維坐標的測量。該系統(tǒng)在大范圍地測量各種幾何形狀和尺寸等方面都具有較強的技術優(yōu)勢,主要特點是其測量速度快、攜帶方便、使用靈活、測量時間小、對溫度的影響小、能夠在一定的振動條件下正常工作、測量精確性高、其中每個測量精確度最高可以控制在0.06毫米~0.085毫米內(nèi)10m。所以就會出現(xiàn)這種情況。,它被廣泛應用于航空航天和天線安裝等大型設備的測量。圖1.1全球計算機視覺市場規(guī)模預計1.2.2國內(nèi)研究現(xiàn)狀本世紀初,機器人視覺這個概念便已經(jīng)立即被我們引入中國各地的自動化客戶面前,但在接下來的很長時間里,機器人視覺技術仍然正處于研究和推廣的普及階段。與國外先進的機器人視覺技術相比,國內(nèi)的水平還是有一定的差距,這種水平的差距主要體現(xiàn)在因為軟、硬件之間的組態(tài)整合開發(fā)能力薄弱,這就勢必會導致軟硬件開發(fā)費用的升高、效益降低。盡管國內(nèi)的機器視覺技術仍然存在各類問題,但是在視覺軟件、照相機以及光源等機器視覺技術產(chǎn)品的開發(fā)與生產(chǎn)方面都已經(jīng)有了一些突破性的成果。近年來,國內(nèi)一些與機器相關的院校、科研院所以及專家和企業(yè)對機器視覺技術的應用進行了積極地探索和大膽地嘗試,逐步地開始在工業(yè)領域的研究和應用,其中絕大部分都集中在半導體,在電子制造、醫(yī)療器械、印刷等領域,機器視覺技術已經(jīng)在汽車制造、包裝乃至于新能源產(chǎn)品行業(yè)的一些應用場合也隨之開始了升溫。我國目前關于自動視覺圖像測量控制系統(tǒng)的研發(fā)工作起步相對晚,尚未大力開發(fā)一種完全成型化的產(chǎn)品。哈爾濱工業(yè)大學工程測控信息技術與產(chǎn)品質(zhì)量管理工程科學研究所是隸屬于國內(nèi)先進的科學研究管理機構。研究了基于圓形棍子運動圖像的一種基于單目標的視覺立體坐標系的測定方法,并于1998年9月開始自主研制了該實驗室的樣機。此外,天津大學靜宜學院及中國上海大學都在積極地組織進行此類科學課題的相關研究。我國目前的移動計算機和視覺產(chǎn)品市場格局仍以"四小龍"為主,即商湯、易圖、匡時、云從科技,據(jù)idc的數(shù)字化統(tǒng)計,四家企業(yè)分別占據(jù)了全球移動計算機和視覺產(chǎn)品市場的69.5%,其余廠商占30.6%。除"四小龍"外,其他涉足計算機視覺行業(yè)的公司還有北京神星科技、拓展智能、云天立飛、馬龍科技、阿特拉斯科技等。云廠商包括AWS、阿里云、金山云、騰訊云、百度云,傳統(tǒng)安全廠商如海康、大華等。1.3本文的研究內(nèi)容與結(jié)構安排本部分首先介紹本文的研究內(nèi)容，然后根據(jù)該內(nèi)容介紹論文的結(jié)構。1.3.1本文研究內(nèi)容通過學習圖像處理、計算機視覺、三維重建等相關原理與知識，最終搭建一套完整的視覺測量系統(tǒng)。同時，攝像機校準的這一步驟將極大地影響最終結(jié)果的準確性和準確性。作為視覺測量領域的研究熱點和重點，國內(nèi)外許多科學家提出了多種可以實施的方法，本文將重點分析其中幾種方法的原理并選擇一種繼續(xù)進行實驗。因此，本文的具體工作如下：深入學習理解視覺測距的相關原理，掌握為達成測量任務所需要的的幾個重要步驟的實現(xiàn)方法，逐個分析各個步驟中所需要的算法并選擇其中適合本文的一種進行研究實現(xiàn)。同時選擇一種編程語言進行學習，并以此為基礎進行整套系統(tǒng)的編寫與實現(xiàn)工作?？紤]到實現(xiàn)的簡便性、可實施性，最終選定為python語言.對攝像機標定的幾種常用的方法進行詳細的分析論證，對其各自的優(yōu)點與缺點進行歸納總結(jié)，結(jié)合實際情況與軟硬件環(huán)境，最終選擇其中一種來實現(xiàn)。首先，進行了相對簡單的單目視覺測距系統(tǒng)的設計。然后，在此基礎上，進一步研究和設計了雙目測距系統(tǒng)。最后，對最系統(tǒng)的結(jié)果進行了測試和誤差分析。確定所設計測距系統(tǒng)的測距范圍、精度和精度。1.3.2本文結(jié)構安排根據(jù)上一小節(jié)中本文研究內(nèi)容的介紹，將本文共分為五章，用這五章來具體介紹本文所設計的測距系統(tǒng)，各章具體內(nèi)容如下：第一章為緒論，重點介紹了本文研究內(nèi)容的背景和意義，視覺測距系統(tǒng)的國內(nèi)外研究現(xiàn)狀，以及本文的研究內(nèi)容和各章的具體內(nèi)容。第二章介紹了本文研究的視覺測距系統(tǒng)的基本知識和方法原理。介紹了系統(tǒng)的五個步驟以及每個步驟的具體功能，即目標圖像采集、攝像機標定參數(shù)、數(shù)據(jù)立體校正、立體匹配和最終距離計算。本部分為整個系統(tǒng)設計的理論基礎部分。第三章為對所設計的簡單單目視覺測距系統(tǒng)的原理及步驟分析，對該系統(tǒng)中每個部分進行闡述，詳細地介紹所使用的的函數(shù)算法，對每一步進行介紹，并展示初步結(jié)果圖。為雙目視覺測距系統(tǒng)的設計進行鋪墊。四章是對第三章中研究內(nèi)容的進一步研討--雙目視覺測距體系的選型成績和運用于體系的硬件和軟件的緣由。本文介紹了系統(tǒng)中使用的各種算法的原理，即攝像機標定、校正和深度計算。對所設計的系統(tǒng)進行了測試，并對測量結(jié)果進行了比較和分析。。探究本文研究內(nèi)容獲取距離信息的精準度。最后是結(jié)論。該部分對本文的研究內(nèi)容進行總結(jié)，同時指出所做工作的不足之處以及以后的研究方向。

2課題研究相關的基礎知識和基本原理本章詳細介紹本文研究內(nèi)容所要用到的基本知識和基礎原理，首先是對人眼的視覺原理進行數(shù)學模型上的分析，進而延伸至機器的測距原理，并分析該原理的數(shù)學方法，最后對該系統(tǒng)的每一個步驟進行作用說明。2.1人眼的視覺原理分析人類的感覺可分為五感，即聽覺、視覺、味覺、觸覺和嗅覺，人類正是靠著自身的這幾個感覺系統(tǒng)來感受和認識這個世界的，而據(jù)科學統(tǒng)計，這五感之中，視覺所獲取的信息量要占總信息量的80%以上，這說明視覺系統(tǒng)對我們每個人的重要性不言而喻。人眼看到的物體是光源發(fā)出的光或者物體所反射的光。人眼本身是一個可自我調(diào)整的精密光學系統(tǒng)，當景物通過晶狀體在視網(wǎng)膜上成像，分布于視網(wǎng)膜上的各視覺細胞得以感光并將其從輻射能轉(zhuǎn)變?yōu)殡娒}沖，最終由大腦解碼產(chǎn)生圖像。這是在生理系統(tǒng)上的原理，那么就對該系統(tǒng)的原理在數(shù)學層面上進行說明。了解了這個，才能在機器上進行模仿，研發(fā)出視覺測距系統(tǒng)。我們可以使用單眼或雙眼進行對目標物體的識別工作，而使用這兩種識別方式時，其復雜程度不同，相應的原理也不大相同。下面進行分別說明。使用單眼來識別目標物體時，人體通過調(diào)節(jié)眼睛中的晶狀體，從而調(diào)節(jié)焦距，使得我們可以正確識別物體的各個屬性，距離、顏色、形狀等，雖然只有一只眼，但我們可以通過大腦的處理來使物體具有立體性，但這是不準確的，常常具有較大的誤差，常見的例子有很多，就比如用一只眼把筆插入筆帽就會比較困難，這時，就體現(xiàn)出雙目系統(tǒng)的優(yōu)越性了。圖2.1人眼結(jié)構示意圖使用兩只眼睛進行觀測時，目標物體會同時在兩只眼睛上映射一個“像”，然后再通過大腦復雜的各種處理，就會產(chǎn)生立體感，能更精準地認知目標。詳細的情況如下圖所示：圖2.2人眼視覺由圖所示可知，當人眼聚焦于目標A時，∠CAG稱為視差角，線段MN稱之為視覺基線，當視線從A移動至B時，明顯可以看出視差角和視覺基線會發(fā)生變化，此時，人體會調(diào)節(jié)晶狀體，從而焦距也會改變，這樣大腦會處理這些數(shù)據(jù)，從而判斷物體的相對位置，進而產(chǎn)生立體感。2.2雙目測距原理與數(shù)學模型雙目立體視覺系統(tǒng)通過直接模擬人眼視覺原理來實現(xiàn)測距目的的。首先，用兩臺型號、性能相同、相對位置固定的攝像機來捕獲同一被測物的兩幅圖像。然后，通過匹配和提取出某些特征點的像點坐標后。最后，利用該成像模型的數(shù)學模型就可以計算出目標上某點的三維坐標，進而就可以求得攝像機與目標之間的距離。具體的數(shù)學模型圖如下：圖2.3雙目測距原理示意圖如上圖所示，首先需保證兩個攝像機的光軸相對位置固定，圖中的和為兩個相機的光軸，f為其焦距，b為兩個坐標系原點之間的距離，由相似三角形原理，經(jīng)過計算可以得出以下關系：（2.1）進一步可得出：（2.2）其中原點距離、焦距是能夠通過攝像機標定得到的數(shù)據(jù)，這樣就能求出我們所需要的深度信息即距離d，完成這個系統(tǒng)的最終任務。2.3視覺測距系統(tǒng)結(jié)構說明一個完整的視覺測距系統(tǒng)就是模擬人眼系統(tǒng)的工作原理來實現(xiàn)自身功能的，那么，接下來就詳細闡述視覺測距系統(tǒng)的結(jié)構構成。如圖所示：圖2.4視覺測距系統(tǒng)結(jié)構示意圖第一，就是首先要進行的一步是對圖像的采集，這是整個系統(tǒng)中最為基礎的一步，它為之后所有的步驟提供了最基礎的目標圖像。常用的圖像手機終端有：數(shù)碼攝影機，工業(yè)攝像機，掃描儀，圖像采集卡，USB攝像頭等等，盡管他們的清晰度有一定的差距，但都能為系統(tǒng)提供基礎圖像信息。攝像時要考慮許多因素，例如，光照條件，環(huán)境復雜度，目標特征等。為保證系統(tǒng)運行的流暢度、結(jié)果的準確性，進行這一步時，盡量采集目標清晰，特征明顯的圖像。第二，然后要進行的步驟就是對第一步中搜集到的目標進行處理。出于各種各樣的原因，直接拍攝到的相片都會有許許多多的噪音或畸變，這會對之后的步驟產(chǎn)生極大的阻礙作用，嚴重影響實驗的深入進行。所以我必須對圖像進行一些技術上的預處置，以便盡可能地提高圖片的清晰度，盡可能消除這部分的不利影響。常見的技術手段包括：圖像平滑、直方圖均衡化、灰度變換、幾何規(guī)范化、增強對比度、邊緣檢測增強、圖像濾波等。第三，這一步是關鍵點，同時也是重難點，標定起源于上世紀早期的鏡頭校正，隨著社會發(fā)展，人們對這方面的要求越來越高，就逐漸演變?yōu)橄鄼C標定這一領域。標定的結(jié)果的精確度以及標定過程中所使用的算法牢固性將會大大影響系統(tǒng)的最終結(jié)果的準度，本系統(tǒng)的最終目的是測距，那么，為了得到最終結(jié)果，就要明確目的物體在三維立體幾何中與它在所拍攝的相片中以一對應的映射關系，這就要求我們一定要建立相機的成像幾何模型，而這些模型參數(shù)正是所謂的相機參數(shù)。求解這些參數(shù)的過程就被稱為攝像機標定。這些參數(shù)在絕大部分情況中是通過反復多次的實驗過程獲得的。提高該步驟結(jié)果的精度和準度也是目前眾多科學家與學者的重點研究方向。當今，最常用的攝像機標定方法有：傳統(tǒng)相機標定法、主動視覺相機標定方法、相機自標定法，這幾種方法都有其各自的優(yōu)點與缺點，在應用時要根據(jù)具體場合與情況進行選擇使用。第四，相機標定后要進行的就是特征提取了。特征提取，顧名思義就是對特征進行提取，那么在計算機視覺中，“特征”就是圖像中我們感興趣的點，即我們要分析圖像所需要的部分，這部分可以是點，可是是線（輪廓），也可以是區(qū)域，為了滿足后續(xù)分析的條件，我們必須對圖像的特定部分進行提取分析與匹配關聯(lián)，所以提取哪個部分，怎么提取，提取多少就是這一步中我們所要研究的問題。同時，由于特征匹配屬于計算機視覺中眾多算法中的初級運算步驟，所以有大量特征檢測算法被提出與發(fā)展出來，它們所要選擇的特征部分大不相同，同時，其計算的復雜度、適用范圍以及可重復性也大不相同。第五，也是最后一個步驟——立體匹配，也被稱為視差估計（disparityestimation）。這是本文所研究的系統(tǒng)中最為重要的一步，同時它的難度也是最大的。很多因素都會對這一環(huán)節(jié)產(chǎn)生影響，帶來許多很難避免的障礙因素。例如：環(huán)境光源條件，鏡頭的畸變，目標物體拍攝不全、被部分遮擋，噪聲等。綜上，要想進行完美的一一對應的匹配，難度是極其大的，這也吸引了無數(shù)的學者進行了無數(shù)的深入研究，直至目前也沒有發(fā)展處一種比較理想的算法，如今所使用的的主流算法按基元可分為：區(qū)域立體匹配算法、基于特征的算法以及基于相位的算法，或者按照最優(yōu)化理論算法分為局部算法和全局算法。2.4本章小結(jié)本章主要介紹了視覺測距的基本原理，類比人眼視覺來具體介紹了本文中所要實現(xiàn)的視覺測量系統(tǒng)，同時分析了其在數(shù)學模型分析下的示意圖，對距離信息的求導過程進行了解釋。之后又詳細闡述了測距系統(tǒng)的具體結(jié)構，并對每一部分的功能作用進行了詳細的描述。3單目測距系統(tǒng)實現(xiàn)在設計雙目測距系統(tǒng)之前，先設計了一個較為簡單的單目測距系統(tǒng)，以便對于對原理以及相關的操作的熟悉和應用。本章就詳細介紹了所設計的單目測距系統(tǒng)，介紹其所使用的的方法原理并展示相關成果。3.1所使用基本原理說明攝像頭測距就是要得到照片中目標到攝像機的距離，為達到目的這可以使用相對復雜度更高卻也更加準確的攝像機模型的內(nèi)部參數(shù)來實現(xiàn)，但本章的系統(tǒng)中使用了更為簡便傳統(tǒng)的另一種方法原理，以下是說明：首先，其名稱為相似三角形（trianglesimilarity）方法，模型結(jié)構如圖：圖3.1相似三角形測距模型圖假設要測量的物體的寬度為W，同時該物體到攝像機的距離為D，對目標進行圖像采集，并且在圖片上，目標的像素寬度P也能被測量出來，其中像素寬度是指圖片或者屏幕在橫向上劃分的像素點的數(shù)量，這樣，我們就能通過計算得出所使用的的攝像機的焦距F，其公式為：(3.1)這一步之后，通過移動物體或者相機位置，改變他們之間的距離，我們就能通過相似三角形來求得更新之后的距離：(3.2)基本原理就是這樣，接下來是所設計的單目測距系統(tǒng)中之后的處理步驟說明與分析。3.2步驟處理說明分析本部分將按照前文所說明的測距系統(tǒng)結(jié)構來逐步簡明分析在設計該系統(tǒng)時所采取的步驟。按步驟首先是圖像的采集。這一步要說明的是采取的設備是手機攝像頭，原因是獲取使用方便，手機型號Redmik20pro，攝像師采用普通模式，即使用的主攝像頭，該攝像頭參數(shù)為1/4"型傳感器，1.12um，5P鏡頭，f/2.4光圈，基本條件如上，為保證成像質(zhì)量，顧在光源條件較好即光照充足的時候拍攝，拍攝對象為一個主題色調(diào)為藍色的鼠標墊，背景為灰白色，鼠標墊長25.7cm，寬20.8cm。圖像采集完成后，進入下一步操作處理。接下來是圖像預處理，這一步的目的是便于在所拍攝的圖片中找到目標物體，本文所采取的的操作是先對圖片進行輕微的模糊處理（Smooth/Blur），這一步的目的是減低噪聲對后續(xù)的影響。模糊操作的基本原理是數(shù)學的卷積運算。按原理不同，模糊處理可分為均值濾波，中值濾波，高斯濾波以及雙邊濾波，本文采取的是高斯濾波以去除高斯噪聲，其原理為：對整幅圖像進行加權平均處理，每一個像素點的值，都由其本身和鄰域內(nèi)的其他像素值經(jīng)過加權平均后得到。一維高斯函數(shù)如下：（3.3）同時該操作在OpenCV中也剛好提供了API，為voidGaussianBlur(InputArraysrc,OutputArraydst,Sizeksize,doublesigmaX,doublesigmaY=0,intbord），這之后，我又進行了一步操作：將圖片轉(zhuǎn)換為灰度圖。這一步的目的是去除顏色特征帶來的影響，便于后續(xù)的一系列操作?；叶葓D，也叫灰階圖?；叶?，可以理解為亮度，也就是色彩的明顯程度，灰度圖像也稱為黑白圖像。通過紅綠藍三原色和灰度的排列組合，可以組合成成各種各樣的顏色，而灰度圖就是讓RGB的色彩分量全部相等，目前，最常用的是256級灰度圖。例如，RGB(49,49,49)就表示灰度為49，這個灰度的范圍是0~255，把彩色圖像轉(zhuǎn)換為灰度圖像有多種常用的計算方法，這主要視應用場景而定，一般是按加權平均的方法進行計算，其中R:G:B一般為三：六：一。OpenCV中可以在讀取時轉(zhuǎn)化圖片或者用函數(shù)進行變換，本文采取了第二種方法，使用了函數(shù)cvtColor。圖像預處理完成后就是對攝像機的標定了，這部分本應是去求其內(nèi)參，不過此處是應用了相似三角形原理，這一部分上文中有詳細說明，不再贅述。本文程序中就定義了一個distance函數(shù)根據(jù)焦距、像素寬度來計算距離。下一步是特征提取。由于上文我們進行了灰度圖轉(zhuǎn)換手段，這一步我們所感興趣的部分就是“輪廓”，通過進行邊緣檢測來獲取特征，來找到目標物體。邊緣檢測一般分為三大步驟，即濾波，增強和檢測。其中濾波這一步以及在上一段中進行了說明，除去了噪聲的影響。邊緣增強的基礎是決定各圖像點的附近亮度的變化值。強調(diào)算法可以強調(diào)圖像灰度點附近的亮度值有重要變化的部分。在特定編程中，可以通過計算梯度幅度來確定。在擴展圖像中，在具有大梯度值的附近有許多點，但是在特定應用中，這些點不是我們想要找到的邊緣點，所以應該使用幾種方法來選擇這些點。在實際工程中，通常使用的方法是通過檢測閾值法。這一部分OpenCV中也給了相應的函數(shù)：voidCanny(InputArrayimage,OutputArrayedges,doublethreshold1,doublethreshold2,intapertureSize=3,boolL2gradient=false)。函數(shù)中的參數(shù)，從左到右依次的作用是：輸入單通道8位圖像，輸出的邊緣圖像，且尺寸類型與輸入一致，第一個以及第二個double類型的閾值，Sobel算子孔徑大小且默認為3，最后一個則是計算圖像梯度幅值的標志，默認為false。經(jīng)過處理的圖片展示效果如下圖所示：圖3.2圖片處理效果展示那么，如何在檢測出來的各個輪廓中找出目標物體的呢？這一步本文所設計的系統(tǒng)中采取的是對各個輪廓進行比對，挑出其中輪廓最大的作為目標對象繼續(xù)后續(xù)的研究，此處使用的是函數(shù)cv2.findContours找到相片中的每一個輪廓，然后對各個輪廓的大小進行比較，使用max函數(shù)，找出其中最大的一個，由此確定目標物體的輪廓。最后一步就是計算深度即距離了。利用函數(shù)imread來讀取預先存儲在磁盤文件夾的各個圖片，再利用函數(shù)find_marker讀取預先輸入的目標的各種信息，即長度、寬度、焦距等。最后套用公式3.2對圖片一一進行處理，利用相似三角形原理可以較簡單地求出最終結(jié)果。3.3測距結(jié)果與分析該系統(tǒng)會對預先存入目標文件夾的圖片進行分析處理，輸出圖片，并用綠色框圖圈出目標物體并且在右下角顯示以cm為單位的測量結(jié)果。首先展示一下程序的運行結(jié)果圖：圖3.3運行結(jié)果圖1可以發(fā)現(xiàn)，此次測量中系統(tǒng)較為準確地識別了目標物體并框出，但并不是每一次都會出現(xiàn)這樣的結(jié)果，有幾次識別出現(xiàn)了比較糟糕的識別結(jié)果，如下圖所示：圖3.4運行結(jié)果圖2這只是其中一例，在本次實驗中一共處理了十張照片，其結(jié)果將使用表格進行展示。如下表：表3.1單目測距結(jié)果單位：mm標號實際的距離測量的距離誤差1100102.32.3%2150155.73.8%3200220.410.2%4250260.34.12%5300340.513.5%6350335.84.05%7400389.23.125%8450419.46.8%9500550.410.08%10550503.58.45%從表格可以看出明顯可以看出，距離近時識別目標較穩(wěn)定，測量結(jié)果較好，這也與前文介紹的原理相符合。但也出現(xiàn)了很多結(jié)果差距很大的結(jié)果，這部分應該是出現(xiàn)了圖3.4中的情況，識別出錯，致使結(jié)果出現(xiàn)極大的偏差。同時本文目前設計的測距系統(tǒng)著非常明顯的局限性，這體現(xiàn)在對所獲取圖像有較高的要求：光照條件好，根據(jù)所使用的的算法，目標必須是照片中輪廓最大的圖像。3.4本章小結(jié)本部分詳細介紹了開發(fā)設計的單目視覺測距系統(tǒng)，從原理部分，到步驟作用分析，最后對結(jié)果數(shù)據(jù)進行匯總與總結(jié)。其中最詳細的部分是對每一步中所采用的OpenCV中的算法進行分析，以及為何采用該算法進行了說明。以表格的形式對結(jié)果進行匯總并與實際距離比對，既直觀又清晰，同時進行了誤差分析。單目系統(tǒng)的開發(fā)對之后雙目系統(tǒng)的設計有著不小的幫助。4雙目視覺測距系統(tǒng)設計在進行該部分的設計內(nèi)容之前，我先設計開發(fā)了一個簡單的單目測距系統(tǒng)并對其進行測試分析，對系統(tǒng)原理有了更為深入的認識，也對系統(tǒng)的開發(fā)有了一定的知識儲備與實際操作經(jīng)驗，這為雙目系統(tǒng)的研究起到了了堅實的鋪墊作用，接下來就進入本文的重點內(nèi)容。在這部分，我會著重介紹闡述重難點環(huán)節(jié)，分析其原理、算法與選擇條件。4.1攝像機標定相機標定是本文研究內(nèi)容的第一個重難點，同時也是關鍵點，標定就要通過多次試驗以及推導來求解所使用的攝像頭的內(nèi)參和外參，這就又涉及到了相機成像模型，如此，在這一部分，我們就來研究討論成像模型，標定方法，并對所使用的的方法重點介紹，通過這樣，得到我們最終想要的攝像機參數(shù)，并進行分析。4.1.1相機模型介紹對相機模型進行介紹了解是為了對攝像機取得圖像的過程有更清晰的認知，在本質(zhì)上來說，這是一種坐標變換的關系，是由三維空間到二維空間的一種對應關系。那么為了更加詳細地研究這種對應關系，我們就需要建立一整套坐標系系統(tǒng)。包括圖像坐標系，攝像頭坐標系以及世界坐標系。其中，第一個又分為物理坐標系和像素坐標系，前者的單位是毫米，后者的單位是像素。兩者之間最簡單的關系就是兩坐標軸都為直角坐標系時，其關系如下圖所示：圖4.1物理坐標系和像素坐標系其中（u,v）的值表示了這一點的灰度，是該點的像素坐標，假設dx和dy是像素在其方向上的單位長度，則兩坐標系的映射關系可表示為：(4.1)(4.2)矩陣表現(xiàn)形式則為：（4.3）而關于攝像機坐標系，它也被稱為光心坐標系，因為它是以光心為坐標原點。并且以（,,）來表示其坐標值，同時它的橫軸與縱軸和圖像坐標系的方向是一致的。Z軸為攝像機的光軸。通過相似三角形原理可以輕松獲得該坐標系和上問提及的（x,y）坐標的對應關系：(4.4)最后一個就是世界坐標系，該坐標系的作用是來描述相機在空間中的具體位置，給予其一個基準，因此該坐標系可以比較自由地選取所在的位置，但為了試驗的簡便性和可操作性，要盡可能地選擇對后續(xù)的計算和處理有幫助的位置，這樣可以大大降低之后處理計算的復雜程度。世界坐標系與上一部分的坐標系關系可以表示為：(4.5)其中R表示的意思是旋轉(zhuǎn)矩陣，t的含義則為平移向量。以c為下標的是相機坐標系的值，以w為下標的是世界坐標系的值。綜上所述，這四個坐標系的關系可用下圖來進行表示：圖4.2四個坐標系間的關系從左到右，連接他們的分別是剛體變換，透視投影以及二次轉(zhuǎn)換，且按順序依次左乘得到。在理想情況下，即忽略攝像機本身的物理結(jié)構，將其視為一個點的時候，相機模型可以視為小孔成像模型，也叫線性模型。示意圖如下：圖4.3小孔成像模型圖在該模型下，將x,y與和的關系帶入公式4.5可得：（4.6）此時公式中的就是我們想要的相機的參數(shù)，前者為內(nèi)參，后者為外參。內(nèi)參的含義就是相機坐標系與像素坐標系之間的變換，另一個參數(shù)則是世界坐標系與相機坐標系間的變換，就是這兩個參數(shù)，把外部世界與我們拍攝的相片內(nèi)部相連接起來。求解這兩個參數(shù)的過程就是相機的標定。然而，現(xiàn)實情況下，我們很難或者說幾乎不可能在理想情況下進行該實驗，更多的是會受到來自各方面的影響，因此該模型在實際應用時還要加以改進，以貼合實際情況，保證最終結(jié)果的準確性。因此，接下來就介紹另一種應用范圍更廣，更加符合現(xiàn)實，但計算復雜度更高，原理更難以理解的模型，非線性模型。首先來分析，現(xiàn)實情況下，我們會有來自哪些方面的影響，再逐一分析這些來源，以對癥下藥，通過各種方法來消除或者減少它，完善我們所使用的的模型。在小孔成像模型中，由于是“小孔”，所以透過的光是少量的，這就導致現(xiàn)實中這樣會使得生成圖像的速率非常慢，不過這是我們所不能接受的，所以要想快速生成圖像，就要增加進光量，從而使用面積大、曲率高的透鏡，保證曝光充足，這樣就有足夠多的光線匯聚到點上，大大提升圖像生成的速度。可這樣一來，就帶來了另一個問題——畸變。我們要考慮的畸變主要有兩種，其余的因其影響度不大，可以忽略，同時OpenCV中也沒有相關的API，這兩種分別是徑向畸變和切向畸變。圖4.4徑向畸變的兩種形式如上圖所示，現(xiàn)實中的相機總會在成像儀上產(chǎn)生非常明顯的畸變，或在中心，或在邊緣的情況更加嚴重，這是由透鏡的物理性質(zhì)所決定的，是它的固有屬性，很難進行徹底的消除。因此，我們需要用數(shù)學方式來對這些畸變進行校正，通常，我們是用以下公式進行調(diào)節(jié)：（4.7）（4.8）x，y表示該點的初始位置，加下標后的是矯正后的位置。另一種畸變則是切向畸變，這是在相機的制造過程中產(chǎn)生的，也是幾乎沒有完美的解決方案的。在制造過程中，準確說是組裝時，透鏡與成像平面沒能呈現(xiàn)完美的平行關系。也就是說，光線通過透鏡后并不是垂直入射成像平面的，是有一定的角度關系的。我們就需要額外的參數(shù)來校正。如下：（4.9）綜上所述，我們一共要處理五個畸變參數(shù)。在OpenCV中，這幾個參數(shù)都是必不可少的。4.1.2常用攝像機標定方法介紹攝像機標定作為測距過程中關鍵的一步，也是比較重要的一個步驟，許多學者都對此領域展開了詳細深入的研究，截止目前已經(jīng)提出了很多不同的標定方法，它們都有各自適用的場合，這些方法統(tǒng)共可大致分為三類：傳統(tǒng)的相機標定方法、相機自標定方法還有基于主動視覺的標定方法，接下來就對這兩類分別進行詳細介紹。首先是傳統(tǒng)方法，這種方法需要的已知條件很多，例如需要一個已知形狀、大小參數(shù)的標定物，然后對其進行圖像采集，然后經(jīng)過處理，包括數(shù)學變換和推導計算，最終可以取得內(nèi)參，即相機的與外界條件無關的固有屬性，例如焦距，畸變參數(shù)，圖像中心等，同時獲取外參，即相機在空間中的位置和方位關系。（1）利用最優(yōu)化算法的定標方法：這類算法的原理是對相機的光學成像建立一個復雜模型，然后通過對模型的研究分析、開發(fā)優(yōu)化最終得到結(jié)果。但這種方法十分費時費力，難以及時地獲得想要的結(jié)果，關于這一點，F(xiàn)aig在文獻中提出的算法最能凸顯出這一特征，他以小孔成像模型作為起點，對該結(jié)構進行了大量復雜的拓展，提出了一個十分復雜的模型，在對各種可能的影響因素進行完細致的分析計算后，采用這種方法，至少需要十七個參數(shù)才能詳盡具體地描述目標物體與三維空間的對應關系。計算量可想而知，極大。另一個代表性方法則是直接線性變換法（DirectLinearTransformation,DLT）,此方法由Abdel-Aziz和Karara在一九七一年提出，該方法只需對線性方程組進行求解即可獲得參數(shù)，而這正是其優(yōu)勢所在。不過它也有一個很明顯的缺陷，那就是DLT沒有把非線性畸變問題考慮進去，也因此，在實際使用時，必須要搭配非線性優(yōu)化算法。（2）利用透視變換矩陣的定標方法：聯(lián)系相機測量的內(nèi)容，我們都是對含有相機內(nèi)參和外參的非線性方程組進行求解以獲得最終數(shù)據(jù)，那么如果我們把其中的畸變因素暫時忽視掉，同時把透視變換矩陣當成這之中的未知因素。對這一部分進行求解，最終得到一組數(shù)據(jù)，從以上原理可以分析得出，從本質(zhì)上來講，這種方法與前文提到的DLT沒有嚴格的區(qū)別。這類方法，因為沒有使用最優(yōu)化算法，所以它的計算速度被大大提高了，能夠滿足我們實時得到參數(shù)的需求，但同樣地，它也沒有考慮非線性畸變，這個方法的精確度與穩(wěn)定性也不高。（3）考慮畸變補償?shù)膬刹椒ǎ鹤屑毞治銮皟煞N方法，我們會自然而然地產(chǎn)生一個疑問：能否把這兩種方案結(jié)合起來呢。而這就是兩步法所要做的。由前文可知，使用最優(yōu)化算法，那么其結(jié)果會受初始值設定的制約，很難保證精度與準度，而如果使用直接線性變換法或者透視變換矩陣法的話，就會因為忽視了非線性畸變的影響而降低結(jié)果的精確度。那如果我們把這兩種方案結(jié)合，先求解參數(shù)，將結(jié)果作為初始值，代入模型，以最優(yōu)化算法推導出最終的結(jié)果。這就是兩步法的核心思想與具體的實施方案。到目前為止，最為常見的是Tsai提出的一種具有很大使用價值的兩步法，在該方法中，他首先使用徑向準直約束來對相機模型分析，推出其外參，之后再用非線性知識求出內(nèi)部參數(shù)。很明顯，這種方法相較于前兩種有著不可比擬的優(yōu)越性，精準度上了一個臺階，但它也有著自身的局限性。首先它對設備條件的需求會更高，而且也會明顯增加計算量，延長處理時間。雙平面標定法：還有一些學者試圖在相機模型上尋找新的突破口，深入探索研究想要找到一種更加方便使用又貼合實際的模型。Martin首先提出了雙平面模型，并提出了三種插值方法，即線性插值，二次插值和線性樣條插值。該模型與前文介紹的小孔成像模型有著明顯的區(qū)別：在雙平面中，成像平面上的任意一個點都不是必須要通過光心的，而是根據(jù)這一個點，能夠確定其在兩個定標平面上所對應的點，這樣就可以對這兩個平面分別建立插值公式。該種方法的好處是，不再涉及非線性的方法，在精準度上會有優(yōu)勢，但其本身也有缺陷：涉及的參數(shù)個數(shù)大大增加，計算量會增加。上述幾種方案都對實驗環(huán)境有著較為苛刻的要求，上世紀末，F(xiàn)augeras,Luong等人第一次提出了自標定的概念，這一概念的提出，使得我們在相機可以移動同時測量目標未知的條件下對相機進行標定成為了可能。對比之前的方法，顯然該類方法的適用范圍會更廣。目前，常用的自標定方法有推導Kruppa方程標定法，逐級分層標記法和基于二次曲面的標定方法還有基于主動視覺的方法。以Kruppa方程為基礎的標定法：這種方法的核心就是對Kruppa方程的求解，該方程是根據(jù)二次曲線和線變換的相關原理推導出來的，而關于解出結(jié)果的方式，有幾種不同的算法。Faugeras的算法完全依賴于幾何計算，對浮點計算的要求出奇地高，當時的普通計算機很難滿足他的要求。Luong提出了另一種方案：基于連續(xù)同倫算法進行求解。這種方法對噪聲的要求降低，但卻對提取精度有著嚴苛的要求。這兩種方案都有獲取結(jié)果難度難度大的缺陷。逐級分層標定法：這類方法是對前一種的優(yōu)化，目的是解決其難以計算的難點。具體方法是：首先對圖像進行投影重建，然后施加曲面約束條件，最后使用仿射標定得出結(jié)果。一經(jīng)提出，這類方法就掀起一股熱潮。迅速取代了前一種方法，成為當時的標定主流方法。最著名的方案是由Hartley提出的對投射矩陣加以QR分解的解決方法。該方法大大