英文摘要 r e s e a r c ho fm a c h i n ev i s i o nb a s e do ns o c a b s t r a c t e m b e d d i n ge y ea n db r a i ni nm a c h i n ei sad r e a mf o rh u m a nb e i n g s m a c h i n ev i s i o n , a st h ee x t e n s i o no f h u m a nv i s i o na n db r a i n , i sam c a s u r eo f t h e d e g r e eo fa u t o m a t i o no f m o d e r ni n d l l s t r y w i t l lt h er a p i dd e v e l o p m e n to fs e m i c o n d u c t o rt e c h n o l o g y , e m e r g i n g t e c h n o l o g yw i l lg r a d u a l l ym a k et h ed r e a m sc o m e t r u e p r o d u c t sw i mv i s u a lf u n c t i o n h a v e b e e na p p l i e di i lv a r i o u sd o m a i n s ，a n di tw i l lp r o m o t ea n df a c i l i t a t et h ei n t e l l i g e n t d e v e l o p m e n to fa u t o m a t i o n i nt h i st h e s i s ，t h ei m p l e m e n to fe m b e d d e dm a c h i n ev i s i o n 、歷l lb er e s e a r c h e d t h es o c t e c h n o l o g y , i n c l u d i n gi pr a t l s ea n ds hc o - d e s i g n ，i sf i r s t l yi n t r o d u c e d , a n de s p e c i a l l y , s o f tc o r er e g a r d i n gs o p ct e c h n o l o g yw i l lb ec o n c r e t e l ya n a l y z e di i lt h i s p a p e r , s u c ha sn i o s l ia n dm i e r o b l a z e a n dt h e n ，im a i n l yc o n c e n t r a t eo nt h ei n t r o d u c t i o no fc c da n dc m o si m a g e s e n s o r , t h ec o m p a r i s o no ft h e i rd i f f e r e n c e s ，t h ep e r f o r m a n c ea n a l y s i so fm t 9 v 0 3 2 i m a g es e n s o rw i mg l o b a ls h u t t e r m t 9 v 0 3 2w i t hav i e wt od y n a m i cq u a l i t y , w h i c hi s m o r ep o w e r f u lt h a nc o m m o n i m a g es e n s o r , w i l lb ef i r s t l yu s e di l lt h i sd e s i g n i nt h ef o l l o w i n gp a p e r , t h em e c h a n i s mo fh a r d w a r ew i l lb ed e s c r i b e d ，i n c l u d i n gt h e f u n c t i o no fa l ls c h e m a t i cm o d u l e ，t h es e l e c t i o ns t a n d a r d so fc o n t r o l l e r , s r a ma n d p o w e rc h i p sa n dt h e i rt y p i c a lc o n f i g u r a t i o n s ，e s p e c i a l l yt h ep r e v e n t i o no fe m i c o n s i d e r i n gs i g n a li n t e g r i t ya n dp o w e ri n t e g r i t y f i n a l l y , t h es c h e m eo fs o f t w a r ew i l lb ei n t r o d u c e d ip r o v e dt h ef e a s i b i l i t yo f a p p r o a c ht r o u g hm a t l a b t h ei m a g ep r o c e s s i n gi pc o r ei sd e s i g n e dt ob ec o m p a t i b l e w i t ht h ep r o t o c o lo f a v a l o nb u s i ta c h i e v e st h ef u n c t i o no f t a r g e ti d e n t i f i c a t i o nw h e n u s i n gm o d e l s i mt os i m u l a t e t h en i o s l is y s t e mw i t hr c ，p i e ，u a r ta n di m a g e p r o c e s s i n gi pa r ec u s t o m i z e dt oc o n n e c t a c c o r d i n gt op a r a l l e lp o r tt r a n s f e ra g r e e m e n t , t h ef p g aa n dp ca c h i e v et h ec o m m u n i c a t i o n 1 1 1 es o f t w a r ei sc o m p i l e du n d e rt h e v i s u a ls t u d i o2 0 0 5 ，a n dt h ei m a g er e s u l t sw i t hh i g hq u a l i t ya r eg i v e n k e yw e r i d ：m t 9 v 0 3 2 ：s o p c ；n i o s i i ：f p g a ；m a c h i n ev i s i o n 大連海事大學(xué)學(xué)位論文原創(chuàng)性聲明和使用授權(quán)說明 原創(chuàng)性聲明 本人鄭重聲明：本論文是在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的成果， 撰寫成博= k 碩士學(xué)位論文= = 基王墨籩的狃墨狃鱟巫究= = 。除論文中已經(jīng)注明 引用的內(nèi)容外，對(duì)論文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方 式標(biāo)明。本論文中不包含任何未加明確注明的其他個(gè)人或集體已經(jīng)公開發(fā)表或未 公開發(fā)表的成果。 本聲明的法律責(zé)任由本人承擔(dān)。 論文作者簽名：杉l 勻年山。肄5 , 9 2 5 日 學(xué)位論文版權(quán)使用授權(quán)書 本學(xué)位論文作者及指導(dǎo)教師完全了解“大連海事大學(xué)研究生學(xué)位論文提交、 版權(quán)使用管理辦法，同意大連海事大學(xué)保留并向國家有關(guān)部門或機(jī)構(gòu)送交學(xué)位 論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)大連海事大學(xué)可以將 本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，也可采用影印、縮印或 掃描等復(fù)制手段保存和匯編學(xué)位論文。 保密口，在年解密后適用本授權(quán)書。 本學(xué)位論文屬于： 保密口 不保密口( 請(qǐng)?jiān)谝陨戏娇騼?nèi)打“4 ) 論文作者簽名：鄉(xiāng)蚴 導(dǎo)師 日期：紗細(xì)礦鄉(xiāng)月廠卵 基于s o c 的機(jī)器視覺研究 第1 章緒論 1 1 課題來源及背景 廣袤的大地上種植著大量的蔬菜等農(nóng)作物，在這些農(nóng)作物生長的過程當(dāng)中， 在早春播種過后有很長的一段時(shí)間需要給未發(fā)芽的種子蓋上塑料薄膜，以使這些 種子可以在很好的溫度、濕度和光照條件下發(fā)芽生長。當(dāng)種子發(fā)出綠色的新芽以 后，如果不盡快去掉這些覆蓋在上面的塑料薄膜，那么所發(fā)的新芽會(huì)因?yàn)楸∧じ?蓋而不透氣最終枯萎掉。以前都是用人工的方法，在看到新芽發(fā)出以后組織大量 的人用利器將薄膜捅破使新芽可以得到透氣，由于這些農(nóng)作物的土地種植面積龐 大，就需要大量的人力物力進(jìn)行這項(xiàng)工作，浪費(fèi)了很多人力物力。由此我們想到 了能不能制造一種可以通過自動(dòng)識(shí)別新發(fā)綠芽的位置并且可以自動(dòng)打孔的裝置。 本課題就是在此背景之下進(jìn)行的研究。 1 2 國內(nèi)外研究現(xiàn)狀 隨著半導(dǎo)體技術(shù)的發(fā)展，具備視覺功能的控制系統(tǒng)越來越多。很多領(lǐng)域中都 需要通過對(duì)當(dāng)前目標(biāo)的圖像信息進(jìn)行分析，從而控制電力傳動(dòng)系統(tǒng)的動(dòng)作，完成 相應(yīng)的任務(wù)。 機(jī)器視覺是用計(jì)算機(jī)模擬人的視覺功能從客觀事物的圖像中提取信息，進(jìn)行 處理并加以理解，最終用于檢測與控制1 】【2 】。圖示1 1 所示為一個(gè)典型的工業(yè)機(jī)器 視覺應(yīng)用系統(tǒng)：首先利用攝像機(jī)獲得被測目標(biāo)的圖像，圖像采集卡負(fù)責(zé)圖像存儲(chǔ) 和傳送，計(jì)算機(jī)再根據(jù)像素分布，亮度和顏色等信息，進(jìn)行各種運(yùn)算來抽取目標(biāo) 的特征，然后再根據(jù)預(yù)設(shè)的判別準(zhǔn)則輸出判斷結(jié)果，控制驅(qū)動(dòng)執(zhí)行機(jī)構(gòu)進(jìn)行相應(yīng) 處理。 第l 章緒論 圖像采集卡1|，工業(yè)計(jì)算機(jī) 控制機(jī)構(gòu) 疹 互卵【啊件 圖1 1 工業(yè)機(jī)器視覺系統(tǒng) f i g u r e1 1i n d u s t r i a lm a c h i n ev i s i o ns y s t e m 上述基于視覺的系統(tǒng)代替了人眼的功能，是對(duì)人眼的功能模擬，有著比人眼 更高的精度和速度【3 】。機(jī)器視覺在探測不可視物體和高危險(xiǎn)場景時(shí)，更具有其突出 的優(yōu)點(diǎn)。機(jī)器視覺技術(shù)現(xiàn)已得到廣泛的應(yīng)用。下面一一列舉說明： 機(jī)器視覺在工業(yè)檢測領(lǐng)域的應(yīng)用：機(jī)器視覺在工業(yè)檢測領(lǐng)域應(yīng)用，大幅度地 提高了產(chǎn)品的質(zhì)量和可靠性，保證了生產(chǎn)的速度。例如產(chǎn)品包裝印刷質(zhì)量的檢測、 半導(dǎo)體集成電路封裝質(zhì)量檢測、卷鋼質(zhì)量檢測和水果分級(jí)檢測等。如圖1 2 所示 的是在芯片安裝到印刷電路板上之前，檢測芯片的管腳是否符合要求。 圖1 2p c b 檢測 f i g u r e i - 2p c b t e s t 基于s o c 的機(jī)器視覺研究 機(jī)器視覺在機(jī)器人導(dǎo)航及視覺伺服系統(tǒng)的應(yīng)用：賦予機(jī)器人視覺是機(jī)器人研 究的重點(diǎn)之一，其目的是要通過圖像定位、圖像理解，向機(jī)器人運(yùn)動(dòng)控制系統(tǒng)反 饋目標(biāo)或自身的狀態(tài)與位置信息 4 1 。如圖1 3 所示： 圖1 3 機(jī)器視覺伺服系統(tǒng) f i g u r e l 3s e r v es y s t e mb a s e do nm a c h i n ev i s i o n 圖中的攝像機(jī)被固定在云臺(tái)下，一個(gè)機(jī)械手在一定范圍內(nèi)抓取和移動(dòng)工件， 攝像機(jī)利用動(dòng)態(tài)圖像識(shí)別與跟蹤算法，跟蹤被移動(dòng)工件，始終保持其處于視野的 正中位置。 以機(jī)器視覺為導(dǎo)向的機(jī)械手技術(shù)：上世紀(jì)8 0 年代初，在實(shí)驗(yàn)室開發(fā)的“揀選” 系統(tǒng)無法轉(zhuǎn)化為工廠的實(shí)際應(yīng)用。不過，現(xiàn)在有越來越多的跡象表明以機(jī)器視覺 為導(dǎo)向的機(jī)械手“揀選越來越接近現(xiàn)實(shí)。如圖l - 4 所示： 圖1 4 機(jī)器視覺機(jī)械手 f i g u r e l - 4m a n i p u l a t o rb a s e do nm a c h i n ev i s i o n 第1 章緒論 圖中是豐田汽車制造廠已經(jīng)在其發(fā)動(dòng)機(jī)零件加工線上使用了5 個(gè)機(jī)械手的“揀 選 系統(tǒng)。該系統(tǒng)采用a b b 公司的機(jī)械手，配有三維圖像技術(shù)，大大提高了工作 效率。 在國外，機(jī)器視覺在工業(yè)、農(nóng)業(yè)、國防領(lǐng)域獲得了廣泛的應(yīng)用；而在國內(nèi)， 機(jī)器視覺本身就屬于新興的領(lǐng)域，加之產(chǎn)品技術(shù)的普及不夠，該領(lǐng)域在各行業(yè)的 應(yīng)用才剛剛起步，隨著的制造業(yè)發(fā)展，國內(nèi)對(duì)于機(jī)器視覺的需求將呈上升趨勢。 1 3 本課題意義 本課題的主要目標(biāo)是將植物幼苗所呈現(xiàn)的綠色從圖像中辨別出來，并確定其 在圖像中所處的實(shí)際位置，微處理器根據(jù)該位置坐標(biāo)控制電機(jī)動(dòng)作。 傳統(tǒng)的機(jī)器視覺方案如圖1 5 所示蜘：這種圖像控制系統(tǒng)的成本高，組成的系 統(tǒng)龐大，要求運(yùn)行中必須配備工業(yè)計(jì)算機(jī)，難以適合嵌入式的應(yīng)用。 i 圖1 - 5 傳統(tǒng)圖像控制系統(tǒng) f i g u r e l - 5t r a d i t i o n a li m a g i n gc o n t r o ls y s t e m 隨著半導(dǎo)體技術(shù)的飛速發(fā)展，特別是具備高速運(yùn)算能力的d s p 、f p g a 的出現(xiàn) f 6 】【7 1 ，基于嵌入式的產(chǎn)品將取代板卡式產(chǎn)品。甚至在單個(gè)芯片上完成采集、處理、 決策的任務(wù)，替代了傳統(tǒng)視覺控制系統(tǒng)中的圖像采集卡和工業(yè)p c 機(jī)，使機(jī)器視覺 朝著小型化、低功耗、低成本的方向發(fā)展。如圖1 6 所示：此圖像控制系統(tǒng)在單芯 片上實(shí)現(xiàn)圖像采集、圖像處理的功能，甚至可以將控制決策部分也集成在內(nèi)。這 4 基于s o c 的機(jī)器視覺研究 樣大大降低了成本，真正實(shí)現(xiàn)了一個(gè)片上系統(tǒng)( s o c ) 【礬。因此，對(duì)嵌入式機(jī)器視 覺方案的研究具有重要的現(xiàn)實(shí)意義 9 1 。 圖l - 6 嵌入式圖像控制系統(tǒng) f i g u r e l - 6e m b e d e di m a g i n gc o n t r o ls y s t e m 5 第2 章s o c 技術(shù) 第2 章s o c 技術(shù) 2 1 設(shè)計(jì)重用與s o c 設(shè)計(jì) s o c ( s y s t e mo nc h i p ) 是指在單個(gè)芯片上實(shí)現(xiàn)信號(hào)采集、轉(zhuǎn)換、存儲(chǔ)、處理 和i o 等功能，從而實(shí)現(xiàn)一個(gè)系統(tǒng)的功能【1 0 1 。s o c 是在a s i c 的基礎(chǔ)上發(fā)展起來的， 具有很多不同于a s i c 的獨(dú)特的優(yōu)點(diǎn)。s o c 實(shí)現(xiàn)了一個(gè)系統(tǒng)的功能，速度快，集 成度高，功耗低。同時(shí)由于s o c 集成多個(gè)功能，使整機(jī)成本和體積大大降低，加 快了整機(jī)系統(tǒng)更新?lián)Q代的速度。s o c 的這些優(yōu)點(diǎn)正好順應(yīng)了通訊產(chǎn)品、消費(fèi)類、 工業(yè)控制類電子產(chǎn)品向體積小、重量輕、低功耗發(fā)展的趨勢。 當(dāng)s o c 的概念盛行的時(shí)候，許多專用芯片公司紛紛把微處理器內(nèi)核嵌入到自 己的a s i c 中，構(gòu)建自己的片上系統(tǒng)。其中用戶最多的要算a r m 這種處理器內(nèi)核 【】。a r m 不僅提供了嵌入式c p u ，同時(shí)還提供了s o c 的解決方案，包括內(nèi)部總 線，外設(shè)等。兩大p l d 供應(yīng)商a l t e r a 和x i l i n x 也分別把a(bǔ) r m 和p o w a r p c 硬核嵌 入到自己的f p g a 中，同時(shí)研發(fā)了外圍與內(nèi)核均可靈活定制的軟核。這種模塊可 定制的片上系統(tǒng)在客戶中取得了不錯(cuò)的口碑，并被稱之為s o p c i l 2 1 3 1 ( s y s t e mo i l p r o g r a m m a b l ec h i p ) 。 隨著芯片設(shè)計(jì)進(jìn)入s o c 時(shí)代，利用m 內(nèi)核進(jìn)行復(fù)用變得日益重要。m 復(fù)用 ( i p r e u s e ) 是指在集成電路設(shè)計(jì)過程中，通過繼承、共享或購買所需的智力知識(shí) 產(chǎn)權(quán)內(nèi)核，然后利用e d a 工具進(jìn)行設(shè)計(jì)、綜合與驗(yàn)證【1 4 1 。它可以加速芯片設(shè)計(jì)過 程，降低開發(fā)風(fēng)險(xiǎn)。i pr e u s e 已逐漸成為現(xiàn)代集成電路設(shè)計(jì)的重要手段。可重用i p 核大量應(yīng)用在s o c 的設(shè)計(jì)之時(shí)，基于應(yīng)用需求、規(guī)范協(xié)議和行業(yè)標(biāo)準(zhǔn)的不同，m 核的內(nèi)容也是千差萬別的。除了購買現(xiàn)有的i p 資源外，設(shè)計(jì)者可能還需要自己進(jìn) 行m 設(shè)計(jì)，為了使p 核易于訪問和集成，并具有良好的復(fù)用性，其設(shè)計(jì)必須嚴(yán)格 按照“設(shè)計(jì)復(fù)用方法學(xué)( r e u s em e t h o d o l o g y ) 的要求，按照一定的規(guī)范和準(zhǔn)則進(jìn) 行設(shè)計(jì)。 6 基于s o c 的機(jī)器視覺研究 2 2 軟硬件協(xié)同設(shè)計(jì) s o c 是微電子設(shè)計(jì)領(lǐng)域的一場革命，s o c 主要有3 個(gè)關(guān)鍵支持技術(shù)【1 5 】： 軟、硬件的協(xié)同設(shè)計(jì)技術(shù)，面向不同系統(tǒng)的軟件和硬件的功能劃分理論 口模塊庫技術(shù) 模塊界面間的綜合分析技術(shù) 其中軟硬件協(xié)同設(shè)計(jì)技術(shù)不僅是s o c 的重要特點(diǎn)，也是2 1 世紀(jì)1 1 r 業(yè)發(fā)展一 大趨勢。軟件硬件協(xié)同設(shè)計(jì)的流程如圖2 1 所示：第一步，用h d l 語言和c 語言 進(jìn)行系統(tǒng)描述并進(jìn)行模擬仿真與功能驗(yàn)證；第二步，對(duì)軟硬件進(jìn)行功能劃分，然 后分別用程序語言進(jìn)行設(shè)計(jì)，再綜合起來進(jìn)行功能驗(yàn)證；第三步，進(jìn)行軟件和硬 件詳細(xì)設(shè)計(jì)；第四步，最后進(jìn)行系統(tǒng)測試。 圖2 1 軟硬件協(xié)同設(shè)計(jì)流程圖 f i g u r e 2 一lh w - s wc o - d e s i g nd i a g r a m 軟硬件劃分是s o c 設(shè)計(jì)中的一個(gè)重要課題。其基本原則遵循高速、低功耗由 硬件實(shí)現(xiàn)；多品種、小批量由軟件實(shí)現(xiàn)；處理器和專用硬件并用以提高處理速度 和降低功耗。劃分的方法應(yīng)該從兩個(gè)方面著手：1 ) 面向s w ：從s w 到h w 滿足 時(shí)序要求；2 ) 面向h w ：從h w 到s w 降低成本【1 6 】。 7 第2 章s o c 技術(shù) 2 3 嵌入式微處理器ip 核 在s o p c 中最核心的部分就是嵌入式微處理器i p 核的設(shè)計(jì)和使用，其中比較 著名的有a l t e r a 公司的n i o s l i 和x i l i n x 公司的m i c r o b l a z e 等【1 7 瑚。下面對(duì)這兩種 著名的微處理器軟核進(jìn)行簡單的介紹。 1 ) n i o s i i n i o s l l 處理器是一個(gè)通用的3 2 位r i s c 處理器內(nèi)核，支持a v a l o n 總線，各個(gè) 模塊可以方便實(shí)現(xiàn)互聯(lián)。其內(nèi)核結(jié)構(gòu)如圖2 2 所示，其主要特點(diǎn)如下： 3 2 位指令集，獨(dú)立的數(shù)據(jù)空間與地址空間，可配置的指令和數(shù)據(jù)c a c h e 3 2 個(gè)通用寄存器，3 2 個(gè)優(yōu)良的外部中斷源 單指令3 2 * 3 2 乘除法，產(chǎn)生3 2 位結(jié)果，專用指令用來計(jì)算6 4 位或1 2 8 位 乘積 可以訪問多種片上外設(shè)，可以和片內(nèi)存儲(chǔ)器和外設(shè)接口 具有硬件協(xié)助的調(diào)試模塊，可以使處理器在i d e 中做各種調(diào)試工作 n i o s l i 處理器內(nèi)核有3 種類型，用來滿足不同設(shè)計(jì)的要求。它們分別是快速型、 經(jīng)濟(jì)型和標(biāo)準(zhǔn)型?？焖傩蚽 i o s l i 內(nèi)核具有最高的性能，性能相當(dāng)于a r m 9 ；經(jīng)濟(jì) 型n i o s l i 內(nèi)核具有最低的資源占用，性能相當(dāng)于5 l 單片機(jī)：而標(biāo)準(zhǔn)型n i o s l i 在性 能和面積之間做了一個(gè)平衡，性能相當(dāng)于a r m 7 。 2 ) m i c r o b l a z e x i l i n x 公司的m i c r o b l a z e 處理器核是業(yè)界最快的軟處理解決方案，支持 c o r e c o n n e c t 總線的標(biāo)準(zhǔn)，為m i c r o b l a z e 設(shè)計(jì)人員提供了兼容性和重用的方便性。 m i c r o b l a z e 處理器運(yùn)行在1 5 0 m h z 時(shí)鐘下，可提供1 2 5d m i p s 的性能，非常適合 設(shè)計(jì)針對(duì)網(wǎng)絡(luò)、電信、數(shù)據(jù)通信、嵌入式和消費(fèi)市場的復(fù)雜系統(tǒng)。 基于s o c 的機(jī)器視覺研究 a v a l o ns w i t c hf a b r i c 圖2 2 n i o s i i 結(jié)構(gòu) f i g u r e 2 - 2n i o s - i is t r u c t u r e 綜合上述特點(diǎn)，考慮到在獲取開發(fā)軟件上由于a l t e r a 公司提供了q u a r t u s l i 7 1 、 n i o s i ie d s7 1 、d s p b u i l d e r7 1 、w i n d o w si p 核和其在國內(nèi)優(yōu)良的服務(wù)。選用a l t e r a 的f p g a 作為核心數(shù)據(jù)采集處理：蒼片，選用n i o s l i 微處理器作為嵌入式i p 核。而 且在后續(xù)的實(shí)驗(yàn)中，再次證明了a l t e r a 公司的軟件在易用上確實(shí)優(yōu)于x i l i n x 公司 的軟件。 9 n盯， 灣b 協(xié)w 時(shí)戡蝴剛| | ；礬觸劍p 腑 第3 章c c d 與c m o s 圖像傳感器 第3 章c c d 與c m o s 圖像傳感器 3 1c c d 與c m o s 圖像傳感器結(jié)構(gòu) c c d 圖像傳感器最基本的單元是m o s ( 金屬氧化物半導(dǎo)體) 電容器，這些 電容器用同一半導(dǎo)體襯底制成，襯底上面生長均勻、連續(xù)的氧化層。各個(gè)金屬化 電極互相絕緣，保證電荷能夠順利轉(zhuǎn)移。c c d 圖像傳感器半導(dǎo)體絕緣表面上緊密 排列著許多電容器，它可以用來儲(chǔ)存和轉(zhuǎn)移以電荷包形勢出現(xiàn)的信號(hào)。硅半導(dǎo)體 有光電效應(yīng)，當(dāng)它受光照射時(shí)，產(chǎn)生的自由電子與光強(qiáng)成正比，故由許多光敏單 元組成的c c d 可作為傳感器元件。c c d 感光元件的表面為透光部分，位移寄存器 的表面為遮光部分。每一光敏單元產(chǎn)生的電荷正比于光強(qiáng)和光積分時(shí)剮1 9 】【2 0 】。 c m o s 圖像傳感器由光敏元陣列及輔助電路構(gòu)成，光敏元陣列是由光電二極 管和m o s 場效應(yīng)管陣列構(gòu)成的集成電路，每個(gè)光敏元內(nèi)集成有一個(gè)放大器，如圖 3 1 中右邊所示。c m o s 圖像傳感器由像素感光陣列、行選通邏輯、列選通邏輯、 定時(shí)和控制電路、模數(shù)轉(zhuǎn)換器( a d c ) 以及數(shù)字處理電路和接口電路構(gòu)成，c m o s 圖像傳感器的時(shí)序電路主要產(chǎn)生各種驅(qū)動(dòng)與控制脈沖；模擬信號(hào)處理電路集成了 自動(dòng)增益控制、自動(dòng)曝光控制、自動(dòng)白平衡等功能，片上功能可通過1 2 c 接口控制。 實(shí)際上c m o s 圖像傳感器是一個(gè)較完整的單片圖像系統(tǒng)( c a m e r ao nc h i p ) ，如圖 3 - 2 所示。 3 2c c d 與c m o s 圖像傳感器比較 由圖3 1 和圖3 2 的比較可以看到c c d 與c m o s 圖像傳感器的不同之處在于： c c d 作為目前主要的實(shí)用化固態(tài)圖像傳感器，具有噪聲低、動(dòng)態(tài)范圍大、響應(yīng)靈 敏高，以及成像質(zhì)量好等優(yōu)點(diǎn)。但由于c c d 圖像傳感器中的定時(shí)產(chǎn)生、驅(qū)動(dòng)放大、 自動(dòng)曝光控制、模數(shù)轉(zhuǎn)換以及信號(hào)處理等電路很難與像素陣列集成在同一芯片上， 以c c d 為基礎(chǔ)的圖像傳感器難以實(shí)現(xiàn)單片一體化，具有體積大、功耗高等缺點(diǎn)。 而c m o s 圖像傳感器作為近幾年發(fā)展較快的新型圖像傳感器，由于采用了c m o s 1 0 基于s o c 的機(jī)器視覺研究 技術(shù)，可以將像素陣列與外圍電路集成在同一塊芯片上，因而在速度、成本、集 成度、體積、功耗以及電路結(jié)構(gòu)設(shè)計(jì)等方面都有著比較大的優(yōu)勢。隨著技術(shù)的發(fā) 展，c m o s 圖像傳感器有趕超c c d 之勢【2 1 】【2 2 】【2 3 1 。鑒于以上優(yōu)勢，本設(shè)計(jì)圖像采 集部分選用c m o s 圖像傳感器。 c c d 光電轉(zhuǎn)換 崔藉鼉整 一一 盛一黔 c m o s _一鷺騖 匿 匿匿 _ f 丑盂。疏 瞪 匿瞪 ， rk j 匿 匿 瞪 瞪 匿 瞪 瞪 瞪 匿 瞪 瞪 瞬l 匿酵 瞪 。麓l 鏟f 一廣鏟f 一 r 岡 1。 圖3 - 1c m o s 與c c d 結(jié)構(gòu)差異 f i g u r e 3 - 1a r c h i t e c t u r ed i f f e r e n c eb e t w e e nc m o s & c c d 圖3 - 2 c m o s 與c c d 相機(jī)結(jié)構(gòu)對(duì)比 f i g u r e 3 - 2c a m e r aa r c h i t e c t u r ec o m p a r i s o nu s i n gc m o s & c c d o u t 第3 章c c d 與c m o s 圖像傳感器 3 3 電子曝光方式 目前，c m o s 圖像傳感器有兩種電子曝光方式【2 4 】，分別對(duì)應(yīng)兩種不同的快門。 1 ) 電子卷簾快門( e l e c t r o n i cr o l l i n gs h u t t e r ) 。大多數(shù)c m o s 傳感器采用這種 快門。對(duì)任一像素，在曝光開始時(shí)將其清零，等待曝光時(shí)間過后，將信號(hào)值讀出。 如圖3 3 所示，數(shù)據(jù)的讀出是串行的，所以清零、曝光、讀出也只能逐行順序進(jìn)行， 通常是從上至下，和機(jī)械的焦平面快f - 1 常像。 lrs西鰣que秘腿-_ l 。i n en u m b 茁 一 一、_ 。 lr v - v - _ v _ v - v - v v v 丫w v 1 rv1 -v 喲確 j lj-jj- 1 - v - v - _ _ 1 穢 v - v - ， v - v - j - 1 rvy 1 - 7 1 t i m ea x i s 7 f 1 臻辯l 攀t i m eh t e g t a t i o nt i m e 。l 1r1r 圖3 - 3 電子卷簾工作時(shí)序 f i g u r e 3 - 3e l e c t r o n i cr o l l i n go p e r a t i o nt i m i n g 2 ) 全局快門( g l o b a ls h u t t e r s n a p s h o ts h u t t e r ) 。該快門與電子卷簾快門的主 要的區(qū)別是：每個(gè)像素點(diǎn)增加了采樣保持單元，在指定時(shí)間內(nèi)對(duì)數(shù)據(jù)進(jìn)行采樣然 后順序讀出，這樣雖然后讀出的像素仍然在進(jìn)行曝光，但存儲(chǔ)在采樣保持單元中 的數(shù)據(jù)卻并未改變。如圖3 _ 4 所示，因圖像的積分時(shí)間相等，所以每個(gè)像素點(diǎn)在同 一瞬間曝光。這種結(jié)構(gòu)的瑕疵在于增加了每個(gè)像素的元件數(shù)目，使得填充系數(shù)降 低，所以很難設(shè)計(jì)出高分辨率的圖像傳感器。 1 2 基于s o c 的機(jī)器視覺研究 - l i n en u m b e r 圖3 _ 4 全局快門工作時(shí)序 f i g u r e 3 - 4g l o b a l s n a p s h o ts h u t t e ro p e r a t i o nt i m i n g 目前只有m i c r o n 和c y p r e s s 生產(chǎn)具有全局快門的c m o s 傳感科2 5 】【2 6 1 ，主要用 于機(jī)器視覺和超高速攝影，最高分辨率為4 0 0 萬像素，m t 9 v 0 3 2 就是m i r n 基于 全局快門的圖像傳感器。采用全局快門的相機(jī)即使在物體高速運(yùn)動(dòng)時(shí)也不會(huì)產(chǎn)生 拖影與畸變。如圖3 5 所示，與般的圖像傳感器相比，具備全局快門的圖像傳感 器能夠拍到運(yùn)動(dòng)物體的“靜態(tài) 效果。 本課題要求在運(yùn)動(dòng)的過程中，能拍到清晰的圖像，并且沒有拖影和畸變，正 是由于m t 9 v 0 3 2 這樣的特性，因而采用此c m o s 圖像傳感器作為圖像采集芯片。 下面對(duì)m t 9 v 0 3 2 的特性作簡單介紹。 1 3 a j - j 1 ， 卜 o j a i l f w f t u z i- 硒v _ 比 一i 艮研 z 墨 o 夏 - 1 ， 警z 照 oo 1 r u暑 j l 警 ， j o 1 ， _ ) 1 黼 t i m eal 【i s r jl 1 i n t e g r a t i o nt i m e 7 j b u r tr e a d o u tw i m e k 第3 章c c d 與c m o s 圖像傳感器 ”鷲溺鬃湖霧，溪 圖3 5 全局快門特點(diǎn)對(duì)比 f i g u r e 3 - 5a 塒刪s t i c 8c o m p a r i s o no fg l o b a l s n a p s h o ts h u t t e r 3 4m t 9 v 0 3 2 介紹 m i c r o n 的1 3 英寸、寬v g a 圖像傳感器m t 9 v 0 3 2 能讓相機(jī)在同一地點(diǎn)看清 黑暗和明亮區(qū)域。大多數(shù)圖像傳感器的動(dòng)態(tài)范圍在4 5 d b 左右，而這款圖像傳感器 動(dòng)態(tài)范圍達(dá)到1 0 0 d b ，接近紅外的敏感度2 7 1 。其主要特點(diǎn)如下： d i g i t a l c l a r i t y t m c m o s 圖像技術(shù) 寬屏v g a7 5 2 h * 4 8 0 v 輸出 1 3 英寸光學(xué)格式 6 u m * 6 u m 像素尺寸 可供選擇彩色和單色模式 逐行掃描，隔行掃描模式 全局快門光電像素；瞬間積分讀出 二線串行接口 片內(nèi)l o 位模擬數(shù)字轉(zhuǎn)換( a d c ) 四個(gè)獨(dú)立串行控制寄存器i d 支持多傳感器共用總線 1 4 一一 基t - s o c 的機(jī)器視覺研究 第4 章系統(tǒng)硬件設(shè)計(jì) 4 1 硬件設(shè)計(jì)原理 為實(shí)現(xiàn)本機(jī)器視覺系統(tǒng)中的軟硬件功能，設(shè)計(jì)如下f p g a 采集控制板。在充 分考慮性價(jià)比和設(shè)計(jì)功能的基礎(chǔ)上，決定采用a l t e r a 公司c y c l o n e 系列的f p g a 2 8 1 ， 它是a l t e r a 公司一款低成本f p g a ，主要定位在終端市場，如消費(fèi)類電子、計(jì)算機(jī)、 工業(yè)和汽車等領(lǐng)域。該系列產(chǎn)品中的e p l c 6 t 1 4 4 c 8 芯片包括5 9 8 0 個(gè)邏輯單元 ( l e ) 、2 0 個(gè)m 4 kr a m 、2 個(gè)輸入鎖相環(huán)、9 8 個(gè)可編程i o 口，能滿足本設(shè)計(jì)要 求。 開發(fā)板要完成的任務(wù)具體包括： 1 ) f p g a 控制c m o s 圖像傳感器m t 9 v 0 3 2 的圖像采集處理 2 ) f p g a 對(duì)電機(jī)位置反饋信號(hào)的采集 3 ) f p g a 對(duì)電機(jī)的控制 4 ) f p g a 與p c 機(jī)之問的通訊 h4 1 系統(tǒng)功能圖 f i g u r e 4 1s y s t e mf u n c t i o nd i a g r a m 第4 章系統(tǒng)硬件設(shè)計(jì) 如圖4 _ 1 所示，系統(tǒng)以e p l c 6 t 1 4 4 c 8 為控制核心，實(shí)現(xiàn)c m o s 圖像傳感器與 f p g a 、f p g a 與p c 機(jī)、f p g a 與電機(jī)控制部分的數(shù)據(jù)通訊。功能的實(shí)現(xiàn)過程如下： 當(dāng)f p g a 接收到同步信號(hào)，開始一幀圖像采集，其內(nèi)部圖像處理單元對(duì)數(shù)據(jù)進(jìn)行 處理。f p g a 根據(jù)處理結(jié)果給電機(jī)一個(gè)啟動(dòng)脈沖，將接收到的電機(jī)位置反饋信號(hào)與 處理結(jié)果進(jìn)行比較，適時(shí)地給出停止信號(hào)，完成一次控制。 圖4 2 描述的是數(shù)據(jù)在f p g a 控制模塊與其它模塊之間的流動(dòng)狀況。其中，i 2 c 總線信號(hào)負(fù)責(zé)對(duì)m t 9 v 0 3 2 的工作方式進(jìn)行設(shè)置，u a r t 串口信號(hào)用于實(shí)時(shí)程序調(diào) 試，位置反饋信號(hào)用于電機(jī)位置的檢測。 f i g u r e 4 - 2i l l u s t r a t i o no f ：d a t af l o w 4 2 模塊結(jié)構(gòu)描述 整個(gè)電路板可以分為以下6 個(gè)模塊： 1 6 基于s o c 的機(jī)器視覺研究 4 2 1 電源供給模塊 圖4 _ 3 為電源模塊結(jié)構(gòu)圖，系統(tǒng)要求有3 3 v ，1 5 v 的電壓輸入。表4 - l 中給 出了核心器件的工作電流和預(yù)估最大工作電流，加上其它器件，最大工作電流i 預(yù)計(jì)在5 0 0 m a 左右，為留兩倍的電流裕量，電源至少能提供1 5 a 的電流。這里 選用凌特公司【2 9 1 的線性電壓調(diào)節(jié)器l t l 0 8 6 3 3 將5 v 電壓轉(zhuǎn)化為3 3 v ，其電流輸 出能力達(dá)1 5 a ；選用a m s i l l 7 1 5 將5 v 電壓轉(zhuǎn)化為1 5 v ，其電流輸出能力達(dá)1 a ， 滿足系統(tǒng)對(duì)電源的要求。圖是l t l 0 8 6 的典型應(yīng)用圖，1 0 u f 的電容用于電源濾 波。 圖4 3 電源模塊結(jié)構(gòu)圖 f i g u r e 4 3p o w e rp a r td i a g r a m 表4 1 工作電流 t a b l e 4 - 1w o r k i n gc u r r e n t 器件工作電壓典型工作電流最大工作電流 e p l c 6 3 3 v 1 7 5 m a2 0 0 m a m t 9 v 0 3 2 3 3 v 9 7 m a1 0 0 m a s r a m 3 3 v 9 5 m a1 0 0 m a 第4 章系統(tǒng)硬件設(shè)計(jì) 圖l t l 0 8 6 典型應(yīng)用圖 f i g u r e 4 - 4t y p i c a lc o n f i g u r a t i o no fl t l0 8 6 4 2 2 圖像傳感器模塊 本模塊采用m i r e o n 公司新一代基于d i g i t a l c l a r i t y l m c m o s 圖像技術(shù)和全局快 門( g l o b a ls h u t t e r ) 技術(shù)的專用機(jī)器視覺產(chǎn)品m t 9 v 0 3 2 。其典型應(yīng)用如圖4 5 所 示，m t 9 v 0 3 2 由有源晶振提供2 7 m 時(shí)鐘輸入，f p g a 通過1 2 c 總線對(duì)圖像傳感器 的工作方式進(jìn)行設(shè)置，圖像數(shù)據(jù)通過d o u t 9 ：0 數(shù)據(jù)端1 ：3 ，在時(shí)序同步信號(hào)p i x e l k 、 l i n ev a l i d 、f r a m ev a l i d 的控制下，傳送給f p g a 。 1 8 基于s o c 的機(jī)器視覺研究 4 2 3 存儲(chǔ)器模塊 存儲(chǔ)器模塊擴(kuò)展了一片5 1 2 k b y t es r a m 用于圖像存儲(chǔ)，圖像的分辨率為 7 5 2 * 4 8 0 ，對(duì)應(yīng)存儲(chǔ)空間大小為3 6 0 9 6 0 字節(jié)，故5 1 2 k b y t e 的容量已經(jīng)能滿足系統(tǒng) 要求。這里采用i s s i 公司的5 1 2 k * 8 b i t 的i s 6 1 l v 5 1 2 8 a l 3 0 】【3 1 i s r a m ，它是一款 高速c m o s 靜態(tài)r a m ，其數(shù)據(jù)訪問時(shí)間高達(dá)1 0 n s 。存儲(chǔ)器結(jié)構(gòu)如圖4 - 6 所示，地 址線為1 9 根，數(shù)據(jù)寬度為8 位，對(duì)應(yīng)的容量為5 1 2 k 。 圖鈾s r a m 結(jié)構(gòu)圖 f i g u r e 4 - 6a r c h i t e c t u r eo fs r a m 4 2 4 電機(jī)驅(qū)動(dòng)模塊 項(xiàng)目的電機(jī)驅(qū)動(dòng)部分已有現(xiàn)成的模塊，原理是采用一個(gè)專用集成芯片 l 6 2 3 5 控制直流無刷電機(jī)【3 2 】?，F(xiàn)簡要說明該集成芯片的特點(diǎn)： 霍爾傳感器輸入，內(nèi)置解碼邏輯 內(nèi)置的固定間歇( o 舯時(shí)間p w m 電流控制 頻率電壓變換器 工作頻率達(dá)到1 0 0 k h z 高側(cè)開關(guān)管過電流保護(hù) 一 豫 一 第4 章系統(tǒng)硬件設(shè)計(jì) 交叉導(dǎo)通保護(hù) 過熱關(guān)機(jī)保護(hù) c m o s t t l 輸入的正反轉(zhuǎn)控制 內(nèi)置快速恢復(fù)二極管 欠電壓保護(hù) 其典型應(yīng)用如圖4 - 7 所示。其中，f p g a 控制l 6 2 3 5 的e n a b l e 、f w d r e v 、 b r a k e 三個(gè)信號(hào)端，從而控制電機(jī)的停止，正轉(zhuǎn)，反轉(zhuǎn)。為了減小電機(jī)驅(qū)動(dòng)部分 對(duì)f p g a 信號(hào)的干擾，將f p g a 控制板和驅(qū)動(dòng)板分開設(shè)計(jì)。 圖”l 6 2 3 5 典型應(yīng)用圖 f i g u r e 4 - - 7t y p i c a lc o n f i g u r a t i o no fl 6 2 3 5 4 2 5 串口通訊模塊 f p g a 的電壓輸出及板級(jí)工作電壓均為3 3 v ，故要采用3 3 v 電壓兼容的串口 通訊芯片。這里采用m a x i m 公司的通用串口芯片m a x 3 2 3 2 。圖4 _ 8 為典型應(yīng)用 圖。 基于s o c 的機(jī)器視覺研究 圖4 8m a x 3 2 3 2 應(yīng)用圖 f i g u r e 4 - 8t y p i c a lc o n f i g u r a t i o no fm a x 3 2 3 2 4 2 6f p g a 核心控制模塊 e p l c 6 t 1 4 4 c 8 引腳定義及與外圍器件的連接方式如表4 - 2 所示。為了增加電 路調(diào)試的靈活性，s r a m 、串口模塊、并口通訊接口、c m o s 圖像傳感器模塊均可 選擇性使用。 表4 2 引腳鎖定 t a b l e 4 2p i nl o c k 器件引腳f p g a 引腳 s r a m 引腳接口定義 a 01 4 2 a 11 4 1 a 21 4 0 a 3 1 3 9 a 41 3 4 a 5 1 2 5 a 61 2 4 第4 章系統(tǒng)硬件設(shè)計(jì) a 7 1 2 3 a 81 2 2 a 9 1 2 1 a l o1 2 0 a l l 1 1 9 a 1 21 1 4 a 1 3 1 1 3 a 1 41 1 2 a 1 5 1 0 6 a 1 61 0 5 a 1 71 0 4 a 1 81 0 3 1 0 01 3 2 i o l1 3 l i c 眨1 3 0 1 0 31 2 9 1 0 4l l l 1 0 5 ll o 1 0 61 0 9 1 0 71 0 8 n r e1 2 8 n c e1 3 3 1 1 0 i e1 0 7 m t 9 v 0 3 2 引腳接口定義 d 02 8 d l3 l d 2 3 2 d 33 3 d 4l l d 51 0 d 67 d 76 d 85 基于s o c 的機(jī)器視覺研究 d 94 l i n e v a l i d 3 f r a m e v a l i d 2 p c l k 1 6 并口引腳接口定義 e p p w a i t l o o e p pa s9 9 e p p r s t 9 8 e p p d s 9 7 e p p _ n w e 9 6 e p p d i r 8 5 e p pd o8 4 e p pd l8 3 e p pd 28 2 e p pd 37 9 e p pd 47 8 e p pd 57 7 e p pd 67 6 e p pd 77 5 4 3 電磁兼容及抗干擾技術(shù) 對(duì)于高速數(shù)字系統(tǒng)設(shè)計(jì)，必須考慮電子系統(tǒng)的電磁兼容性3 3 1 。如果設(shè)計(jì)中不 遵循一定的原則，必然會(huì)帶來干擾，嚴(yán)重時(shí)直接影響電路的正常工作。系統(tǒng)設(shè)計(jì) 的問題主要體現(xiàn)在信號(hào)完整性、電源完整性和高速系統(tǒng)設(shè)計(jì)等方面【3 4 f 3 5 1 ，下面就 信號(hào)完整性和電源完整性內(nèi)容加以說明。 4 3 1 信號(hào)完整性 所謂的信號(hào)完整性( s i g n a li n t e g r i t y ) ，就是要使信號(hào)具有良好的物理特性，防 止其產(chǎn)生信號(hào)畸變?？梢园研盘?hào)完整性問題歸納成三類：傳輸線效應(yīng)；不同信號(hào) 線之間的串?dāng)_；電源地噪聲。 第4 章系統(tǒng)硬件設(shè)計(jì) 1 ) 傳輸線效應(yīng) 在一個(gè)信號(hào)傳輸?shù)倪^程中，如果信號(hào)的邊沿時(shí)間足夠快，短于六倍的信號(hào)傳 導(dǎo)延時(shí)，那么在信號(hào)傳輸過程中，傳輸媒介就會(huì)表現(xiàn)傳輸線效應(yīng)。這樣，信號(hào)在 媒介上傳輸就像波浪在水中傳輸一樣，會(huì)產(chǎn)生波動(dòng)與反射現(xiàn)象。 信號(hào)在傳輸?shù)倪^程中，傳輸線等效一個(gè)電阻，這個(gè)電阻值稱為傳輸線的特征 阻抗( c h a r a c t e r i s t i ci m p e d a n c e ) 。如果線路的特征阻抗不連續(xù)，就會(huì)使得入射信號(hào) 產(chǎn)生反射現(xiàn)象。導(dǎo)致阻抗不連續(xù)的原因很多。因此在設(shè)計(jì)p c b 時(shí)，必須保持傳輸 線由始至終阻抗盡量連續(xù)。 2 ) 串?dāng)_ 所謂的串?dāng)_( c r o s s 眥k ) 是指在兩個(gè)相鄰的信號(hào)走線之間，其中一條走線上 的電流發(fā)生改變，同時(shí)會(huì)在另外一條走線上耦合出一定的噪聲電流。如圖4 9 所示， 串?dāng)_只有在相鄰走線上的電流發(fā)生改變時(shí)才會(huì)發(fā)生，一般為信號(hào)的上升沿或下降 沿。 嬲镕霪渺一 _ 圖4 - 9 串?dāng)_示意圖 f i g u r e 4 - 9c r o s st a l kd i a g r a m 要減小串?dāng)_的影響，方法有很多，從根本一點(diǎn)就是減小信號(hào)網(wǎng)絡(luò)之間的耦合 效應(yīng)。例如，把同一層走線盡量遠(yuǎn)離一點(diǎn)，在相鄰信號(hào)層的走線盡量不要平行， 以減少信號(hào)線之間的耦合。另外，把信號(hào)走線與參考平面的間距減小，也有助于 減小走線之間的耦合，這樣信號(hào)線會(huì)更多的耦合到參考平面上，而不是相鄰的信 號(hào)線上。 3 ) 電源地噪聲 2 4 基于s o c 的機(jī)器視覺研究 理想情況下，認(rèn)為供電電源都是恒定不變的。但是實(shí)際并非如此。在系統(tǒng)中 的電源和地經(jīng)常受到外界和內(nèi)部噪聲的干擾，使得電源表現(xiàn)出一定的波動(dòng)，這種 波動(dòng)又是會(huì)嚴(yán)重影響系統(tǒng)的可靠性。設(shè)計(jì)電源最主要的目的就是使得電源分配系 統(tǒng)在相當(dāng)寬的噪聲頻率范圍內(nèi)表現(xiàn)出較低的交流( a c ) 阻抗，使得因各種噪聲造 成的電源地平面的波動(dòng)幅度盡量減小，以保持穩(wěn)定的供電。 減小電源分配系統(tǒng)之間的阻抗有以下辦法可以采用：使電源平面和地平面之 間的間距盡量減??；盡量采用薄的介質(zhì)；采用低電感的去耦電容。 4 3 2 電源完整性 由于芯片工藝的不斷改進(jìn)，從0 3 5 u r n 、0 1 8 u r n 、0 1 3 u r n 到目前的9 0 n m 甚至 6 5 r i m ，芯片的內(nèi)核電壓也在不斷降低，從3 3 v 、1 8 v 、1 s v 到9 0 n m 的1 2 v ，芯 片對(duì)電源的波動(dòng)越來越敏感。保持電源的完整性，就是保持電源的穩(wěn)定供電。 由于系統(tǒng)中總是存在著不同頻率的噪聲，首先我們需要把電源分配系統(tǒng)與外 界很好的隔離開來，電源系統(tǒng)與外界主要的連接途徑的電壓