1、機(jī) 器 視 覺 技 術(shù) 工程應(yīng)用案例簡介,廣州市 暨南大學(xué) 信息科技學(xué)院 電子工程系 王 思 華 教 授 E-mail: twangsh,1,手機(jī)接口電路板機(jī)器視覺自動檢測系統(tǒng)（1）,生產(chǎn)現(xiàn)場的自動檢測系統(tǒng),2,手機(jī)接口電路板機(jī)器視覺自動檢測系統(tǒng)（2）,自動檢測系統(tǒng)的主界面,3,手機(jī)接口電路板機(jī)器視覺自動檢測系統(tǒng)（3）,檢測對象（正面）,檢測對象（反面）,4,手機(jī)接口電路板機(jī)器視覺自動檢測系統(tǒng)（3）,該系統(tǒng)由光源、鏡頭、攝像頭、圖像采集卡、精密XY運動平臺、計算機(jī)和專門開發(fā)的應(yīng)用軟件組成，用于檢測手機(jī)接口電路板質(zhì)量，其中包括檢測每個接口電路板中的三個器件的位置和尺寸等參數(shù)。系統(tǒng)實現(xiàn)了大批量電路

2、板組件質(zhì)量的快速準(zhǔn)確檢驗。 被檢測的大電路板上包含有30 個接口電路板，為了保證測量精度，每次檢測只針對一個接口電路板。因此，必須通過XY運動平臺移動電路板。電路板檢測完后才進(jìn)行分割，并淘汰不合格產(chǎn)品。 系統(tǒng)采用美國NI公司先進(jìn)的機(jī)器視覺技術(shù)，還有數(shù)據(jù)記錄和分析的功能。該系統(tǒng)具有測量準(zhǔn)確、快速、擴(kuò)展性強(qiáng)和性價比高等特點。該技術(shù)可適用于其他小型的電子和機(jī)械零部件的幾何尺寸測量。,5,機(jī)器視覺定位三角鋼琴專用數(shù)控鉆床（1）,生產(chǎn)現(xiàn)場中的專用數(shù)控鉆床,6,機(jī)器視覺定位三角鋼琴專用數(shù)控鉆床（2）,機(jī)器視覺定位子程序界面,鋼琴的琴弦和弦柱,光源與相機(jī)的密封盒,激光測距模塊,7,機(jī)器視覺定位三角鋼琴專用數(shù)

3、控鉆床（3）,該項目專門為我國最大的鋼琴制造企業(yè)開發(fā)，用于三角鋼琴弦柱安裝孔的加工。機(jī)器視覺技術(shù)在此項目中解決 了大尺寸笨重設(shè)備加工的準(zhǔn)確定位問題。其主要技術(shù)指標(biāo)有： 1. 機(jī)床加工范圍150035060mm； 2. 鉆孔位置的精度： 0.1mm，其中的機(jī)器視覺定位精度指標(biāo) 為 0.02mm； 3. 鋼琴一次裝夾的鉆孔數(shù)量為230多個，可加工15種以上的型號 規(guī)格的三角鋼琴。該系統(tǒng)采用NI的機(jī)器視覺技術(shù)，系統(tǒng)中的 三軸控系統(tǒng)亦由本研究室自行設(shè)計； 4. 鉆孔的角度偏差小于 0.5度， 鉆孔的斜度為84度。為此， 系統(tǒng)中還采用了激光測距傳感器在鉆孔前對琴面進(jìn)行水平檢 測，以保證鉆孔斜度指標(biāo)符合技

4、術(shù)要求。,8,生物醫(yī)學(xué)微粒檢測與分析系統(tǒng)（1）,9,生物醫(yī)學(xué)微粒檢測與分析系統(tǒng)（2）,該項目主要任務(wù)是利用機(jī)器視覺技術(shù)實現(xiàn)粒子的檢測和分析。是用于微?。◣资翈装偌{米直徑）顆粒的動態(tài)檢測，主要任務(wù)是測量單位時間內(nèi)流經(jīng)小管內(nèi)的微粒的數(shù)量和每個粒子的粒徑，并對顆粒大小分布狀態(tài)進(jìn)行分析。 系統(tǒng)配置了激光光源、顯微鏡頭與高分辨率數(shù)字?jǐn)z像頭。此外還配置了電動輸液器，用來驅(qū)動載有微小粒子的液體的流動。 注：該項目是與企業(yè)合作的項目，我們承擔(dān)其中的機(jī)器視覺軟件的開發(fā)任務(wù)。,10,機(jī)器視覺微型電子器件質(zhì)量檢測系統(tǒng)（1）,生產(chǎn)現(xiàn)場的檢測系統(tǒng),檢測系統(tǒng)主界面,11,機(jī)器視覺微型電子器件質(zhì)量檢測系統(tǒng)（2）,該系統(tǒng)的

5、主要工作流程和功能簡介如下： 1. 左側(cè)數(shù)字相機(jī)拍攝進(jìn)料盒中的器件（毫米級尺寸），然后進(jìn)行圖像粒子分析，精確測量出每 一個器件的位置和偏轉(zhuǎn)角度； 2. PLC控制左側(cè)機(jī)械臂拾取一個器件,調(diào)整其角度，并送往測試位； 3. 右側(cè)數(shù)字相機(jī)在測試位拍攝該器件圖像，并通過圖像處理方式對器件進(jìn)行分類； 4. 通過專門的檢測儀器對器件的性能進(jìn)行檢測、分級和統(tǒng)計； 5. PLC控制右側(cè)機(jī)械臂取走器件，并根據(jù)器件級別投放在不同的出料盒中； 6. 如果進(jìn)料盒中的器件還未取完，就回到第一道工序重復(fù)上述的流程。 7. 進(jìn)料盒取空或出料盒滿的話，設(shè)備暫停，人工方式更換進(jìn)料盒或出料盒。 注：該項目是與企業(yè)合作的項目，我們

6、承擔(dān)其中機(jī)器視覺以及PC與PLC通信軟件的開 發(fā)工作。,12,高速卷簧機(jī)技術(shù)改造中的機(jī)器視覺應(yīng)用（1）,測試工作現(xiàn)場的圖片,13,高速卷簧機(jī)技術(shù)改造中的機(jī)器視覺應(yīng)用（2）,推桿與送線輪運動特征測量,14,高速卷簧機(jī)技術(shù)改造中的機(jī)器視覺應(yīng)用（3）,該項目是一個利用機(jī)器視覺技術(shù)協(xié)助解決機(jī)電設(shè)備設(shè)計問題的案例。我們的合作單位在試制新型高速卷簧機(jī)的過程（其中包括卷簧、打結(jié)和熱處理等工序）中，在高速運行（每分鐘制作80個以上的彈簧）時遇到彈簧晃動大，以至于設(shè)備難以連續(xù)穩(wěn)定地工作。該設(shè)備用于生產(chǎn)多種規(guī)格的床墊彈簧。 該項目采用的技術(shù)方案包括： 1. 首先用高速攝像機(jī)拍攝卷簧過程中相關(guān)部件的動作過程，通過慢

7、動作回 放就可以清楚地觀察到卷簧過程，為定性分析問題的所在提供了條件。 我們使用過專業(yè)高速攝像機(jī)和具有高速（每分鐘300幀）攝像功能的民用 數(shù)碼相機(jī)進(jìn)行拍攝。實驗結(jié)果表明，后者已能滿足我們的應(yīng)用需求，其 價格大大低于前者。 2. 在卷簧過程中，利用機(jī)器視覺技術(shù)測量送線（鋼線）、推桿、剪簧和接 簧等動作的相關(guān)運動部件位置的動態(tài)數(shù)據(jù)，再分析各個配件之間的配合 和同步狀況，為解決問題提供定量分析的依據(jù)。,15,機(jī)器視覺彈簧機(jī)械性能自動檢測系統(tǒng) （1）,16,該系統(tǒng)是在研究項目，用于彈簧的機(jī)械性能的檢測，其中基于機(jī)器視覺技術(shù)的測量功能包括：彈簧最大外徑、最小外徑、螺距和螺旋線軌跡的檢測，以及上述數(shù)據(jù)的

8、統(tǒng)計分析。而其他功能主要有：彈簧剛度測量和動態(tài)荷重-行程曲線圖表繪制等。 該系統(tǒng)采用自主開發(fā)的智能相機(jī)和數(shù)控子系統(tǒng)。,機(jī)器視覺彈簧機(jī)械性能自動檢測系統(tǒng) （1）,檢測系統(tǒng)的人機(jī)界面之一,17,計算機(jī)輔助圖案設(shè)計系統(tǒng)（1）,18,計算機(jī)輔助圖案設(shè)計系統(tǒng)（2）,該系統(tǒng)用于絎縫設(shè)備和激光打標(biāo)/切割設(shè)備的圖案設(shè)計，其主要功能有： 1. 圖像采集：通過數(shù)字?jǐn)z像頭連續(xù)采集花紋圖案的圖像，再通 過圖像采集卡將圖像傳送到計算機(jī)內(nèi)。 2. 攝像頭參數(shù)設(shè)置與調(diào)整功能：用戶可根據(jù)實際情況通過人機(jī) 界面上的控件對攝像頭的幀速、曝光時間、增益和濾波等參 數(shù)進(jìn)行調(diào)整，以獲得最佳的圖像拍攝效果。 3. 圖像濾波和邊緣檢測功能

9、：用戶可選擇不同的濾波算法提高 圖像的質(zhì)量，然后通過邊緣檢測獲得目標(biāo)圖案的清晰輪廓。 4. 圖案輪廓特征點數(shù)據(jù)文件生成：通過鼠標(biāo)點擊或半自動的方 式，選定圖案輪廓特征點，并自動生成圖案輪廓數(shù)據(jù)文件 。,19,機(jī)器視覺定位激光切割機(jī)（1）,20,機(jī)器視覺定位激光切割機(jī)（2）,在激光切割機(jī)工作過程中，由于加工對象通常無法準(zhǔn)確放置在特定的位置上，因此必須先做加工對象的定位工作。該設(shè)備采用機(jī)器視覺技術(shù)解決精確定位問題，其主要技術(shù)特點是： 1. 采用兩級定位的方式，設(shè)備頂部安裝了一臺相機(jī)，視場比較 大，用于粗定位；而在激光頭旁邊有安裝有另一臺相機(jī)，視 場小，用于精確定位。為準(zhǔn)確加工奠定基礎(chǔ)。 2. 該設(shè)

10、備可配置前面介紹過的“計算機(jī)輔助圖案設(shè)計系統(tǒng)”， 作為切割圖案的設(shè)計工具。 3. 利用機(jī)器視覺技術(shù)檢測切割質(zhì)量是該項目的研究內(nèi)容之一。 注：該設(shè)備采用我們自主研發(fā)的智能相機(jī)和數(shù)控系統(tǒng)。該項目是一個在研 項目。,21,自主研發(fā)的智能相機(jī)（1）,基于DM642芯片的A型智能相機(jī),基于DM6437 芯片的B型智能相機(jī),22,自主研發(fā)的智能相機(jī)（2）,智能相機(jī)一種高度集成化的小型機(jī)器視覺系統(tǒng)。它將圖像采集、圖像處理、數(shù)字I/O與通信功能集成在相機(jī)之中，可提供各種多功能、模塊化、高可靠性、易于開發(fā)的機(jī)器視覺解決方案。此外，由于應(yīng)用了最新的DSP、FPGA及大容量存儲技術(shù)，以及圖像處理技術(shù)的不斷進(jìn)步，其智

11、能化程度不斷提高，可滿足很多生產(chǎn)過程中的機(jī)器視覺應(yīng)用需求。 我們自主研發(fā)的兩種型號的智能相機(jī)分別采用DM642和DM6437 DSP芯片作為主處理器，有以太網(wǎng)和數(shù)字I/O接口，分辨率有130萬像素和300萬像素兩種規(guī)格，最高幀速為15幀/秒，鏡頭的信號與規(guī)格可依據(jù)具體應(yīng)用需求進(jìn)行配置。 以上兩種智能相機(jī)有自帶圖像處理算法庫，允許用戶根據(jù)具體應(yīng)用要求進(jìn)行二次開發(fā)，用戶可采用無編程方式方便快捷地完成機(jī)器視覺應(yīng)用系統(tǒng)開發(fā)。該智能相機(jī)正應(yīng)用于激光加工設(shè)備、絎縫設(shè)備和彈簧檢測系統(tǒng)等工程應(yīng)用項目之中。,23,自主研發(fā)的開放式數(shù)控系統(tǒng)（1）,24,自主研發(fā)的開放式數(shù)控系統(tǒng)（2）,機(jī)器視覺應(yīng)用往往與運動控制技

12、術(shù)相關(guān)聯(lián)，因此，現(xiàn)簡單介紹一下我們自主研發(fā)的開放式數(shù)控系統(tǒng)。 1. 開放式專用數(shù)控系統(tǒng)主要特點 （1）開放性：允許第三方做二次開發(fā)，訂制特殊功能； （2）嵌入式：基于ARM或DSP，降低成本，增加可靠性； （3）運動控制：步進(jìn)電機(jī)與伺服電機(jī)接口； （4）邏輯控制：PLC或MPC功能； （5）通信能力：有現(xiàn)場總線通信與以太網(wǎng)通信功能； （6）機(jī)器視覺信號接口：以太網(wǎng)口。 2. 開放式專用數(shù)控系統(tǒng)主要技術(shù)指標(biāo) （1）控制軸數(shù)：16軸，聯(lián)動軸數(shù)：3軸； （2）直線插補(bǔ)、圓弧插補(bǔ)、螺旋線插補(bǔ)、NURBS插補(bǔ)、回零、急停等運動 控制函數(shù)庫； （3）插補(bǔ)周期：4ms以內(nèi)； （4）系統(tǒng)開放，帶專用編程與調(diào)試工具； （5）帶系統(tǒng)二次開發(fā)工具軟件。,25,IC封裝質(zhì)量在線檢測軟件設(shè)計方案,IC封裝質(zhì)量在線檢測軟件適用于