1、視覺檢測技術(shù)用其應(yīng)用視覺檢測技術(shù)用其應(yīng)用-利用攝像機(jī)替代人眼，圖像處理軟件替代大腦對產(chǎn)品進(jìn)行質(zhì)量檢驗(yàn)或識(shí)別的計(jì)算機(jī)檢測技術(shù)。組成：由光源、鏡頭、攝像機(jī)、圖像采集卡、圖像處理器/軟件以及必要的I/O等。具有極高的效率、重復(fù)性以及精度，在很多情況下是人眼無法替代的。機(jī)器視覺檢測技術(shù)機(jī)器視覺檢測技術(shù)一、視覺檢測技術(shù)一、視覺檢測技術(shù)1、視覺系統(tǒng)的一般構(gòu)成、視覺系統(tǒng)的一般構(gòu)成光源圖像卡場景攝像機(jī)計(jì)算機(jī)典型視覺系統(tǒng)典型視覺系統(tǒng)工作原理：工作原理： 光光 敏感元件敏感元件 電電 （光電元件）（光電元件） 光源光源光通路光通路光電元件光電元件測量電路測量電路光光光光電電電電yx1x2傳感器：傳感器：單目視覺：

2、一個(gè)攝像組件（鏡頭單目視覺：一個(gè)攝像組件（鏡頭+攝像機(jī)）攝像機(jī)）多目視覺：多個(gè)攝像組件（鏡頭多目視覺：多個(gè)攝像組件（鏡頭+ +攝像機(jī)）攝像機(jī)）圖像采集部分、圖像處理部分、通信和圖像采集部分、圖像處理部分、通信和I/O部分以及輸出和執(zhí)行機(jī)構(gòu)部分以及輸出和執(zhí)行機(jī)構(gòu)圖像采集系統(tǒng)：可視化圖像或特征圖像采集系統(tǒng)：可視化圖像或特征數(shù)據(jù)數(shù)據(jù)場景場景鏡頭鏡頭光源光源攝像機(jī)攝像機(jī)圖像存儲(chǔ)體圖像存儲(chǔ)體計(jì)算機(jī)計(jì)算機(jī)輸出輸出鏡頭鏡頭攝像機(jī)攝像機(jī)鏡頭鏡頭攝像機(jī)攝像機(jī)控制控制電纜電纜視覺系統(tǒng)流程圖視覺系統(tǒng)流程圖圖像質(zhì)量好圖像質(zhì)量好 圖像處理簡單、結(jié)果理想圖像處理簡單、結(jié)果理想圖像質(zhì)量差圖像質(zhì)量差 圖象處理麻煩、結(jié)果不理想

3、圖象處理麻煩、結(jié)果不理想由由光源、鏡頭、攝像機(jī)、圖像采集卡等構(gòu)成光源、鏡頭、攝像機(jī)、圖像采集卡等構(gòu)成(1) CCD(1) CCD的種類的種類：2 2、CCDCCD攝像機(jī)攝像機(jī)按成象器件分類：線陣按成象器件分類：線陣CCD、面陣、面陣CCD按顏色分類：黑白攝像機(jī)、彩色攝像機(jī)按顏色分類：黑白攝像機(jī)、彩色攝像機(jī)按輸出信號分類：模擬式、數(shù)字式按輸出信號分類：模擬式、數(shù)字式 黑白攝像機(jī)：信息量小，時(shí)間、空間少黑白攝像機(jī)：信息量小，時(shí)間、空間少彩色攝像機(jī)：信息量大，時(shí)間、空間彩色攝像機(jī)：信息量大，時(shí)間、空間多多線陣線陣CCD：一行，掃描；：一行，掃描；體積小，價(jià)格低；體積小，價(jià)格低；面面陣陣CCD: 整幅

4、圖像；直觀；價(jià)格高，體積大；整幅圖像；直觀；價(jià)格高，體積大；按掃描方式分類：逐行掃描、隔行掃描按掃描方式分類：逐行掃描、隔行掃描 逐行掃描：高速運(yùn)動(dòng)，避免邊緣模糊逐行掃描：高速運(yùn)動(dòng)，避免邊緣模糊 數(shù)字?jǐn)z像機(jī)數(shù)字?jǐn)z像機(jī) - 電子快門電子快門 曝光時(shí)間曝光時(shí)間: 1/50s1/50s、1/125s1/125s、1/250s1/250s、1/500s1/500s、1/1000s1/1000s、1/2000s1/2000s、1/4000s1/4000s、1/8000s1/8000s、1/16000s1/16000s、1/32000s1/32000s 按形狀分類：長形、短形、方塊形、半球形、單板形按形狀

5、分類：長形、短形、方塊形、半球形、單板形 (2)(2)攝像機(jī)的主要參數(shù)攝像機(jī)的主要參數(shù)：制式：制式：CCD芯片尺寸芯片尺寸 ：PALPAL制式制式 - - 標(biāo)準(zhǔn)為標(biāo)準(zhǔn)為625625行，行，5050場，中國采用隔行掃描（黑白為場，中國采用隔行掃描（黑白為CCIRCCIR） （西歐、亞洲、澳大利亞）（西歐、亞洲、澳大利亞） NTSCNTSC制式制式 - - 標(biāo)準(zhǔn)為標(biāo)準(zhǔn)為525525行，行，6060場（黑白為場（黑白為EIAEIA）（）（美加、日本美加、日本）非標(biāo)準(zhǔn)制式非標(biāo)準(zhǔn)制式 - - 只有醫(yī)療或其它專業(yè)領(lǐng)域才用到只有醫(yī)療或其它專業(yè)領(lǐng)域才用到 面陣面陣CCDCCD芯片芯片相位交替行（相位交替行（P

6、hase Alternating Line）- 逐行倒相逐行倒相國家電視委員會(huì)國家電視委員會(huì)（National Television Systems Committee)CCDCCD分辨率：分辨率：是是CCDCCD的主要性能指標(biāo)，它決定了顯示圖像的清晰程度，的主要性能指標(biāo)，它決定了顯示圖像的清晰程度，分辨率越高，圖像細(xì)節(jié)的表現(xiàn)越好。分辨率越高，圖像細(xì)節(jié)的表現(xiàn)越好。 像素像素 - CCD- CCD每一個(gè)元素，像素越多，圖像越清晰每一個(gè)元素，像素越多，圖像越清晰 4444萬（萬（768768* *576576）、）、100100萬（萬（10241024* *10241024） 200200萬（萬（

7、16001600* *12001200）、）、600600萬（萬（28322832* *21282128）電視線電視線 - - 簡稱線簡稱線(TV LINES)(TV LINES)，彩色攝像頭一般，彩色攝像頭一般330500330500線，線， 黑白可以達(dá)到黑白可以達(dá)到600600線。電視線與線。電視線與CCDCCD和鏡頭有關(guān)，和鏡頭有關(guān)， 還與攝像頭電路通道的頻帶寬度直接相關(guān)，通還與攝像頭電路通道的頻帶寬度直接相關(guān)，通 常規(guī)律是常規(guī)律是1MHz1MHz的頻帶寬度相當(dāng)于清晰度為的頻帶寬度相當(dāng)于清晰度為8080線。線。 頻帶越寬，圖像越清晰，線數(shù)值相對越大。頻帶越寬，圖像越清晰，線數(shù)值相對越大。

8、 灰度級灰度級 - - 灰度分辨率、色彩分辨率，灰度分辨率、色彩分辨率， 1/21/2n 位數(shù)：位數(shù)：8 8位（位（bitbit）、）、1010位、位、1111位、位、1212位、位、 位數(shù)越多，圖像越清晰。位數(shù)越多，圖像越清晰。 二、信號處理技術(shù)二、信號處理技術(shù)1.1.信號處理電路信號處理電路光電元件光電元件信號處理信號處理圖像處理圖像處理光光電電電電圖像圖像3）電壓）電壓/電流（電流（V/A）轉(zhuǎn)換）轉(zhuǎn)換 - 需要電流輸出時(shí)；需要電流輸出時(shí)；1）信號放大）信號放大2）噪聲抑制）噪聲抑制 - 信號淹沒在噪聲中；信號淹沒在噪聲中；電壓（電壓（mV/ V）；電流（）；電流（ A/ mA）- 運(yùn)算放

9、大電路（運(yùn)算放大器）運(yùn)算放大電路（運(yùn)算放大器）相敏檢波：同步整流電路相敏檢波：同步整流電路模擬濾波：低通（模擬濾波：低通（LPF）、高通（）、高通（HPF）、帶通（）、帶通（BPF）、）、 帶阻（帶阻（BEF）、全通（）、全通（APF）濾波器）濾波器 4）模擬）模擬/數(shù)字（數(shù)字（A/D）轉(zhuǎn)換）轉(zhuǎn)換 - 需要輸出數(shù)字信號時(shí)需要輸出數(shù)字信號時(shí)2.2.圖像處理技術(shù)圖像處理技術(shù)成像成像 干擾等干擾等 圖像降質(zhì)圖像降質(zhì) 圖像預(yù)處理圖像預(yù)處理灰度校正灰度校正-突出特征突出特征 - 圖像增強(qiáng)（銳化）圖像增強(qiáng)（銳化）濾波降噪濾波降噪-去除噪聲去除噪聲 - 圖像濾波（平滑化）圖像濾波（平滑化） 灰度修正：改變灰

10、度分布灰度修正：改變灰度分布 -直方圖修正直方圖修正目標(biāo)（前景）：黑的更黑、白的更白目標(biāo)（前景）：黑的更黑、白的更白 - 直方圖拉伸直方圖拉伸 干擾（背景）：灰度模糊干擾（背景）：灰度模糊 - 直方圖壓縮直方圖壓縮 目的目的：感興趣特征感興趣特征 突出；不需要突出；不需要 衰減；不逼近衰減；不逼近預(yù)處理預(yù)處理+提取、識(shí)別、計(jì)算提取、識(shí)別、計(jì)算(70, 30)(180, 230)直方圖修正：直方圖修正： 圖像噪聲：強(qiáng)度隨機(jī)信號圖像噪聲：強(qiáng)度隨機(jī)信號高斯噪聲高斯噪聲椒鹽（椒鹽（Salt & pepper)噪聲：噪聲： 隨機(jī)出現(xiàn)黑白亮度值隨機(jī)出現(xiàn)黑白亮度值高斯噪聲：高斯高斯噪聲：高斯/正態(tài)分

11、布正態(tài)分布 傳感器噪聲模型（攝像機(jī)電子干擾噪聲等）傳感器噪聲模型（攝像機(jī)電子干擾噪聲等）- 濾波器濾波器原始圖像原始圖像 高斯濾波高斯濾波 3) 邊緣檢測邊緣檢測(1) 邊緣定義邊緣定義 邊緣：圖像局部亮度變化最顯著的部分邊緣：圖像局部亮度變化最顯著的部分 分布：目標(biāo)分布：目標(biāo)-目標(biāo)、目標(biāo)目標(biāo)、目標(biāo)-背景、區(qū)域背景、區(qū)域-區(qū)域區(qū)域 、 色彩色彩-色彩色彩(2) (2) 邊緣檢測算子邊緣檢測算子 梯度算子、梯度算子、 Roberts算子算子 、 Sobel算子、算子、 Prewitt算子算子 、拉普拉斯算子、拉普拉斯算子、 LoG算子、算子、 Canny算子算子4) 圖像描述與識(shí)別圖像描述與識(shí)別

12、- 提取特征參量，識(shí)別物體提取特征參量，識(shí)別物體原始圖像原始圖像LOG 算子算子Prewitt 算子算子Roberts 算子算子Sobel 算子算子Canny 算子算子 離焦離焦 不清晰、對比度不好不清晰、對比度不好 聚焦聚焦 清晰、對比度好清晰、對比度好夜晚景物圖像對比夜晚景物圖像對比夜間模式夜間模式延長曝光時(shí)間延長曝光時(shí)間光積分時(shí)間短光積分時(shí)間短 - 曝光量小曝光量小 - 景物亮度低景物亮度低 - 對比度差對比度差光積分時(shí)間長光積分時(shí)間長 - 曝光量大曝光量大 - 景物亮度高景物亮度高 - 對比度好對比度好F=8傍晚景物圖像對比傍晚景物圖像對比F=5.6陰天景物圖像對比陰天景物圖像對比F=

13、11F=5.6(1) (1) 零件的識(shí)別與定位零件的識(shí)別與定位領(lǐng)域：工業(yè)、醫(yī)療、領(lǐng)域：工業(yè)、醫(yī)療、 航天、軍事、農(nóng)業(yè)等航天、軍事、農(nóng)業(yè)等1 1、工業(yè)檢測、工業(yè)檢測例：雙目立體視覺檢測系統(tǒng)例：雙目立體視覺檢測系統(tǒng) 簡單視覺的機(jī)器人系統(tǒng)簡單視覺的機(jī)器人系統(tǒng) 自動(dòng)連接引線、對準(zhǔn)自動(dòng)連接引線、對準(zhǔn)芯片和封裝；芯片和封裝； 自動(dòng)安裝部件，自動(dòng)焊自動(dòng)安裝部件，自動(dòng)焊接或自動(dòng)切割加工、自接或自動(dòng)切割加工、自動(dòng)澆注系統(tǒng)等。動(dòng)澆注系統(tǒng)等。 三、視覺檢測技術(shù)的應(yīng)用三、視覺檢測技術(shù)的應(yīng)用(2) (2) 零件尺寸的在線測量零件尺寸的在線測量(3) (3) 零件外觀及內(nèi)部缺陷檢測零件外觀及內(nèi)部缺陷檢測芯片定位芯片定位芯

14、片管腳檢測芯片管腳檢測鋼板厚度的在線測量鋼板厚度的在線測量 木料檢測原理木料檢測原理例：木料檢測：缺陷、體積例：木料檢測：缺陷、體積 (4) (4) 產(chǎn)品分類、分組產(chǎn)品分類、分組(5) (5) 產(chǎn)品標(biāo)識(shí)、編碼識(shí)別產(chǎn)品標(biāo)識(shí)、編碼識(shí)別蘋果分級、分色、配色蘋果分級、分色、配色商品條碼、印鑒、標(biāo)簽商品條碼、印鑒、標(biāo)簽“手手-眼眼”定位：定位： 兩個(gè)攝像機(jī)兩個(gè)攝像機(jī) - 兩幅平面圖像兩幅平面圖像 - 三維場景信息三維場景信息 用于：目標(biāo)識(shí)別、道路識(shí)別、障礙物判斷、主動(dòng)導(dǎo)航、自動(dòng)視覺導(dǎo)航用于：目標(biāo)識(shí)別、道路識(shí)別、障礙物判斷、主動(dòng)導(dǎo)航、自動(dòng)視覺導(dǎo)航 無人駕駛汽車、無人駕駛飛機(jī)、無人戰(zhàn)車、探測機(jī)器人無人駕駛汽

15、車、無人駕駛飛機(jī)、無人戰(zhàn)車、探測機(jī)器人實(shí)例：美國實(shí)例：美國Sojourner系列和系列和Rocky系列火星探測移動(dòng)機(jī)器人系列火星探測移動(dòng)機(jī)器人2 2、機(jī)器人導(dǎo)航、機(jī)器人導(dǎo)航“機(jī)遇機(jī)遇”號火星車拍攝號火星車拍攝火星土壤的顯微照片火星土壤的顯微照片 “勇氣勇氣”號火星車號火星車發(fā)回的彩色照片發(fā)回的彩色照片美國勇氣號和機(jī)遇號火星探測移動(dòng)機(jī)器人美國勇氣號和機(jī)遇號火星探測移動(dòng)機(jī)器人3、生物醫(yī)學(xué)圖像分析、生物醫(yī)學(xué)圖像分析（1）醫(yī)學(xué)臨床診斷）醫(yī)學(xué)臨床診斷 ： X射線、射線、B超、超、CT、核磁共振（、核磁共振（MRI）醫(yī)學(xué)影像融合分析醫(yī)學(xué)影像融合分析 細(xì)胞個(gè)數(shù)統(tǒng)計(jì)細(xì)胞個(gè)數(shù)統(tǒng)計(jì) CT圖像圖像 自動(dòng)檢測：染色體

16、切片、癌細(xì)胞切片、超聲波圖象自動(dòng)檢測：染色體切片、癌細(xì)胞切片、超聲波圖象三維人體掃描三維人體掃描（2）生物圖像分析：形狀、組織切片、染色體配對、細(xì)菌、病毒、）生物圖像分析：形狀、組織切片、染色體配對、細(xì)菌、病毒、 病原體外形尺寸檢測、顏色識(shí)別、表面損傷檢測以及組織分析病原體外形尺寸檢測、顏色識(shí)別、表面損傷檢測以及組織分析葉片細(xì)胞顯微放大圖片葉片細(xì)胞顯微放大圖片 轉(zhuǎn)基因大豆孢子轉(zhuǎn)基因大豆孢子例：水果分類；發(fā)芽土豆；雜草識(shí)別例：水果分類；發(fā)芽土豆；雜草識(shí)別 4 4、遙感圖像分析：、遙感圖像分析：衛(wèi)星遙感圖像衛(wèi)星遙感圖像 - 氣象衛(wèi)星（紅外成象氣象衛(wèi)星（紅外成象 - 云圖云圖 - 氣象狀況）氣象狀況

17、） 資源衛(wèi)星（多光譜成象資源衛(wèi)星（多光譜成象 - 地質(zhì)、礦藏、森林、災(zāi)害）地質(zhì)、礦藏、森林、災(zāi)害） 海洋衛(wèi)星（合成孔徑雷達(dá)成象海洋衛(wèi)星（合成孔徑雷達(dá)成象 - 海洋、海浪、海灘）海洋、海浪、海灘） 航空攝影圖像航空攝影圖像 - （多目成象（多目成象 - 大地測量、測繪）大地測量、測繪）交通交通 - 車輛識(shí)別、牌照識(shí)別、車型判斷、車輛監(jiān)視、交通流量檢測車輛識(shí)別、牌照識(shí)別、車型判斷、車輛監(jiān)視、交通流量檢測安全安全 - 指紋判別與匹配、面孔與眼底識(shí)別、安全檢查（飛機(jī)、海關(guān)）指紋判別與匹配、面孔與眼底識(shí)別、安全檢查（飛機(jī)、海關(guān)）監(jiān)視監(jiān)視 - 超市、商店防盜、銀行監(jiān)控，停車場、電梯閉路電視超市、商店防盜、

18、銀行監(jiān)控，停車場、電梯閉路電視6、軍事與國防：軍事與國防：5、監(jiān)控、安防、交通管理：監(jiān)控、安防、交通管理：超低空雷達(dá)、超視距雷達(dá)、導(dǎo)彈制導(dǎo)、導(dǎo)彈導(dǎo)航、地形匹配、超低空雷達(dá)、超視距雷達(dá)、導(dǎo)彈制導(dǎo)、導(dǎo)彈導(dǎo)航、地形匹配、單兵作戰(zhàn)系統(tǒng)、戰(zhàn)場遙測、夜視儀、聲納成象單兵作戰(zhàn)系統(tǒng)、戰(zhàn)場遙測、夜視儀、聲納成象7、辦公與家電：辦公與家電：辦公設(shè)備辦公設(shè)備 - 數(shù)碼復(fù)印機(jī)、掃描儀、傳真機(jī)、繪圖儀數(shù)碼復(fù)印機(jī)、掃描儀、傳真機(jī)、繪圖儀家用電器家用電器 - 數(shù)碼攝像機(jī)、數(shù)碼照相機(jī)、可視電話、可視門鈴數(shù)碼攝像機(jī)、數(shù)碼照相機(jī)、可視電話、可視門鈴優(yōu)點(diǎn)：便宜，檢測能力強(qiáng)優(yōu)點(diǎn)：便宜，檢測能力強(qiáng)缺點(diǎn)：產(chǎn)能低，不適合檢測外層板缺點(diǎn)：產(chǎn)

19、能低，不適合檢測外層板OrionOptical Head光頭光頭Scan Line掃描線掃描線Scanning slice掃描片段掃描片段 (variable width可變寬度可變寬度)Scanned Panel被掃描的板被掃描的板Scanning Path-掃描路徑掃描路徑Image Processing-圖像處理圖像處理CCDAnalogto DigitalCircuitry模擬模擬 數(shù)字信號數(shù)字信號Digital toBinary Circuitry數(shù)字信號數(shù)字信號 二進(jìn)制數(shù)字信號二進(jìn)制數(shù)字信號Analog模擬信號模擬信號Digital數(shù)字信號數(shù)字信號Binary二進(jìn)制二進(jìn)制Original PanelBinary “strips”