1、視覺檢測技術(shù),1 應(yīng)用 2 視覺系統(tǒng)的一般構(gòu)成 3 圖像采集系統(tǒng)：光源、光學(xué)系統(tǒng)、光電器件 4 信號處理系統(tǒng),(1) 零件的識別與定位,領(lǐng)域：工業(yè)、農(nóng)業(yè)、 航天、軍事等,1、工業(yè)檢測,例：雙目立體視覺檢測系統(tǒng) 簡單視覺的機器人系統(tǒng), 自動連接引線、對準芯片和封裝；, 自動安裝部件，自動焊接或自動切割加工、自動澆注系統(tǒng)等。,視覺檢測技術(shù),一、應(yīng)用,(2) 零件尺寸的在線測量,(3) 零件外觀及內(nèi)部缺陷檢測,芯片定位,芯片管腳檢測,鋼板厚度的在線測量,(4) 產(chǎn)品分類、分組,(5) 產(chǎn)品標識、編碼識別,蘋果分級、分色、配色,商品條碼、印鑒、標簽,“手-眼”定位： 兩個攝像機 - 兩幅平面圖像 -

2、三維場景信息,用于：目標識別、道路識別、障礙物判斷、主動導(dǎo)航、自動視覺導(dǎo)航 無人駕駛汽車、無人駕駛飛機、無人戰(zhàn)車、探測機器人,實例：美國Sojourner系列和Rocky系列火星探測移動機器人,2、機器人導(dǎo)航,“機遇”號火星車拍攝 火星土壤的顯微照片,“勇氣”號火星車發(fā)回的彩色照片,美國勇氣號和機遇號火星探測移動機器人,3、生物醫(yī)學(xué)圖像分析,（1）醫(yī)學(xué)臨床診斷 ： X射線、B超、CT、核磁共振（MRI）,醫(yī)學(xué)影像融合分析,細胞個數(shù)統(tǒng)計,CT圖像,自動檢測：染色體切片、癌細胞切片、超聲波圖象,（2）生物圖像分析：形狀、組織切片、染色體配對、細菌、病毒、 病原體外形尺寸檢測、顏色識別、表面損傷檢測

3、以及組織分析,葉片細胞顯微放大圖片,轉(zhuǎn)基因大豆孢子,例：水果分類；發(fā)芽土豆；雜草識別,4、遙感圖像分析：,衛(wèi)星遙感圖像 - 氣象衛(wèi)星（紅外成象 - 云圖 - 氣象狀況） 資源衛(wèi)星（多光譜成象 - 地質(zhì)、礦藏、森林、災(zāi)害） 海洋衛(wèi)星（合成孔徑雷達成象 - 海洋、海浪、海灘）,航空攝影圖像 - （多目成象 - 大地測量、測繪）,交通 - 車輛識別、牌照識別、車型判斷、車輛監(jiān)視、交通流量檢測,安全 - 指紋判別與匹配、面孔與眼底識別、安全檢查（飛機、海關(guān)）,監(jiān)視 - 超市、商店防盜、銀行監(jiān)控，停車場、電梯閉路電視,6、軍事與國防：,5、監(jiān)控、安防、交通管理：,超低空雷達、超視距雷達、導(dǎo)彈制導(dǎo)、導(dǎo)彈導(dǎo)

4、航、地形匹配、 單兵作戰(zhàn)系統(tǒng)、戰(zhàn)場遙測、夜視儀、聲納成象,7、辦公與家電：,辦公設(shè)備 - 數(shù)碼復(fù)印機、掃描儀、傳真機、繪圖儀 家用電器 - 數(shù)碼攝像機、數(shù)碼照相機、可視電話、可視門鈴,二、視覺系統(tǒng)的一般構(gòu)成,工作原理：,光 敏感元件 電 （光電元件）,傳感器：,單目視覺：一個攝像組件（鏡頭+攝像機） 多目視覺：多個攝像組件（鏡頭+攝像機）,圖像采集部分、圖像處理部分、通信和I/O部分以及輸出和執(zhí)行機構(gòu),圖像采集系統(tǒng)：可視化圖像或特征數(shù)據(jù),圖像質(zhì)量好 圖像處理簡單、結(jié)果理想 圖像質(zhì)量差 圖象處理麻煩、結(jié)果不理想,由光源、鏡頭、攝像機、圖像采集卡等構(gòu)成,1、眼睛的結(jié)構(gòu)及成像,人類視覺 眼睛 計算機

5、視覺 圖像輸入系統(tǒng),晶狀體 鏡頭；視網(wǎng)膜 像敏面；,物體,相關(guān)基礎(chǔ)知識,光譜,- 紫外 可見光 紅外,2、電磁波譜,可見光譜,1、光源,(1)光源的作用：,使視場具有足夠照度 - 整體亮度、突出特征量,滿足一定的投影關(guān)系 - 位置變化、成像質(zhì)量,滿足一定的濾光要求 - 區(qū)別、對比度,選擇：幾何形狀、照明亮度、均勻度、光譜特性，發(fā)光效率、使用壽命,(2)光源的種類：, 自然光源,- 天體（地球、太陽、星體）、大氣,三、圖像采集系統(tǒng),按發(fā)光機理：熒光燈 、鹵素?zé)?、氣體放電燈、發(fā)光二極管（LED）、 激光二極管LD, 白熾光源：,器件：白熾燈 - 鎢絲（熔點3600K）,特點： 譜線豐富（可見光+

6、紅外光）,應(yīng)用： 濾色片 窄帶頻率光，避免雜光干擾 儀器, 氣體放電光源：,原理：氣體分子激發(fā)放電 （電弧燈）,器件：碳弧燈、鈉弧燈、氙弧燈、水銀弧燈,特點：功率大，光色接近日光，紫外線豐富,應(yīng)用：強光、色溫要求接近日光, 人工光源：,鹵鎢燈- 改進的白熾燈（碘、溴）,特點 - 亮度高、發(fā)光效率高、體積小、成本低,發(fā)光二極管：,激光光源：,原理：半導(dǎo)體，電致發(fā)光,器件：LED，可見光、紅外光,體積小、功耗低、壽命長、響應(yīng)快、易于數(shù)字控制、比普通光源單色性好、亮度高,應(yīng)用：電路（信號）、儀器面板（提示、報警、狀態(tài)顯示）,原理：,特點：,外界光光原子能級躍遷受激輻射光放大諧振輻射激光,方向性好-發(fā)

7、散角很小(約0.18)，比普通光小23數(shù)量級亮度高 - 能量高度集中，亮度比普通光高幾百萬倍 單色性好-光譜范圍極小，頻率單一； （He-Ne激光:=632.8nm,=10-6nm） 相干性好-受激輻射，傳播方向/振動方向/頻率/相位一致 時間相干性、空間相干性均好,器件：,固體激光器-體積小，堅固，功率高 紅寶石、（少用）,氣體激光器-小巧、單色性好、能連續(xù)工作、功率小 氦氖、CO2,半導(dǎo)體激光器-效率高、體積小、重量輕、結(jié)構(gòu)簡單、功率小、非線性,特點：,鹵素光源（儀器用）,鹵素?zé)?LED光源（CCS公司）,環(huán)形LED光源,LED光源的種類（形狀）：,面光源 - 專用,線光源,b. 按安裝方

8、式：,光源放在物體的后面 便于安裝,結(jié)構(gòu)光照明：,被測物在光源和攝像機之間 - 對比度好,點光源 - 發(fā)光二極管,背向照明：,前向照明：,光源有特定的方向，光束有精確的形狀。 - 光柵或線光源 畸變 三維形狀,其中LED光源憑借其諸多的優(yōu)點在現(xiàn)代視覺系統(tǒng)中得到越來越多的應(yīng)用。,2、光學(xué)系統(tǒng),成像物鏡 + 光電器件, 照相攝影系統(tǒng)：,組成：, 顯微系統(tǒng),NIKON測量顯微鏡, 望遠系統(tǒng), 投影系統(tǒng),數(shù)字式測量投影儀,相當(dāng)于人眼的晶狀體,沒有鏡頭，攝像機不能采集到任何圖像。 輸出被噪聲淹沒,成像：,聚焦：,變焦：,改變鏡頭的焦距 - 改變成象大小 （人眼所不具備的功能）,(1) 作用：, 曝光：,

9、a、攝影鏡頭,當(dāng)鏡頭成像平面不在攝像機像面上時，輸出圖像模糊不清 -調(diào)整鏡頭的位置，改變CCD與鏡頭基準面的距離,改變光積分時間/曝光量- 改變灰度（人眼所不具備的功能）,(2)鏡頭的主要指標：,焦距：,焦距小（短），視場角大，觀察范圍大，但遠處物體分辨不很清楚,焦距大（長），視場角小，觀察范圍小，很遠的物體也能看清楚,焦距的大小決定著視場角的大小。,選擇焦距：觀測范圍 是要觀測細節(jié)，還是要較大的觀測范圍,焦距的計算：,f = vD/V f =hD/H,近距離大場面 小焦距廣角；遠處細節(jié) 長焦,焦距大小：幾毫米數(shù)米,光圈：,（光圈指數(shù)、光闌系數(shù)），表示光通量大小，用 F 表示，F(xiàn) 數(shù),光圈指數(shù)

10、序列的標值：1.4，2，2.8，4，5.6，8，11，16，22等，,安裝方式：,方式- C式和CS式兩種，差別是鏡頭和CCD像面的距離不同，,- 螺紋連接,專用接圈-C式鏡頭比CS式鏡頭多一個專用接圈的長度，,以鏡頭焦距 f 和通光孔徑 D 的比值來衡量：F = f /D (鏡頭標明),C式安裝座從基準面到焦點的距離為17.562毫米， CS式安裝座從基準面到焦點距離為12.5毫米。,鏡頭上標注 - 焦距、光圈 確定鏡頭,光通量與 F 值的平方成反比關(guān)系，F(xiàn) 值越小，光通量越大。,攝影鏡頭 - 螺距為1英寸32牙，直徑為1英寸（英制）,(3)鏡頭的種類：,按焦距大小分類：,按變焦方式分類：,

11、按光圈方式分類：固定光圈鏡頭、手動變光圈鏡頭、自動變光圈鏡頭,按安裝方式分類：分為普通安裝鏡頭、隱蔽安裝鏡頭（針孔鏡頭）,分為廣角鏡頭、標準鏡頭、長焦距鏡頭,固定焦距鏡頭、手動變焦距鏡頭、電動變焦距鏡頭,固定焦距鏡頭-固定視場大小和距離，,手動調(diào)焦鏡頭-偶爾改變觀察范圍和目標大小,自調(diào)變焦鏡頭-經(jīng)常性改變觀察范圍，變焦范圍大， 既可以看大范圍，也可以聚焦某個細節(jié)。,固定光圈鏡頭-固定場景和目標，亮度不變， 用于光線變化大且頻繁的場合。,手動變光圈鏡頭-適合亮度變化不大的場合 一次性調(diào)整合適為止，不變,自動變光圈鏡頭-會隨著光線的變化而自動調(diào)整，,按變焦倍數(shù)：2 倍變焦、6 倍變焦、10 倍變焦

12、、20 倍變焦等。,3 光電常用器件,光電器件,光子器件,熱電器件,真空器件,固體器件,光電管 光電倍增管 真空攝像管 變像管 像增強管,光敏電阻 光電池 光電二極管 光電三極管 光纖傳感器 電荷耦合器件CCD,熱電偶/熱電堆 熱輻射計/熱敏電阻 熱釋電探測器,光子器件與熱電器件的比較,(1) 外光電效應(yīng)及其器件,外光電效應(yīng),特點：速度快-從光照射到釋放電子時間不超過10-9秒。 需足夠光能-光子能力 表面溢出功,原理：光 陰極 光電子 陽極 空間電子流外接電阻 壓降U=f(I),原理：光 物體表面 光電子發(fā)射,光電管,應(yīng)用：足夠的光強，高速-光電開關(guān),特點：簡單，靈敏度低 （充入惰性氣體氣體

13、轟擊自由電子）,外光電效應(yīng)-光電管,光電倍增管,原理：光 陰極 光電倍增極 陽極 電流,應(yīng)用：開關(guān)測量 光電開關(guān) ，計數(shù),特點：光電流大，靈敏度高 倍增率=n , -單極倍增率（36） n-倍增極數(shù)（414）,內(nèi)光電效應(yīng) （光生伏特效應(yīng)）-光電池,光生伏特效應(yīng):,光 半導(dǎo)體 電子吸收能量 躍遷 電子-空穴對 電動勢,連接方式：開路電壓輸出-(a) 短路電流輸出-(b),特性：光照特性-開路電壓輸出：非線性(電壓-光強)，靈敏度高 短路電流輸出：線性好(電流-光強) ，靈敏度低 光譜特性-硅電池：0.51.2m(紅-紅外)，峰值0.8 m(近紅外) 鍺電池：0.30.7m(紫-紅)，峰值0.5

14、m(綠),光電池,特點：有源器件，輕便、簡單、無污染，動態(tài)特性好（硅） 工作于可見光波段-太陽能電池,應(yīng)用：宇航飛行儀器，儀表電源，便攜儀表(計算器) - 開關(guān)測量（開路電壓輸出），線性檢測（短路電流輸出）,光敏電阻,原理：電阻器件，加直流偏壓，無極性 無光照-電子-空穴對很少-電阻大(暗電阻) 有光照-電子-空穴對增多-導(dǎo)電性增強,特點：靈敏度高，體積小，重量輕，性能穩(wěn)定 批量生產(chǎn)，價格便宜,應(yīng)用：工業(yè)自動化-開關(guān)元件，快速響應(yīng) 家電-(感應(yīng)式節(jié)能燈：判斷照度),特性：光照特性為非線性，光譜特性存在單峰，動態(tài)特性好,光照特性,結(jié)構(gòu)：金屬封裝-防潮,光譜特性,動態(tài)特性,光敏二極管（光電二極管,

15、 PD: Photo-Diode）,原理： 半導(dǎo)體PN結(jié)- 無光時-高阻特性，微弱電流暗電流，A； 光照時-電子N,空穴P 光電流 光照愈強 - 光電流愈大,光照特性,應(yīng)用：線性轉(zhuǎn)換元件，開關(guān)元件，,特性：光照特性-靈敏度和線性好，光譜特性-單峰性,光譜特性,特性：光照特性-靈敏度高于光敏二極管，線性好 光譜特性-單峰性 動態(tài)特性-響應(yīng)速度低于光敏二極管,應(yīng)用：線性轉(zhuǎn)換元件，開關(guān)元件,光譜特性,動態(tài)特性,光敏三極管（光電三極管, PT: Photo-Triode）,原理：光敏二極管（bc結(jié)）+ 三極管,特點：靈敏度高于光敏二極管，,(1) CCD的種類：,CCD攝像機,按成象器件分類：線陣CC

16、D、面陣CCD,按顏色分類：黑白攝像機、彩色攝像機,按輸出信號分類：模擬式、數(shù)字式,黑白攝像機：信息量小，時間、空間少 彩色攝像機：信息量大，時間、空間多,線陣CCD：一行，掃描；體積小，價格低； 面陣CCD: 整幅圖像；直觀；價格高，體積大；,按掃描方式分類：逐行掃描、隔行掃描,逐行掃描：高速運動，避免邊緣模糊,數(shù)字攝像機 - 電子快門,曝光時間: 1/50s、1/125s、1/250s、1/500s、1/1000s、1/2000s、1/4000s、1/8000s、1/16000s、1/32000s,按形狀分類：長形、短形、方塊形、半球形、單板形,(2)攝像機的主要參數(shù)：,制式：,CCD芯片

17、尺寸 ：,PAL制式 - 標準為625行，50場，中國采用隔行掃描（黑白為CCIR） （西歐、亞洲、澳大利亞）,NTSC制式 - 標準為525行，60場（黑白為EIA）（美加、日本）,非標準制式 - 只有醫(yī)療或其它專業(yè)領(lǐng)域才用到,面陣CCD芯片,相位交替行（Phase Alternating Line）- 逐行倒相,國家電視委員會（National Television Systems Committee),CCD分辨率：,是CCD的主要性能指標，它決定了顯示圖像的清晰程度， 分辨率越高，圖像細節(jié)的表現(xiàn)越好。,像素 - CCD每一個元素，像素越多，圖像越清晰 44萬（768*576）、100萬

18、（1024*1024） 200萬（1600*1200）、600萬（2832*2128）,電視線 - 簡稱線(TV LINES)，彩色攝像頭一般330500線， 黑白可以達到600線。電視線與CCD和鏡頭有關(guān)， 還與攝像頭電路通道的頻帶寬度直接相關(guān)，通 常規(guī)律是1MHz的頻帶寬度相當(dāng)于清晰度為80線。 頻帶越寬，圖像越清晰，線數(shù)值相對越大。,灰度級 - 灰度分辨率、色彩分辨率， 1/2n 位數(shù)：8位（bit）、10位、11位、12位、 位數(shù)越多，圖像越清晰。,照度參考表：,根據(jù)照度劃分，CCD又分為：,最低照度 ：,也稱靈敏度，是CCD對環(huán)境光線的敏感程度（最暗光線）。 單位-勒克斯，LUX，數(shù)

19、值越小，需要的光線越少，越靈敏。,信噪比：,典型值為46分貝， 如果為50分貝，則圖像有少量噪聲，但圖像質(zhì)量較好； 如果能達到60分貝，就不會出現(xiàn)噪聲。,電源：,交流220伏、24伏；直流12伏和9伏。,光譜：,選擇攝像機：芯片尺寸、像素數(shù)、 線數(shù)、靈敏度、光譜響應(yīng),感光范圍 可見光、紅外、超聲波等,4、圖像存儲體,(1)圖像存儲體的作用：,接收來自攝像機的圖像信號： 模擬攝像機 - 標準電視信號 數(shù)字攝像機 - 數(shù)字信號,存儲圖像數(shù)據(jù)：容量大、速度高、存取方便,圖像處理：簡單預(yù)處理 - 濾波、二值化 圖像疊加 - 直線、圓、數(shù)字、符號,圖像輸出：輸出到監(jiān)視器 - 監(jiān)視、觀察 輸出到計算機 -

20、 圖像處理、模式識別,(2)圖像存儲體的種類：, 外置式：獨立單元、單獨供電、功能全面、容易構(gòu)成視覺系統(tǒng), 圖像卡式：插入計算機擴展槽內(nèi) - 使用方便、速度快、成本低, 傳輸式：數(shù)字攝像機 - 計算機接口/網(wǎng)絡(luò)傳輸 （串行、并行、USB）,視覺傳感器模塊,視覺傳感器 光源、攝像頭、圖像處理器、控制與通訊接口,四、信號處理系統(tǒng),1.信號處理電路,3）電壓/電流（V/A）轉(zhuǎn)換 - 需要電流輸出時；,1）信號放大,2）噪聲抑制 - 信號淹沒在噪聲中；,電壓（mV/V）；電流（ A/ mA）,- 運算放大電路（運算放大器）,相敏檢波：同步整流電路,模擬濾波：低通（LPF）、高通（HPF）、帶通（BPF）、 帶阻（BEF）、全通（APF）濾波器,4）模擬/數(shù)字（A/D）轉(zhuǎn)換 - 需要輸出數(shù)字