上海交通大學碩士學位論文 摘 要 第 頁 ii 觸點零件形貌在線自學習視覺檢測系統(tǒng)研究 摘 要 觸點零件是工業(yè)中重要的電器元件，完成關鍵的切換功能，是決定 電器使用壽命的主要因素，觸點零件的表面形貌對零件的接觸性能起著 相當重要的作用。目前國內(nèi)檢測手段落后，采用計算機視覺檢測的方法 代替人工具有很大的實際應用價值。針對觸點零件形貌多樣的特點，本 文研究開發(fā)能夠?qū)崿F(xiàn)自適應學習功能的在線視覺檢測系統(tǒng)。 論文通過對檢測需求的分析，設計了系統(tǒng)的整體結(jié)構(gòu)和自學習檢測 流程，詳細討論了系統(tǒng)各個組成部分的功能及選型，并設計了軟件系統(tǒng) 的功能模塊及工作流程。 根據(jù)檢測系統(tǒng)實時性和準確性的要求，本文在圖像處理階段研究了 基于高斯濾波模板的快速有效圖像預處理方法，針對觸點零件圖像特點 提出了一種基于改進極小值點的自適應閾值分割算法和多圖中值閾值確 定算法，并構(gòu)建了5 大類圖像特征庫，共包含4 5 個特征。 通過對多類別模式識別主要因素的分析研究，提出了特征預處理方 法和基于典型變量的特征優(yōu)化算法， 設計了一種兩類浮動搜索- 多類后向 選擇算法實現(xiàn)多類別特征選擇，并結(jié)合支持向量機多級二叉樹的多類別 分類策略，共同實現(xiàn)了多類別觸點零件快速學習和分類檢測。 上海交通大學碩士學位論文 摘 要 第 頁 iii 在上述工作基礎上，論文搭建了試驗硬件平臺，開發(fā)了實現(xiàn)上述算 法的相關軟件，對多組零件進行了試驗，取得了較好的試驗結(jié)果。論文 也分析了誤差來源，提出進一步研究改進的方向。 關鍵詞：觸點形貌，計算機視覺，在線檢測，圖像處理，多類模式識別 上海交通大學碩士學位論文 abstract 第 頁 iv research on online self- learning vision detection system of contact appearance abstract as an important industrial electrical component, contact component decides electric equipments life. the surface appearance features of contact component play an important role in contact performance. the detection methods depending on manual stay low level, using computer vision technique to replace human vision in quality detection has great practical value. aimed to different varieties of contact appearance features, the online vision detection system achieving self- learning function is researched in this thesis. firstly, the structure and self- learning process of detection system are designed through the detection requirements analysis. the function parts and their selection methods are discussed in detail. the function modules and workflow of software system are designed. in image processing, according to real- time and accuracy requirements, the gaussian filter template is studied as a quick and efficient image pre- processing method. an adaptive threshold segmentation method based on improved minimum point algorithm and multi- graph median algorithm is proposed. and the 5 major categories of image feature library is built, which includes 45 features. through the analysis of major factors that influence the multi- category pattern recognition, the feature pre- processing method and optimization method based on canonical variables are put forward. to realize multi- category feature selection, a two- category floating search and multi- category backward selection algorithm is designed. combined these algorithms with svm multi- level binary tree classification strategy, the system realizes the multi- category quick self- learning and classification detection. based on the work mentioned above, the experimental platform is developed. the experimental system is tested through several groups of contact components and gets good results. the future research direction is proposed after the error analysis. key words: contact component appearance, computer vision, online detection, image processing, multi- category pattern recognition 第 頁 82 第 頁 83 上海交通大學碩士學位論文 第一章 緒論 第 頁 1 第一章 緒論 1 . 1 觸點零件形貌檢測系統(tǒng)的研究背景 1 . 1 . 1 觸點零件及其形貌特征的重要性 觸點零件是一種重要的電器元件。在電能得以不斷利用的同時，電接觸問題也 日益得到重視。電接觸是指兩個導體之間相互接觸，并通過接觸界面實現(xiàn)電流傳遞 或信號傳輸?shù)囊环N物理、化學現(xiàn)象。傳遞電流或輸送信號的兩導體稱為觸點或觸頭。 電觸點是開關電器的核心元件，完成關鍵的切換功能，是決定開關電器如各類空氣 開關、繼電器、交流接觸器等通斷轉(zhuǎn)換能力、使用壽命和可靠性的關鍵因素，廣泛 應用于各類低壓電器行業(yè)，涉及現(xiàn)代社會中的民用、工業(yè)、軍事、航天、航空、信 息等各個領域。圖1 - 1 所示為一些觸點零件的實物照片。 圖1 - 1 觸點零件 fig.1- 1 contact components 據(jù)統(tǒng)計，世界繼電器的年產(chǎn)量近7 0 億只，單單我國就達到3 0 億只，更不用說滲 透國民經(jīng)濟和生活各個方面的開關、插座等其它連接件。觸點零件的性能是有觸點 電器產(chǎn)品性能的一個重要方面，特別是對小電容量的有觸點類電器（包括小電容量 接觸器、各類繼電器、控制器、啟動器等），二者的關系更加密切。例如，對繼電 上海交通大學碩士學位論文 第一章 緒論 第 頁 2 器而言，典型失效模式有結(jié)構(gòu)失效、特性動作失效和誤用失效2，無論繼電器以何種 模式失效，最終都要由觸點接觸行為的靜態(tài)及動態(tài)的特點進行判斷，可以說觸點接 觸失效是各種失效模式的綜合反映。國外統(tǒng)計資料表明，接觸失效模式所占比例高 達8 0 % 。因此，觸點零件性能的研究對于提高有觸點電器產(chǎn)品的性能具有非常重要的 意義。 現(xiàn)代化大型電力系統(tǒng)、自動控制系統(tǒng)、遙控遙測系統(tǒng)、通信系統(tǒng)等電氣系統(tǒng)中 觸點電接觸無處不在，觸點數(shù)目常常數(shù)以萬計，例如阿波羅登飛船系統(tǒng)大約有1 0 0 多 萬個連接點，其中分合觸點就能達到上千個。若其中一個或幾個觸點接觸不正?；?工作失效，則將導致整個系統(tǒng)工作紊亂甚至癱瘓。隨著現(xiàn)代工業(yè)化程度的不斷提高， 電氣系統(tǒng)日益龐大復雜，觸點的接觸可靠性與系統(tǒng)龐雜化間的矛盾更加突出，對觸 點接觸可靠性的要求也越來越高。 在航天、鉆井等一些特殊場合中使用的開關電器，對觸點性能及可靠性的要求 更高。忽視觸點的接觸問題，可能引發(fā)意想不到的故障。國內(nèi)外多次發(fā)生因觸點故 障導致的衛(wèi)星發(fā)射事故。曾有案例，一架m d - 8 2 型飛機的右發(fā)恒裝c s d （飛機部件） 出現(xiàn)航后溫升過高現(xiàn)象，多次排故發(fā)現(xiàn)右發(fā)恒裝的溫度繼電器雖能正常吸合與斷開， 但接觸電阻過大，拆除后發(fā)現(xiàn)繼電器內(nèi)部構(gòu)件非常松弛，觸點表面有積炭3。因此對 可分合觸點而言， 不僅要求具有高度的接觸可靠性， 而且要求具有良好的接觸性能2。 評估觸點的接觸性能對提高有觸點電器產(chǎn)品的使用可靠性具有重要的意義。觸點的 外觀形貌直接影響觸點的接觸性能，其特征在評估和提高觸點的接觸性能上有重要 作用，主要表現(xiàn)在以下兩個方面： 1 合理的形貌特征可以提高觸點的接觸性能。觸點的接觸性能分為機械接觸性 能和電接觸性能1,2,4,5。觸點在使用過程中處于頻繁的開、閉狀態(tài)，因此對這兩方面 的性能要求非常高。 （1 ）觸點的機械接觸性能 觸點的機械接觸性能主要涉及觸點閉合過程中存在的機械碰撞、彈跳、振動和 磨損情況。閉合過程中觸點碰撞引起的彈跳、振動和磨損是無法避免的，要減少這 些不良情況，選擇耐磨損性好的觸電材料，零件表面的粗糙度、組織狀況、平整度 和紋理對接觸面積和分布起著重要作用。 （2 ）觸點的電接觸性能 觸點的電接觸性能主要分為靜態(tài)電性能和動態(tài)電性能。 靜態(tài)電性能是指觸點在閉合狀態(tài)下承載電流時表現(xiàn)出的電性能。觸點的主要作 用是承載電流，起到電能傳遞和信號輸送的作用，這要求觸點必須具有低而穩(wěn)定的 上海交通大學碩士學位論文 第一章 緒論 第 頁 3 接觸電阻，因為接觸電阻產(chǎn)生的焦耳熱嚴重時會導致觸點導電斑點區(qū)域的材料發(fā)生 熔化而引起電觸點焊接的現(xiàn)象。影響接觸電阻的因素除了有兩觸點的物理性能、接 觸壓力外，幾何形狀和接觸表面紋理也是重要因素，它們決定了兩觸點接觸的面積 及導電接觸點的分布，對接觸電阻的阻值有直接影響。 動態(tài)電性能也是決定電接觸性能的主要因素，包括觸點抗電弧侵蝕性能、抗熔 焊性能、抗材料轉(zhuǎn)移性能以及觸點工作失效問題等。電弧是造成觸點工作性能下降 及失效的主要因素之一。觸點從正常閉合位置開始向斷開的方向運動，因接觸力逐 漸減小，實際接觸面和導電面的面積減小，接觸電阻相應增大，在接觸面最后分離 前的一瞬間，焦耳熱產(chǎn)生的能量集中加熱最后離開點的一個極小的金屬體積，使其 溫度迅速上升到金屬的沸點而引起爆炸式氣化，在間隙充滿高溫金屬蒸汽的條件下， 觸點間形成電弧。在電弧作用下，觸點表面的材料熔化、汽化、飛濺，接觸表面遭 到破壞，形成凹坑和凸點，觸點材料發(fā)生轉(zhuǎn)移，破壞觸點的工作性能；隨著接觸電 阻升高，觸點表面熔融，當熔焊力大于觸點分斷力時，就會發(fā)生觸點的粘連從而延 緩開關電器的分斷動作，甚至引起分斷電路失效。所以研究減輕電弧對觸點的危害 是非常必要的。除了研究觸點材料熱物理性質(zhì)外，合理的表面特征可以減少電弧的 產(chǎn)生，減輕觸點表面因材料飛濺轉(zhuǎn)移或損耗引起的失效，減少焊接點的面積以減小 焊接力。 2 觸點的表面形貌是觸點狀況最直接的體現(xiàn)，可以直接對零件進行評估。觸點 生產(chǎn)過程中的一些質(zhì)量問題可以直接通過觀察零件形貌發(fā)現(xiàn)，例如缺損、裂紋、變 形等，甚至觸點材料的成分都可以通過表面顏色得到一定的判斷，能夠初步判斷內(nèi) 部質(zhì)量的好壞。 綜上所述，觸點的形貌特征是觸點一個重要指標，不僅可以觀測到觸點零件狀 況，同時也影響到觸點的接觸行為，在觸點零件生產(chǎn)和使用過程中均有重要的作用。 1 . 1 . 2 工業(yè)生產(chǎn)中觸點形貌檢測的現(xiàn)狀 工業(yè)生產(chǎn)流水線中對觸點零件的形貌特征主要檢測零件尺寸、邊緣及其表面， 檢測表面夠不夠平整，邊緣是否有毛刺，裂紋、鼓泡、缺邊、缺角與明顯凹陷及腐 蝕斑點等等。分析檢測結(jié)果，還可以針對各種缺陷相應地改進完善生產(chǎn)工藝，提高 零件生產(chǎn)質(zhì)量。 為了掌握上述形貌參數(shù)數(shù)據(jù)，國內(nèi)外傳統(tǒng)的方法是通過目測或者借助一些工具 （如游標卡尺、放大鏡、顯微鏡、投影儀等）和測試設備（如輪廓儀、掃描電鏡等） 上海交通大學碩士學位論文 第一章 緒論 第 頁 4 作表面觀察，依靠經(jīng)驗豐富的技術人員進行人眼識別與判斷。這種方法較落后，主 要缺點有：檢測速度慢，生產(chǎn)效率低，目前觸點零件產(chǎn)量非常巨大，工業(yè)流水線 的生產(chǎn)速度已經(jīng)很快，人工檢測的效率低下影響生產(chǎn)效率；檢測主觀性大，沒有 嚴格統(tǒng)一的質(zhì)量標準，技術人員全憑經(jīng)驗判斷觸點質(zhì)量的好壞，這種經(jīng)驗有主觀的， 也有的是企業(yè)內(nèi)部傳統(tǒng)得多年的經(jīng)驗積累，其隨機性相當大；檢測質(zhì)量無法保證， 人工受外界因素影響較大，如身體不適、視覺疲勞等等，很容易造成漏檢誤檢； 人工檢測的數(shù)據(jù)無法準確及時地納入質(zhì)量管理體系，不易進行質(zhì)量分析，不利于生 產(chǎn)工藝的改進完善；占用大量人力，造成較大的人工成本，生產(chǎn)自動化水平低。 目前，國外已經(jīng)在零件外觀自動化檢測方面有了很大的進步，推出了不少產(chǎn)品 化的檢測設備，并且達到了很高的水平。著名的廠商有c o g n e x 、b a n n e r 、西門子、 p h o t o n s c o p e 公司等，例如美國c o g n e x 公司有d v t 、i n - s i g h t 、c h e c k e r 等多個自動檢 測系列產(chǎn)品并提供軟件平臺，有些型號的檢測速度根據(jù)不同精度可高達每分鐘 1 5 0 0 6 0 0 0 個工件。在國內(nèi)方面，在零件檢測上仍然處于起步階段，系統(tǒng)化成品化 的檢測設備較少，且一些檢測系統(tǒng)往往只針對特定的零件，針對性比較強，一般只 在單一零件的流水線上使用。 隨著國內(nèi)大規(guī)模制造業(yè)的發(fā)展，自動化檢測技術及其設備的市場空間十分巨大。 觸點零件作為產(chǎn)量規(guī)模巨大的工業(yè)主要零件之一，其檢測需求量也很大。但是，對 企業(yè)而言，如果全部采用國外進口設備，成本很高；而且觸點零件的形式多種多樣 （如圖1 - 1 所示），一條流水線可以生產(chǎn)多種外觀形貌不同的觸點零件，如果針對每 一種零件都需要一套特定的檢測設備，不僅成本非常高，使用上也不方便。所以， 采用先進的現(xiàn)代技術手段，研究針對各種不同觸點零件形貌的快速、無損的自動檢 測原理、方法和初步的應用系統(tǒng)硬、軟件，具有十分重要的理論和實踐意義，對于 國內(nèi)零件制造業(yè)的發(fā)展有推動作用，因此該課題研究具有良好的發(fā)展和應用前景。 1 . 2 計算機視覺檢測技術對觸點零件形貌檢測的適用性 1 . 2 . 1 計算機視覺檢測技術概述 計算機視覺檢測技術是通過模擬人的視覺功能，對視覺信息進行獲取、傳輸、 處理、存儲與理解的技術，它不僅利用圖像傳感器代替人眼獲取圖像，更側(cè)重于利 用計算機以代替人腦，來分析圖像并完成與視覺有關的任務。它是一門涉及神經(jīng)生 理學、認知心理學、物理學、數(shù)學、計算機科學、光學、電子學、圖像處理、模式 上海交通大學碩士學位論文 第一章 緒論 第 頁 5 識別和人工智能等多個領域的新興智能技術，這些領域的迅速發(fā)展有力地促進了計 算機視覺檢測技術的進步，使其已經(jīng)從最初的實驗室研究階段走向?qū)嶋H工業(yè)應用的 發(fā)展階段，逐漸形成了豐富、完善的理論體系611。 計算機視覺檢測的研究發(fā)展至今已有約四十年的歷程12,13，目前的計算機視覺 技術研究大多是在美國麻省理工學院的馬爾教授( d r . m a r r ) 二十年前創(chuàng)立的視覺計 算理論框架基礎上進行的16。視覺可以看作是從三維環(huán)境的圖像中抽取、描述和解 釋信息的過程，它可以劃分為六個主要部分：感覺、預處理、分割、描述、識別、 解釋。m a r r 的視覺模型將視覺從概念上分成幾個獨立的模塊，各自完成不同的計算 任務。底層視覺處理直接對圖像數(shù)據(jù)操作，處理一些不需要智能但在視覺感覺中又 是必不可少的過程，恢復有用的2 d 描述；中層視覺處理利用這些描述對圖像進行元 素抽取、表達和標記，進行部分3 d 恢復；高層視覺處理再利用恢復的信息完成景物 域的推理和識別，試圖模仿人的認知行為。m a r r 視覺理論的提出，對計算機視覺得 發(fā)展起到了積極的推動作用8,14,15。 計算機視覺技術在8 0 年代中期到9 0 年代期間獲得了蓬勃的發(fā)展，新的概念、方 法和理論不斷涌現(xiàn)。l o w e 認為人類視覺對三維目標的識別可以通過二維灰度圖像直 接完成26,27，它不僅為解決計算機視覺技術的兩大重要研究領域識別和導航提 供了強有力的理論基礎，而且對于最終揭示人類視覺感知的奧秘將起到重大作用。 同時，計算機視覺的研究領域出現(xiàn)了主動視覺的理論框架1720。主動視覺主要通過 研究通過主動控制攝像機的參數(shù)，或者更廣義的說，通過視覺和行為結(jié)合來獲得穩(wěn) 定的、實時的感知6。 視覺信息在人類活動所涉及的各種信息中所占比重最大，計算機視覺技術的研 究己經(jīng)成為熱點15。目前計算機視覺理論與人類視覺相比還很幼稚，計算機視覺的 研究領域充滿了挑戰(zhàn)和機遇，隨著計算機技術和大規(guī)模集成電路的迅速發(fā)展，計算 機視覺的研究在許多應用領域展示了廣闊的前景21,22。它在某些領域卓有成效的應 用引起了人們的極大興趣，其應用范圍正在日益擴大。目前，計算機視覺檢測已在 醫(yī)學、工業(yè)、農(nóng)業(yè)和軍事等許多領域得到廣泛應用，取得了巨大的經(jīng)濟和社會效益 8,2325，具體表現(xiàn)在： 1 . 醫(yī)學方面：醫(yī)學是計算機視覺檢測應用較為成功的一個領域。為人們所普遍 接受的對染色體切片、癌細胞切片、x 射線圖像、超聲波圖像的自動檢查、 診斷方式，還有注射器針頭的質(zhì)量檢查，藥片包裝有無缺損等。其中的計算 機斷層攝影技術（c t ）更獲得了諾貝爾獎，對人類做出了劃時代的貢獻。 2 . 工業(yè)方面：生產(chǎn)線上自動焊接、切割加工，大規(guī)模集成電路生產(chǎn)線上自動連 上海交通大學碩士學位論文 第一章 緒論 第 頁 6 接引線、對準芯片和封裝，印刷電路板檢查，鋼板表面探傷，大型工件平行 度和垂直度測量，容器容積檢測，汽車車身檢測，紙幣印刷質(zhì)量檢測，紡織 印染業(yè)自動分色、配色，木材、焊縫、鑄件雜質(zhì)和斷口，瓷片、玻璃產(chǎn)品、 印刷品等在線質(zhì)量檢查，i c 上的字符識別，零件尺寸測量等。 3 . 農(nóng)業(yè)方面：農(nóng)產(chǎn)品質(zhì)量自動檢驗與分級，涉及水果、農(nóng)作物籽粒、蔬菜、家 畜、禽蛋等，如自動分辨并剔除已發(fā)芽的土豆，獲取作物生長狀態(tài)信息，農(nóng) 業(yè)種質(zhì)資源管理、植物病理研究、遺傳細胞工程研究等。 4 . 軍事方面：自動識別并監(jiān)視軍事目標，自動發(fā)現(xiàn)、跟蹤運動目標，自動巡航 捕獲目標和確定距離。 5 . 遙感方面：自動制圖，衛(wèi)星圖像與地形圖對準，自動測繪地圖，森林、水面、 土地資源管理，環(huán)境、火警自動檢測等。 6 . 天文方面：獲取恒星、行星的結(jié)構(gòu)和位置信息。 7 . 商業(yè)、生活方面：自動巡視、跟蹤、報警，人像安全檢查，為盲人引路的“帶 路機器狗”等。 8 . 各領域智能機器人研究也離不開計算機視覺檢測技術。 計算機視覺檢測技術的發(fā)展已達到了較高的實用水平，從單純地模擬人眼的視 覺響應，發(fā)展到與具體檢測目標相適應的視覺延伸，并強調(diào)精度和速度及現(xiàn)場環(huán)境 下的可靠性，具有無損、高效等優(yōu)點。作為實現(xiàn)智能化、高效率途徑中不可缺少的 功能模塊，視覺系統(tǒng)逐步與運動控制、網(wǎng)絡通訊等先進技術相結(jié)合進而改變了傳統(tǒng) 生產(chǎn)、生活的面貌。 計算機視覺檢測雖然在許多領域中應用取得成功，但目前這些檢測系統(tǒng)和人的 視覺相比仍有很大局限性。許多重要的視覺對人來說是很簡單的，但目前幾乎任何 系統(tǒng)都無法達到人類視覺的水平，對于復雜多變的實際應用環(huán)境，視覺檢測仍無法 勝任。所以，發(fā)展計算機視覺技術，提高視覺檢測能力，是計算機視覺技術的一個 重要的研究方向。 1 . 2 . 2 計算機視覺檢測技術在工業(yè)形貌檢測方面的應用及適用性 在工業(yè)生產(chǎn)中，用計算機視覺代替人的視覺進行質(zhì)量檢測有不言而喻的優(yōu)越性， 尤其在需要重復、單調(diào)的依靠視覺獲取信息的場合，如大批量的產(chǎn)品質(zhì)量檢驗、分 級，能夠達到快速、準確、無損等人工無法比擬的效果。 目前，計算機視覺檢測系統(tǒng)在工業(yè)檢測中常見的應用有：光學字符檢測/ 識別 上海交通大學碩士學位論文 第一章 緒論 第 頁 7 （o c v / o c r ）、幾何尺寸檢測、表面質(zhì)量檢測、玻璃制品質(zhì)量檢測。其中幾何尺寸檢 測和表面質(zhì)量檢測都屬于形貌檢測11。 計算機視覺形貌檢測系統(tǒng)首先在一些效益好的規(guī)模型企業(yè)得到有效的應用，如 人民幣生產(chǎn)企業(yè)、鋼鐵企業(yè)、煙草生產(chǎn)企業(yè)、大型印刷企業(yè)、汽車零部件生產(chǎn)企業(yè) 以及芯片電子產(chǎn)品生產(chǎn)企業(yè)等。這些企業(yè)長期以來和國外的合作較多，能夠很快接 受先進的檢測技術。規(guī)模型企業(yè)在質(zhì)量檢驗方面的人員比較多，比較適合視覺檢測 系統(tǒng)的應用。尤其隨著競爭的加劇，企業(yè)強烈需要通過采用視覺檢測系統(tǒng)提高產(chǎn)品 質(zhì)量，通過減低廢品率來控制生產(chǎn)成本，實現(xiàn)質(zhì)量管理的數(shù)字化。 計算機視覺檢測技術在工業(yè)形貌檢測方面已經(jīng)有不少成功的實際應用，如印刷 在線檢測、金屬外觀的質(zhì)量檢測和外包裝檢測，如圖1 - 2 所示，其檢測質(zhì)量也得到企 業(yè)的認可。 a ) 印刷質(zhì)量檢測缺陷 b ) 硬幣形貌質(zhì)量檢測 c ) 香煙條盒外包裝質(zhì)量檢測 圖1 - 2 常見外觀形貌質(zhì)量視覺檢測 fig.1- 2 common vision detection of appearance quality 上海交通大學碩士學位論文 第一章 緒論 第 頁 8 計算機視覺形貌檢測已有較深厚的理論和實踐基礎，具有較可靠的算法和技術 支持。它不僅是人眼的延伸，更重要的是可以代替人腦的部分工作，將逐漸成為工 業(yè)檢測的主流。一個好的計算機視覺檢測的主要優(yōu)點有以下幾點2831： （1 ）精度高： 隨著光學成像系統(tǒng)和圖像傳感器的精度日益提高， 計算機視覺的 檢測精度也隨之提高。 （2 ）無損性：此種檢測不需要接觸，對脆弱部件沒有磨損和危險。 （3 ）連續(xù)性：可以使人們免受視覺疲勞之苦，由于沒有人工操作者，也沒有認 為造成的操作變化，其檢測穩(wěn)定性和連續(xù)性好。 （4 ）成本效率高：隨著計算機處理器價格的急劇下降，計算機視覺系統(tǒng)成本效 率也變得越來越高；另外，視覺系統(tǒng)的操作和維護費用非常低。 （5 ）靈活性：能夠進行各種不同功能的檢測。應用有所變化時，只需軟件做相 應變化或者升級，以適應新的需求即可。 （6 ）便于信息化管理：生成的信息可以納入數(shù)據(jù)庫，實現(xiàn)網(wǎng)絡發(fā)布、數(shù)據(jù)上傳 和數(shù)據(jù)庫管理，便于自動分類、匯總、統(tǒng)計和報表打印等操作，提高管理 水平。 基于上述研究現(xiàn)狀和技術基礎，本文提出采用計算機視覺檢測系統(tǒng)實現(xiàn)觸點零 件外觀形貌自動檢測。結(jié)合企業(yè)實際需求，本文研究開發(fā)的檢測系統(tǒng)要能夠適應大 小、形狀、紋理都不同的各種不同規(guī)格的觸點零件，所以在檢測與分析時要有足夠 的應變能力來適應情況的變化，即具有自學和歸納能力。這是本文研究的重點。 1 . 3 本文主要內(nèi)容及安排 1 . 3 . 1 研究內(nèi)容及方法 本文研究的主要內(nèi)容為開發(fā)一套基于計算機視覺的觸點零件形貌在線自動檢測 系統(tǒng)，能夠檢測各種不同規(guī)格的觸點零件，最終判斷其合格性或歸類到某種缺陷。 因為要滿足各種不同規(guī)格，無法預先設定固定的檢測標準，所以需要設計一種自學 習方法，讓計算機在檢測過程中首先學習零件特征，再以此作為標準實現(xiàn)檢測。論 文在兼顧系統(tǒng)穩(wěn)定性、檢測精度和速度的前提下重點研究了實現(xiàn)上述功能的算法和 軟件實現(xiàn)問題。 結(jié)合計算機圖像處理及模式識別技術，本文通過提取大量樣本特征并對特征進 上海交通大學碩士學位論文 第一章 緒論 第 頁 9 行學習，選擇其中優(yōu)質(zhì)特征作為識別分類的依據(jù)，從而實現(xiàn)了一種適用于不同規(guī)格 零件，對合格零件和各種不同缺陷零件進行分類檢測的方法。在圖像處理方面，主 要對圖像預處理、自適應分割以及大量特征提取等內(nèi)容進行了研究；在模式識別方 面，則重點研究了特征選擇的標準和分類器的設計，提出了快速有效的識別方法。 1 . 3 . 2 研究的關鍵問題 開發(fā)過程中，影響系統(tǒng)設計和算法研究的兩個最關鍵的因素為： 1 檢測速度 在工業(yè)現(xiàn)場及工業(yè)生產(chǎn)線中，對于在線實時檢測，如何將檢測系統(tǒng)嵌入到生產(chǎn) 線相應的工序中，必須使檢測速度與生產(chǎn)線節(jié)拍相一致，是檢測系統(tǒng)走上實際應用 的關鍵一步。本文多方面考慮各種用于提高系統(tǒng)速度的方法：通過合理的選擇光源 以及安裝系統(tǒng)使被測零件感興趣部分在圖像中盡可能明顯，節(jié)約圖像預處理時間； 通過對被測零件進行限位，可以節(jié)約在圖像中定位零件的時間；研究開發(fā)圖像處理 的快速算法；選用快速的模式識別方法提高決策效率等，使用這些方法都可以提高 檢測速度。 2 檢測結(jié)果 檢測結(jié)果是衡量檢測系統(tǒng)好壞的最基本的性能指標，決定了系統(tǒng)的成敗。為了 確保系統(tǒng)檢測結(jié)果的準確可靠，系統(tǒng)必須要：獲取高質(zhì)量的零件圖像，圖像質(zhì)量直 接影響系統(tǒng)的穩(wěn)定性、可靠性及識別結(jié)果，是檢測的前提和必要保證；選擇合適的 零件特征作為系統(tǒng)模式識別的標準，好的特征對模式識別有效，否則對識別不起作 用甚至不利于識別；保證模式識別決策的準確有效性，分類識別決策的設計是最為 重要的環(huán)節(jié)，直接關系到最終的檢測結(jié)果。 1 . 3 . 3 本文結(jié)構(gòu)安排 針對上述研究內(nèi)容，論文結(jié)構(gòu)安排如下： 第一章：介紹觸點零件形貌檢測系統(tǒng)的研究背景；概述計算機視覺檢測技術， 分析了其實踐價值以及在本課題中的適用性；介紹了本文的主要內(nèi)容、關鍵問題和 結(jié)構(gòu)安排。 第二章：首先介紹了計算機視覺檢測原理和自學習功能的實現(xiàn)原理；設計了在 線視覺檢測系統(tǒng)整體結(jié)構(gòu)和自學習檢測流程，并詳細討論了系統(tǒng)各個組成部分，介 紹各個部件及其選用原則、技巧。 上海交通大學碩士學位論文 第一章 緒論 第 頁 10 第三章：結(jié)合實際應用介紹計算機視覺檢測系統(tǒng)的常用圖像處理算法，包括圖 像預處理、自適應閾值分割、特征提取等，特別介紹了大量圖像特征及其提取方法， 并對其中一些算法進行了適應性改進。 第四章：對實現(xiàn)系統(tǒng)學習功能的模式識別技術作了詳細的介紹，確定了模式識 別的方法，并提出改進的特征預處理、選擇、優(yōu)化算法，最后設計了簡單有效的分 類器，使系統(tǒng)能快速檢測出識別結(jié)果。 第五章：搭建了系統(tǒng)試驗平臺，并對幾種觸點零件進行了試驗，得出檢測結(jié)果 并對結(jié)果作進一步分析，研究誤差來源并提出改進方向。 第六章：對全文的研究工作進行了總結(jié)，給出主要的研究成果，并指出研究中 存在的問題和進一步研究的方向。 論文內(nèi)容總體結(jié)構(gòu)框圖如圖1 - 3 所示。 1 緒論 2 觸點零件形貌在線檢測系統(tǒng)整體設計 3 視覺檢 測中的 圖像處 理技術 4 實現(xiàn)自 學習功 能的模 式識別 技術 5 系統(tǒng)實現(xiàn)與應用 6 總結(jié)與展望 圖1 - 3 論文結(jié)構(gòu)總體框圖 fig.1- 3 structure of paper 上海交通大學碩士學位論文 第二章 觸點零件形貌在線檢測系統(tǒng)整體設計 第 頁 11 第二章 觸點零件形貌在線檢測系統(tǒng)整體設計 2.1 系統(tǒng)檢測原理 2 . 1 . 1 計算機視覺檢測原理 觸點零件形貌在線檢測是計算機視覺技術在工業(yè)中的應用，因此觸點零件形貌 在線檢測系統(tǒng)本身也是一個計算機視覺檢測系統(tǒng)。其檢測是通過光學裝置和非接觸 傳感器等光電成像系統(tǒng)自動地接收和采集目標圖像，然后經(jīng)計算機或?qū)Ｓ玫膱D像處 理模塊進行數(shù)字化處理，根據(jù)圖像的象素分布、亮度、顏色等信息，來進行尺寸、 形狀、顏色等的判別，從而把計算機的快速性、可重復性，與人眼視覺的高度智能 化和抽象能力相結(jié)合，以獲得所需的檢測信息32,33。 2 . 1 . 2 實現(xiàn)自學習功能的檢測原理 早期的圖像識別采用模板匹配法，以視覺幾何形狀特性為主要的表達方式，分 圖像模板、幾何參數(shù)模型、結(jié)構(gòu)網(wǎng)絡。模板匹配主要是用來在二維圖像上識別標定 所求的目標，原理簡單、模型直觀。但要選擇一個適合于各種輸入的較典型的模板 十分困難，確定一個合適的匹配準則亦非易事，特別是當屬于同一個類型有許多模 板時，模板匹配法則很難奏效。通過對觸點零件形貌特征的觀察，零件只需要符合 一定的標準即為合格品，合格零件之間也有一定的差異性，所以不能簡單采用模板 匹配的方法對其識別。 一種比較好的模式表達法是從對象中選擇代表該類型特有的抽象屬性，稱之為 特征。不管輸入的具體圖像如何變化，但是同一類型的圖像其各個特征應該基本相 同，而不同類型的特征有明顯的不同。 按照特征的數(shù)據(jù)結(jié)構(gòu)形式不同，它又可分為基于特征參數(shù)的判決理論法和基于 結(jié)構(gòu)特征的句法研究兩大類。句法模式識別方法解決了以結(jié)構(gòu)為特征的對象的識別 問題，給出了它的結(jié)構(gòu)化描述，但把對象歸結(jié)為用嚴格確定性的文法來描述，有時 顯得很難實現(xiàn)，例如圖像中的噪音、對象本身的多變性等。因此，在實際應用中， 它是比較脆弱的，還不及判決式識別那樣靈活。本系統(tǒng)采用基于特征參數(shù)的判決理 上海交通大學碩士學位論文 第二章 觸點零件形貌在線檢測系統(tǒng)整體設計 第 頁 12 論方法，經(jīng)過特征提取，將輸入的圖像用簡單的特征值來描述。 確定了系統(tǒng)的分類識別方法后，為了實現(xiàn)系統(tǒng)的學習功能，首先要選擇學習對 象。根據(jù)觸點零件形貌特征的缺陷分類，挑選合格零件和各類缺陷零件作為系統(tǒng)的 學習對象，稱之為樣本。通過對一定數(shù)量的學習樣本提取大量基礎特征，構(gòu)成各個 類別樣本的特征數(shù)據(jù)庫，再對數(shù)據(jù)庫中的特征進行選擇和變換，形成一組能夠使類 與類之間盡可能分開的特征，以這些特征作為判斷依據(jù)，完成識別分類的訓練。事 先設定各步驟的過程和標準并輸入計算機，讓計算機自動實現(xiàn)對任何一種零件判斷 依據(jù)的合理選擇及訓練，即實現(xiàn)了系統(tǒng)的自學習功能。其中涉及到大量圖像處理及 模式識別技術，如圖像處理中圖像預處理、分割、特征提取等，模式識別中特征選 擇、特征優(yōu)化、分類器設計等。 2.2 在線視覺檢測系統(tǒng)總體結(jié)構(gòu)設計 觸點類零件視覺在線檢測系統(tǒng)設計的目標是設計一個可以自動進行觸點零件圖 像采集、處理、識別、定位、分類、測量、檢查、判斷的在線檢測系統(tǒng)?；谟嬎?機視覺的在線檢測系統(tǒng)是一個集光、機、電于一體的準自動化系統(tǒng)，一般包括圖像 采集、圖像處理、通信與輸入輸出三個組成部分。 圖像采集部分主要由硬件設備完成，如照明系統(tǒng)、相機、圖像采集卡等，實現(xiàn) 對印刷圖像的數(shù)據(jù)采集，數(shù)字化后將圖像數(shù)據(jù)輸送到圖像處理部分進行處理。 通信部分則包括檢測信號輸入、報警與控制信號的輸出以及識別結(jié)果顯示等， 完成整個系統(tǒng)中各部分之間的數(shù)據(jù)通訊，對圖像采集部分和圖像處理部分發(fā)布控制 信號，以協(xié)調(diào)和同步各個部分完成各自任務，同時還可以接收操作人員指令或生產(chǎn) 線上其他單元的控制信號，或者向操作人員發(fā)出報警信號或向生產(chǎn)線其他單元發(fā)出 控制信號。 圖像處理部分是在線檢測系統(tǒng)功能實現(xiàn)的主體，主要是通過計算機來實現(xiàn)對圖 像進行預處理、分割、識別等一系列必要的實時處理算法，按照檢測功能要求對觸 點零件圖像進行處理后，把結(jié)果送到輸出部分顯示或輸出。目前也有采用硬件系統(tǒng) 來實現(xiàn)圖像的一部分預處理功能31,34,38，如噪聲濾波、卷積、二值化等基本算法。但 由于硬件實現(xiàn)成本高而且難以實現(xiàn)復雜算法，因此只是應用在一些十分特殊的專用 系統(tǒng)中用來完成圖像的低級處理。 工業(yè)流水線中，觸點零件的在線視覺檢測需要各個部分的密切配合。具體的步 驟為：零件到達視覺檢測區(qū)域時，流水線上的檢測觸發(fā)器感應到零件后，輸出一 上海交通大學碩士學位論文 第二章 觸點零件形貌在線檢測系統(tǒng)整體設計 第 頁 13 個檢測啟動信號；計算機接收到檢測啟動信號，對圖像采集卡發(fā)出指令，要求采 集圖像；通過光學系統(tǒng)和成像元件生成零件圖像，以數(shù)據(jù)形式發(fā)送到圖像采集卡 中，由計算機接收；計算機通過圖像處理和分析，得出檢測結(jié)果，輸出合格或不 合格信號，指示外圍設備（如篩選器）的操作，等待后續(xù)檢測信號。在線視覺檢測 系統(tǒng)總體結(jié)構(gòu)如圖2 - 1 所示。 圖像采集卡 c ccd攝像頭 環(huán)形led光源 被檢零件 合格零件 不合格零件 篩選器 合格/不合格信號 遮光罩 圖像采集信號 圖像數(shù)據(jù) 觸發(fā)器 檢測啟動信號 圖 2 - 1 觸點零件在線視覺檢測系統(tǒng)總體結(jié)構(gòu) fig.2- 1 online vision detection system structure for contact components 2.3 實現(xiàn)自學習功能的檢測流程 系統(tǒng)工作時分為在線自學習和在線檢測兩種工作模式，如圖2 - 2 所示。 對一種新的零件在進行檢測前，首先要對樣本零件進行學習訓練。即采集若干 標準樣本零件的圖像，對每個樣本進行預處理、圖像分割及特征提取，綜合樣本的 特征信息后，通過比較和映射轉(zhuǎn)換，自動選出最適合分類器設計、對分類最有效的 特征作為判據(jù)特征矢量，并利用判據(jù)特征矢量對樣本進行識別訓練，得出分類器的 相關參數(shù)，完成智能學習過程。 系統(tǒng)對樣本學習完成后，可以開始零件的在線檢測。采集被測零件的圖像，同 樣進行預處理和圖像分割，檢測中只需要提取判據(jù)特征，采用學習訓練過程中得到 上海交通大學碩士學位論文 第二章 觸點零件形貌在線檢測系統(tǒng)整體設計 第 頁 14 的模式識別方法對特征進行識別，得出最后檢測結(jié)果。 采集樣本零件圖像綜合樣本信息選取判據(jù)特征矢量 訓練樣本 模式識別方法 采集被測零件圖像 預處理及分割 特征提取 提取判據(jù)特征矢量預處理及分割模式識別檢測結(jié)果 自學習過程 檢測過程 圖 2 - 2 系統(tǒng)檢測流程圖 fig.2- 2 detection movement flow chart 2.4 在線自學習視覺檢測系統(tǒng)的組成 觸點零件視覺在線檢測系統(tǒng)從數(shù)據(jù)傳遞的角度可以將其分為數(shù)據(jù)獲取模塊、數(shù) 據(jù)分析模塊、數(shù)據(jù)通信模塊；從具體組成的角度可以將系統(tǒng)分為照明系統(tǒng)、光學成 像系統(tǒng)、成像元件、圖像采集卡、軟件處理系統(tǒng)、外圍設備六個子系統(tǒng)。子系統(tǒng)設 計的目的就是對系統(tǒng)檢測的整體需求進行分析，并將檢測需求的實現(xiàn)綜合平衡，分 散為各個子系統(tǒng)的功能需求。 其中，外圍設備需要根據(jù)流水線的功能要求進行設計，與本文研究的在線視覺 檢測系統(tǒng)關系不大，文中不作具體介紹。 2 . 4 . 1 照明系統(tǒng) 照明系統(tǒng)是計算機視覺系統(tǒng)中一個重要功能模塊，用來以合適的方式將光線投 射到被測物體上以突出被測對象的特征，從而滿足系統(tǒng)對圖像采集質(zhì)量的保證。一 個優(yōu)秀的照明系統(tǒng)應該能夠保證采集得到的圖像亮度適中，對比度高，細節(jié)清晰， 沒有反光和眩光，顏色保真度高，能夠為圖像后期處理減少不必要的麻煩，并能簡 化軟件算法。 照明系統(tǒng)分為光源和照明方式兩部分。好的光源與照明方式往往是整個系統(tǒng)成 敗的關鍵所在，不是簡單的照明而已。光源與照明方式的配合應該盡可能的突出物 體特征量，在物體需要檢測的部分與那些不重要部分之間應該盡可能的產(chǎn)生明顯的 區(qū)別，盡量的增大背景與物體邊緣的灰度反差，增加其對比度。同時，還應該盡可 能的保證系統(tǒng)有足夠的整體亮度，物體位置的變化不應該影響成像的質(zhì)量3537。 上海交通大學碩士學位論文 第二章 觸點零件形貌在線檢測系統(tǒng)整體設計 第 頁 15 1 光源 光源通常分為天然光源與人工光源。天然光源是自然界中存在的輻射源，如太 陽、恒星等。人工光源是人為將各類形式的能量轉(zhuǎn)化成光輻射能的器件，按照發(fā)光 機理，可分為熱輻射光源、氣體放電光源、固體發(fā)光光源和激光器等。計算機視覺 系統(tǒng)工作在工業(yè)生產(chǎn)現(xiàn)場，采用合適的人工光源更容易創(chuàng)造有利的視覺環(huán)境，提高 系統(tǒng)獲取的圖像質(zhì)量。 視野大小、相機與被攝物體的距離以及光源與被攝物體的距離均影響光源的選 擇。被攝物體表面條件(光滑或凹凸不平)和幾何形狀與光源種類選擇有關，被攝物體 本身或被檢測區(qū)域的顏色與光源波長選擇有關。具體成像內(nèi)容也在很大程度上影響 光源的選擇。光源設備的選擇必須符合所需的幾何形狀、照明亮度、均勻度、發(fā)光 的光譜特性等，同時還要考慮光源的發(fā)光效率和使用壽命37。 常見的光源有白熾燈、熒光燈、汞燈、鈉光燈和led光源等。表2- 1列出了幾種 主要光源的相關特性。 表 2 - 1 常用光源對比 table 2- 1 contrast of several common illumination sources 光源 顏色 壽命（小時） 發(fā)光亮度 特點 白熾燈 白色，偏黃 1000 很亮 發(fā)熱多，眾多場合使用光纖導光， 便宜。 熒光燈 白色，偏綠 5000- 7000 亮 發(fā)熱少，擴散性好，適合大面積 均勻照射，較便宜。 汞燈 綠色、藍色 6000- 16000 很亮 發(fā)光效率較高，壽命較長，顯色 性差，影響對顏色的分辨。 鈉光燈 黃色、偏綠 8000- 20000 亮 透射性好，適合戶外照明。 led 燈 紅、黃、綠、 白、藍、紫 60000- 100000 較亮，使用多個 達到高亮度 耗能少，壽命長，光照穩(wěn)定，能 做成很多形狀，較貴。 白熾燈是熱輻射光源，散射較多且工作溫度高，容易導致局部成像噪聲；熒光 燈、汞燈、鈉光燈等都屬于氣體放電燈，工作時光照不穩(wěn)定，容易受外界因素影響； 其他光源例如激光，其照明系統(tǒng)復雜，且單向光照明不符合本系統(tǒng)原理，完全無法 工作；而led光源具有發(fā)熱少、光照穩(wěn)定、功耗較低、穩(wěn)定性好、使用壽命長等優(yōu) 點，而且可以根據(jù)用途選擇波長和形狀35,36。 觸點零件尺寸不大，相機視野不需要很大，檢測距離短，而且觸點零件是金屬 制品，表面反光大，所以光源的亮度并不需要很高；但是檢測過程中光源的穩(wěn)定度 是很重要的，且光源的溫度不宜太高，以免影響其他設備的正常工作；另外，由于 上海交通大學碩士學位論文 第二章 觸點零件形貌在線檢測系統(tǒng)整體設計 第 頁 16 工業(yè)生產(chǎn)成本的原因，光源的使用壽命也是重要的因素。綜合以上幾點，本系統(tǒng)選 擇led照明光源。 光源的分布方式上，本文選用環(huán)形光源39，采用l e d 按圓周排列，發(fā)出的光線向 內(nèi)匯聚，光線方向和相機觀察方向垂直或接近90度角，光源發(fā)出的光不直接進入攝 像機，瑕疵等表面的變化引起光線改變進入鏡頭，從而實現(xiàn)了高對比度。這種光源 多用于金屬工件刻印字符、光滑表面劃痕、平面工件表面質(zhì)量等的測量，適合本系 統(tǒng)的測量要求，如圖2- 3所示。 圖 2 - 3 環(huán)形光源 fig.2- 3 loop illumination source 另外，為了避免外界干擾光的影響，還在光源部分加上遮光罩。 目前世界上生產(chǎn)led光源的廠商主要有日本的ccs公司、美國的schott公司等， 它們均有生產(chǎn)應用于視覺檢測的led光源。 2 照明方式 常見照明方式有以下幾種8： （1）傳統(tǒng)光源基本上以接近垂直于桌面的方式安置，使得光源亮度集中于照明 區(qū)域的中心，主要應用于字體的檢驗、電路板上零件的檢測等。 （2）低角度光源以接近水平于桌面的方式安置，以強化對象的邊緣及對象表面 的缺陷，適合邊緣檢測、表面檢測等。 （3）條狀光源以led或雷射光源創(chuàng)造線狀光源投射于物體表面，一般配合高分 辨率的線掃描ccd（line scan ccd）檢驗，它主要用于檢測條狀、筒狀產(chǎn)品，例如 布匹、鋼板、紙張等。 （4）背光照明光源由對象的背面投射，使得物體成像于ccd時呈現(xiàn)高對比的剪 影效果，主要用于物體尺寸測量及輪廓識別。 （5）間接光源非直接投射于物體表面，而是經(jīng)由反射板將光源均勻擴散于物體 上海交通大學碩士學位論文 第二章 觸點零件形貌在線檢測系統(tǒng)整體設計 第 頁 17 表面，主要用于強調(diào)平滑且規(guī)律表面的特性。 （6）同軸光源由分光鏡（half mirror）將光源以垂直方向投射于物體表面，主 要用于檢測具有高反光特性的物體表面，例如半導體晶圓表面。 （7）平行光源如同太陽光般以平行方式照射，主要針對反光表面的缺陷檢測， 對于規(guī)律表面，反射光源的擴散量少，而對于缺陷表面反射光源的擴散量則會大量 增加。 （8）結(jié)構(gòu)式光源以點狀、線狀或格狀方式投影于物體，利用投射圖案的變化檢 測物體的形狀。 對于系統(tǒng)檢測的觸點類零件，最重要的特征是形狀特征和表面紋理特征，低角 度方式的照明能夠滿足觸點零件視覺檢測系統(tǒng)的照明需求。另外，由于觸點零件是 金屬材質(zhì)，屬于反光物體，所以不能采用直接照射方法，需要采用低角度漫反射環(huán) 形照明，如圖 2 - 4 所示。 圖 2 - 4 低角度漫反射環(huán)形照明方式 fig. 2- 4 low- angle & diffuse reflectance illumination mode 2 . 4 . 2 光學成像系統(tǒng)、成像元件 1 相機 目前工業(yè)用相機主要有 ccd 和 cmos 兩種。cmos 相機起步較晚，所攝取的 畫面質(zhì)量也不是很好，所以主要用在圖像品質(zhì)要求不是很高的產(chǎn)品上，而工業(yè)上應 用較為普遍的是 ccd 相機。ccd（char