基于機器視覺的工件的目標位置檢測分析案例目錄TOC\o"1-3"\h\u11092基于機器視覺的工件的目標位置檢測分析案例 3569091.1概述 35235861.1相機標定 35160051.1.1標定原理 36254351.1.2標定實驗 3862861.2基于卷積神經網(wǎng)絡的目標檢測 40140201.2.1RCNN 40265951.2.2FastRCNN 4086241.2.3FasterRCNN 41316061.3工件檢測算法的構建 42196011.1.1特征提取網(wǎng)絡 4287481.1.2建立區(qū)域建議網(wǎng)絡 42230421.1.3分類與回歸網(wǎng)絡 4336481.1.4非極大值抑制算法及候選框坐標的計算 4333841.4工件目標檢測實驗 45287751.4.1數(shù)據(jù)集建立 45197181.4.2目標檢測模型訓練 46290151.4.3目標檢測效果 491.1概述基于機器視覺的工件抓取系統(tǒng)選擇待抓取工件順序后，對機械臂末端的工業(yè)相機進行標定實驗，標定實驗選用張友正標定法，通過該實驗得出工業(yè)相機的內外參數(shù)，從而得出圖像坐標系與笛卡爾坐標系之間的轉換矩陣[42]。標定實驗完成之后，相機拍照獲取工作臺上的圖像，利用FasterRCNN目標檢測算法得出當前待抓取工件在圖像上的像素坐標，再乘以相機標定得出來的轉換矩陣得出笛卡爾坐標系下工件的二維坐標(x,y)。1.1相機標定相機在制作過程中受工藝水平的影響，以及在使用過程中受溫度、壓強等外部環(huán)境因素的影響，使得相機在成像時并不是理想的小孔成像模型[43]。不同的相機應用于不同的環(huán)境就會有不同的畸變參數(shù)，因此，對相機傳感器的畸變參數(shù)的校正成為圖像處理領域必不可少的一環(huán)，這種校正方法稱為相機標定。相機標定的目的是獲得相機的內參元素與外參元素，是目標檢測算法不可缺少的關鍵步驟。相機的圖像坐標系與笛卡爾坐標系的轉換關系如式(1.1.1)所示：m即：x式中：m為在相機的圖像坐標系下的坐標表示；M為笛卡爾坐標系下的坐標表示;K為內參矩陣,其中f為相機焦距，s代表畸變參數(shù)，x0,y1.1.1標定原理(1)模型假設假設：2D圖像點坐標為m=uv1則有3D空間到2D圖像坐標的映射為：sm=A式中：s為尺度變化因子；A為相機的內參數(shù)矩陣；u0,v0分別為像主點的橫坐標和縱坐標；假設標定棋盤所處的平面位于Z=0處，旋轉矩陣R的第i列記為ris因此3D空間到2D圖像的坐標映射變?yōu)椋簊m=HMH=A模型求解令H=則有?式中：H為3行3列的矩陣，并且可以提取出一個元素作為齊次坐標。再加上A矩陣的5個未知參數(shù)，因此可得H矩陣有8個位置參數(shù)。求解這8個未知參數(shù)，需要四個對應的坐標點。單應矩陣H中既有相機的內參數(shù)又有相機的外參數(shù)，要想分別獲得內參數(shù)和外參數(shù)，需要先通過矩陣運算求出相機的內參數(shù)。觀察式(1.1.7),可得如下約束條件。r1旋轉向量r1根據(jù)以上兩個約束條件，可得式(1.1.8)：?從以上的式子可以發(fā)現(xiàn)，因為h1,hB=由式(1.1.9)可以發(fā)現(xiàn)B矩陣為對稱矩陣，因此上式變?yōu)椋篵=進一步簡化為：?經過計算可得：v結合式(2.1.8)的約束條件，得以下方程組：V通過對同一個棋盤在不同角度或不同高度拍取3幅圖像，得出3組這樣的方程組，可得B矩陣，再對B矩陣做分解，就可以得到攝相機的內參陣A的六個自由度，即：v再根據(jù)?1r以上求解出相機的內部參數(shù)與外部參數(shù)共8個參數(shù)，相機標定完成。1.1.2標定實驗本研究使用張友正相機標定方法，具體標定流程如下：將標定圖粘在工作臺上；拍攝若干標定圖圖像；獲取標定圖中的特征點；得出待標定相機的內參數(shù)；得出待標定相機的外參數(shù)；綜合得到相機的轉換矩陣。標定所使用的標定板如圖1.1所示，標定板長240mm，寬240mm，黑色圓點的半徑為7.5mm，點與點之間的距離都為30mm。圖1.1相機標定板保持標定的相機放置的位置不變，保證標定板上的每個黑色圓點都在相機視場中，移動標定板，讓標訂板的擺放處于不同的位姿，共采集20張不同位姿的標定板圖像。使用opencv中的相機標定模塊，采用張友正標定方法，加載采集好的標定板圖像，以第一張標定板圖像為標定參考圖，通過程序計算得出相機的內外參數(shù)，如表1.1，表1.2所示：表1.1相機參數(shù)標定內參表相機內參數(shù)標定結果值ρ0.82u678.41v451.51α-0.33β-0.17γ-0.017表1.2相機外參數(shù)表相機外參數(shù)標定結果值r92.35r44.45r728.081.2基于卷積神經網(wǎng)絡的目標檢測基于卷積神經網(wǎng)絡的目標檢測算法主要分為兩大類，一類是基于區(qū)域的檢測算法，有RCNN、FastRCNN、FasterRCNN等；還有一類是將檢測問題轉為回歸問題進行求解，如YOLO、SSD等[44]。與第一類檢測算法相比，第二類檢測算法雖然速度較快，但精確度較低，在工業(yè)機器人領域，對實時性要求不是過分嚴格的情況下，更注重于檢測的精確度，仍然采用第一種檢測算法。下面詳細地介紹了RCNN系列的三種算法。1.2.1RCNNRCNN與傳統(tǒng)的目標檢測算法的不同之處在于，RCNN的結構是以區(qū)域卷積神經網(wǎng)絡為基礎的，利用卷積神經網(wǎng)絡對目標特征進行提取，其算法結構如圖1.2所示。圖1.2RCNN算法流程圖RCNN目標檢測算法的實現(xiàn)通過以下四個步驟進行：建立卷積神經網(wǎng)絡。通過選擇性搜索提取所有感興趣候選框。訓練SVM分類器，判斷框內的物體類別。利用回歸器修正候選框，得出候選框的位置坐標，目標檢測完成。RCNN采用卷積神經網(wǎng)絡對目標進行特征提取，既避免了人工特征提取的繁瑣，也保證了對待檢測目標特征提取的效果，在某些較為復雜的適當環(huán)境下，RCNN目標檢測算法具有良好的檢測效果。1.2.2FastRCNNFastRCNN目標檢測算法是在RCNN的基礎上引入了SPP-Net層作為ROI-Pooling層，與RCNN相同，F(xiàn)astRCNN也是采用卷積神經網(wǎng)絡進行特征提取并且使用選擇搜索方法生成候選區(qū)。但是不同點在于，F(xiàn)astRCNN是先將提取的特征圖輸入ROI-Pooling層中，然后再進行計算并作歸一化處理，最后將得出的結果以特征向量的形式輸入到并行的兩個輸出層。其中一個輸出層通過Softmax分類器進行待檢測目標的類別判斷，并計算目標類別的概率，另一個輸出層的結果為標記框的四個參數(shù)，分別為標記框的左上角角點的橫縱坐標以及標記框的長度與寬度。FastRCNN算法結構如圖1.3所示，與RCNN算法相比，F(xiàn)astRCNN的檢測速度更快。圖1.3FastRCNN算法流程圖1.2.3FasterRCNNFasterRCNN也在FastRCNN的基礎上作出了改進，F(xiàn)asterRCNN整體框架如圖1.4所示。FasterRCNN主要有以下兩個特點：FasterRCNN以FastRCNN為基礎，提出了區(qū)域建議網(wǎng)絡，建立了端對端的目標檢測模型。FasterRCNN算法中，區(qū)域生成網(wǎng)絡(RPN)與FastRCNN之間特征權值共享，以減少目標檢測算法的訓練時間。圖1.4FasterRCNN整體框架1.3工件檢測算法的構建本文以檢測速度及檢測精度綜合考量，選用FasterRCNN算法作為工件檢測算法，對待抓取工件進行目標檢測，工件檢測算法的結構如圖1.5所示：圖1.5FasterRCNN算法結構圖1.1.1特征提取網(wǎng)絡基于區(qū)域的目標檢測算法的特征提取網(wǎng)絡通常都是經過訓練生成的成熟的分類卷積神經網(wǎng)絡模型的特征提取器。隨著深度學習的不斷發(fā)展，學者們提出了很多高性能的分類卷積神經網(wǎng)絡來滿足對不同應用背景下的圖像進行特征提取的需求，譬如：AlexNet、VGG-16以及GoogLeNet等[44]。本文采用VGG-16網(wǎng)絡的特征提取器對工件圖片進行特征提取。VGG-16網(wǎng)絡通過反復堆疊3×3的卷積核和2×2的最大池化層來構建深層的卷積神經網(wǎng)絡[44]。VGG16具有13個卷積層和3個全連接層[45]。13個卷積層分別在第2、4、7、10和13層被Max-pooling層分割，經過13個卷積層的運算，可將提取出的特征圖像的長寬都減少1/2。1.1.2建立區(qū)域建議網(wǎng)絡本文使用建立區(qū)域建議網(wǎng)絡的方法，采用VGG-16作為特征提取網(wǎng)絡。首先通過一個卷積層對VGG-16提取的特征集進行卷積計算，然后再將得出的結果分別輸入兩個1*1的卷積層中，其中一個卷積層的輸出為1為待檢測目標為前景的概率以及為后景的概率[46]；另一個卷積層的輸出為候選框左上角點的橫縱坐標，以及候選框的長寬。RPN網(wǎng)絡原理圖如圖1.6所示：圖1.6RPN網(wǎng)絡原理圖1.1.3分類與回歸網(wǎng)絡分類與回歸網(wǎng)絡的目的是得出目標所屬類別的概率以及目標的像素坐標。首先將選擇的候選框送入分類與回歸網(wǎng)絡，接著再將網(wǎng)絡的輸出輸入到ROIPooling層，ROIPooling層將這些特征信息處理成特定大小的特征圖，然后由隱含層生成特征向量，最后對這些特征向量進行訓練，得出待檢測目標的分類概率和標記框的像素坐標。分類與回歸的網(wǎng)絡結構如圖1.7所示：圖1.7分類與回歸網(wǎng)絡示意圖1.1.4非極大值抑制算法及候選框坐標的計算對目標物體的檢測過程中，同一個物體有幾率會被檢測多次并被標記多次，因此要將重復多余的邊框刪除，保留最合適的邊框。非極大值抑制算法可以對這些邊框進行合理的篩選，步驟如下：將候選框按照得分的高低排列，選出得分最高的候選框[47]。篩選除最高分以為的候選框，如果候選框與最高分候選框的重疊率高于設置的閾值則將該候選框刪除。在剩下的候選框中再選出一個得分最高的候選框，重復以上操作。非極大值抑制算法得到的標記框的位置依然不夠準確，故需要對標記框進行調整，如圖1.8所示：圖1.8標記框調整標記框回歸的本質是將原先的標記框經過回歸函數(shù)變換，得出與真實框更為接近的標記框。A框為經過非極大值抑制篩選得出的標記框，B框為經過回歸調整后的標記框，C框為真實的標記框。各框的位置參數(shù)以4維向量(x,y,w,?)表示，x,y為標記框左上角點的像素坐標，w,?為標記框的長寬。計算步驟如下：A框進行平移變換：BA框進行縮放變換：BC框的轉換因子：t通過線性回歸調整轉換因子，得最終標記框的坐標：x1.4工件目標檢測實驗1.4.1數(shù)據(jù)集建立(1)工件圖像采集系統(tǒng)需要檢測的目標物體為待抓取的工件，由于復雜的環(huán)境背景會對模型訓練造成較大的影響，本文將各個工件放置在機械臂抓取的工作臺上拍攝。選取10種不同工件以不同的組合置于工作臺上，獲取250張不同的工件圖像，部分工件樣本如圖1.9所示：圖1.9部分工件樣本圖(2)數(shù)據(jù)增強有限單一的數(shù)據(jù)集容易使得訓練模型趨于過擬合化，降低模型識別的精度以及穩(wěn)定性。由于受環(huán)境條件的影響，采集不同光照強度下的工件圖片過于困難，因此我們利用圖像處理算法對工件樣本圖進行光度處理，生成不同光照強度下的各類工件圖片。同時，我們可以使用一定的數(shù)據(jù)集擴充方法使有限的數(shù)據(jù)集得到充分的擴充，譬如將原圖片旋轉一定的角度，做高斯噪聲處理、模糊處理等等。采用上述方法將原本包含250張工件圖像的數(shù)據(jù)集擴充到2000張的數(shù)據(jù)集。工件圖像標注由于FasterRCNN屬于有監(jiān)督的深度學習網(wǎng)絡，故需要標注出圖像中所有目標的類別和位置。本文使用labelImg對圖像中各目標物體的類別與位置信息進行標注。標注過程如圖1.10所示.。圖1.10LabelImg標注示意圖1.4.2目標檢測模型訓練訓練FasterRCNN工件目標檢測模型本文的FasterRCNN訓練模型在windows10操作系統(tǒng)下展開訓練，在tensorflow框架下，將Python語言作為開發(fā)語言，在Pycharm軟件中進行編寫訓練。訓練模型的學習率設置為0.0004[48]，批量大小設置為1,訓練次數(shù)設置為5000，模型訓練開始過程如圖1.11所示。在訓練模型過程中，為了防止訓練異常，導致數(shù)據(jù)丟失，每進行1000次迭代計算就保存一次模型參數(shù)。圖1.11模型開始訓練示意圖模型加載VGG-16特征提取網(wǎng)絡各網(wǎng)絡層的參數(shù)值開始訓練，訓練次數(shù)每達到50次輸出一次模型的損失函數(shù)的值，實時監(jiān)測模型的收斂情況。訓練次數(shù)每達到1000次，保存一次訓練模型，以Checkpoint文件、“.ckpt-meta”文件、“.ckpt-index”文件、“.ckpt-data”文件這四個文件的形式保存在指定文件夾。訓練過程中，隨著迭代次數(shù)的增多，模型的準確率呈上升趨勢發(fā)展，準確率曲線如圖1.12所示：圖1.12測試準確率曲線(2)工件識別Kinect相機采集工件臺上的圖片之后，調用已保存的工件檢測訓練模型“.pb”文件，通過對比圖片與訓練模型中的結構信息以及參數(shù)信息之后，系統(tǒng)會返回圖片中設定好的待抓取工件的類別，以及工件的位置，位置以矩形框給出，返回的矩形框參數(shù)為矩形的左上角坐標(a,b),以及矩形的寬高(w,?),如圖1.12所示。圖1.12目標檢測結果示意圖由此可以得出工件的中心點位置及機械臂運動的目標位置的橫縱坐標(x,y)，公式如下所示：x=a+由圖1.12可以得出矩形框的參數(shù)信息為(162,20,168,104)，即矩形框的左上角圖像坐標為a,b=(162,20)，矩形框的寬高為w,h=(168,104)，通過式(1.4.1)可得目標工件中心點在圖像坐標系的坐標為再通過式(3-1)可得世界坐標系下工件中心的坐標，如下式：M=式中：K?1結合表3-1與表3-2所得的相機內外參數(shù)可得，目標工件在世界坐標系下的平面二維坐標為(30,40)。1.4.3目標檢測效果本文綜合以檢測速度以及精度考量，選用了FasterRCNN算法作為工件檢測算法，實驗過程中除了訓練FasterRCNN模型之外，同時訓練RCNN模型和FastRCNN模型。三種模型的訓練選用一樣的測試環(huán)境，初始樣本都為250張的工件圖像，經過數(shù)據(jù)增強擴充為2000張樣本集，初始的學習率、批量大小、訓練次數(shù)等主要參數(shù)都設置為相同的值。本文使用平均準確率(mAP)作為工件目標檢測的精確性的指標。精確率表示目標檢測模型檢測的正確結果占所有結果的