工業(yè)大數(shù)據(jù)與人工智能HFUT1教材簡介2機器視覺基本概念工業(yè)圖像信號采集技術(shù)第四章

工業(yè)中的感知智能

工業(yè)相機鏡頭圖像增強他圖像特征提取基于深度學習的目標檢測工業(yè)圖像處理技術(shù)4.2工業(yè)機器視覺光源傳統(tǒng)目標檢測目標檢測自動定位3工業(yè)機器視覺-機器視覺基本概念4工業(yè)機器視覺-機器視覺基本概念機器視覺的工作流程根據(jù)判斷結(jié)果生成控制指令；指導機器人手臂、驅(qū)動器等執(zhí)行精確操作。圖像采集利用高性能工業(yè)相機與精密鏡頭捕捉高清晰度圖像。圖像處理將模擬信號轉(zhuǎn)換為數(shù)字信號；分析圖像的亮度、顏色與尺寸等關(guān)鍵特征。特征提取與決策運用復雜算法提取目標特征；采用模式識別與機器學習技術(shù)做出智能判斷。控制與執(zhí)行5工業(yè)機器視覺-工業(yè)圖像信號采集技術(shù)工業(yè)相機作為圖像采集系統(tǒng)的“眼睛”，相機負責捕捉并記錄被測物體的光學影像。其分辨率、動態(tài)范圍、幀率等因素均對圖像細節(jié)表現(xiàn)、色彩還原度及運動場景捕捉能力產(chǎn)生顯著影響。6工業(yè)機器視覺-工業(yè)圖像信號采集技術(shù)工業(yè)相機CCD相機CMOS相機功能:光電轉(zhuǎn)換、電荷存儲、轉(zhuǎn)移及信號讀取工作原理:光線→光電效應(yīng)→電荷轉(zhuǎn)移→放大→圖像信號組件:光學鏡頭、時序與同步信號發(fā)生器、垂直驅(qū)動電路、模擬/數(shù)字信號處理電路優(yōu)點:無灼傷、響應(yīng)快、低功耗功能:高度集成（光敏元件、信號放大器、模數(shù)轉(zhuǎn)換器等）工作原理:光線→電荷→電壓→數(shù)字信號優(yōu)點:集成性好、低功耗、高速數(shù)據(jù)傳輸、寬動態(tài)范圍7工業(yè)機器視覺-工業(yè)圖像信號采集技術(shù)鏡頭鏡頭在機器視覺系統(tǒng)中的功能類似于人眼中的晶狀體，負責將被觀察物體的光線聚焦并投射到圖像傳感器上形成清晰、準確的圖像。機器視覺系統(tǒng)的鏡頭選擇和配置直接影響到系統(tǒng)的分辨率、成像質(zhì)量、工作范圍以及對環(huán)境變化的適應(yīng)能力8工業(yè)機器視覺-工業(yè)圖像信號采集技術(shù)鏡頭選擇工業(yè)檢測鏡頭的關(guān)鍵因素工作波長與變焦需求波長:根據(jù)應(yīng)用光譜范圍選擇合適鏡頭（如近紅外用于穿透表面反射檢測）。變焦:根據(jù)是否需要調(diào)整觀測尺度選擇定焦或變焦鏡頭。景深管理作用:對于動態(tài)生產(chǎn)線或有位置偏差的應(yīng)用場景。實現(xiàn):通過精確計算焦距保證足夠景深，即使目標移動也保持清晰。焦距選擇依據(jù):工作距離、目標尺寸、所需分辨率和傳感器規(guī)格。目的:優(yōu)化視場覆蓋和圖像細節(jié)。綜合考慮其他參數(shù)光圈大小:影響曝光時間和圖像亮度?；兛刂?保持圖像真實無扭曲。鏡頭材質(zhì)與鍍膜:提高透光率和圖像純凈度。接口兼容性:確保與現(xiàn)有系統(tǒng)兼容。成本效益:平衡性能與價格。9工業(yè)機器視覺-工業(yè)圖像信號采集技術(shù)光源1.塑造圖像質(zhì)量：光源直接影響圖像的清晰度與對比度。2.增強特征識別：適當?shù)恼彰髂芡怀瞿繕颂卣?，簡化圖像處理。3.維持檢測穩(wěn)定性：穩(wěn)定的照明確保系統(tǒng)在不同條件下的一致表現(xiàn)。10工業(yè)機器視覺-工業(yè)圖像信號采集技術(shù)光源LED光源的優(yōu)勢實用性:易于安裝與維護。經(jīng)濟性:能耗低、壽命長。靈活性:可定制形狀與顏色。關(guān)鍵指標對比度:增強特征與背景之間的差異。亮度:保證良好的信噪比與景深。魯棒性:確保圖像質(zhì)量的一致性。照明方式:根據(jù)需求選擇最佳策略。其他考量:利用單色光源、濾鏡、偏振技術(shù)等。照明策略暗場照明:突出輪廓。側(cè)光:增強紋理。垂直光照:確保均勻性。11工業(yè)機器視覺-工業(yè)圖像處理技術(shù)圖像增強12工業(yè)機器視覺-工業(yè)圖像處理技術(shù)圖像增強-單點運算方法灰度變換在得到灰度圖像的基礎(chǔ)上進一步對每個像素的灰度級進行調(diào)整的過程。對于圖像中的任意一點s，其在增強后的灰度圖像t中的對應(yīng)灰度值可通過一個預(yù)定義的灰度映射函數(shù)E來決定，該函數(shù)可能呈現(xiàn)為線性變換、非線性變換或分段線性變換等形式。線性灰度變換-圖像反轉(zhuǎn)灰度線性變換最常見的就是圖像反轉(zhuǎn)，在灰度圖像灰度級[0,L-1]范圍中，其反轉(zhuǎn)的公式如下所示：

s=L-1-r

其中r表示原始圖像的灰度級s表示變換后的灰度級。13工業(yè)機器視覺-工業(yè)圖像處理技術(shù)圖像增強-單點運算方法非線性灰度變換經(jīng)典的非線性變換有對數(shù)變換，一般表示如下所示：r表示原始圖像的灰度級s表示變換后的灰度級c為常數(shù)14工業(yè)機器視覺-工業(yè)圖像處理技術(shù)圖像增強-單點運算方法直方圖修正法直方圖修正法是圖像處理中用于調(diào)整圖像對比度和亮度的一種方法。該方法的核心在于細致分析圖像中各個灰度層次的分布特性，通過以灰度級別為橫軸，像素出現(xiàn)的頻率為縱軸繪制直方圖，直觀展示每種灰度級與其對應(yīng)像素數(shù)量的關(guān)系。這樣不僅能夠清晰揭示出圖像的明暗分布特征及對比度強弱，還能總體上勾勒出圖像的視覺概貌。此步驟是后續(xù)圖像處理工作的關(guān)鍵基礎(chǔ)，為深入分析與優(yōu)化提供了不可或缺的信息依據(jù)。對像素的灰度級作歸一化處理，即將像素灰度級為L(0~255)歸一化為0<=L<=1，0代表黑，1代表白?；叶戎狈綀D的計算公式為式中，x是像素的灰度級，n是具有灰度r的像素的個數(shù)，N是圖像中像素總個數(shù)，p(x)稱為概率質(zhì)量函數(shù).其縱軸是概率，其歸一化的累積直方圖稱為累積分布函數(shù)15工業(yè)機器視覺-工業(yè)圖像處理技術(shù)圖像增強-單點運算方法直方圖修正法低亮度圖像：這類圖像的直方圖特征表現(xiàn)為灰度級分布集中在較低（暗）區(qū)域。這意味著圖像中的大部分像素點具有較低的灰度值，整體色調(diào)偏暗。在直方圖中，左側(cè)（代表較暗區(qū)域）的柱狀高度較高，顯示了像素數(shù)量較多，而右側(cè)高灰度區(qū)域的柱狀高度則相對較低。正常亮度圖像：對于這樣的圖像，其直方圖顯示了像素灰度值在中間區(qū)域的密集分布特性，意味著圖像中的大部分像素灰度均衡地介于高亮與昏暗之間，既不過分偏向極亮也不側(cè)重極度陰暗，展現(xiàn)了良好的灰度平衡。直方圖上的峰值出現(xiàn)在中間灰階部分，兩端（最暗和最亮）的灰度級所對應(yīng)的像素數(shù)量相對適中。16工業(yè)機器視覺-工業(yè)圖像處理技術(shù)圖像增強-鄰域運算方法17工業(yè)機器視覺-工業(yè)圖像處理技術(shù)圖像增強-頻率域法低通濾波與高通濾波在頻率域中，低頻成分對應(yīng)于圖像中的緩慢變化區(qū)域（如大面積的均勻顏色、平滑過渡的漸變等）以及圖像的全局結(jié)構(gòu)信息，而高頻成分則對應(yīng)于快速變化的細節(jié)（如邊緣、紋理、噪聲等）。18工業(yè)機器視覺-工業(yè)圖像處理技術(shù)圖像增強-頻率域法在圖像處理中，低頻通常對應(yīng)于變化緩慢的部分，如大面積的顏色區(qū)域；而高頻則對應(yīng)于邊緣和細節(jié)等快速變化的部分。因此，低通濾波器主要用于以下方面：去除噪聲：由于圖像中的隨機噪聲通常是高頻成分，低通濾波可以平滑圖像，減少噪聲的影響。模糊效果：通過模糊圖像可以達到平滑的效果，常用于預(yù)處理步驟以減少后續(xù)處理的復雜性。高通濾波器允許高頻成分通過，而抑制或減弱低頻成分。在圖像處理中，這有助于突出邊緣和細節(jié)，其主要應(yīng)用包括：邊緣檢測：高通濾波器能夠增強圖像中的邊緣和輪廓，這對于特征提取非常有用。銳化圖像：通過增強高頻成分，可以使圖像看起來更加清晰，細節(jié)更豐富。19工業(yè)機器視覺-工業(yè)圖像處理技術(shù)圖像增強-圖像特征提取邊緣特征提取-Sobel算子模板基于圖像灰度梯度的變化來確定圖像中的邊緣位置。具體來說，Sobel算子由兩個3x3的卷積核組成，分別用于計算圖像在水平方向（x軸）和垂直方向（y軸）上的梯度強度。20工業(yè)機器視覺-目標檢測目標檢測概述機器視覺自動檢測人工檢測效率效率高效率低速度速度快速度慢精度高精度易受主觀因素影響，精度一般可靠性檢測效果穩(wěn)定不易保持檢測效果工作時間可24小時不停工作容易疲勞、工作時間有限信息采集可實現(xiàn)信息集成不易實現(xiàn)信息集成成本成本低人工成本高環(huán)境可適用于危險檢測環(huán)境不適用于危險檢測環(huán)境教材簡介21目標檢測發(fā)展歷程2012年，AlexNet網(wǎng)絡(luò)提出，是卷積神經(jīng)網(wǎng)絡(luò)發(fā)展也是深度學習發(fā)展的分水嶺。2014年，深度學習正式用于目標檢測任務(wù)。教材簡介22傳統(tǒng)目標檢測教材簡介23傳統(tǒng)目標檢測1.區(qū)域選擇：基于候選區(qū)域的目標檢測算法主要思想是在圖像中提取潛在的目標區(qū)域，通過利用圖像的低級特征，如紋理、顏色和邊緣信息，提取具有潛在目標的區(qū)域。2.特征提?。捍_認了目標物體在圖像上的位置之后，接下來的步驟是對該區(qū)域?qū)嵤┨卣魈崛?，圖像特征的選擇直接關(guān)系到目標檢測的準確性，因此是一個核心環(huán)節(jié)。3.分類器：提取得到的特征將被輸入到分類器中進行分類處理，分類器的效能直接影響到目標區(qū)分的速度與準確度，在實踐中，常用的目標檢測分類器有支持向量機(SVM)和Haar分類器等。教材簡介24深度學習在目標檢測中的應(yīng)用教材簡介25深度學習在目標檢測中的應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要包含：輸入層、卷積層、池化層、全連接層。卷積神經(jīng)網(wǎng)絡(luò)是人類視覺原理的一種體現(xiàn)，即可視皮層是分級的。視網(wǎng)膜輸入原始信號->攝入像素

大腦皮層初步處理->邊緣和方向

抽象->形狀

進一步抽象->物體教材簡介26深度學習在目標檢測中的應(yīng)用卷積層是卷積網(wǎng)絡(luò)的核心組件，其主要作用是從輸入中提取特征。

特點：局部連接、權(quán)值共享局部連接：CNN的基本組成單元是卷積層，其中的濾波器（或稱卷積核）只關(guān)注輸入圖像的一小塊區(qū)域，這反映了生物視覺系統(tǒng)中神經(jīng)元對局部輸入敏感的特性。通過滑動窗口操作，濾波器可以遍歷整個圖像，捕捉局部特征，如邊緣、紋理等。權(quán)值共享：卷積層中的每個濾波器在整個圖像上使用的權(quán)重是相同的，這意味著一個特征如果在一個位置被識別，那么在其他位置也能被同樣識別。這不僅減少了模型參數(shù)的數(shù)量，還增強了模型的泛化能力。教材簡介27雙階段目標檢測雙階段目標檢測算法是計算機視覺領(lǐng)域中一類經(jīng)典且影響力深遠的檢測模型，它將目標檢測任務(wù)分為兩個明確的步驟來執(zhí)行：提案生成（RegionProposalGeneration）和目標分類及定位（ClassificationandLocalization）。這種分階段處理的方式旨在提高檢測的準確性和效率，尤其是在處理復雜場景時。第一階段：區(qū)域生成這一階段的目標是從原始圖像中提出一系列潛在包含目標對象的區(qū)域，即候選區(qū)域。這些候選區(qū)域應(yīng)該盡可能覆蓋所有真實目標，并且數(shù)量要足夠多以減少漏檢，同時也要避免過多的冗余，以減輕后續(xù)處理的負擔。第二階段：目標分類及定位在獲得候選區(qū)域后，第二階段的任務(wù)是對每個提案進行兩方面的評估：一是判斷該區(qū)域是否確實包含感興趣的目標類別（分類任務(wù)），二是精確定位目標的邊界框（回歸任務(wù)）。教材簡介28雙階段目標檢測-RCNN1.

利用選擇性搜索(SelectiveSearch)算法對輸入圖像進行區(qū)域選擇，提取2000個左右的候選區(qū)域。2.由于網(wǎng)絡(luò)結(jié)構(gòu)中存在全連接層，需要將提取出的候選區(qū)域統(tǒng)一尺寸，此處將尺寸縮放至227x227像素，再適當擴大以獲取更多上下文信息。3.使用卷積網(wǎng)絡(luò)對每個歸一化后的候選區(qū)域做特征提取操作，從每個候選區(qū)域提取

4096維的特征向量。4.使用SVM或其他分類器對提取到的特征進行分類識別。5.使用邊框回歸(BoundingBoxRegression)微調(diào)邊框位置基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(R-CNN)(CVRP2014)教材簡介29雙階段目標檢測-FastRCNN(ICCV-2015)R-CNN的第一個升級版本是FastR-CNN，通過使用了2次增強，大大提了檢測速度：在建議區(qū)域之前進行特征提取，因此在整幅圖像上只能運行一次卷積神經(jīng)網(wǎng)絡(luò)；用一個softmax層代替支持向量機，對用于預(yù)測的神經(jīng)網(wǎng)絡(luò)進行擴展，而不是創(chuàng)建一個新的模型。FastR-CNN的運行速度要比R-CNN快的多，因為在一幅圖像上它只能訓練一個CNN。但是，擇性搜索算法生成區(qū)域提議仍然要花費大量時間。教材簡介30雙階段目標檢測-FasterR-CNN(NIPS2015)繼FastR-CNN后，在CPU上實現(xiàn)的RegionProposal的算法SelectiveSearch成了物體檢測速度提升上的最大瓶頸。FasterR-CNN改進：設(shè)計RegionProposalNetwork（RPN），利用CNN卷積操作后的特征圖生成候選框，代替了SelectiveSearch方法，速度上提升明顯（10ms）。訓練RPN與FastR-CNN共享卷積層，大幅提高網(wǎng)絡(luò)的檢測速度。實現(xiàn)了端到端的檢測。從候選區(qū)域的產(chǎn)生->分類->定位都在一個系統(tǒng)下完成，實現(xiàn)端到端實時檢測RPN教材簡介31雙階段目標檢測R-FCN(CVPR2016)該模型針對感興趣局域的分類過程進行完善。

動機：目標檢測不僅需要檢測還需要定位，當網(wǎng)絡(luò)層數(shù)越來越深時，優(yōu)點是可以增加語義信息，使分類更加準確，缺點是會丟失位置信息，定位精度下降。那么該如何利用好分類網(wǎng)絡(luò)性能，解決這一矛盾？R-FCN提出了位置敏感得分圖（Position-sensitivescoremaps）來解決這一問題。基本理念：位置敏感得分圖是針對每個類別和每個預(yù)定義的子區(qū)域（例如，一個目標可能被劃分為上、下、左、右、中心等部分），獨立學習一個得分圖。這樣，每個子區(qū)域都有專門的分數(shù)來表示該區(qū)域是否包含目標的特定部分。目標：通過這種方式，模型不僅能夠識別出圖像中是否存在某個類別對象，還能更加精確地定位這個對象的各個部分，從而提高了邊界框的定位精度。工作原理32雙階段目標檢測R-FCN(CVPR2016)特征圖細分：首先，輸入圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)處理后得到特征圖。然后，這個特征圖會被進一步分割成多個較小的、重疊的網(wǎng)格，每個網(wǎng)格對應(yīng)一個或多個子區(qū)域（例如，3x3的網(wǎng)格可以為一個目標定義9個不同的位置敏感區(qū)域）。位置敏感濾波器：為每個類別和每個子區(qū)域設(shè)計特定的濾波器（或稱為分類器）。這些濾波器會在特征圖的對應(yīng)子區(qū)域上滑動，產(chǎn)生一系列響應(yīng)，即位置敏感得分圖。每個得分圖反映了輸入圖像在特定位置和特定子區(qū)域中存在該類別目標的可能性。融合與預(yù)測：最后，對于每個候選區(qū)域，會從相應(yīng)的得分圖中提取相應(yīng)的得分，并根據(jù)這些得分來調(diào)整候選框的位置，或者直接對候選框內(nèi)的每個子區(qū)域打分，進而決定最佳的邊界框位置和類別。教材簡介33單階段目標檢測單階段目標檢測算法將目標檢測任務(wù)視為直接回歸問題，通過一個統(tǒng)一的網(wǎng)絡(luò)結(jié)構(gòu)同時完成目標的分類和位置回歸，省略了兩階段算法中的區(qū)域生成和目標識別兩個步驟。這樣的設(shè)計簡化了整體流程，減少了計算開銷。經(jīng)典的單階段目標檢測算法有：YOLO（YouOnlyLookOnce）、SSD（SingleShotMultiboxDetector）、RetinaNet等。簡潔高效：單階段算法省去了候選區(qū)域生成的步驟，直接在特征圖上進行密集采樣，每個采樣點都對應(yīng)一個或多個預(yù)定義的錨框（AnchorBoxes），用于預(yù)測目標類別和邊界框?？焖偻评恚河捎趦H需一次網(wǎng)絡(luò)前向傳播，單階段算法能夠?qū)崿F(xiàn)非常高的處理速度，適合對實時性要求高的應(yīng)用場景，如自動駕駛、視頻監(jiān)控等。設(shè)計靈活性：這類算法在架構(gòu)設(shè)計上有較高的自由度，可以通過增加網(wǎng)絡(luò)深度、采用特征金字塔網(wǎng)絡(luò)（FPN）等方式來提升檢測性能。核心特點教材簡介34單階段目標檢測-YOLOYOLO（YouOnlyLookOnce）檢測算法將目標檢測任務(wù)視為單階段的回歸問題，通過學習從圖像像素到邊框坐標和類別概率的映射。圖像預(yù)處理：YOLO首先將輸入圖像的大小調(diào)整為448x448像素，為后續(xù)處理做準備。實現(xiàn)步驟神經(jīng)網(wǎng)絡(luò)處理：YOLO使用一個卷積神經(jīng)網(wǎng)絡(luò)對圖像進行處理，同時預(yù)測圖像中多個邊框以及它們所屬的目標類別。NMS處理：為了消除重復的邊框，YOLO使用非極大值抑制（NMS）的方法。NMS會保留具有高類別概率的邊框，并消除與這些邊框交并比（IntersectionoverUnion,IoU）高于閾值的其他邊框，以確保最終的檢測結(jié)果具有高度準確性。教材簡介35單階段目標檢測-YOLOYOLO的方案有幾個問題：針對小目標的檢測效果會不太好，因為7*7的網(wǎng)格的劃分可能太粗糙了；經(jīng)過多層卷積和pooling的操作，圖像的邊緣特征可能丟失較多了，而回歸boundingbox參數(shù)的只使用了高層的卷積層特征，會導致boundingbox不準確；當兩個目標同時落入7*7的某一個網(wǎng)格中的時候，對應(yīng)位置只能檢測到一個物體。YOLO方案的輸入是比如448*448的圖片，輸入是一個7*7的網(wǎng)格，每個網(wǎng)格的信息包含:1.存在某個類別的物體的概率，比如有20類目標需要檢測，那就是20類+1類(backgroud);2.對應(yīng)物體的boundingbox參數(shù)，使用4個數(shù)字描述;3.對應(yīng)目標的概率。這個問題就被format成一個回歸問題，448*448*3作為輸入;7*7*(b*5+c)作為回歸的參數(shù)然后進行end-to-end的學習教材簡介36單階段目標檢測-Yolov2YOLOv2相對YOLOv1進行了多項關(guān)鍵優(yōu)化，這些改進旨在提高檢測精度的同時保持或提升運行速度。高分辨率分類器：YOLOv2在訓練初期使用較大的圖像分辨率（如416x416），然后微調(diào)時逐步減小分辨率，以提高對小物體的檢測精度。特征圖尺寸設(shè)計為奇數(shù)（如13x13），這樣可以更準確地定位物體的中心點。網(wǎng)絡(luò)結(jié)構(gòu)改進：引入了Darknet-19作為骨干網(wǎng)絡(luò)，替代了YOLOv1中的網(wǎng)絡(luò)結(jié)構(gòu)，提升特征表達能力去除了YOLOv1中的全連接層，轉(zhuǎn)而使用全局平均池化(GAP)，允許輸入圖像尺寸更加靈活，不再受限于固定大小。在網(wǎng)絡(luò)中增加了批量歸一化(BatchNormalization)，提升訓練速度并穩(wěn)定學習過程，實驗證明這能提高約2%的mAP。移除了Dropout，因為與批量歸一化一起使用時，Dropout的效果并不明顯，有時甚至會降低性能。教材簡介37單階段目標檢測-Yolov2多尺度預(yù)測：采用了不同尺度的特征圖進行檢測，即在多個特征層上預(yù)測邊界框，有助于檢測不同大小的對象，增強模型的多尺度適應(yīng)能力。錨框機制：引入了錨框(AnchorBoxes)的概念，預(yù)先定義了一系列不同比例和大小的邊界框，用來匹配不同形狀的目標，這是對目標框預(yù)測的一種改進。教材簡介38對比方法PASCALVOC數(shù)據(jù)集COCO數(shù)據(jù)集mAPFPSmAPFPSRCNN58.5%0.531.4%0.5FastRCNN70.0%235.9%2FasterRCNN73.2%742.7%7R-FCN77.6%945.0%9YOLOv163.4%4521.6%45YOLOv278.6%4044.0%40教材簡介39總結(jié)RCNN(RegionswithCNNfeatures):這是一種兩階段的目標檢測方法，首先生成候選區(qū)域，然后在每個候選區(qū)域上運行卷積神經(jīng)網(wǎng)絡(luò)。RCNN的處理速度較慢，但檢測精度相對較高。FastRCNN:在RCNN的基礎(chǔ)上進行了改進，將候選區(qū)域生成和特征提取結(jié)合起來，大幅提高了檢測速度。Fast