第六章基于深度學(xué)習(xí)的圖像分割新工科建設(shè)·人工智能與智能科學(xué)系列深度學(xué)習(xí)在數(shù)字圖像處理中的應(yīng)用01圖像分割概述PARTONE圖像分割概述圖像分割就是根據(jù)一定的相似性準(zhǔn)則把圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域并提出感興趣目標(biāo)的技術(shù)和過程。它是由圖像處理到圖像分析的關(guān)鍵步驟。圖像分割是計(jì)算機(jī)視覺、圖像處理等領(lǐng)域的基礎(chǔ)性問題之一：是圖像分類、場景解析、物體檢測(cè)、圖像3D重構(gòu)等任務(wù)的預(yù)處理。傳統(tǒng)的圖像分割方法需要人們手動(dòng)設(shè)計(jì)人工特征，這就嚴(yán)重地依賴設(shè)計(jì)者的知識(shí)儲(chǔ)備和設(shè)計(jì)經(jīng)驗(yàn)，并且分割效果也難盡如人意，存在較大的偶然性，仍然有很大的提升空間。但是通過與各種不同的新理論及新技術(shù)的結(jié)合，圖像分割方法不斷地推陳出新，各種更快速、更精確、魯棒性更強(qiáng)的圖像分割方法被提出。1圖像分割的目的和意義圖像分割概述傳統(tǒng)圖像分割方法主要包括:基于閥值的分割方法?；趨^(qū)域生長的分割方法?；谛〔ㄗ儞Q的分割方法?；谏窠?jīng)網(wǎng)絡(luò)的分割方法?；谀芰糠汉姆指罘椒ā；诟怕式y(tǒng)計(jì)的分割方法?；谔囟ɡ碚摰姆指罘椒?。2傳統(tǒng)圖像分割方法分類圖像分割概述1.闕值分割法闕值分割法是一種基于區(qū)域的圖像分割算法，由于其原理直觀且易于實(shí)現(xiàn)。2.分水嶺算法分水嶺算法的理論基礎(chǔ)是拓?fù)鋵W(xué)和數(shù)學(xué)形態(tài)學(xué)，并結(jié)合了間斷的檢測(cè)、門限處理和區(qū)域處理多種方法，其生成的分割結(jié)果通常更穩(wěn)定。3.K-means算法K-means算法是機(jī)器學(xué)習(xí)中種簡單的無監(jiān)督學(xué)習(xí)方法。3典型傳統(tǒng)圖像分割方法簡介02復(fù)雜背景下毛還輪骰圖像分割及圓心精確定位PARTTWO基于矢量量化的圖像壓縮方法1引言輪轂是汽車的重要零部件，在生產(chǎn)制造過程中，經(jīng)過多道工序，輪轂中心鉆孔定位機(jī)構(gòu)目前普遍采用機(jī)械夾具定位，沒有自動(dòng)識(shí)別定位功能。機(jī)械夾具定位由于毛還輪轂不規(guī)則毛刺的影響，常常導(dǎo)致定位精度有差異，形成一定的產(chǎn)品不良率?；谑噶苛炕膱D像壓縮方法在輪轂生產(chǎn)車間，由于輸送線的金屬輻筒和輪轂顏色接近，加上外界環(huán)境光的干擾等因素，導(dǎo)致輪轂本色與輸送線背景色的分割有一定難度，同時(shí)由于在輪轂鑄造過程中，由于磨具的磨損，造成輪轂邊緣的毛刺，這將導(dǎo)致機(jī)械夾具定位偏差。針對(duì)以上問題，同時(shí)結(jié)合毛蚽輪轂本身特點(diǎn)，本書作者提出一種新的定位算法應(yīng)用于毛還輪轂中心定位，算法主要包括兩大步驟：輪轂圖像分割、輪轂精確定位。2基于超像素能量譜的輪轂分割基于矢量量化的圖像壓縮方法本算法主要包括半徑掃描、直線擬合、半徑補(bǔ)償、去除毛刺于擾點(diǎn)、最小二乘法擬合等方面。根據(jù)輪轂分割后的圖像所得邊界初步計(jì)算圓心及半徑，再以該圓心和半徑為基準(zhǔn)，按半徑方向掃描得到360個(gè)邊緣點(diǎn)，并計(jì)算各邊緣點(diǎn)到初步圓心的距離，再利用均值法對(duì)掃描數(shù)據(jù)進(jìn)行補(bǔ)償，對(duì)補(bǔ)償后的半徑數(shù)據(jù)去除距離較長的點(diǎn)和較短的點(diǎn)，最后利用剩余數(shù)據(jù)進(jìn)行最小二乘法擬合圓心及半徑。3精確圓擬合算法基于矢量量化的圖像壓縮方法1.現(xiàn)場測(cè)試環(huán)境本書作者提出的定位系統(tǒng)的硬件環(huán)境包括調(diào)試箱體、工業(yè)高清CCD相機(jī)及百萬像素鏡頭、研華工控機(jī)（中間帶顯示屏）、機(jī)器視覺環(huán)形光源、傳輸及定位機(jī)構(gòu)、PLC控制系統(tǒng)等。2.輪轂分割結(jié)果根據(jù)算法的第一步將原圖進(jìn)行超像素分割，分割的聚類初始點(diǎn)數(shù)為400,經(jīng)過SUE超像素分割后。4圓擬合結(jié)果分析基于矢量量化的圖像壓縮方法3.定位精度測(cè)試為驗(yàn)證本書作者提出方法的有效性，從輪載定位系統(tǒng)中提取一個(gè)班次中約300張輪轂圖片，選取毛刺干擾較大的8張圖片進(jìn)行圓檢測(cè)實(shí)驗(yàn)。定位出的圓心坐標(biāo)及半徑和實(shí)際值比較，這里的實(shí)際值為人眼計(jì)算圖片中去除毛刺后的像素點(diǎn)數(shù)。主要采用常用的幾種圓檢測(cè)算法：Hough變換法、最小二乘法（LSM)、半徑掃描平均法(Radius)、重心法(Centroid)和本書方法。其中，最小二乘法是利用未做預(yù)處理的邊緣點(diǎn)進(jìn)行擬合的。4圓擬合結(jié)果分析03基于深度學(xué)習(xí)的圖像分割概述PARTTHREE基于深度學(xué)習(xí)的圖像壓縮方法由于圖像的復(fù)雜多樣性，傳統(tǒng)的目標(biāo)檢測(cè)算法及分割技術(shù)已經(jīng)漸漸無法滿足目前對(duì)數(shù)據(jù)處理的準(zhǔn)確率、高性能、實(shí)時(shí)性和智能化等各個(gè)方面的需求。2006年，壓nton和Ben擔(dān)o提出卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks,CNN)方法,2011年發(fā)展迅速的深度學(xué)習(xí)逐漸成為幫助人們快速便捷地進(jìn)行圖像目標(biāo)檢測(cè)及識(shí)別的強(qiáng)大工具。2006年，提出卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks,CNN)方法,2011年發(fā)展迅速的深度學(xué)習(xí)逐漸成為幫助人們快速便捷地進(jìn)行圖像目標(biāo)檢測(cè)及識(shí)別的強(qiáng)大工具。1研究現(xiàn)狀基于深度學(xué)習(xí)的圖像壓縮方法下面介紹4種典型實(shí)現(xiàn)方案，這些方案通常首先需要使用已經(jīng)在ImageNet數(shù)據(jù)集上訓(xùn)練好的模型對(duì)網(wǎng)絡(luò)進(jìn)行初始化，這樣可以獲得比較好的初值，加速網(wǎng)絡(luò)的收斂速度，然后在其他數(shù)據(jù)集上進(jìn)行訓(xùn)練。DeepLabVl利用深度學(xué)習(xí)進(jìn)行圖像分類在整個(gè)圖像領(lǐng)域變得越來越普遍，尤其是隨著近幾年硬件技術(shù)的進(jìn)步及相關(guān)研究發(fā)現(xiàn)，越深的網(wǎng)絡(luò)在分類領(lǐng)域所能獲得的效果也越來越好。2幾種典型實(shí)現(xiàn)方案基于深度學(xué)習(xí)的圖像壓縮方法2.DeepLabV2如果想要獲得更加好的網(wǎng)絡(luò)輸出結(jié)果，往往意味著我們需要以更加慢的速度或者更加多的參數(shù)來實(shí)現(xiàn)。比如，現(xiàn)在最常見的是訓(xùn)練多個(gè)平行網(wǎng)絡(luò)，然后對(duì)多個(gè)平行網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行合并，并作為最后的輸出結(jié)果。但是這樣做就意味著網(wǎng)絡(luò)參數(shù)是成倍增加的。另外，多個(gè)不同分辨率的輸出在尺寸上是不相同的，就需要對(duì)每個(gè)網(wǎng)絡(luò)做不同的插值才可以獲得最終的結(jié)果，這樣就造成了不同分辨率的特征圖的合并。2幾種典型實(shí)現(xiàn)方案基于深度學(xué)習(xí)的圖像壓縮方法3基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像分割實(shí)驗(yàn)結(jié)果深度學(xué)習(xí)在圖像分割領(lǐng)域的應(yīng)用越來越多，各種新的網(wǎng)絡(luò)模型層出不窮，分割效果也越來越好，如FCN、R-CNN、MaskR-CNN等。全卷積網(wǎng)絡(luò)(FullyConvolutionalNetworks,FCN)是JonathanLong等提出的圖像分割網(wǎng)絡(luò)模型，第一次創(chuàng)造性地實(shí)現(xiàn)了端到端的圖像分割，從抽象的圖像特征中還原圖像語義，輸出每個(gè)像素的類別。傳統(tǒng)的CNN網(wǎng)絡(luò)主要應(yīng)用于圖像識(shí)別，前五層是卷積層，提取圖像的抽象特征；最后三層是全連接層，輸出圖像的類別。FCN以CNN為基礎(chǔ)，將最后3個(gè)全連接層替換成卷積層，由此而得名全卷積網(wǎng)絡(luò)。04基于深度生成對(duì)抗網(wǎng)絡(luò)的超聲圖像分割PARTFOUR基于深度學(xué)習(xí)的圖像壓縮方法1引言大多數(shù)現(xiàn)有的方法都是通過將低層次特征（如顏色、邊緣或紋理）相同的像素分組到更大的區(qū)域來實(shí)現(xiàn)不帶注釋的圖像（未指定方法）的自動(dòng)分割。然而，由于這些方法的非監(jiān)督特性，性能有限。最近，在大規(guī)模標(biāo)注圖像的幫助下，監(jiān)督方法取得了很高的性能，特別是基于深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN)的方法成功應(yīng)用于分割任務(wù)。將強(qiáng)大的特征學(xué)習(xí)與精細(xì)的端到端訓(xùn)練相結(jié)合，在實(shí)際應(yīng)用中效果很好?；谏疃葘W(xué)習(xí)的圖像壓縮方法現(xiàn)有的超聲圖像分割方法可以分為兩大類：無監(jiān)督方法和監(jiān)督方法。無監(jiān)督方法可以在只有一幅圖像的情況下進(jìn)行分割。與此相反，監(jiān)督方法用許多帶標(biāo)記的圖像建立分割模型。以高昂的標(biāo)簽成本為代價(jià)，監(jiān)督方法常常對(duì)某些感興趣的對(duì)象達(dá)到最高的性能，而無監(jiān)督方法往往與醫(yī)生的臨床判斷不一致。2相關(guān)工作基于深度學(xué)習(xí)的圖像壓縮方法1.對(duì)抗的損失我們的核心架構(gòu)是修改原始分割網(wǎng)絡(luò)的損失函數(shù)，以適應(yīng)對(duì)抗訓(xùn)練。最先