第12章智能圖像語義分割技術(shù)本次課程內(nèi)容2.語義分割概念基礎(chǔ)4.ALEXNET網(wǎng)絡(luò)基礎(chǔ)1.知識回顧3.語義分割類型5.基于全卷積網(wǎng)絡(luò)分割6.其它常見分割算法機器學(xué)習(xí)概念1.知識回顧3發(fā)展歷史4/slides/20175/slides/2017神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)6/slides/2017卷積層全連接層卷積神經(jīng)網(wǎng)絡(luò)CNN-ConvolutionalNeuralNetworks7/slides/2017卷積層8/slides/2017卷積層9/slides/2017卷積層10/slides/2017卷積層11/slides/2017卷積層12/slides/2017卷積層13/slides/2017卷積層14/slides/2017卷積層15/slides/2017卷積層16/slides/2017參數(shù)個數(shù)17/slides/2017參數(shù)個數(shù)18/slides/2017參數(shù)個數(shù)19/slides/2017參數(shù)個數(shù)20/slides/2017參數(shù)個數(shù)21/slides/2017全連接層22/slides/2017多層CNN23/slides/2017軟件架構(gòu)24/slides/2017計算圖25/slides/2017計算圖26/slides/2017計算圖27/slides/2017計算圖代碼28/slides/2017典型的網(wǎng)絡(luò)結(jié)構(gòu)/slides/2017典型的網(wǎng)絡(luò)結(jié)構(gòu)/slides/2017典型的網(wǎng)絡(luò)結(jié)構(gòu)/slides/20172.語義分割概念基礎(chǔ)語義分割（semanticsegmentation）是計算機視覺中十分重要的領(lǐng)域。圖像語義分割：根據(jù)圖像的語義（蘊含的含義）來進行分割，即指定圖像中每個像素的類別，即實現(xiàn)像素級別的分類像素級分割也就是根據(jù)語義標(biāo)注出圖像中每個像素所屬的對象類別查文獻的關(guān)鍵詞：pixel-wisesegmentation語義分割實例圖像語義涉及理解：每幅圖像中都蘊含一些信息每幅圖像就是一個”故事場景”(Animageisastory)圖像語義舉例某圖像語義分割實例ClementFarabet,CouprieC,NajmanL,etal.LearningHierarchicalFeaturesforSceneLabeling[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2013.圖像中含有語義語義分割的應(yīng)用自動駕駛醫(yī)學(xué)影像診斷面部分割，用于表情分析精準(zhǔn)農(nóng)業(yè)目標(biāo)對象分割/watch?v=ATlcEDSPWXY自動駕駛動態(tài)分割實例36/watch?v=ATlcEDSPWXY圖像語義分割與目標(biāo)檢測的區(qū)別分割精度有區(qū)別語義分割：像素級分割，將每個像素指定類別目標(biāo)檢測：只需給定包含目標(biāo)的最小區(qū)域即可，窗口級圖像語義的本質(zhì)

分割目標(biāo)是將一張RGB圖像（height*width*3）或是灰度圖（height*width*1）作為輸入，輸出的是分割圖輸出圖像的每一個像素的類別標(biāo)簽（height*width*1）圖像語義的本質(zhì)常使用使用低分辨率的預(yù)測圖表示分割結(jié)果分割圖的分辨率應(yīng)與原始輸入的分辨率相匹配圖像語義的本質(zhì)使用獨熱編碼（onehotencoding）編碼對類標(biāo)簽進行處理，實質(zhì)上是為每個可能的類創(chuàng)建相應(yīng)的輸出通道one-hotcode---就是有多少個狀態(tài)就有多少比特

通過argmax將每個深度方向像素矢量折疊成分割圖單目標(biāo)實例及分割結(jié)果多目標(biāo)實例及分割結(jié)果（1）單實例與多實例分割

/slides/20173.語義分割類型實例分割：對圖像中的每個像素劃分出對應(yīng)的實例類別實例分割關(guān)鍵：區(qū)別開不同的實例

（2）語義分割與實例分割的區(qū)別分割的數(shù)據(jù)集43http://host.robots.ox.ac.uk/pascal/VOC/voc2012/segexamples/index.html4.ALEXNET網(wǎng)絡(luò)基礎(chǔ)常見分割技術(shù)應(yīng)用類別：

自然圖像分割（naturalimage）：方法趨于成熟，目前算法及數(shù)據(jù)集多數(shù)針對自然圖像

醫(yī)學(xué)圖像分割語義分割技術(shù)的演化傳統(tǒng)的基于學(xué)習(xí)的策略：使用TextonForest和隨機森林分類器進行語義分割基于深度學(xué)習(xí)的方法，最初出現(xiàn)了圖像塊（patch）分類方法，即利用像素鄰域塊對每一個像素進行獨立的分類。網(wǎng)絡(luò)通常含全連接層（full

connected

layer），且要求固定尺寸圖像。例如Imagenet（AlexNet）

：KrizhevskyA,SutskeverI,HintonGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[C]//InternationalConferenceonNeuralInformationProcessingSystems.2012.46基于圖像塊（patch）分類的實例/slides/2017滑動窗口取patchAlexNet47Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.AlexNet以準(zhǔn)確率84.6%贏得了ILSVRC-2012，由Krizhevsky等人提出。AlexNet包含5個卷積層，3個全連接層，結(jié)構(gòu)如下圖所示：48AlexNet工作的主要原理第1層—第2層—Maxpooling—第3層—Maxpooling—45層—Maxpooling—全連接Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.5個卷積層，3個全連接層，結(jié)構(gòu)如下圖所示：AlexNet的網(wǎng)絡(luò)框架Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.第一層為輸入層，就是一幅224X224X3的image，第一個卷積層，kernel是11X11X3每個11X11X3的圖像區(qū)域卷積操作成為一個新的像素點的一個信道。卷積的步長(stride)為4，說明224X224被卷積成為是55X55的大小50Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.51第一層Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.第1層Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.第2層的輸入特征及卷積核53Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.第2層的一個核的卷積計算54進行Maxpooling池化操作，目的是：在盡量不丟失圖像特征前提下，對圖像進行下采樣（downsampling）Maxpooling55Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.56第2層卷積核形狀為5X5X48共256個，每個GPU利用128個Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.第2層的128個核卷積后的結(jié)果57Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.58Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.第2層雙GPU結(jié)果Thethirdconvolutionallayerhas384kernelsofsize3×3×256connectedtothe(normalized,pooled)outputsofthesecondconvolutionallayer.每個核執(zhí)行一半卷積，即為192個第3層59Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.選擇了4096個全尺寸的卷積核對最后一層卷積層（13*13*256）輸出的圖像做卷積，每一個全尺寸卷積之后，其實都只得到1個數(shù)，4096個核就得到了4096個數(shù)，有兩個GPU一起完成，每個2048個神經(jīng)元三個全連接層60Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.AlexNet最后使用全連接層，將原來二維特征圖轉(zhuǎn)換成一維的固定長度的特征向量，表示輸入圖像屬于每一類的概率，以此作為分類的標(biāo)簽例如，如果得到一個長度為1000的輸出向量,表示輸入圖像中涵蓋每個類別的概率,其中在“tabbycat”這一類統(tǒng)計概率最高，所以分類標(biāo)簽為“tabbycat”。缺點：丟失了空間信息，輸出結(jié)果僅僅是一個類別，與輸入圖像像素不對應(yīng)AlexNet全連接層主要原理61Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.網(wǎng)絡(luò)結(jié)構(gòu)中具有：

六千萬的參數(shù)以及65萬個神經(jīng)元

五個卷積層（其中一些卷積層后面跟著最大池化層)和3個全連接層

利用softmax函數(shù)實現(xiàn)了1000個類別的分類

AlexNet的優(yōu)點62Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.Sutskever和GeoffreyHinton訓(xùn)練了一個大規(guī)模深度卷積神經(jīng)網(wǎng)絡(luò)模型收集更大的數(shù)據(jù)集，采用了Dropout的正則化方法避免過擬合將ImageNet

LSVRC-2010數(shù)據(jù)集中的120萬張高清圖片分類到1000個不同類別利用高效的GPU實現(xiàn)卷積操作進一步通過該模型的變體在ILSVRC-2012的競賽中取得了優(yōu)異的成績

AlexNet的優(yōu)點63Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.ILSVRC（

LargeScaleVisualRecognitionChallenge）即ImageNet比賽：/challenges/LSVRC/ILSVRC（ImageNetLargeScaleVisualRecognitionChallenge）是計算機視覺領(lǐng)域具權(quán)威的學(xué)術(shù)競賽之一，代表了圖像領(lǐng)域的最高水平。由斯坦福大學(xué)李飛飛教授主導(dǎo)，ImageNet數(shù)據(jù)集包含了超過1400萬幅全尺寸的有標(biāo)記圖像。每年從ImageNet數(shù)據(jù)集中抽出部分樣本，例如，2012年比賽的訓(xùn)練集包含1281167幅圖像，驗證集包含50000張，測試集為100000張。ILSVRC競賽的項目主要包括：圖像分類與目標(biāo)定位、目標(biāo)檢測、視頻目標(biāo)檢測、場景分類建立ImageNet數(shù)據(jù)集為ILSVRC競賽提供資源64建立ImageNet數(shù)據(jù)集為ILSVRC競賽提供資源65/slides/2017數(shù)據(jù)集構(gòu)建ImageNet中高分辨率圖像約1500萬張，類別約22000個，帶標(biāo)簽（監(jiān)督）通過對圖片的采樣，獲得固定分辨率256X256

AlexNet工作的優(yōu)點66Krizhevsky,Alex,I.Sutskever,andG.E.Hinton."ImageNetclassificationwithdeepconvolutionalneuralnetworks."InternationalConferenceonNeuralInformationProcessingSystems2012.AlexNet存在的主要問題出現(xiàn)的問題

采用全鏈接網(wǎng)絡(luò)（FullConnectedLayers—FCN）進行處理要求：輸入圖像分辨率是固定尺度的

改進措施：全鏈接層換為全卷積層/hjptriplebee/AlexNet_with_tensorflow/stephen-v/tensorflow_alexnet_classify68

基于tensorflow的AlexNet功能實現(xiàn)[1]Imagenet:KrizhevskyA,SutskeverI,HintonGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[C]//InternationalConferenceonNeuralInformationProcessingSystems.2012.[2]LeNet:LecunY,BoserB,DenkerJS,etal.BackpropagationAppliedtoHandwrittenZipCodeRecognition[J].NeuralComputation,1989,1(4):541-551.[3]SimonyanK,ZissermanA.VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition[J].ComputerScience,2014.[4]SzegedyC,LiuW,JiaY,etal.GoingDeeperwithConvolutions[C]//2015IEEEConferenceonComputerVisionandPatternRecognition(CVPR).IEEE,2015.其它典型工作69ReLU非線性處理ReLUs不需要再對輸入進行泛化來防止飽和，加入局部歸一化可以幫助提升模型的泛化能力，無需對輸入數(shù)據(jù)進行歸一化來避免飽和。這種反應(yīng)歸一化通過一種模仿生物神經(jīng)元的橫向抑制使用Nair和Hinton的ReLUs神經(jīng)網(wǎng)絡(luò)，快速處理,效率很高，比標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)要快3到5倍多GPU并行訓(xùn)練由于訓(xùn)練樣本過大，將神經(jīng)網(wǎng)絡(luò)分布在兩個GPU上，每個GPU上執(zhí)行一半的網(wǎng)絡(luò)核，比單GPU網(wǎng)絡(luò)所需的訓(xùn)練時間要少。數(shù)據(jù)增強AlexNet使用了兩種形式進行數(shù)據(jù)擴充，在GPU訓(xùn)練前，由CPU上的Python代碼產(chǎn)生的，代價很小其它典型工作[1]的主要原理702014年，加州大學(xué)伯克利分校的Long等人提出FCN分割方法，在不帶有全連接層的情況下能進行密集預(yù)測。分割圖像可以是任意大小，F(xiàn)CN提高了處理速度FCN為語義分割技術(shù)的發(fā)展奠定基礎(chǔ)5.基于FCN的語義分割71提出的FCN是一種端對端（end-to-end）分割結(jié)構(gòu)利用真實數(shù)據(jù)（groundtruth）及標(biāo)簽作監(jiān)督FCN實現(xiàn)像素級（pixelwise）的預(yù)測（prediction），得到預(yù)測的labelmap。5.基于FCN的語義分割72CNN適合圖像級的分類和回歸任務(wù)通常CNN網(wǎng)絡(luò)在卷積層之后會接上若干個全連接層,將卷積層產(chǎn)生的特征圖(featuremap)映射成一個固定長度的特征向量。例如：AlexNetAlexNet期望得到輸入圖像的一個數(shù)值描述（概率），輸出一個1000維的向量表示輸入圖像屬于每一類（例如貓、狗等）的概率(借助softmax歸一化得到)CNN與FCN區(qū)別（1）73FCN可以實現(xiàn)對圖像進行像素級的分類，解決語義分割問題FCN可以接受任意尺寸的輸入圖像，采用反卷積層對最后一個卷積層的featuremap進行逐級上采樣,恢復(fù)到輸入圖像的尺寸FCN通過逐級下采樣、上采樣過程，利用標(biāo)簽數(shù)據(jù)作監(jiān)督，建立由原始輸入圖像與每個像素預(yù)測標(biāo)簽（分類類別）之間的多層映像關(guān)系CNN與FCN區(qū)別（2）74將現(xiàn)有的CNN網(wǎng)絡(luò)（如AlexNet）作為網(wǎng)絡(luò)的編碼模塊，用轉(zhuǎn)置卷積層作為解碼模塊，將低分辨率特征圖上采樣至全分辨率（與輸入圖像分辨率相同），從而得到分割圖由于像素級（pixe-wise)語義分割需要輸出整幅圖像每個像素的分類，要求網(wǎng)絡(luò)輸出的特征圖應(yīng)該是二維的在CNN（ALEX）基礎(chǔ)上需要替換掉全連接層，改換為卷積層，即將最后三個全連接層替換為卷積層FCN設(shè)計的主要思想75全連接層和卷積層兩類層的神經(jīng)元都是計算點積，它們的函數(shù)形式是一樣的。因此，將此兩者相互轉(zhuǎn)化是可能的。把全連接層轉(zhuǎn)換為卷積層，實際上是用一個和輸入的圖像一樣大小的卷積核去做這個操作假設(shè)一個輸出為4096的全連接層，輸入數(shù)據(jù)體的尺寸是7?7?512，這個全連接層可以被等效地看做一個Kernel=7,P=0,S=1,numout=4096的卷積層。

即將濾波器的尺寸設(shè)置為和輸入數(shù)據(jù)體尺寸一致，結(jié)果就和全連接層作用是一樣的把全連接層轉(zhuǎn)換為卷積層的路線76設(shè)計卷積層用于像素的類別的預(yù)測如果卷積特征尺度與輸入圖像一致，復(fù)雜度很高FCN設(shè)計的主要思想77/slides/2017設(shè)計中采用卷積層：包括下采樣upsampling和上采樣downsamplingFCN設(shè)計的主要思想78/slides/2017Long,Shelhamer,andDarrell,“FullyConvolutionalNetworksforSemanticSegmentation”,CVPR2015池化操作通過局部區(qū)域的采樣（平均池化或最大池化）獲得下采樣分辨率上池化（Unpooling）操作通過較低分辨率的局部信息，重新采樣，分配給高分辨率的鄰域空間上采樣的措施79/slides/2017MaxUnpooling上采樣的措施80/slides/2017Typical3x3convolution,stride1pad13x3convolution,stride2pad1卷積概念的回顧81轉(zhuǎn)置卷積（transposeconvolutions）是最常用的上采樣方法與轉(zhuǎn)置卷積相反，傳統(tǒng)的卷積運算會將卷積核權(quán)重與當(dāng)前值進行點積，并為相應(yīng)輸出位置產(chǎn)生單個值。轉(zhuǎn)置卷積會先從低分辨率的特征映射中得到單個值，再用該值與卷積核中所有權(quán)重相乘，然后將這些加權(quán)值映射到輸出特征圖中轉(zhuǎn)置卷積:1DExample利用轉(zhuǎn)置卷積進行上采樣82采樣FCN分割的工作原理83對原圖像進行卷積conv1、pool1后原圖像縮小為1/2對圖像進行第二次conv2、pool2后圖像縮小為1/4進行第三次卷積操作conv3、pool3縮小為原圖像的1/8，此時保留pool3的featureMap再對圖像進行第四次卷積操作conv4、pool4，縮小為原圖像的1/16，保留pool4的featureMap最后對圖像進行第五次卷積操作conv5、pool5，縮小為原圖像的1/32FCN的層次卷積結(jié)構(gòu)(1)84Long,Shelhamer,andDarrell,“FullyConvolutionalNetworksforSemanticSegmentation”,CVPR2015把的全連接變成卷積操作conv6、conv7，圖像featureMap數(shù)量改變，圖像大小依然為原圖的1/32，此時featureMap成為熱圖heatMap根據(jù)精度要求，需要跨層連接：把conv4中的卷積核對上一次upsampling之后的圖像進行反卷積補充細節(jié)（相當(dāng)于插值），最后把conv3中的卷積核對剛才upsampling之后的圖像進行再次反卷積補充細節(jié)，最后就完成了整個圖像的還原FCN的層次卷積結(jié)構(gòu)(2)85Long,Shelhamer,andDarrell,“FullyConvolutionalNetworksforSemanticSegmentation”,CVPR2015限于精度問題，由于不能夠很好地還原圖像當(dāng)中的特征，向前迭代，借助低層細節(jié)特征還原跨層融合粗細語義，能學(xué)習(xí)得到較好的語義特征，得到滿意的空間預(yù)測結(jié)果FCN設(shè)計中的跨層連接86損失函數(shù)是最后一層空域中的損失和，可以利用各層梯度損失的和計算求得：FCN設(shè)計中的損失函數(shù)87利用已經(jīng)訓(xùn)練好的supervisedpre-training的網(wǎng)絡(luò)，無需從頭訓(xùn)練，只需要微調(diào)fine-tuning即可，訓(xùn)練效率高In-networkupsamplinglayer：對中間得到的featuremap做bilinear上采樣，就是反卷積層，實現(xiàn)把卷積與轉(zhuǎn)置卷積結(jié)合考慮，conv的前傳和反傳過程對調(diào)一下即可采用skiplayer（跨層）的方法，在淺層處減小upsampling的步長，得到淺層精細特征fine-layer和高層得到的coarse-layer作融合，然后再upsampling可以得到準(zhǔn)確的預(yù)測FCN方法優(yōu)點88得到的結(jié)果不夠精細。進行8倍上采樣雖然比32倍的效果好了很多，但是上采樣的結(jié)果還是比較模糊和平滑，對圖像中的細節(jié)不敏感。對像素進行分類，沒有充分考慮像素與像素之間的關(guān)系。忽略了像素類別的空域一致性規(guī)則FCN語義分割方法缺點89現(xiàn)有主流方法中的問題：AlexNet：全連接層結(jié)構(gòu)，在分割問題中很難實現(xiàn)像素精準(zhǔn)分類，適用于圖像級別分類FCN：分類結(jié)果的精細不夠，對像素級類別分割精確有待于提高，池化層中所舍棄的位置信息需要保留人們提出了兩個不同形式的結(jié)構(gòu)來解決這個問題編碼器-解碼器(encoder-decoder)結(jié)構(gòu)空洞卷積的結(jié)構(gòu)6.