III基于深度學(xué)習(xí)的寵物圖像識別算法設(shè)計(jì)目錄TOC\o"1-3"\h\u300601緒論 3210781.1研究背景與意義 352571.2國內(nèi)外研究現(xiàn)狀 3235641.3論文的研究內(nèi)容 4205761.4論文的組織結(jié)構(gòu) 4294992基于深度學(xué)習(xí)的圖像識別技術(shù)和理論基礎(chǔ) 6107072.1深度學(xué)習(xí)基本概念 632032.2卷積神經(jīng)網(wǎng)絡(luò)概述 7259172.2.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 7235852.2.2卷積神經(jīng)網(wǎng)絡(luò)性質(zhì) 9107362.3經(jīng)典深度學(xué)習(xí)算法 9149742.3.1循環(huán)神經(jīng)網(wǎng)絡(luò) 10226242.3.2生成對抗網(wǎng)絡(luò) 10114622.4圖像識別過程 11285272.4.1數(shù)據(jù)源 1177072.4.2預(yù)處理 11240142.4.3特征提取結(jié)果可視化 1310882.4.4模式識別 17107392.5本章小結(jié) 1822173全連接神經(jīng)網(wǎng)絡(luò)模型的圖像識別方法 18309883.1全連接神經(jīng)網(wǎng)絡(luò)及改進(jìn)后網(wǎng)絡(luò)模型的建立 18200983.1.1激活函數(shù) 19137453.1.2批標(biāo)準(zhǔn)化 21305003.2數(shù)據(jù)處理后不同模型的測試結(jié)果 2212093.3本章小結(jié) 233544基于Resnet卷積神經(jīng)網(wǎng)絡(luò)的寵物圖像識別 2424605總結(jié)與展望 29273915.1論文總結(jié) 29149975.2工作展望 29摘要：隨著深度學(xué)習(xí)的興起，圖像識別技術(shù)也日益普及，現(xiàn)如今城市化發(fā)展速度的提升，引導(dǎo)人們不斷的發(fā)展圖像識別技術(shù)，而寵物圖像識別則是識別系統(tǒng)中不可或缺的組成部分，面對人們不斷提高的物質(zhì)文化水平，寵物也走進(jìn)人們的生活，它們在一定程度上代表著人們的精神追求以及生活水平，所以寵物圖像的識別技術(shù)有其發(fā)展上升的空間，值得人們不斷地研究探索。近年興起的深度卷積神經(jīng)網(wǎng)絡(luò)，對目標(biāo)特征的表達(dá)能力尤為突出，實(shí)驗(yàn)證明其識別效果比傳統(tǒng)方法更具有一定的優(yōu)勢，利用卷積神經(jīng)網(wǎng)絡(luò)對寵物圖像進(jìn)行識別，更能有效地提高利用效率從而促進(jìn)發(fā)展。本文主要探究基于深度卷積神經(jīng)網(wǎng)絡(luò)的寵物圖像識別算法，首先，利用傳統(tǒng)的方法定義一個(gè)簡單的三層全連接神經(jīng)網(wǎng)絡(luò)，并且每一層都是線性的，進(jìn)行網(wǎng)絡(luò)模型的測試，然后加以改進(jìn)提高模型識別效率，其次，在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上利用Resnet網(wǎng)絡(luò)模型對寵物中以貓和狗為代表的數(shù)據(jù)集進(jìn)行識別，并得出實(shí)驗(yàn)結(jié)果，最后，總結(jié)展望圖像識別的發(fā)展，提出可研究的改進(jìn)方向。關(guān)鍵詞：深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)圖像識別寵物檢測1緒論1.1研究背景與意義近年來，深度學(xué)習(xí)的技術(shù)在各個(gè)行業(yè)都得到了迅速的發(fā)展，對該項(xiàng)技術(shù)的理論學(xué)習(xí)與研究已經(jīng)引起了學(xué)術(shù)界的高度重視，并且其發(fā)展與探究受到了大量研究者的關(guān)注。深度學(xué)習(xí)涉及到的技術(shù)在當(dāng)下社會中更加廣泛的應(yīng)用于對某種圖像的識別，尤其是在特征提取和網(wǎng)絡(luò)結(jié)構(gòu)的選取上有著非常明顯的優(yōu)劣對比模型。深度學(xué)習(xí)對圖像的識別最為常見方式包括智能門禁系統(tǒng)，便利人們生產(chǎn)生活，奠定智慧城市建設(shè)的中堅(jiān)技術(shù)支持基礎(chǔ)，該項(xiàng)技術(shù)在當(dāng)今社會的發(fā)展中起著不可或缺的作用，恰如現(xiàn)今將寵物放進(jìn)自己生活的人數(shù)日益增長，用這種方式提高品質(zhì)，豐富精神追求，寵物圖像的識別工作就有了很好的發(fā)展空間，本課題擬用寵物（特指其幾種）公開數(shù)據(jù)集進(jìn)行圖像的識別算法研究，以提高人們對于寵物的管理效能。隨著社會經(jīng)濟(jì)發(fā)展的迅速，使得人們更少的時(shí)間用來接觸自然和動(dòng)物，所以家庭飼養(yǎng)寵物成了人們休閑和寄托情感的最好方式，寵物行業(yè)的發(fā)展一定程度上代表了國民的時(shí)尚審美，展現(xiàn)了國家經(jīng)濟(jì)的發(fā)展高度，研究表明，現(xiàn)在的寵物需求增長速度非?？捎^，2021年消費(fèi)預(yù)測超過兩千億元，可見寵物行業(yè)發(fā)展存在極大的人力財(cái)力需求空間。寵物走進(jìn)家庭生活，其種類也呈現(xiàn)多元化選擇，貓和狗作為典型代表，據(jù)統(tǒng)計(jì)他們所占比例不盡相同，貓占20%左右，狗占60%左右，其余20%包括鳥類、水族類，爬行類動(dòng)物等，起步晚并不代表著我們的發(fā)展速度低下，據(jù)《寵物行業(yè)白皮書》顯示，目前中國寵物數(shù)量龐大，其中貓和狗數(shù)量達(dá)到9千萬只，未來飼養(yǎng)寵物的局勢將面臨急劇增長[1]。調(diào)查顯示，中國35歲以下年輕人養(yǎng)寵物占比高達(dá)70%，年輕的消費(fèi)群體更能促進(jìn)網(wǎng)絡(luò)中對寵物識別的發(fā)展要求，寵物識別針對寵物銷售、醫(yī)療、食品等各個(gè)方面將發(fā)揮巨大的功能，推動(dòng)寵物行業(yè)的發(fā)展，所以，基于深度學(xué)習(xí)的寵物圖像識別算法方面的研究也存在著較高的實(shí)際意義。1.2國內(nèi)外研究現(xiàn)狀圖像識別經(jīng)歷了三個(gè)階段：文字、數(shù)字圖像和物體的識別。漸漸刻畫出三維世界的對象或環(huán)境的感知和認(rèn)識[2]。LeNet-5于1998年由YannLeCun教授提出[3]后卷積神經(jīng)網(wǎng)絡(luò)對圖像的研究越來越深入，在手寫數(shù)字識別數(shù)據(jù)集MNIST中準(zhǔn)確率達(dá)到了99.2%，開創(chuàng)了卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的先例；自此之后Hinton團(tuán)隊(duì)于2012年提出的AlexNet[4]被推向了熱潮，該網(wǎng)絡(luò)在2012年ImageNetLSVRC中成功奪冠，top5錯(cuò)誤率為15.3%；ChristianSzegedy等發(fā)表的《GoingDeeperwithConvolutions》[5]中提出了GoogleNet，延續(xù)了卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程，提出了一種利用有限的資源提升性能的方法；\t"/item/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/_blank"牛津大學(xué)視覺幾何團(tuán)隊(duì)（VisualGeometryGroup,VGG）于2014年開發(fā)的一組卷積神經(jīng)網(wǎng)絡(luò)算法，即VGGNet,其中VGG-16是2014年ILSVRC物體識別算法[6]中取得了優(yōu)異的成績，它的規(guī)模是AlexNet的2倍以上并擁有規(guī)律的結(jié)構(gòu)；一直到2015年微軟研究院何凱明等人提出了ResNet(ResidualNeuralNetwork，殘差網(wǎng)絡(luò))[7]，通過在深度神經(jīng)網(wǎng)絡(luò)中加入殘差單元（ResidualUnit）使得訓(xùn)練深度比以前更加高效；也為后來由康奈爾大學(xué)，清華大學(xué)、FacebookFAIR實(shí)驗(yàn)室聯(lián)合提出了DenseNet（DenseConvolutionalNetwork，密集神經(jīng)網(wǎng)絡(luò)）[8]提供了思路。1.3論文的研究內(nèi)容本文選取寵物作為研究對象，力求對具體的某一類寵物圖像進(jìn)行識別，以滿足當(dāng)前社會銷售、飼養(yǎng)寵物的需求，主要與研究方向有：①對圖像進(jìn)行預(yù)處理，并且將特征提取結(jié)果可視化出來，確定幾層卷積效果較好②對全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行測評，繼而改進(jìn)訓(xùn)練后進(jìn)行評估③在學(xué)術(shù)界對已有深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，充分利用ResNet對具體圖像進(jìn)行識別實(shí)驗(yàn)得出預(yù)想結(jié)果1.4論文的組織結(jié)構(gòu)本文在深度學(xué)習(xí)的基礎(chǔ)上以常見寵物圖像的識別為研究課題，旨在快速有效的識別圖像中包含的寵物種類，全文分別從寵物圖像識別的研究背景、研究內(nèi)容、該項(xiàng)研究中所涉及的數(shù)據(jù)集、網(wǎng)絡(luò)模型和結(jié)果分析等部分進(jìn)行詳細(xì)的敘述。全文共分為五章，并分別從以下幾個(gè)方面進(jìn)行介紹：第一章，緒論部分。該部分介紹了研究的背景和意義，并對研究現(xiàn)狀進(jìn)行研讀，從而引出深度學(xué)習(xí)和圖像識別技術(shù)在當(dāng)今社會中的不可忽視的地位，以及論文的研究內(nèi)容和結(jié)構(gòu)。第二章，基于深度學(xué)習(xí)的圖像識別技術(shù)和理論基礎(chǔ)。該部分主要介紹深度學(xué)習(xí)識別圖像的理論基礎(chǔ)，詳細(xì)說明識別過程，特征提取后的可視化操作，從而更好地引導(dǎo)鋪墊后邊所涉及算法的理解。第三章，全連接神經(jīng)網(wǎng)絡(luò)模型的圖像識別方法，著重于構(gòu)建網(wǎng)絡(luò)的代碼落實(shí)工作，對模型直接進(jìn)行訓(xùn)練和評估，總結(jié)影響準(zhǔn)確率的因素。第四章，基于ResNet卷積神經(jīng)網(wǎng)絡(luò)的寵物圖像識別，詳細(xì)介紹ResNet卷積神經(jīng)網(wǎng)絡(luò)，與VGG-19的結(jié)構(gòu)對比改進(jìn)，實(shí)驗(yàn)網(wǎng)絡(luò)模型的準(zhǔn)確率進(jìn)行算法測試，并將訓(xùn)練的網(wǎng)絡(luò)應(yīng)用于實(shí)際的實(shí)驗(yàn)結(jié)果分析。第五章，總結(jié)與展望。簡要總結(jié)文章闡述的觀點(diǎn)以及深度學(xué)習(xí)的常用研究算法和內(nèi)容，實(shí)驗(yàn)的結(jié)論以及存在的不足，并提出了下一步可落實(shí)實(shí)施的研究方向以及具體的可以針對改進(jìn)的要點(diǎn)。2基于深度學(xué)習(xí)的圖像識別技術(shù)和理論基礎(chǔ)2.1深度學(xué)習(xí)基本概念2006年Hinton等人受到人工神經(jīng)網(wǎng)絡(luò)的啟發(fā)提出了深度學(xué)習(xí)算法，它憑借著多層隱層感知器結(jié)構(gòu)而深受廣大研究者的追捧，通過組合最基本的特征漸漸演變成更高層更抽象的特征，另一種方法是通過分布式特征表示深度學(xué)習(xí)范圍內(nèi)有待解決的問題特征，從而進(jìn)一步認(rèn)知，除此之外便是前文提到的Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)衍生出機(jī)器學(xué)習(xí)對大腦進(jìn)行模擬學(xué)習(xí)提取有用信息，其中包括圖像、文本等，深度機(jī)器學(xué)習(xí)也可以分為以卷積神經(jīng)網(wǎng)絡(luò)(CNNs)為代表的有監(jiān)督學(xué)習(xí)和以深度置信網(wǎng)(DBNs)為代表的無監(jiān)督學(xué)習(xí)[15]。決定它們不同的地方在于網(wǎng)絡(luò)的訓(xùn)練，無監(jiān)督學(xué)習(xí)只訓(xùn)練一層網(wǎng)絡(luò)，然后把訓(xùn)練結(jié)果輸入高一層;監(jiān)督學(xué)習(xí)則是去調(diào)整所有層的訓(xùn)練[15]。深度學(xué)習(xí)存在的優(yōu)勢如下：它可以用大量的數(shù)據(jù)或者更好的算法來提高學(xué)習(xí)算法的結(jié)果，并且針對大數(shù)據(jù)集上的表現(xiàn)尤為突出，因?yàn)榇髷?shù)據(jù)更符合現(xiàn)在沒有標(biāo)記的數(shù)據(jù)轉(zhuǎn)化，符合現(xiàn)實(shí)也不拘泥于實(shí)體識別，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)示意如下圖2-1：輸入層輸入層隱藏層輸出層圖2-1神經(jīng)網(wǎng)絡(luò)示意圖2.2卷積神經(jīng)網(wǎng)絡(luò)概述卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為深度學(xué)習(xí)算法的典型代表，區(qū)別于其他的深度結(jié)構(gòu)而言具有卷積運(yùn)算，本質(zhì)是一個(gè)多層感知器，采用局部連接和權(quán)值共享使網(wǎng)絡(luò)更容易進(jìn)行優(yōu)化，降低模型復(fù)雜度防止過擬合，處理圖像時(shí)優(yōu)勢更加明顯，直接以網(wǎng)格形式輸入，必變了傳統(tǒng)算法中的業(yè)整體去和數(shù)據(jù)重建過程，針對對象特征的不變性上它的魯棒性和運(yùn)算效率也較好。二十世紀(jì)八九十年代提出了早期的神經(jīng)網(wǎng)絡(luò)代表LeNet-5；到二十一世紀(jì)之后，深度學(xué)習(xí)理論的數(shù)值計(jì)算設(shè)備經(jīng)過一次次的更新和提升精度，卷積神經(jīng)網(wǎng)絡(luò)趁此機(jī)會迅速發(fā)展起來，在計(jì)算機(jī)視覺領(lǐng)域應(yīng)用極為廣泛，此網(wǎng)絡(luò)將監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)應(yīng)用于仿造生物的視覺機(jī)制構(gòu)建，隱含層內(nèi)的卷積核參數(shù)共享和層間連接突出格點(diǎn)化特征，對像素也起到了穩(wěn)定的效果。2.2.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)CNN的基本結(jié)構(gòu)包括輸入層，卷積層，池化層，全連接層通過各層之間的相互配合完成了卷積神經(jīng)網(wǎng)絡(luò)的功能，其結(jié)構(gòu)如圖2-2所示：圖片全連接層圖片全連接層池化層S1卷積層C1輸入層卷積層C2池化層S2輸出層圖2-2卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)輸入層，該層往往需要處理多層數(shù)據(jù)，根據(jù)輸入信息的復(fù)雜度的不同又可以劃分不同的維數(shù)，目前分三個(gè)等級，一般情況下選取三維輸入數(shù)據(jù)[11]。該層與其他神經(jīng)網(wǎng)絡(luò)算法相似卻又不同，具體表現(xiàn)為輸入特征的標(biāo)準(zhǔn)化處理，輸入層使用梯度下降的方法，如數(shù)據(jù)歸一化或者像素將分布于[0,255]范圍內(nèi)的原始像素值歸一化至[0,1]區(qū)間，諸如此類的操作能有效的幫助卷積神經(jīng)網(wǎng)絡(luò)提高學(xué)習(xí)效率。卷積層，顧名思義區(qū)別于其他層最大的特點(diǎn)就是卷積核，卷積核又涉及所含元素的權(quán)重系數(shù)和偏差量，該層是進(jìn)行特征提取處理輸入數(shù)據(jù)最關(guān)鍵的一步，工作時(shí)會有規(guī)律的掃過輸入特征，在類似于人類大腦皮層的視覺細(xì)胞的感受野中對輸入的特征進(jìn)行特定算法運(yùn)算或疊加偏差量，卷積運(yùn)算的目的是獲取圖像的特征，使得原始信號某些有優(yōu)勢的特征增強(qiáng)，降低噪聲，卷積運(yùn)算過程大致如圖2-3所示：圖2-3卷積運(yùn)算池化層作用在卷積層進(jìn)行特征提取之后，該層對輸出的特征圖進(jìn)行特征選擇和信息篩選過濾[12]，通常進(jìn)行池化分為最大池化和均值池化，選取池化方法時(shí)可以根據(jù)不同的實(shí)驗(yàn)需求，結(jié)合實(shí)際合理選擇池化，這樣能更有效地保留紋理信息，兩種池化可以通過下圖2-4加以理解：98987648577855123589556最大池化的結(jié)果均勻池化的結(jié)果圖2-4兩種池化全連接層，該層起到連接的作用，但是只能向其他全連接層傳遞信號實(shí)現(xiàn)互通，特征圖在該層中會失去空間拓?fù)浣Y(jié)構(gòu)，通過激勵(lì)函數(shù)被展開[12]。綜上所述，通俗一點(diǎn)理解，卷積層和池化層針對前期工作，對輸入數(shù)據(jù)進(jìn)行特征提取為后期全連接層對提取的特征進(jìn)行非線性組合輸出結(jié)果提供數(shù)據(jù)基礎(chǔ)，各層相互配合從而達(dá)到更高的特征達(dá)到學(xué)習(xí)目標(biāo)。在某些卷積神經(jīng)網(wǎng)絡(luò)中，全局均值池化可以取代全連接層的功能。2.2.2卷積神經(jīng)網(wǎng)絡(luò)性質(zhì)卷積神經(jīng)網(wǎng)絡(luò)的性質(zhì)包括連接性、表征學(xué)習(xí)、生物學(xué)相似性，連接性指的是具有正則化效果的稀疏連接，能有效的提高網(wǎng)絡(luò)結(jié)構(gòu)的穩(wěn)定性，提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的同時(shí)節(jié)省內(nèi)存的使用，減少參數(shù)總量實(shí)現(xiàn)權(quán)重共享；表征學(xué)習(xí)指的是提取輸入信息中的高階特征，使得在圖像處理過程中使用池化獲得更具有代表性的特征，根據(jù)輸出的邊緣獲得更完整的信息，從而利用反卷積和反池化對網(wǎng)絡(luò)的隱含層特征進(jìn)行可視化；生物學(xué)相似性，稀疏連接相當(dāng)于視覺神經(jīng)系統(tǒng)中\(zhòng)t"/item/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/_blank"視覺皮層對視覺的感應(yīng)，將視覺信息傳遞至大腦皮，不同的視覺皮層細(xì)胞感受不同的刺激區(qū)域形成感受野內(nèi)的信號從而激活神經(jīng)元，形成視覺，從而提高學(xué)習(xí)效果。2.2.3卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)價(jià)值①能夠?qū)⒋髷?shù)據(jù)量的圖片有效降維成小數(shù)據(jù)量，并且不影響結(jié)果②能夠保留圖片的特征，類似人類的視覺原理③可以應(yīng)用于圖片分類檢索，圖片識別2.3經(jīng)典深度學(xué)習(xí)算法典型的深度學(xué)習(xí)算法有卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)等，卷積神經(jīng)網(wǎng)絡(luò)在前文已經(jīng)做了詳細(xì)講述，下面主要介紹其余兩種。2.3.1循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)往往用于處理序列數(shù)據(jù)，在此領(lǐng)域上是比較樂觀的算法之一，可以應(yīng)用于指定文字段落、交流音頻、市場價(jià)格未來趨勢等，因?yàn)樯婕暗氖切蛄袛?shù)據(jù)，所以數(shù)據(jù)的排列順序會對輸出結(jié)果有很大的影響，這就相當(dāng)于賦予此網(wǎng)絡(luò)記憶的功能，但是這項(xiàng)功能局限于短期記憶，即使是很重要的信息對長期存在的數(shù)據(jù)而言影響也很小。循環(huán)神經(jīng)網(wǎng)絡(luò)的特點(diǎn)：一方面長期信息可以有效地保留，另一方面可以挑選重要的信息進(jìn)行保留，不重要的信息會選擇遺忘。2.3.2生成對抗網(wǎng)絡(luò)生成對抗網(wǎng)絡(luò)有兩個(gè)重要的部分組成，其一是生成器，其二是判別器，生成器的目的是生成圖像數(shù)據(jù)但是要讓判別器不能準(zhǔn)確識別，而判別器的目的是識破生成器的假數(shù)據(jù)，最初二者之間關(guān)系并不大，生成器很弱，很容易被判別器識別，但是經(jīng)過了不斷的訓(xùn)練，將生成器的技能進(jìn)行提升如圖2-5，最終會使判別器判別效率降低。判別器判別器找出假數(shù)據(jù)生成器生成圖像技能提升圖2-5通過了上一階段，繼續(xù)訓(xùn)練生成器已經(jīng)沒有意義了，所以我們固定生成器開始訓(xùn)練判別器，提升判別器的功能，如圖2-6：判別器判別器找出假數(shù)據(jù)生成器生成圖像技能提升圖2-6如此循環(huán)以上兩個(gè)步驟，不斷訓(xùn)練，如圖2-7，二者的能力就會變得越來越強(qiáng)，最終會獲得效果非常好的生成器，用它來生成我們想要的圖片。判別器判別器找出假數(shù)據(jù)生成器生成圖像技能提升技能提升圖2-7生成對抗網(wǎng)絡(luò)的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：①更好建模數(shù)據(jù)分布，圖像更加清晰②理論上能訓(xùn)練任何一種生成器網(wǎng)絡(luò)③學(xué)習(xí)過程中不進(jìn)行其他的操作進(jìn)行推斷，有效避免概率難題缺點(diǎn)：①訓(xùn)練時(shí)生成器和判別器之間需要同步，因此很難訓(xùn)練，過程極不穩(wěn)定，②模式缺失，恒程器遭遇退化，總是生成相同的樣本點(diǎn)，學(xué)習(xí)無法繼續(xù)2.4圖像識別過程2.4.1數(shù)據(jù)源本文圖像采用網(wǎng)絡(luò)上的oxford-iiit-pet寵物圖像數(shù)據(jù)集，但種類繁多，實(shí)驗(yàn)涉及范圍暫且用部分貓狗圖像進(jìn)行研究。圖像集部分圖像如圖2-8所示：圖2-8部分圖像集2.4.2預(yù)處理圖像預(yù)處理是在圖像分析前執(zhí)行的一項(xiàng)必不可少的工作，對圖像數(shù)據(jù)信息進(jìn)行過濾篩選，進(jìn)而有助于輸入圖像的\t"/item/%E5%9B%BE%E5%83%8F%E9%A2%84%E5%A4%84%E7%90%86/_blank"特征抽取、分割和匹配[13]。圖像預(yù)處理主要目的是對輸入信息取其精華去其糟粕，不但沒有利用價(jià)值還影響正常的特征提取，預(yù)處理對真實(shí)有用的信息起到篩選的作用，從而增加可檢測度，一定程度上簡化數(shù)據(jù)，對圖像特征，識別、匹配、分割等都起到一個(gè)可靠保障的作用。以下是keras數(shù)據(jù)預(yù)處理的詳細(xì)展示，對圖像集中一張圖片2-9進(jìn)行預(yù)處理，結(jié)果如圖2-10所示，詳細(xì)程序見附錄1。圖2-9圖2-10通過預(yù)處理變換之后得到了旋轉(zhuǎn)、偏移、剪切、放縮的一系列圖像，因此預(yù)處理有助于神經(jīng)網(wǎng)路針對多種形態(tài)的同一物體能夠很好的識別出來。圖像預(yù)處理時(shí)可以分為三步：灰度化、幾何變換、圖像增強(qiáng)。首先，RGB模型中表示色彩灰度顏色的值叫灰度值，范圍0-255，灰度化處理方法有分量法，平均值法，加權(quán)平均法，這里采用的是分量法，對圖2-9進(jìn)行處理，得到的圖像如圖2-11所示：圖2-11其次，對圖像進(jìn)行平移、轉(zhuǎn)置、鏡像、旋轉(zhuǎn)、縮放等幾何變換操作，用于調(diào)整系統(tǒng)采集圖像的位置大小和方向，獲得輸出和輸入圖像之間的映射關(guān)系，這里對圖像進(jìn)行了翻轉(zhuǎn)、旋轉(zhuǎn)、放縮，輸出結(jié)果如下圖2-12所示：圖2-12最后，通過圖像增強(qiáng)將圖像中的實(shí)用信息放大，提高圖像識別效果，有目的地突出整體或局部特征，擴(kuò)大圖像間的差異，抑制不敏感的圖像特征，以滿足圖像識別需要。圖像增強(qiáng)可以分為頻率域法和空間域法，本系統(tǒng)采用頻率域法，將圖像看做一種二維信號，將圖像邊緣、噪音或者變化陡峭的高頻率等成分過濾篩除，實(shí)驗(yàn)使用高斯高通濾波器，圖片增強(qiáng)后顯示結(jié)果如下圖2-13：濾波數(shù)學(xué)表達(dá)式：G(高斯高通濾波器：H(圖2-132.4.3特征提取結(jié)果可視化神經(jīng)網(wǎng)絡(luò)工作時(shí)概括為輸出即輸入，通俗理解為特征提取劃分很多層，上層神經(jīng)節(jié)點(diǎn)輸出的特征信息作為下一層的輸入，一定程度上降低處理數(shù)據(jù)的復(fù)雜程度，面對更復(fù)雜的數(shù)據(jù)處理任務(wù)也能輕松應(yīng)對，處理過程中要注意的是每一個(gè)可以作為輸入層特征的素點(diǎn)都有自己的權(quán)重，這種情況下存在一個(gè)弊端就是權(quán)重過量會消耗大量的內(nèi)存。從生物學(xué)角度出發(fā)，識別時(shí)從單一的曲線開始慢慢向更高一層的抽象方向發(fā)展。學(xué)術(shù)界研究發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)就具有相類似的功能特點(diǎn)，識別圖像中的對象時(shí)往往是從最簡短的曲線開始的，本章實(shí)驗(yàn)進(jìn)行寵物識別時(shí)首先提取動(dòng)物簡單的曲線作為首層輸出，輸入下一層將曲線系統(tǒng)性組合進(jìn)行特征提取，具體表現(xiàn)為根據(jù)一條曲線和舌頭提取出嘴巴的特征輸出到下一層，組合已獲得的特征并繼續(xù)提取，在最后一層組合寵物面目器官等特征識別出寵物類別。卷積神經(jīng)網(wǎng)絡(luò)的卷積方式可以將鄰近的像素當(dāng)作一個(gè)整體進(jìn)行處理，而不是卷積的每一層特征都會影響下一層特征的提取，干擾信息每層都在增加準(zhǔn)確度會受到影響。不僅如此卷積只需要圖像中的一部分像素，去除其他像素的干擾，這里隨機(jī)抽取一張小貓圖像如圖2-3所示，進(jìn)行特征提取并可視化出來，具體流程如下：①創(chuàng)建CNN特征提取器，本文使用PyTorch自帶的resnet34網(wǎng)絡(luò)②創(chuàng)建一個(gè)對象用來保存hook內(nèi)容③為每個(gè)卷積層創(chuàng)建hook④加載可視化相關(guān)的包本文將對圖2-14進(jìn)行特征提取并可視化卷積后結(jié)果圖2-14小貓圖像對于resnet34而言，計(jì)劃可視化其第1、2、15、28個(gè)卷積層，因?yàn)椋@幾層是1*1（conv1_x）致4*4（conv4_x）具有代表性的卷積核的輸出，從低層到高層可以很直觀地看出特征提取后圖片從輪廓清晰逐步特征高層化，關(guān)于最后一個(gè)卷積層不可視化的原因是最后一層每個(gè)通道的像素僅僅為7*7，即使可視化出來也看不出有什么東西，對特征的提取沒有利用價(jià)值，因此也就沒有必要進(jìn)一步可視化。提取計(jì)劃可視化的卷積層結(jié)果，該程序見附錄2：①每個(gè)卷積層的結(jié)果都通過hook保存到save_output.outputs里，查看是否為36個(gè)結(jié)果②創(chuàng)建一個(gè)拼接卷積結(jié)果的函數(shù)。對每個(gè)卷積層來說，其結(jié)果都是由許多單通道圖片組成（可視化時(shí)設(shè)置通道為64），然后將這些單通道圖片進(jìn)行拼接一張單通道大圖。查看是否為36個(gè)結(jié)果[1]并查看計(jì)劃可視化的層，運(yùn)行結(jié)果圖如2-15所示：圖2-15計(jì)劃可視化層③提取預(yù)訂可視化的卷積層結(jié)果如下：可視化第1個(gè)卷積層，卷積核為7*7，將輸入的三通道彩色圖像通道增加至64，尺寸從224*224對折為112*112[14]，下圖2-16是第一個(gè)卷積層的提取結(jié)果，顯而易見每個(gè)卷積層的不同通道有不同側(cè)重點(diǎn)。圖2-16可視化第1個(gè)卷積層可視化第2和第7個(gè)卷積層，通過兩個(gè)卷積層圖像輸出對比，得到特征提取逐漸高層化，不同通道的側(cè)重點(diǎn)明顯，如圖2-17、2-18所示：圖2-17可視化第2個(gè)卷積層圖2-18可視化第7個(gè)卷積層可視化第16個(gè)卷積層，對應(yīng)的是conv3_x的結(jié)果，圖像經(jīng)過多層特征提取，提取到的特征變得更加高層，加強(qiáng)上述通道的側(cè)重點(diǎn)[1]，如圖2-19所示：圖2-19可視化第16個(gè)卷積層可視化第29個(gè)卷積層，如圖2-20所示：圖2-20可視化第29個(gè)卷積層對神經(jīng)網(wǎng)絡(luò)提取結(jié)果進(jìn)行可視化有助于理解其特征提取逐漸高層化的過程[14]。2.4.4模式識別基本概念模式識別是利用機(jī)器獲取傳感器的信息，對各種不同的事物或現(xiàn)象進(jìn)行解析從而獲得需要的效果。廣義來講，模式識別更像獨(dú)立存在生物體的基本活動(dòng)，可以通過外在的表現(xiàn)追溯其內(nèi)心活動(dòng)，與已存在的大腦皮層刺激進(jìn)行對應(yīng)的匹配，從而確定刺激信息存在的意義；狹義來講，利用機(jī)器達(dá)到智能化識別的目的。因此，模式識別分為認(rèn)知和計(jì)算機(jī)模式識別[15]兩個(gè)方面。模式識別系統(tǒng)原理框圖如圖2-21所示：待識別對象待識別對象分類識別特征提取和選擇數(shù)據(jù)采集及預(yù)處理數(shù)據(jù)采集及預(yù)處理訓(xùn)練樣本數(shù)據(jù)采集及預(yù)處理對分類判決的規(guī)則進(jìn)行改進(jìn)特征提取和選擇正確率測試圖2-21模式識別系統(tǒng)原理框圖2.5本章小結(jié)本章主要圍繞深度學(xué)習(xí)的圖像識別技術(shù)的基本理論知識進(jìn)行詳細(xì)說明，闡述本文所選取的數(shù)據(jù)來源以及對圖像的處理過程、提取特征過程、模式識別的系統(tǒng)原理，介紹深度學(xué)習(xí)的經(jīng)典算法，為后文的網(wǎng)絡(luò)模型選取提供思路，鋪墊后邊所涉及算法的理解。3全連接神經(jīng)網(wǎng)絡(luò)模型的圖像識別方法3.1全連接神經(jīng)網(wǎng)絡(luò)及改進(jìn)后網(wǎng)絡(luò)模型的建立全連接神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)中最簡單的神經(jīng)網(wǎng)絡(luò)，對圖像的識別有著啟發(fā)學(xué)習(xí)的作用，為后文卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)奠定基礎(chǔ)，首先確定需要的神經(jīng)網(wǎng)絡(luò)模型，原理如圖3-1所示：x1x1x2xjxnO2o1輸出層輸入層隱藏層圖3-1全連接神經(jīng)網(wǎng)絡(luò)示意圖由圖可知信息從左邊輸入，中間進(jìn)行計(jì)算，右邊輸出，每一級都是利用前一級的輸出當(dāng)做輸入進(jìn)入下一層，再經(jīng)過圓圈代表的組合計(jì)算，輸出到下一級，其中要進(jìn)行輸入歸一化，避免某個(gè)輸入無窮大，導(dǎo)致其他輸入無效。訓(xùn)練前建立net.py，代碼見附錄3，方便訓(xùn)練時(shí)調(diào)用，并且對原始網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，測試它們改進(jìn)前后的準(zhǔn)確率，其步驟如下：①建立最基本的三層全連接神經(jīng)網(wǎng)絡(luò)simpleNet，并且每一層都是線性的，設(shè)置對應(yīng)參數(shù)，返回x值②在simpleNet定義的基礎(chǔ)上為每一層的輸出添加激活函數(shù)ReLU，改進(jìn)后稱為Activation_Net，函數(shù)圖像如圖3-2所示，Sequential()函數(shù)將網(wǎng)絡(luò)的層線性堆疊到一起③在已有的網(wǎng)絡(luò)基礎(chǔ)上增加了一個(gè)加快收斂速度的方法（批標(biāo)準(zhǔn)化[11]），改進(jìn)后的網(wǎng)絡(luò)稱為Batch_Net，詳細(xì)介紹見后文.1激活函數(shù)ReLU激活函數(shù)最大的特點(diǎn)是線性的，所以它的梯度變化趨勢可控，在網(wǎng)絡(luò)結(jié)構(gòu)下，該特點(diǎn)使得此函數(shù)廣泛適用于深度學(xué)習(xí)，在后文Resnet卷積神經(jīng)網(wǎng)絡(luò)中也涉及到了該函數(shù)，函數(shù)圖像如圖3-2：激活函數(shù)ReLU表達(dá)式:y圖3-2ReLU激活函數(shù)圖像除此之外，還有一些其他的激活函數(shù)，如Sigmoid、Tanh、LeakyReLU等，下面將詳細(xì)介紹。Sigmoid是平滑的階梯函數(shù)，可以將任何值轉(zhuǎn)換為[0,1]，可用于二分類，但是作為激活函數(shù)會受到神經(jīng)網(wǎng)絡(luò)隱含層的層數(shù)影響，訓(xùn)練次數(shù)很大時(shí)會導(dǎo)致誤差過大，每一層的速度也越來越低。Sigmoid的缺點(diǎn)有以下幾個(gè)方面，首先，計(jì)算量龐大，在反向傳播中求誤差梯度和求導(dǎo)過程復(fù)雜；梯度可能消失，導(dǎo)致訓(xùn)練無法繼續(xù)進(jìn)行；函數(shù)敏感區(qū)較短，超出（-1,1）范圍就會處于飽和狀態(tài)，函數(shù)圖像如圖3-3：激活函數(shù)Sigmoid表達(dá)式：y=圖3-3Sigmoid激活函數(shù)圖像Tanh，雙曲正切函數(shù)，能有效地將輸入值轉(zhuǎn)換為-1到1之間，從而減輕梯度消失的問題，保持輸入和輸出非線性單調(diào)的關(guān)系，容錯(cuò)性好，函數(shù)圖像如圖3-4：激活函數(shù)Tanh表達(dá)式：y=tanh(x)=ex圖3-4Tanh激活函數(shù)圖像LeakyReLU是帶泄露更正線性單元函數(shù)，是ReLU的變體，在此函數(shù)中即使輸入值為負(fù)，輸出值也會賦予很小的值，不會出現(xiàn)零值的情況。此函數(shù)導(dǎo)數(shù)永遠(yuǎn)不為零，能減少靜默神經(jīng)元的出現(xiàn)，并且允許梯度學(xué)習(xí)，有效解決負(fù)區(qū)間內(nèi)神經(jīng)元不學(xué)習(xí)的問題，函數(shù)圖像如圖3-5：激活函數(shù)LeakyReLU表達(dá)式：y圖3-5LeakyReLU激活函數(shù)圖像3.1.2批標(biāo)準(zhǔn)化批歸一化方法（BatchNorm）是由Ioffe和Szegedy于2015年提出的，可以對神經(jīng)網(wǎng)絡(luò)中的中間層進(jìn)行標(biāo)準(zhǔn)化處理并廣泛應(yīng)用在深度學(xué)習(xí)，使得中間層的輸出更加穩(wěn)定[11]。公式：輸入：批量x值：B={x1…m}；要學(xué)習(xí)的參數(shù)：輸出：{其中①②為標(biāo)準(zhǔn)化工序，③④為反標(biāo)準(zhǔn)化工序①μB←1②σB③^xi←xi④yi←γ^優(yōu)點(diǎn)：①速度的提升，訓(xùn)練速度和收斂更快②相似于Dropout有效防止或擬合，是一種可以達(dá)到分類效果的正則化表達(dá)方法[16]③簡化調(diào)參的過程，對初始化的要求降低，但是卻可以使用大的學(xué)習(xí)率等[1]3.2數(shù)據(jù)處理后不同模型的測試結(jié)果3.2.1全連接神經(jīng)網(wǎng)絡(luò)模型的運(yùn)行步驟①加載相關(guān)包以及前文所定義的net.py神經(jīng)網(wǎng)絡(luò)模型②給定超參數(shù)數(shù)值如：batch_size=64、learning_rate=0.02、num_epoches=20③進(jìn)行數(shù)據(jù)預(yù)處理：transforms.ToTensor()將信息處理成PyTorch中的對象Tensor,并且進(jìn)行標(biāo)準(zhǔn)化在區(qū)間[0,1]范圍內(nèi)transforms.Normalize()進(jìn)行了減均值，再除標(biāo)準(zhǔn)差實(shí)現(xiàn)歸一化transforms.Compose()將各種預(yù)處理的操作組合到了一起④選擇定義的模型，然后進(jìn)行訓(xùn)練，輸出對應(yīng)的epoch值和loss值⑤最后評估模型輸出實(shí)驗(yàn)損失值和成功率[11]3.2.2模型訓(xùn)練次數(shù)與損失值的關(guān)系與意義訓(xùn)練次數(shù)即實(shí)驗(yàn)中epoch的數(shù)值，它指的是用訓(xùn)練集中的全部樣本訓(xùn)練次數(shù)，此時(shí)相當(dāng)于batch_size等于訓(xùn)練集的樣本數(shù)，對于不同的數(shù)據(jù)集epoch的選取是不同的，通常數(shù)百或上千，網(wǎng)絡(luò)獲取數(shù)據(jù)集達(dá)60000，batch_size根據(jù)設(shè)備定義為64，60000/64約等于900，所以每50次輸出結(jié)果查看，epoch取900次時(shí)獲得損失值相對較小，可以作為最后確定的epoch值。根據(jù)輸出的epoch值、loss值和成功率得出它們之間的變化曲線，圖3-6顯示epoch和loss值之間的關(guān)系，圖3-7顯示epoch和成功率之間的關(guān)系。圖3-6圖3-7圖3-6隨著epoch的增加，查看損失值的變化趨勢，可以清晰的看到全連接神經(jīng)網(wǎng)絡(luò)的損失值隨著epoch的增加呈下降趨勢，并且后期趨于穩(wěn)定，可以認(rèn)為接近擬合狀態(tài)，達(dá)到最佳數(shù)值，圖3-7顯示模型的成功率，隨著訓(xùn)練次數(shù)的增加成功率增加由快到慢，趨于擬合狀態(tài)時(shí)成功率變化不大。3.2.3結(jié)果分析該全連接神經(jīng)網(wǎng)絡(luò)的模型成功率及改進(jìn)后的模型成功率結(jié)果如表3-1所示（每次訓(xùn)練輸出結(jié)果可能略有不同），詳細(xì)評估程序見附錄4：表3-1由表可知，simpleNet的準(zhǔn)確率達(dá)到了90.5%左右，而對每一層的輸出添加激活函數(shù)改進(jìn)后的Activation_Net準(zhǔn)確率變化并不是很明顯，進(jìn)行批標(biāo)準(zhǔn)化，增加了一個(gè)加快收斂速度的Batch_Net的準(zhǔn)確率高達(dá)96.5%左右，可見前文預(yù)測正確，在此網(wǎng)絡(luò)下標(biāo)準(zhǔn)化處理在一定程度上可以提高網(wǎng)絡(luò)的識別性能。3.3本章小結(jié)全連接神經(jīng)網(wǎng)絡(luò)是最基本最簡單的神經(jīng)網(wǎng)絡(luò)，參數(shù)眾多計(jì)算量也隨之增大，但是它卻是學(xué)習(xí)其他網(wǎng)絡(luò)的基礎(chǔ)，以及反向傳播出的原理，所以只要掌握了全連接神經(jīng)網(wǎng)絡(luò)的核心技術(shù)基礎(chǔ)，接下來的各種網(wǎng)絡(luò)也能很容易找到學(xué)習(xí)的技巧所在。4基于Resnet卷積神經(jīng)網(wǎng)絡(luò)的寵物圖像識別4.1Resnet模型介紹在ResNet之前，瑞士教授Schimidhuber提出了與ResNet原理相似的HighwayNetwork，為了解決難以訓(xùn)練的神經(jīng)網(wǎng)絡(luò)問題，每經(jīng)歷一層都要修改激活函數(shù)，既保留了前邊網(wǎng)絡(luò)輸出的結(jié)果，又能將輸入的信息傳送到后層去，因此添加了殘差學(xué)習(xí)單元結(jié)構(gòu)圖，如圖4-1所示：隱藏層操作隱藏層操作：F(x)卷積操作線性整流函數(shù)卷積操作+殘差網(wǎng)絡(luò)的輸出：F(x)+x線性整流函數(shù)圖4-1殘差學(xué)習(xí)單元結(jié)構(gòu)圖隨著神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，網(wǎng)絡(luò)的持續(xù)加深，多層數(shù)使得網(wǎng)絡(luò)的表達(dá)能力增強(qiáng)，但是問題在于過度加深網(wǎng)絡(luò)不僅不會提高網(wǎng)絡(luò)的性能反而會導(dǎo)致網(wǎng)絡(luò)難以收斂，出現(xiàn)過擬合現(xiàn)象。針對這一難題，一直到2015年微軟研究院何凱明等人提出了ResNet(殘差網(wǎng)絡(luò))，該網(wǎng)絡(luò)結(jié)構(gòu)參考VGG19，綜合殘差學(xué)習(xí)單元結(jié)構(gòu)大大提高的訓(xùn)練的深度，提高了工作的效率。4.2ResNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)ResNet的網(wǎng)絡(luò)結(jié)構(gòu)與VGG-19相類似，ResNet的改進(jìn)方法具體實(shí)施在運(yùn)用跨距等于2的卷積作為下采樣，全連接層被平均池化層替換，同時(shí)復(fù)雜度的維持依賴使用要素的數(shù)量，相比普通網(wǎng)絡(luò)該網(wǎng)絡(luò)在層與層之間添加了短路機(jī)制，因此形成了殘差學(xué)習(xí)，當(dāng)網(wǎng)絡(luò)更深時(shí)，其進(jìn)行的是三層間的殘差學(xué)習(xí)，三層卷積核是1*1，3*3和1*1，這時(shí)隱含層的要素?cái)?shù)量比較小，并且是輸出要素?cái)?shù)量的1/4[1]。Resnet網(wǎng)絡(luò)結(jié)構(gòu)圖與VGG19的對比如圖4-2所示：pool/234-layerresidualimagepool/2pool/2pool/2pool/23*3conv，643*3conv，643*3conv，1283*3conv，2563*3conv，pool/234-layerresidualimagepool/2pool/2pool/2pool/23*3conv，643*3conv，643*3conv，1283*3conv，2563*3conv，512Fc4096Fc40963*3conv，512Fc1003*3conv，647*7conv，64/23*3conv，1283*3conv，1283*3conv，2563*3conv，2563*3conv，5123*3conv，5123*3conv，64Fc40967*7conv，64/23*3conv，643*3conv，128/23*3conv，643*3conv，1283*3conv，1283*3conv，256/23*3conv，1283*3conv，512/23*3conv，2563*3conv，2563*3conv，2563*3conv，5123*3conv，512Fc1003*3conv，512conv3_xconv4_xconv5_xVGG-19image2244pool/2avgpoollayerplainImage34225233avgpoolconv2_x圖4-2ResNet特有的殘差學(xué)習(xí)成功改善了深度學(xué)習(xí)中網(wǎng)絡(luò)發(fā)展緩慢的問題，從而加深網(wǎng)絡(luò)的訓(xùn)練，可以說是深度學(xué)習(xí)網(wǎng)絡(luò)的一個(gè)強(qiáng)大推動(dòng)力，下面就利用了Resnet18模型進(jìn)行了實(shí)驗(yàn)。4.3實(shí)驗(yàn)步驟及注意事項(xiàng)獲取訓(xùn)練集內(nèi)圖片并顯示所屬種類，且每次運(yùn)行圖像結(jié)果隨機(jī)產(chǎn)生，如圖4-4所示：圖4-3測試Resnet18網(wǎng)絡(luò)識別準(zhǔn)確率的實(shí)驗(yàn)步驟和注意事項(xiàng)：①下載resnet18-5c106cde.pth到指定目錄下，以便提供Resnet運(yùn)行環(huán)境，本實(shí)驗(yàn)?zāi)夸洖镃:\Users\Administrator.DESKTOP-K4F8238\.cache\torch\hub\checkpoints②準(zhǔn)備好訓(xùn)練集圖片，進(jìn)行相關(guān)的參數(shù)設(shè)定③通過繪圖確定數(shù)據(jù)連接正常，然后進(jìn)一步獲取批訓(xùn)練數(shù)據(jù)，從批處理生成網(wǎng)絡(luò)④定義實(shí)驗(yàn)所用參數(shù)，設(shè)定輸出樣本大小，epoch在選取時(shí)考慮到訓(xùn)練樣本的數(shù)量大概在100左右，batch_size選取的4，所以100/4，epoch取值時(shí)暫且定為25，為了使準(zhǔn)確率達(dá)標(biāo)又不過擬合，epoch的數(shù)值成倍數(shù)增長來查看相對應(yīng)的準(zhǔn)確率，訓(xùn)練次數(shù)和準(zhǔn)確率損失值之間的關(guān)系如圖4-4，訓(xùn)練次數(shù)不斷增加，準(zhǔn)確率呈現(xiàn)上下波動(dòng)⑤修改訓(xùn)練次數(shù)研究準(zhǔn)確率結(jié)果不同注：訓(xùn)練數(shù)據(jù)的擴(kuò)充與規(guī)范化只是為了驗(yàn)證，所有參數(shù)都在優(yōu)化圖4-4訓(xùn)練次數(shù)和準(zhǔn)確率關(guān)系4.4實(shí)驗(yàn)結(jié)果