BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)研究ADDINCNKISM.UserStyle摘要 在日常生活中,字符隨處可見。手寫數(shù)字識別的研究方向是字符識別的一個重要的方向。隨著時間的遷移,手寫數(shù)字識別技術(shù)的理論研究與算法得到了進一步的改善,但是一個嚴(yán)峻的問題是如何有效地應(yīng)用在實際生活中。本文研究了BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)兩種網(wǎng)絡(luò)模型。因為網(wǎng)絡(luò)識別率受特征提取方法的影響很大,所以特此研究了PCA特征、Sobel特征以及Gabor特征這三種特征提取方法。經(jīng)研究不同特征提取方法與BP神經(jīng)網(wǎng)絡(luò)結(jié)合發(fā)現(xiàn),識別結(jié)果最好的方法是使用Gabor特征與BP神經(jīng)網(wǎng)絡(luò)結(jié)合。本文研究了卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了通過網(wǎng)絡(luò)本身的特征提取和識別的方法。本文分析了LeNet5模型，然后提出了兩種改進模型。通過分析識別結(jié)果，發(fā)現(xiàn)可以獲得很高的識別率。最后，本文基于MATLAB的GUI設(shè)計了手寫數(shù)字識別系統(tǒng)，該系統(tǒng)有效地識別了圖片上的手寫數(shù)字，具有實用價值。關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò);卷積神經(jīng)網(wǎng)絡(luò);手寫體數(shù)字識別;MATLABAbstractCharacterscanbeseeneverywhereindailylife.Theresearchdirectionofhandwrittennumeralrecognitionisanimportantdirectionofcharacterrecognition.Withthetransferoftime,thetheoreticalresearchandalgorithmofhandwrittennumeralrecognitiontechnologyhavebeenfurtherimproved,butaseriousproblemishowtoeffectivelyapplyitinreallife.Inthispaper,twonetworkmodelsofBPneuralnetworkandconvolutionneuralnetworkarestudied.Becausetherecognitionrateofnetworkisgreatlyaffectedbyfeatureextractionmethods,threefeatureextractionmethods,PCAfeature,SobelfeatureandGaborfeature,areherebystudied.AfterstudyingthecombinationofdifferentfeatureextractionmethodsandBPneuralnetwork,itisfoundthatthebestmethodtoidentifyresultsistouseGaborfeaturesandBPneuralnetwork.Inthispaper,convolutionneuralnetworkisstudied,andthemethodoffeatureextractionandrecognitionthroughthenetworkitselfisrealized.ThispaperanalyzesLeNet5modelandthenproposestwoimprovedmodels.Byanalyzingtherecognitionresults,itisfoundthatahighrecognitionratecanbeobtained.Finally,thispaperdesignsahandwrittennumeralrecognitionsystembasedonGUIofMATLAB,whichcaneffectivelyrecognizehandwrittennumeralsonpicturesandhaspracticalvalue.Keywords:BPneuralnetwork;CNN;handwrittennumeralrecognition;MATLAB目錄TOC\o"1-2"\h\z\u31028第1章緒論 160291.1系統(tǒng)研究的目的和意義 1323261.2國內(nèi)外研究現(xiàn)狀 1126731.3本文主要內(nèi)容 37054第2章手寫數(shù)字識別技術(shù)的理論研究 5256922.1手寫數(shù)字識別的研究方法 5323912.2手寫數(shù)字特征提取 6301972.3BP神經(jīng)網(wǎng)絡(luò) 848092.4卷積神經(jīng)網(wǎng)絡(luò) 12297302.5本章小結(jié) 179482第3章手寫數(shù)字識別技術(shù)算法研究 18241053.1BP神經(jīng)網(wǎng)絡(luò)算法研究 18120873.2卷積神經(jīng)網(wǎng)絡(luò)算法研究 22263653.3本章小結(jié) 257752第4章手寫數(shù)字識別系統(tǒng)設(shè)計 26323204.1MATLAB的GUI介紹 26101704.2系統(tǒng)總體設(shè)計 27323424.3系統(tǒng)的功能設(shè)計 28132704.4系統(tǒng)仿真測試 3041114.5本章小結(jié) 3119242結(jié)論 326326參考文獻 3310471致謝 35第1章緒論1.1系統(tǒng)研究的目的和意義隨著、生活、學(xué)習(xí)中，都要處理越來越多的數(shù)據(jù)。文字能更隨著光學(xué)字符識別應(yīng)用和計算機技術(shù)的迅速發(fā)展，現(xiàn)在果的準(zhǔn)確度也不斷提高。光學(xué)字符種字是人們每天接觸到的，其使用量也最大。手寫數(shù)字識別技術(shù)廣域，對改變?nèi)藗兊纳钯|(zhì)量起到了很大的作分類器的性能進一步優(yōu)著嚴(yán)峻的挑戰(zhàn)?？紤]到數(shù)字信息別算法的效率和快取和紋理提取三種方法為中符識別相結(jié)合。在分析了特征提取方法后，本文還研究了BP網(wǎng)絡(luò)的分類模型和類算法。由于BP神經(jīng)網(wǎng)絡(luò)本身存在缺陷，本文對其自身的缺陷。不同網(wǎng)絡(luò)的組合發(fā)現(xiàn)了提。但是，取方法的限制，因此本文重新研究了線路網(wǎng)絡(luò)。在里，主要究了Le型，對作改進，得到別率的卷積神經(jīng)絡(luò)。受委員會發(fā)，分析了網(wǎng)判結(jié)果后，本文最后提出別率高的組合網(wǎng)絡(luò)。使用計進寫數(shù)字別工作減動識寫數(shù)字信息的負(fù)擔(dān)，提高關(guān)行業(yè)工的工作效率，減少了工擔(dān)。這項技術(shù)不以減少人力和物力的投入，還可大改善相關(guān)從業(yè)者的境。因此，研究手寫數(shù)字識別價值。1.2國內(nèi)外研究現(xiàn)狀手寫字別很早就引起了眾多研究者的注，對這個問題的廣泛研究提多算法來解決這個問題。首用的是模配算法，后來發(fā)神經(jīng)網(wǎng)絡(luò)算法和量機算法，是迄今廣泛使用的學(xué)習(xí)算法。這些算法的研究和促進了圖像理和分類的快速發(fā)展。國外研究現(xiàn)狀。外國研員提出了模板匹配算法，這極大地促進了光學(xué)符識別（Opticalcharacterrecognition,OCR）的發(fā)展。同年，OCR獲得了專利。OCR識別必須基算機，因此只有算機技術(shù)進一步發(fā)展后，OCR的預(yù)防應(yīng)用才能成能。20世紀(jì)60年代，美國研者分析了寫數(shù)0-9)的特性結(jié)構(gòu)，發(fā)現(xiàn)0-90種手寫數(shù)字可限的基本特性組成。美究人員的這個發(fā)現(xiàn)對數(shù)字識術(shù)的迅速供了有的幫助。20世紀(jì)8代以后，神經(jīng)絡(luò)、邏輯推持向量機(SVM)等理論和算階段引入到手中，并且取得了一定的成績。其中SVM算法個問題中出的，與其他算比，其結(jié)果得顯著的改善。綜上所述，可以看出研究用手寫數(shù)字課題已經(jīng)經(jīng)過長期的發(fā)展，形成了論和方法。在多種因素的制約下，OCR開期完成了僅識別和處理限符的功能，此后，很多研對這個主題進行了深入的研究，陸續(xù)提出了很多新的算法。（2）國內(nèi)研究現(xiàn)狀。國內(nèi)這個問題的研究比國外晚一點。直到20世紀(jì)80年代，我國對這個問題的剛剛開始。中國工程院設(shè)計局信件自動識別系統(tǒng)[5]。之后，在這段時間里，很多國校對手寫數(shù)字識別技術(shù)做了研究，在這個項目了很好的研究成果。其中琳使用的SV術(shù)和曹丹用的Hopfield神經(jīng)網(wǎng)絡(luò)大低了手寫數(shù)字識別的誤率。國內(nèi)的研究在科研工作者的努力取速的發(fā)展,緊跟著外在該項目上展步伐。但是,識別能否滿足應(yīng)用仍然是目前研究者臨的巨大挑戰(zhàn)。國內(nèi)的研究多科研人員的努力下取得了快展，在這個項目上緊跟海展的步伐。但是滿足識別率仍然是當(dāng)前研究人員的大課題。因此，這個進一步發(fā)展仍然量的努力。字符識別是古老的研任務(wù)，在長期的發(fā)展中已經(jīng)了許多新方法和新理論。這些解決案通常分為預(yù)處理、特征選提取、模式分模塊。字符識別流程如圖1-1所示。圖1-1數(shù)字識別流程圖首先獲像，然后要執(zhí)行作是第一步的預(yù)處理。收集的會受到拍攝條件、設(shè)備性能等素的影響，因此，自然景中獲取的字符通過直接輸入分方法來識別。因此，預(yù)處段對整個分類過程有的影響。常用方法包括見的處理操作，如去進制、銳化平滑等。預(yù)處理圖像比原始圖像更能像的核心內(nèi)容，有利于類和識別。選取和提征。這個階段是整類過程中非常重要的一部分。無論分類器設(shè)么優(yōu)秀，如果在程中得不到示圖像信息的特征，將對分類器產(chǎn)生大的影響。圖像心內(nèi)容常的有邊緣特征、角以及結(jié)構(gòu)特征等。其他特征像中的不同信息。近年來，隨著深化學(xué)習(xí)益完善，許多領(lǐng)域已經(jīng)深化學(xué)習(xí)解決實中面臨的題。作為圖像區(qū)域的性例子-卷積神絡(luò)本身不僅可以對特征進效的提取，還可以進行類。很多文獻表明，使用卷積神經(jīng)網(wǎng)得的特征比選擇的特征中信息更豐富，性能更好。分類果輸出。此過程主用分類器對待識象進行分類，且輸出結(jié)果，以供操業(yè)分析。隨著科學(xué)研究者的力，很多分類逐步提出。其中量機、神經(jīng)絡(luò)、隨機森林有名。這種類器的廣泛使模式識別領(lǐng)域的快速發(fā)展起定的作用。要別的樣例通常經(jīng)過所需的前理后，可以執(zhí)行相特征提取操作。取得的圖作分類作業(yè)的分類器的輸入。一般來說，分類型使用很多本進行培訓(xùn)，以學(xué)習(xí)相標(biāo)輸入和輸出之間的性關(guān)系。然后使用訓(xùn)素的分類器對未知進行分類。最終輸出識別出的結(jié)果。1.3本文主要內(nèi)容本文主究的是手寫識別。討論的特征提法主要包括三種特征提取方法:PCA特Sobel邊緣檢測、Gabor變換。由于P網(wǎng)絡(luò)中還是具有諸多缺陷,因此本文對傳神經(jīng)網(wǎng)絡(luò)做了一些這里采用了學(xué)習(xí)率自適應(yīng)策略[12]。通過多種取方法和改進的BP神經(jīng)網(wǎng)組合，得到別率高的網(wǎng)絡(luò)結(jié)構(gòu)。BP神經(jīng)網(wǎng)要手動選擇特征，網(wǎng)絡(luò)識別能會受到特取方法的影響，所以論文還積神經(jīng)網(wǎng)絡(luò)進行了分研究。因為研網(wǎng)絡(luò)結(jié)構(gòu)、卷積核大小和卷積核數(shù)、池化方法習(xí)速度等參數(shù)，采用改進的型，獲得了較高的識別結(jié)果。卷積多種因素(如層數(shù))的影響，因此，復(fù)雜通常比簡絡(luò)的分類結(jié)果更高。但是網(wǎng)復(fù)雜，網(wǎng)絡(luò)訓(xùn)困難，這篇論文究的是一種組合神經(jīng)網(wǎng)絡(luò)。通過在組合使用三種不太復(fù)雜的網(wǎng)構(gòu)對MNIST數(shù)據(jù)集進實驗驗證，證明了組合以達到類似雜網(wǎng)絡(luò)識別結(jié)果的效果。最后，本文應(yīng)用經(jīng)過訓(xùn)練的組合計了手寫字符識別系統(tǒng)，并使用自集的數(shù)據(jù)集驗證了整個系統(tǒng)的有效性，取得了良好的效果。本文主要結(jié)構(gòu)安排:第1章是論文的緒分簡要總結(jié)了該課題國內(nèi)外研究現(xiàn)研究課題的意義，有助于讀該課題有明確的理解。第2章為了相論的基礎(chǔ)，通過研究分析分類結(jié)果的兩個因素。這篇論蓋了對手寫數(shù)字進究時的PCA特征、Sobel邊緣、Gabor特征等。把神經(jīng)為本文中使用的分類器。本要介紹了BP神經(jīng)卷積神經(jīng)網(wǎng)絡(luò)相關(guān)的理論知識，為以后絡(luò)建設(shè)和實現(xiàn)提供了理論依據(jù)。第3章談?wù)搨€實驗。分析和實同的特征提取方BP神經(jīng)網(wǎng)絡(luò)進行了研究，結(jié)果發(fā)現(xiàn)Gabor特征提取算法得高的識別結(jié)果，算法理論比較簡單，容易理解。通過對進行深入分析,本文設(shè)計了兩種比性能更高的的CNN模型。在數(shù)據(jù)集上進驗，得出了數(shù)據(jù)集通過CNN可以獲高的識別結(jié)更好的分類結(jié)論。但是隨著層次的加深，網(wǎng)絡(luò)訓(xùn)練和參數(shù)設(shè)置都很困難，因此本文只研究7層網(wǎng)絡(luò)的結(jié)構(gòu)。第4章對MATLAB的GUI,系統(tǒng)的總體流程,系統(tǒng)功能的設(shè)計依次介紹,最好在BP和CNN下得仿真法有效性。第2章手寫數(shù)字識別技術(shù)的關(guān)鍵技術(shù)本章寫識別的研究方法出發(fā)，研究和學(xué)習(xí)識別過程中所需的特征提取方法和必要的神絡(luò)。在特征提取中，習(xí)兩種模型:PCA特征、Sobel特征和Gabor特征、神經(jīng)網(wǎng)絡(luò)中神經(jīng)網(wǎng)絡(luò)和CNN兩個模型。2.1手寫數(shù)字識別的研究方法這項長期的研究寫識別相關(guān)的理論和方法法主要傾向于研究手寫數(shù)征提取和分類方法。因此，決手寫數(shù)字識別問題時，提出了很多特取算法和分類模型，解題。常用的分類模型包括:模板匹配方法。模配是一種圖像全局分析算法，它建立了與圖像的每個類別相對應(yīng)準(zhǔn)表單。此標(biāo)準(zhǔn)格式被視的模板，因此可以根據(jù)圖像的不同類別提供不同的模板類型。如果板，則可以根據(jù)擁有的模板分標(biāo)識圖像中的手寫數(shù)字將要圖片與每個標(biāo)準(zhǔn)模板相匹配，并通過對模板匹配的錯誤最小的模板進行分類識別。通過對算法的簡要說明，表明模板匹配算法的算法理論相對解，在識別過程中沒有進行很多計算，速度比較快。但是，當(dāng)需要識別的圖像很多時，必須將每個圖像與每個模板一一匹配，因此務(wù)很多，需要很長時間。因此，這種識別算法仍然需要很大的改進。統(tǒng)計決策方法。該算法長期的發(fā)展，建立了較為成熟的理論基礎(chǔ)。主要用作概率論和數(shù)理統(tǒng)計的數(shù)學(xué)知識。得像特征后，可以使用決策函數(shù)執(zhí)行相關(guān)識。該算法具有更明顯的噪效果，但缺點也更明顯，即無法獲得圖像細(xì)微特征。結(jié)構(gòu)特征方法。此算圖像結(jié)構(gòu)的分析。在獲得像的結(jié)構(gòu)信息之后，將該結(jié)構(gòu)信息由手寫數(shù)字的基元組成的結(jié)構(gòu)空間里，最后完成手寫的識別。與模板匹配算樣，該算法不需要大量的數(shù)學(xué)計算，因此算法的原理簡單易懂。神經(jīng)網(wǎng)絡(luò)方法。該算法于人類識別圖方法，它是通過構(gòu)建人工神經(jīng)元以模擬人類知過程。神經(jīng)網(wǎng)絡(luò)需要創(chuàng)建多層網(wǎng)絡(luò)結(jié)構(gòu)，每層都有多個權(quán)重和性。網(wǎng)絡(luò)通過學(xué)習(xí)訓(xùn)，逐步提高網(wǎng)絡(luò)各層神經(jīng)元之間的權(quán)重和閾值，最了非線性映射關(guān)系。如果有要識別的新圖像，則可以根據(jù)獲得的輸入和輸出之間的非線性映系獲得最終分類結(jié)果。支持向量機方法。SVM算法實據(jù)低緯度到高緯度映射，將低緯度中不可分割的數(shù)據(jù)轉(zhuǎn)換為可從高維度劃分的數(shù)據(jù)，并便于數(shù)據(jù)處理。SVM可以有效地解決很多問題，對各種領(lǐng)域都大幫助。該算法得到了廣泛應(yīng)用，因為其識別結(jié)果比其他識別算法更準(zhǔn)確。卷積神經(jīng)網(wǎng)絡(luò)方法。CNN放棄了絡(luò)所需要的人工特征提取過程。雖然CNN也需要提取特此操作不再是人工提取而是在網(wǎng)絡(luò)本身中執(zhí)行。這樣可以避免由于特征提取方法之異而導(dǎo)致最終結(jié)果中出現(xiàn)差異的情況，并提高能。根提取的間的差異，人工提取特征可算法的最終標(biāo)識結(jié)果產(chǎn)生重響，但是可以通過CNN很好地問題。CNN還比傳統(tǒng)方法更好地表示了圖像，從而獲得了比其他算法結(jié)果。但是，CNN的結(jié)構(gòu)太復(fù)雜，需要進行卷積很長的訓(xùn)練時間。由于很多參數(shù)，導(dǎo)致網(wǎng)絡(luò)難。這些是研究者急需解決的問題。以上概述了6個不同器。分類器選擇對分類工作的最終效果起著重要作用。即使為同一分類操作選擇不同的分類器，獲得的效果不同。因此，要根據(jù)分類任務(wù)的具體內(nèi)容，選擇適當(dāng)?shù)姆诸惼?，得到較好的結(jié)果。綜上所述本文選取方法1和6分離器為主要研究對象。此外，對于字符識別操作來講，分類器不僅影響結(jié)果，圖像的特征提取也對最終結(jié)果有重要影響。2.2手寫數(shù)字特征提取本文以PCA特征、Sobel邊緣算子和Gabor濾波算法為中心，研究特征提取算法，以獲得更好的特性。2.2.1主成分分析主成分分析是一以大大提高非監(jiān)督習(xí)速度的數(shù)據(jù)降維算法。字符識別實際上就是識別了像素間相關(guān)的圖像本身，因此數(shù)據(jù)是重復(fù)的。由于圖像中像素之間的依存關(guān)系，PCA算法可縮輸入數(shù)據(jù)，只留下分布較大的維。PCA算法可以保動較大的元素，減少網(wǎng)絡(luò)的計算量，同時PCA算法產(chǎn)生的誤差是非常小的。在PCA算法中，主成分?jǐn)?shù)對網(wǎng)絡(luò)的最果有很大影響。如果主成分的數(shù)量太大，數(shù)據(jù)維仍高，則無法達到縮小數(shù)據(jù)維的。相反，太小的話，數(shù)據(jù)的近差太大。通常情況下,設(shè)是協(xié)陣的特征值,并且與特征向量對應(yīng)的是。（2-1）式中保留了前個成分,也就是保留了前個特征值。對于圖像處理,通常主成分?jǐn)?shù)是選擇滿足公式（2-2）最小值。一個慣常的經(jīng)驗法則是選擇以保留99%的方差,也就選取滿足下式的最小值:（2-2）公式（2-2）中的0.99是選擇個成分用來保留99%的方差。2.2.2Sobel特征提取提取圖像特征的一法是提取圖像邊息，并將圖像邊緣信息用作輸入接收分類器。通常，圖像在水平和垂直方向都執(zhí)行邊緣檢測，但也可以在其他方向檢測。由于Sobel算法使用加權(quán)處理方法，而不是將位置計算為簡單總計，因此生成的圖像中的邊模糊不太嚴(yán)重，并且效果相對好。本文在檢測圖像邊緣時，通過Sobel算法獲得了四個梯度圖像，分別是水平方向、垂直方向和兩個對角方向。然后，將這4個梯像拉伸為四個列矢量，并將它們連接在一起形成一個列矢量。連接的列向含3136維，直接輸入網(wǎng)絡(luò)會增加網(wǎng)絡(luò)使用率。因此，選擇PCA降維以聯(lián)的列矢量，從而減少輸入數(shù)據(jù)的維。2.2.3Gabor特征提取將Gabor小波應(yīng)用于取，可以更好地獲取邊息，具有更好的方向和尺特性。Gabor小波不受圖像中光照變影響，可以很好地適應(yīng)各種照明條件，獲得更好的信息。Gabor小波具有這點，在很多與視覺相關(guān)的領(lǐng)中被廣泛使用。在實際應(yīng)用中，常是二維Gabor變換，因為其變換系數(shù)地表現(xiàn)出視覺特征，所以廣泛用于視覺處理方向。Gabor無論是在生物學(xué)分析方是現(xiàn)代應(yīng)用研究方面，都比其他任何特征更有獨特點。Gabor轉(zhuǎn)換具有研號不同位置的局部特性的功能，在空域和頻域中表現(xiàn)出良好的局部性，因特征提取、圖像識別領(lǐng)域得到了廣泛應(yīng)用。不受旋轉(zhuǎn)、縮放和平移的影響是Gabor過濾器要的優(yōu)點。在空間中,二維Gabor函數(shù)G(x,y)是一個被弦函數(shù)調(diào)制的高斯函數(shù),其數(shù)學(xué)表達式如下:(2-3)參數(shù)表征了Gabor濾波器的濾波方向。是正弦曲線的頻率,是相位偏移量。決定了Gabor濾波器核函數(shù)的窗口大小。表示的是橢圓率,此值的大小表示濾波區(qū)域所表示的形狀的差異。2.3BP神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)具有相對復(fù)雜的結(jié)構(gòu)，根據(jù)自身設(shè)定的復(fù)雜結(jié)構(gòu)，不斷調(diào)整和優(yōu)化神經(jīng)元之間的權(quán)重，使其設(shè)置成為可能的功能。BP網(wǎng)絡(luò)可以學(xué)習(xí)輸入和輸出之間的關(guān)系，因此不需要預(yù)置輸入和輸出之間的數(shù)學(xué)方程，從而有助于解決很多非線性問題?，F(xiàn)實中的很多問題是性的，不能用數(shù)學(xué)方程來解釋輸入和輸出之間系，因此，BP網(wǎng)絡(luò)具有廣泛的應(yīng)案。輸入數(shù)據(jù)進入網(wǎng)入層時，數(shù)據(jù)通過輸入層移動到隱藏層，隨后程將繼續(xù)。隱藏圖層的層以根據(jù)實際問題進，假如只有一個隱藏圖層，則隱層后面的數(shù)據(jù)將直接導(dǎo)入到輸層中。誤差通過反向傳播逐層遞，通過調(diào)整傳播過程中經(jīng)過的的權(quán)重，可以提高網(wǎng)絡(luò)的性能。在網(wǎng)絡(luò)的訓(xùn)段，就是不斷地進行正向向的傳播過程，通過每一次代過程更新每個層次之間的權(quán)重，直到指定的數(shù)值或誤差值達到指定的值。2.3.1BP神經(jīng)網(wǎng)絡(luò)優(yōu)缺點優(yōu)點主要體現(xiàn)在:(1)BP網(wǎng)絡(luò)可以輸入和輸出之間的非線性映射，有效地學(xué)習(xí)各種復(fù)線性數(shù)據(jù)，從而提高性能。(2)BP網(wǎng)絡(luò)具大的學(xué)習(xí)能力，能夠以自絡(luò)權(quán)重的方式存儲在學(xué)習(xí)練過程中所學(xué)的知識，在引數(shù)據(jù)后，可以使用網(wǎng)絡(luò)權(quán)重來識些知識，并達到分類目的。(3)BP網(wǎng)絡(luò)可以很抑制噪聲，并且模型的廣義特性很好。主要性能劣現(xiàn)在:(1)訓(xùn)練停止條件是由研員親自設(shè)定，所以存在很大差模型的學(xué)習(xí)率沒有提供明確理特定值，因此其他值會嚴(yán)重影型。學(xué)習(xí)算法的收斂速度慢。(2)在過程中模型容易陷入局部極，結(jié)果得到局部極小值而不是最優(yōu)值，最終識別結(jié)果降低。(3)由于在構(gòu)建模構(gòu)過程中沒有有效的方法，模型中包含很多未知參數(shù)，不利于構(gòu)建模型。2.3.2BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一般來說只有當(dāng)模足足夠大時,BP網(wǎng)絡(luò)才能完近的任務(wù)。但對于實題,很難建立出任意大的網(wǎng)絡(luò),所以針對所需要解決的問題,要建當(dāng)大小的網(wǎng)絡(luò)模型來解決問題。在有樣本上完成模型的訓(xùn)練后并型具備較好的泛化能力是對網(wǎng)絡(luò)型的基本要求。而對于BP網(wǎng)絡(luò)來多因素影響其泛化能力模型結(jié)構(gòu)（如隱層數(shù)、隱層節(jié)點數(shù)所使用的樣本自身的。網(wǎng)絡(luò)的泛化能力是設(shè)計最重要的因素,是設(shè)計者首要考性質(zhì)。一般來說,網(wǎng)絡(luò)結(jié)構(gòu)都是根據(jù)問題的需求來確定的。為了設(shè)能夠解決問題的網(wǎng)絡(luò)結(jié)要設(shè)計者具有較深厚的理論知識作為設(shè)計者需要了型中每一部分的參數(shù)對最終的網(wǎng)絡(luò)結(jié)果生怎樣的影響,根據(jù)其中參數(shù)對網(wǎng)絡(luò)的影響而最終確定出該問題所網(wǎng)絡(luò)的具體結(jié)構(gòu)。在結(jié)構(gòu)設(shè)計中,主要需要考慮的就是每層經(jīng)元的個數(shù),網(wǎng)絡(luò)的誤數(shù)的選擇以及停止訓(xùn)練所條件。通常，不能對不同的問題單個模型，要更好地解決問題，基于問題創(chuàng)建相應(yīng)的模型。創(chuàng)建網(wǎng)絡(luò)模型時，必須根據(jù)實際問題設(shè)計模型的參數(shù)。通常，僅當(dāng)模型滿足足是，在實際問題上，構(gòu)建任意大網(wǎng)絡(luò)題，建立適當(dāng)大小的網(wǎng)絡(luò)模型來解決問題。在有限示例中完成模型的培訓(xùn)，并更好地概括模型，是網(wǎng)絡(luò)模型的基本要求。對于BP網(wǎng)路，許多因素會影響一般化，包括模型結(jié)構(gòu)(例如隱藏的層級數(shù)、隱藏的層級節(jié)點數(shù)等)和使用的范例本身的性質(zhì)。網(wǎng)絡(luò)的泛化能力是設(shè)計模型最重要的因素，是設(shè)計者最優(yōu)先考慮的特性。通常，網(wǎng)絡(luò)結(jié)構(gòu)可解決問題的網(wǎng)絡(luò)結(jié)構(gòu)需要設(shè)計者以更深的理論知識為基礎(chǔ)。設(shè)計師必須了解模型各部分的參數(shù)如何影響最終網(wǎng)絡(luò)結(jié)果，并根據(jù)其中每個參數(shù)對網(wǎng)絡(luò)的影響確定該問題所需網(wǎng)絡(luò)的特定模型結(jié)構(gòu)。在結(jié)構(gòu)設(shè)計中，主要需要考慮的是每層神經(jīng)元的數(shù)量、網(wǎng)絡(luò)的錯誤功能選擇和停止教育的必要條件。圖2-1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖輸入層神經(jīng)元個數(shù)輸入層神經(jīng)元個數(shù)入數(shù)據(jù)的維度相當(dāng)。但是如果輸據(jù)中含有過多的冗余數(shù)據(jù),這些數(shù)在將會加多經(jīng)元的個數(shù),導(dǎo)致網(wǎng)絡(luò)節(jié)點過多,造成網(wǎng)絡(luò)訓(xùn)練時間變于輸入節(jié)點增加,輸入間存在大量的冗余,會降低最終的識別結(jié)果。因此對于輸點數(shù)目的確定應(yīng)以數(shù)處理后的結(jié)果作為設(shè)置該參數(shù)據(jù),由處理后維度來確定輸入層節(jié)點數(shù)目。在本文中,由于對原始圖像進行了特取,因此當(dāng)采用不法時,網(wǎng)絡(luò)的輸入數(shù)數(shù)是不相同。若沒有行任何處理,則輸入層于28*28=784維。隱層神經(jīng)元數(shù)隱層節(jié)點數(shù)目[27]對模型具有很重要影響,主的學(xué)習(xí)效率以及模型的泛化特性。如果設(shè)置的數(shù)身不能夠的信息來表達待解決的問題,便不能很好的完成識別;如果設(shè)置的數(shù)目過大,模型對給定的訓(xùn)練樣本可以進行很好的但是對于測試樣本卻未得與訓(xùn)練樣本一致的識別效果,這是容易出現(xiàn)過飽和問題確的確定隱層節(jié)點的個數(shù)是一個很重要的問題,同時由于沒有完論依據(jù),使得這一問題變得很復(fù)雜。想要獲準(zhǔn)的結(jié)果是相當(dāng)困難的。但是研究人員并沒有因此而放棄研多年的研究,給出了以下幾種方法來完成隱層節(jié)點個數(shù)的確定。（1）單隱層神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)輸出間的非線性映射關(guān)系,并根據(jù)研究發(fā)現(xiàn)了隱層節(jié)點的確法。隱層的節(jié)點數(shù)目為2N+1,其中N為輸入的節(jié)點數(shù)。同年,研究人員又發(fā)現(xiàn)如何獲得多隱層網(wǎng)絡(luò)點的辦法,進一步推廣了隱層節(jié)點數(shù)目辦法。結(jié)論是,第二隱層的節(jié)點數(shù)應(yīng)為Nx2,其中N為輸入的節(jié)點數(shù);（2）當(dāng)輸入的維度較多時,在雙隱層網(wǎng)絡(luò)層網(wǎng)絡(luò)節(jié)點的最好比例為3:1;（3）對于隱層節(jié)點的法可以采用將一個輸入5個節(jié)點相對應(yīng)起來是識別問題,節(jié)點數(shù)目的減少;如果輸入的是高多,選擇輸0%即可。除此之外,還可以參考下面的這些經(jīng)驗公式(2-4)

(2-5)

(2-6)式中,是輸入層節(jié)點數(shù),是輸出層節(jié)點數(shù),是節(jié)點數(shù)。為1-10之間的常數(shù)。但是在實驗中發(fā)現(xiàn),根據(jù)公式（2-4）、（2-5）、（2-6）確定的隱層節(jié)點數(shù)目并不能使網(wǎng)絡(luò)獲優(yōu)的結(jié)果,因此本文在隱層數(shù)目的確定上是根據(jù)大量實驗來確定的。2.3.3誤差準(zhǔn)則函數(shù)(2-7)公式（2-7）為單個神經(jīng)元的輸出式中是周期為n時輸出節(jié)點k計算出來的數(shù)值,表示關(guān)于節(jié)點k所設(shè)置望相應(yīng)。當(dāng)獲得了單個節(jié)點的輸出誤差數(shù)值后,便可根據(jù)誤差式進行計算,計算出相應(yīng)的誤差能量瞬時值。進而能夠獲得整個網(wǎng)絡(luò)點的誤差能量瞬時值,對應(yīng)的計算公式參考公式（2-8）。(2-8)式中,集合C含有模出層需要計算的所用節(jié)點。本文所采用的誤差準(zhǔn)則函數(shù)即為均方差函數(shù),其函數(shù)形式如公式（2-8）所示。2.3.4訓(xùn)練的停止條件訓(xùn)練出能夠很好題的網(wǎng)絡(luò)模型是研究人員最關(guān)問題之一。為了獲得能夠很好解決模型,需程度的訓(xùn)練。對網(wǎng)行訓(xùn)練并不是越多越好,有時候較少的訓(xùn)練所獲得效果要優(yōu)于長時間訓(xùn)練的模型。但是對于究竟需要設(shè)計者根據(jù)型。通常情況下,停止條忍的作為停件。本文在尋找模型終止訓(xùn)練所需佳的迭代期,在每個迭代期,網(wǎng)絡(luò)都會一個識別結(jié)果,根據(jù)網(wǎng)絡(luò)輸出果,尋找出最佳的識別結(jié)果。并以得的條件。2.4卷積神經(jīng)網(wǎng)絡(luò)1980年,文獻提出新認(rèn)首念,成為首個深度學(xué)習(xí)模型。2003年,文獻對CNN進。在圖2-2中,C1和卷積夠獲得圖像的特征并且隨著結(jié)構(gòu)的深度逐長,其獲取的特征也越來越抽象,越來現(xiàn)圖像特性。而下采樣層對圖像尺寸進行縮小,通過減小像間的相關(guān)性來防止訓(xùn)練過網(wǎng)絡(luò)出現(xiàn)過擬合。卷積層和下采樣層可多層,一般層為卷積層和下。

圖2-2CNN的結(jié)構(gòu)圖CNN出色的識工作的不斷推進,改進模型也計者額外圖像輸入到整個網(wǎng)絡(luò)。網(wǎng)絡(luò)間的具,避免了人工。2.4.1局部連接與權(quán)值分享對于CNN,不在采用層間局部。

圖2-3CNN局部連接方式示意圖相比于全連接的方式,采用局部連接降低模型中的參數(shù)的數(shù)量級,解決模型訓(xùn)練時間來說也有一定的幫關(guān)操作后,可以組合成比對圖像的描述。由于自然基礎(chǔ)特征抽取器同對整幅圖像卷積核都應(yīng)用相同能夠使其特性得到較大提升。2.4.2卷積層與下采樣層卷用一個固定尺寸的窗口（稱為卷積核）,將該窗遍歷整張圖片,便完成了卷積在卷積操作中存在受野。卷積操野。將獲得的輸會得到網(wǎng)絡(luò)的輸出值。公式（2-9）式:（2-9）其中:為層數(shù);為在層層的第個特征圖;為輸入層的感受野;為卷積核;為偏置;為神經(jīng)元的激活函數(shù)。復(fù)雜的圖像通常是由很多簡單的合而成,因此在做特征提取時,并不是一定要提取圖像的全征。通得到的局部特征進行一征。因此,全局特征用卷積核對圖像的感受野進行卷像的局部信息,能夠減少網(wǎng)絡(luò)參數(shù),便于對模型進行訓(xùn)練。在CNN模型中,針對不用感受的模用相同卷積核進行相應(yīng)積操作,達到了權(quán)值共享的作用,這使CNN性能有整體的學(xué)習(xí)能力。通常情況下把CNN的下采也稱為池化層。池化操作實際上是對輸入圖像進行了降維處理,通過使用不同尺寸的池化域?qū)斎雸D行池化,也獲得不同的輸出圖像。如果池化域定義的過大,則經(jīng)后的圖像的維度相比于輸入圖像降低的很大,如果定義的池化域則經(jīng)過池化后的圖像的維度相入圖像降低的相對較小。具體使用多池化域,需要在分析確定,不同的問題通常需要不同的域。對圖像進行池化操其實質(zhì)可認(rèn)為是對圖像進行了模糊濾波,這樣做能夠獲得魯棒性特征。并且對圖像進行池化處理的維度與分辨率都得到的方法有平均池化和最大池化等。通常在研究中被用到的池化方法分為平均算法與最大池化算法。平均池化即將池化域里全部數(shù)值的均值設(shè)采樣后圖像相應(yīng)的數(shù)值,就是用這些替這些數(shù)據(jù)。設(shè)輸入特征圖矩陣F,子池化域為c×c的矩陣P,偏置為b2,得到的子采樣特征圖為S,設(shè)池化過程移動步長為c。平均池化大池化的算法表達式分別為（2-10）（2-11）本文池化方法采用的是平均池化。圖2-4所顯示的池化過程表原始特征圖像從8×8,下采樣到2×2,使用了4×4的下采樣模將原始特征圖中每4×4的一個區(qū)域作為一個大區(qū)域,并且在下采樣后該區(qū)域只輸出一個數(shù)據(jù)。若為池化,則下采樣后的結(jié)果為4×4區(qū)域內(nèi)所有數(shù)值的均值為最大池化,則下采樣后的結(jié)果為4×4區(qū)域內(nèi)所有數(shù)值的最大值。圖2-4池化過程圖2.4.3前向傳播算法在前面的章節(jié)中對CNN進行了介紹,主要介紹面的兩個重要操作方式——卷積采樣。由于CNN也是一饋網(wǎng)絡(luò),因此當(dāng)給網(wǎng)絡(luò)輸入數(shù)據(jù)后,數(shù)據(jù)一層一層的傳遞,直到網(wǎng)后傳到輸出層以結(jié)束整個前向傳播的過程。CNN在前向傳播種方式通常情況下是數(shù)據(jù)先經(jīng)過卷積層在經(jīng)用在于:將輸入圖少噪聲干擾;（2）積可以完成網(wǎng)絡(luò)權(quán)值的共享,并且核在網(wǎng)絡(luò)中充當(dāng)著局部感受野色;（3）由于模型本事可以實現(xiàn)對像的特征提取與識別,不再需要額外的人工處理。2.4.4反向傳播算法輸入數(shù)據(jù)經(jīng)過一系列的的前向傳播過程主要是應(yīng)數(shù)來計算模型殘差。（2-12）CNN特性,（1）輸出層誤差輸出層誤差的計算公式如下:（2-13）（2）隱層誤差子采樣層到卷積層傳遞[36]。該過程輸入的誤差數(shù)據(jù)來自子采樣層,而根據(jù)CNN的結(jié)構(gòu)特知道當(dāng)前層為卷積層。由于在子采樣層采用的算法不同,因此在這處理方法也不相同。本文在這里主要就均采樣算法給出了簡單的分析。具體的計算表達式如下:（2-14）式中,表示的是對圖像進行上采樣的過程。卷據(jù)不再來自于子采樣層,而是來自于卷數(shù)據(jù)。同樣根據(jù)CNN自身結(jié)構(gòu)特性便可知道當(dāng)前處在子采樣層這一階段。前向傳播過用的是反卷積的方法。這個并沒有就此進行深入探討,其簡要來將卷積核進行180度旋轉(zhuǎn),在進行左右、上下翻轉(zhuǎn),可以參考公式（2-15）:（2-15）式中,conv2(...)函數(shù)的功能是將卷積核K旋轉(zhuǎn)180度。2.5本章小結(jié)本章主要是為下一章的供理論基礎(chǔ)。通過分析可知取方法間的差異對最后的個重點。本章主要介紹了三種特征,分別特征、Sobel特征以及Gabor特征。三種特征各自具的特點。同時本章也對接下來要用到的分類器的原理進行了分析,主要針對的是BP神經(jīng)網(wǎng)絡(luò)與CNN這兩種模型。第3章手寫數(shù)字識別技術(shù)算法研究本文對算法的要使用的是公認(rèn)的MNIST數(shù)據(jù)集,數(shù)據(jù)含了70000個數(shù)的圖像如圖3-1所示。初始化參數(shù)設(shè)置成值,范圍[-1,1]。訓(xùn)練過程中應(yīng)用小批量下降法,利用動量的反Matlab2014b上進行。圖3-1部分訓(xùn)練數(shù)據(jù)圖3.1BP神經(jīng)網(wǎng)絡(luò)算法研究3.1.1BP神經(jīng)網(wǎng)絡(luò)的改進策略通常情況下,BP網(wǎng)絡(luò)泛的應(yīng)用,但是仍然不能證明該網(wǎng)絡(luò)結(jié)構(gòu)就是完美的。與法一樣,BP神經(jīng)網(wǎng)絡(luò)本身依舊具有缺陷成了其算法性能具有局雖然BP神經(jīng)網(wǎng)絡(luò)本身存在很多但是最主要的缺陷主要有兩個,一個是度問題,另一個是目標(biāo)函數(shù)容易陷入局部極加入動量項。在BP大,會統(tǒng)穩(wěn)定性造成比較嚴(yán)重的影響;學(xué)習(xí)率設(shè)置假如網(wǎng)絡(luò)相對來講穩(wěn)定,但是網(wǎng)所需時間變長。為了解決這一矛盾,引入“動量項”,即（3-1）式中為動量項,通常為正數(shù)。將上式寫成t為變量序列,t由0到n,則上式可以看成是的一階差分方程:（3-2）因為,,則上式可改寫為（3-3）由上述推導(dǎo)可知是動量常數(shù),其圍在(-1,1)之間。當(dāng)取值為0時,說明沒有加入動量項。在取值時可以為有正別,但是在研究中普遍使用的都是正值。當(dāng)本次的與前一次同符,其加權(quán)求和值增大,使較大,從而在穩(wěn)定調(diào)節(jié)快了的調(diào)節(jié)速度[41]。與前次符反時,指數(shù)加權(quán)求和結(jié)果使減小,起到了穩(wěn)定作用。動量項的引入,不但能夠?qū)ι衲繕?biāo)函數(shù)陷入局部最小的問題進行改善。對網(wǎng)絡(luò)進行訓(xùn)練時,盡量采收斂到最優(yōu)解。這與批處理方式相更好的訓(xùn)練效果。2.選用奇函數(shù)作為激勵函數(shù)。常見的激勵函數(shù):（1）Sigmoid函數(shù)(3-4)優(yōu)點:采用sigmoid函數(shù)作間,這一特性使其得到了廣泛的應(yīng)用。缺點:當(dāng)神一特性對網(wǎng)絡(luò)訓(xùn)練的影響是很嚴(yán)重的。圖3-2sigmoid函數(shù)（2）Softmax激活函數(shù)(3-5)（3-6）（3-7）網(wǎng)絡(luò)的Softmax層的輸此可以將輸出結(jié)果看作是一個概率。（3）tanh激活函數(shù)（3-8）優(yōu)點:與sigmoid相比,tanh是0均值的。Tanh(-z)=-tanh(z)。缺點:當(dāng)神經(jīng)元飽和時,將會失現(xiàn)象,這一特性對網(wǎng)的影響是很嚴(yán)重的。激活函數(shù)的選擇對于網(wǎng)絡(luò)是很重要的,不同的激活函數(shù)對網(wǎng)絡(luò)的結(jié)果將會造成很大的差異。想要在網(wǎng)絡(luò)用合理的激活函數(shù),就需計者要了解各種激活函數(shù)的作用以及其的場景,然后針對計出效率更好的網(wǎng)絡(luò)模型。4.調(diào)整學(xué)習(xí)率。學(xué)習(xí)率存在差異,將導(dǎo)識別結(jié)果存在差異。如果學(xué)習(xí)率過大,學(xué)習(xí)過程很可能產(chǎn)生振蕩,將會使網(wǎng)絡(luò)訓(xùn)練不收斂。反之,算法過很長的時間才能收斂,降低了算法的速此,需要為BP算法選擇一個“最佳”學(xué)習(xí)率。如果想要獲得這個“最佳”的學(xué)習(xí)率,需要保證學(xué)習(xí)率在程中能夠?qū)崿F(xiàn)自動調(diào)整。公式（3-9）給出的學(xué)習(xí)應(yīng)調(diào)整算法[43],可以減少網(wǎng)絡(luò)的訓(xùn)練時間,使網(wǎng)絡(luò)的學(xué)習(xí)算法更加可靠。 （3-9）學(xué)習(xí)率的設(shè)置一直都是有很多參數(shù),并且這些參數(shù)如何初始化是沒有具體的以依據(jù),這樣就會導(dǎo)致如果學(xué)習(xí)率設(shè)置的適,網(wǎng)絡(luò)經(jīng)過長時間的訓(xùn)練會收斂。為此必須要選擇恰當(dāng)?shù)膶W(xué)習(xí)率或在訓(xùn)略。3.1.2BP網(wǎng)絡(luò)的搭建根據(jù)第二章的理論知結(jié)合3.1.1節(jié)的改進策略,綜合考個因素的影響,建立了如圖3-3所示的層。其層設(shè)置為10個輸出,學(xué)習(xí)率的項。圖3-3BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖3.1.3特征提取這里使用的特征為Gabor特征。若一幅圖像用f(x,y)表示,那么卷積定義如下:(3-10)實驗所用的mnist圖像小為28*28像素,使用40個濾波器,特征向量的維數(shù)是28*28*40=31360,由于圖像中相鄰像素之間通常相關(guān)的,因此我們可以通過對Gabor濾波器產(chǎn)征圖像進行下采樣來減少余。本文借鑒了文獻[44],對征圖像進行了4次下采樣,得到的特征有1960的大小。為了能夠取得較果,本文對不同尺的Gabor特征提取進行了比較,得到的數(shù)據(jù)如表3-1。表3-1不同尺度下網(wǎng)絡(luò)的識別率表Gabor濾波器的尺度識別率3尺度8方向99.18%5尺度8方向99.28%7尺度8方向99.36%10尺度8方向98.81%通過分析表3-1中的數(shù)據(jù),可以發(fā)現(xiàn):并非越多越好,10尺度8方向下的Gabor特征提取的識別比7尺度8方向下的Gabor特征提取別結(jié)果差0.45%。因此為了獲好的網(wǎng)絡(luò)識別結(jié)果,應(yīng)當(dāng)選擇56個濾（即7個尺度8個方向）,但是由于Gabor特征提對原圖像進行卷積操作,因此計算很耗時,綜合考慮,選擇5尺度8共計40個濾波器最為合適。除了Gabor特征外,本文還研究了圖像的PCA特征和Sobel與PCA的組合特征。在PCA特征提取中,選擇了299個主成分以保99%的方差;在Sobel與PCA的組合特征,對圖像進行Sobel邊緣檢測,這采用的不是MATLAB里自帶的Sobel邊測算法,而是根據(jù)不度下的Sobel算子的模板直接用對圖行邊緣檢測（使用的角度包含了0度、45度、90度和135度）,會得到圖像的4個梯度圖像。為了能夠更好的利四個梯度圖像的特征,減小圖像間相素的影響,本文將4個梯度圖形了4個列向量并將4個列向量起來,得到一個3136維的列向量。最后用算法對串聯(lián)后的3136維列向量進行作,得到網(wǎng)絡(luò)最終的輸入向量,維度為819維。3.2卷積神經(jīng)網(wǎng)絡(luò)算法研究通過前面對CNN的這一小節(jié)中主要研究了兩種CNN的模型。一種典型的CNN模LeNet5,如圖3-4所示。圖3-4LeNet5的網(wǎng)絡(luò)結(jié)構(gòu)圖通過上圖可以發(fā)現(xiàn)在里面,網(wǎng)絡(luò)將變成8層。輸入層獲像的像素為32*32。C1層一共包含6個特征圖,并且把特征圖的置成28*28。C1中的參數(shù)和連接個數(shù)計算如下:由于采用的是5*5的偏置值。連接的個數(shù)則為（5*5+1）*6*28*28=122304。S2層也是包含了6個特征圖。S2層的C1層的輸出,這個S2層采用2*2的模型對C1層的輸出行降維,所以S2層輸出的結(jié)果是14*14。LeNet5中卷積和下采樣的詳細(xì)過程如圖3-5所示。圖3-5卷積和下采樣過程圖C3層也是卷積層。C3層的輸入數(shù)行卷積操作獲得的,因此C3層獲得圖尺寸大小是10*10,這一操作與C1層相似。因為S進行下采樣時的。因此是16個。為了更好的對這里進行理解,（1）S中的特征圖可以采用不看成是把相互間存在差異的低級特征采用不同方式結(jié)合起來成更高級的特征。這一現(xiàn)象與生物系統(tǒng)相一致,就像人在分辨事物外形關(guān)注事物的基礎(chǔ)并且好分辨的輪廓來觀測更加高級的特征便能分辨出是什么物體了。（2）通常S2層的每個特樣在更高級的特征中將包含更多的有用信息,對后期的能夠起到一定的促進作用。S4層又是一個下采樣層,圖[46]。S4層采用了2*2模板來對C3層結(jié)果進行下采樣處得了尺寸大小是5*5的特征圖,這一操作與S2層相似。5*5的5*5,因此在進行卷積計算后,C5層的特征圖尺成了1*1。C5層的連接個數(shù)是48120。F6層里含有84個節(jié)F6和C5層采用了全的方式,這種方式是將前一層節(jié)點與本層節(jié)點進行一一對絡(luò)的計算方法與BP網(wǎng)絡(luò)應(yīng)用全連式連接時的計算方法相同。LeNet5最后的輸出層包含了10個節(jié)點,每個節(jié)點就是單獨的類別。由于手寫數(shù)字總共包含了10個數(shù)字,也就。通過對LeNet5進行集上對所提出的網(wǎng)絡(luò)模進行了驗證。一種CNN結(jié)數(shù)由表3-2給出。由于CNN的層數(shù)如果設(shè)置的過多,將會增加算法的復(fù)雜程度,訓(xùn)練周期就會進一的實驗時,參考了LeNet5模型,將網(wǎng)數(shù)最終定為5層。表3-2CNN結(jié)構(gòu)參數(shù)表層數(shù)類型輸出特征維度濾波器尺寸0輸入層28×281卷積層10×24×245×52下采樣層10×12×122×23卷積層20×8×85×54下采樣層20×4×42×2網(wǎng)絡(luò)激活函數(shù)選擇sigmoid函數(shù),下采樣10個輸出結(jié)果。由于學(xué)習(xí)率對網(wǎng)絡(luò)最終的識果又很重要的影響,因此,本文采用了學(xué)習(xí)率自調(diào)整算法。通過使用據(jù)集進行試驗,得到了99.23%的識別率。為了進一步調(diào)高識別過分析CNN的各個參數(shù),在表2的CNN結(jié)構(gòu)基礎(chǔ)上給出了具有結(jié)構(gòu)如表3-3的CNN結(jié)上又添加了一個卷與池化層將使網(wǎng)絡(luò)的訓(xùn)練時間加長,但是卻也可以提高網(wǎng)絡(luò)的識別率。表3-3CNN結(jié)構(gòu)參數(shù)表層數(shù)類型輸出特征維度濾波器尺寸0輸入層28×281卷積層10×24×245×52下采樣層10×12×122×23卷積層20×8×85×54下采樣層20×4×42×25卷積層40×2×23×36下采樣層40×1×12×2網(wǎng)絡(luò)的學(xué)習(xí)率改為了1.5,其他沒有改變。通過在MNIST數(shù)據(jù)集上進行試驗,得到的正確率為99.43%。通過對比兩種不同的結(jié)構(gòu),可以看出,層數(shù)的增加在程度上能夠?qū)ψR別結(jié)果有促進作用的,但是相付出的是網(wǎng)絡(luò)的訓(xùn)練使很大的難度,但是網(wǎng)絡(luò)過淺,網(wǎng)絡(luò)的識別率會受到很大的限制。為了能夠使用較淺的網(wǎng)實現(xiàn)較高識別率,本文中提出了一種組合網(wǎng)絡(luò)模型。3.3本章小結(jié)本章主要講述了二個實夠獲得較高的識別率過對不同特征提取方法進行研究,發(fā)現(xiàn)Gabor特征與BP網(wǎng)絡(luò)相結(jié)合確率。通過對卷積神經(jīng)網(wǎng)絡(luò)的研究發(fā)現(xiàn),不絡(luò)結(jié)構(gòu)對網(wǎng)絡(luò)的識別結(jié)果大的影響,隨著網(wǎng)絡(luò)層數(shù)的加深,網(wǎng)絡(luò)的識別率給出各個參數(shù)的合值,因此本文提出了組合神經(jīng)網(wǎng)絡(luò)。通過組合BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)夠使組合網(wǎng)絡(luò)在網(wǎng)絡(luò)層數(shù)不深的情況下獲得與絡(luò)差不多的識別率。

第4章手寫數(shù)字識別系統(tǒng)設(shè)計在第3章已經(jīng)完成了對神經(jīng)訓(xùn)練,可知能獲得了一個具有較高識別率的神經(jīng)網(wǎng)絡(luò)。但是,訓(xùn)是在實際中獲得的手寫數(shù)字通常如圖4-1所示。如果直接對圖4-1中的手寫數(shù)字進行識別,網(wǎng)絡(luò)的識別結(jié)寫數(shù)字識別系統(tǒng)。圖4-1手寫數(shù)字樣本圖4.1MATLAB的GUI介紹圖形用戶界面（GraphUserInterface,GUI）是包含象（如圖形窗口、菜單、控件、文本）的用戶界面。MATLAB不光在數(shù)值計算方面具有較大的優(yōu)勢,能夠快速的進行計算,并且GUI開發(fā)方面也大的優(yōu)勢。應(yīng)用MATLAB的GUI平臺[52],能夠使用戶開發(fā)出便捷、友好的圖形界面,對后期的研究與應(yīng)用有很大的輔助作用,特別是在系統(tǒng)仿真與圖像處理這域。該平臺具有很多控件作為制作圖形界面的工具,應(yīng)用這些控件能夠設(shè)計出用戶需要的操作界面。圖4-2所示。從圖4-2中可以看出,MATLAB的GUI平臺給便用戶開發(fā)自己喜歡的圖形界面。圖4-2展示了MATLAB的GUI平臺給出的具體控件用控件,如果想要做出好的界面,需要對解。將不界面。圖4-2圖形界面的設(shè)計工具控件組圖相關(guān)控件的功能需要用戶自己來完函數(shù)的編寫,將其具體實現(xiàn)的功能寫在MATLAB可以運行的M文件中.Fig文件:能夠位置、數(shù)量以及屬性等。.M文件:里代碼,也就是包含了各個控件的回調(diào)函數(shù)。4.2系統(tǒng)總體設(shè)計本過程示。圖4-3系統(tǒng)流程圖4.3系統(tǒng)的功能設(shè)計4.3.1圖像的獲取與顯示圖像的顯示主要應(yīng)用MATLAB得GUI中的axes控件。本文主要講述如何在axes上用點擊按鈕來實現(xiàn)相關(guān)功能的,因此本文在此主要介紹如何通按鈕在axes控件上顯示圖像。4.3.2識別結(jié)果的保存為了方便,這里將保存結(jié)果要對圖像名稱進行提取,以及記事本文件的擴展名的添加。主要用到的代碼如下:num1=get(handles.edit15,'string');num2='.txt';l=length(num1);name=[num1(1:l-4)num2];通過以上程序,就可以獲得與輸入圖要用到了兩個函數(shù),即fopen和fprintf。fopen是數(shù)據(jù)按照指定格式式寫入到文本文件函數(shù)[54]。通過使用這兩個函數(shù),實現(xiàn)了識別結(jié)果的保存。為了讓保存結(jié)果更加清其目的是在已建立本文檔中寫入一個換行符。4.3.3圖像的預(yù)處理對于圖像識別問題,前期的預(yù)處程是至關(guān)重要的,如果處理的不好,將會使最終的識別率很低。如果圖絡(luò)識別率低下;如果圖會提高網(wǎng)絡(luò)的識別率。因此圖圖4-4圖像預(yù)處理的框圖圖像二值化方法：圖像預(yù)處理對識別結(jié)果強、均衡化以及歸一化進行波,濾波器的模板大小可以由化和自適應(yīng)均衡化。對圖像進行歸一化處噪聲的影響;增強和均衡化可理階段完成的是圖像的二來。主要的方法包括:全局閾法[55]。確定好了全局閾值像中的像素值比所設(shè)置值大,則算法會把圖像中對象的像素值設(shè)置成白色,如果比所設(shè)置的閾設(shè)置成黑色。局部閾值法主要應(yīng)用在不別的圖像上,通過使用該方法能夠?qū)Υ嬖诟蓴_的圖像進行較好的二值化處像的每個局部區(qū)域進行閾的閾值,這樣就使圖像進時程序運行速度變得比較緩慢,識別過程更加漫長。通過對各種算法進行研到的二值圖像中前景與背景對清晰。該方法將灰度或彩色圖像作為輸入,輸出的圖像中只包含黑白兩種像適應(yīng)閾值算法要對圖像里每個像素值都計算出其閾值,并根據(jù)算出的閾值如果低于圖像閾值,設(shè)像素為背景,高于圖像閾值,設(shè)置圖像像素為前景。手寫數(shù)字定位：二值化后的圖像中,黑存在著很大的無用區(qū)域,在值化后的圖像進行數(shù)字區(qū)位。圖像分割：由于需要從原圖上分像進行分割。該分割主要色為黑色,字符顏色為白色,。4.3.4建立數(shù)據(jù)集為了提高本文的識別系能,需要建立自己得手寫體數(shù)字的數(shù)據(jù)集,數(shù)據(jù)量越大準(zhǔn)確率越高。4.4仿真測試MNIST數(shù)據(jù)集分為訓(xùn)練測試圖像。訓(xùn)練圖像60000張,測試圖像10000張,每一個圖片代表0-9中的一個數(shù)字,且圖片大小均為28*28的矩陣。（1）對BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果如下:圖4-5BP訓(xùn)練后得識別率走勢圖（2）對CNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果如下:圖4-6CNN訓(xùn)