-PAGEI-題目：基于卷積神經(jīng)網(wǎng)絡(luò)手寫數(shù)字模式識(shí)別系統(tǒng)設(shè)計(jì)摘要手寫體數(shù)字識(shí)別技術(shù)是模式識(shí)別下一個(gè)重要的分支，它擁有非常廣泛的應(yīng)用前景。手寫數(shù)字識(shí)別技術(shù)可以應(yīng)用在政府和各大公司的財(cái)物報(bào)表、郵政信件以及快遞行業(yè)的自動(dòng)化分揀、以及金融行業(yè)對(duì)于數(shù)據(jù)報(bào)表的處理當(dāng)中。在全球信息化和自動(dòng)化程度大幅提升的背景下，需要對(duì)大量的數(shù)據(jù)進(jìn)行處理，包括大量的手寫數(shù)據(jù)，因此對(duì)手寫體數(shù)字識(shí)別技術(shù)的需求變得十分急迫，研究出精準(zhǔn)且高效率的識(shí)別方式有重要的意義和價(jià)值。隨著卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像分類方面有著不俗的表現(xiàn)，這就給手寫體數(shù)字識(shí)別的應(yīng)用帶來(lái)了無(wú)限的可能。卷積神經(jīng)網(wǎng)絡(luò)利用其在圖像處理方面的獨(dú)特優(yōu)勢(shì)，從而使得對(duì)于圖像得識(shí)別得到了大幅得提升和發(fā)展。本文基于卷積神經(jīng)網(wǎng)絡(luò)，針對(duì)手寫體數(shù)字識(shí)別的性能低效和準(zhǔn)確率不足等問(wèn)題，利用卷積神經(jīng)網(wǎng)絡(luò)在圖像分類處理上的優(yōu)勢(shì)，開展了對(duì)手寫體數(shù)字識(shí)別的一系列研究與系統(tǒng)設(shè)計(jì)工作，使其在實(shí)現(xiàn)手寫體數(shù)字識(shí)別的同時(shí)獲得較高的識(shí)別率和更優(yōu)的性能。通過(guò)使用MNIST數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，訓(xùn)練已搭建好的卷積神經(jīng)網(wǎng)絡(luò)手寫數(shù)字模式識(shí)別系統(tǒng)模型，使得該系統(tǒng)經(jīng)過(guò)訓(xùn)練可以達(dá)到一個(gè)較高的準(zhǔn)確率的識(shí)別，然后加入自己制作的手寫數(shù)字圖片進(jìn)行識(shí)別分析，對(duì)采用MNIST數(shù)據(jù)集和自己制作的測(cè)試集識(shí)別的結(jié)果進(jìn)行對(duì)比，分析此次所設(shè)計(jì)的系統(tǒng)性能。關(guān)鍵字：卷積神經(jīng)網(wǎng)絡(luò)；模式識(shí)別；手寫數(shù)字識(shí)別文ABSTRACTHandwrittennumeralrecognitiontechnologyisthenextimportantbranchofpatternrecognition.Ithasaverywideapplicationprospect.Handwrittendigitalrecognitiontechnologycanbeappliedtothefinancialstatementsofthegovernmentandmajorcompanies,postallettersandtheautomaticsortingofexpressindustry,aswellastheprocessingofdatareportsinthefinancialindustry.Underthebackgroundofglobalinformationizationandautomation,alargenumberofdataneedtobeprocessed,includingalargenumberofhandwrittendata.Therefore,thedemandforhandwrittendigitalrecognitiontechnologybecomesveryurgent.Itisofgreatsignificanceandvaluetoresearchapreciseandefficientrecognitionmethod.Withthegoodperformanceofconvolutionalneuralnetworkinimageclassification,itbringsinfinitepossibilitiestotheapplicationofhandwrittennumeralrecognition.Convolutionalneuralnetworktakesadvantageofitsuniqueadvantagesinimageprocessing,whichgreatlyimprovesanddevelopsimagerecognition.Basedonconvolutionalneuralnetwork,aimingattheproblemsoflowefficiencyandinaccuracyofhandwrittennumeralrecognition,thispapermakesuseoftheadvantagesofconvolutionalneuralnetworkinimageclassificationandprocessing,carriesoutaseriesofresearchandsystemdesignworkonhandwrittennumeralrecognition,soastoachievehigherrecognitionrateandbetterperformanceatthesametimeofhandwrittennumeralrecognition.ByusingMNISTdatasettobedividedintotrainingsetandtestset,themodelofhandwrittendigitalpatternrecognitionsystembasedonconvolutionalneuralnetworkistrained,sothatthesystemcanbetrainedtoachieveahigheraccuracyrateofrecognition,andthenthehandwrittendigitalpicturesmadebyourselvesareaddedforrecognitionandanalysis,andtherecognitionresultsusingMNISTdatasetandtestsetmadebyourselvesarecarriedout.Theperformanceofthesystemisanalyzed.Keywords:ConvolutionalNeuralNetwork;PatternRecognition;HandwrittenNumberRecognition東北電力大學(xué)自動(dòng)化工程學(xué)院學(xué)士學(xué)位論文東北電力大學(xué)自動(dòng)化工程學(xué)院學(xué)士學(xué)位論文-第1章緒論1.1課題背景與意義隨著數(shù)字?jǐn)z影、視頻和數(shù)字存儲(chǔ)技術(shù)的飛速發(fā)展，人們對(duì)數(shù)字圖像數(shù)據(jù)的獲取越來(lái)越多。這些圖像的數(shù)據(jù)包含了大量的信息，人類很難實(shí)時(shí)處理這些信息。因此，讓計(jì)算機(jī)自動(dòng)識(shí)別和理解圖像變得越來(lái)越迫切。圖像分類與識(shí)別是圖像理解的重要研究?jī)?nèi)容，大量學(xué)者長(zhǎng)期以來(lái)對(duì)其進(jìn)行了較為廣泛和深入的研究。圖像分類與識(shí)別對(duì)于自動(dòng)采集、人機(jī)交互、智能上下文感知等先進(jìn)技術(shù)的應(yīng)用具有重要意義[1]。卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks,CNN）是一類包含\t"/item/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/_blank"卷積計(jì)算且具有深度結(jié)構(gòu)的\t"/item/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/_blank"前饋神經(jīng)網(wǎng)絡(luò)（FeedforwardNeuralNetworks），是\t"/item/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/_blank"深度學(xué)習(xí)（deeplearning）的代表算法之一[2-3]。近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)在圖像分類、目標(biāo)檢測(cè)、圖像語(yǔ)義分割等領(lǐng)域取得了一系列突破性的研究成果。其強(qiáng)大的特征學(xué)習(xí)與分類能力引起了廣泛的關(guān)注，具有重要的分析與研究?jī)r(jià)值[4]卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一種經(jīng)典而廣泛應(yīng)用的結(jié)構(gòu),克服了過(guò)去人工智能中被認(rèn)為難以解決的一些問(wèn)題。卷積神經(jīng)網(wǎng)絡(luò)的局部連接、權(quán)值共享及下采樣操作等特性使之可以有效地降低網(wǎng)絡(luò)的復(fù)雜度,減少訓(xùn)練參數(shù)的數(shù)目,使模型對(duì)平移、扭曲、縮放具有一定程度的不變性,并具有強(qiáng)魯棒性和容錯(cuò)能力,也易于訓(xùn)練和優(yōu)化[5]。當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于手寫數(shù)字的識(shí)別已成為研究的熱點(diǎn)之一。手寫數(shù)字識(shí)別是圖像識(shí)別的一個(gè)分支，它利用計(jì)算機(jī)來(lái)識(shí)別手寫在紙張上的數(shù)字，同樣作為光學(xué)字符識(shí)別技術(shù)(OpticalCharacterRecognition，OCR)的一個(gè)分支，也是模式識(shí)別研究的一個(gè)方向。主要研究的是如何利用計(jì)算機(jī)辨認(rèn)和識(shí)別手寫在紙張上的數(shù)字。手寫數(shù)字識(shí)別主要分為離線手寫數(shù)字識(shí)別和在線實(shí)時(shí)手寫數(shù)字識(shí)別。本文研究的是離線的手寫數(shù)字識(shí)別，基本原理是將自己制作的樣本數(shù)字通過(guò)建立的卷積神經(jīng)網(wǎng)絡(luò)模型作為整個(gè)網(wǎng)絡(luò)的輸入，然后經(jīng)過(guò)已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)網(wǎng)絡(luò)的測(cè)試與對(duì)應(yīng)的標(biāo)準(zhǔn)MNIST手寫數(shù)據(jù)庫(kù)的樣本數(shù)字進(jìn)行模式匹配，將具有最大類似度的樣本數(shù)字作為識(shí)別結(jié)果。在整個(gè)識(shí)別過(guò)程中，關(guān)鍵的是測(cè)試圖像的特征提取方法和神經(jīng)網(wǎng)絡(luò)模型的設(shè)計(jì)，快速而全面的特征提取方法和高效的神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)，決定著識(shí)別系統(tǒng)對(duì)于手寫數(shù)字識(shí)別效果和性能優(yōu)劣。由于手寫數(shù)字識(shí)是通過(guò)手寫的數(shù)字進(jìn)行識(shí)別，數(shù)字與數(shù)字之間在語(yǔ)句關(guān)聯(lián)程度上基本為零，而一些對(duì)數(shù)字相關(guān)性聯(lián)系相對(duì)緊密的行業(yè)，像郵政、快遞以及金融服務(wù)等部門，其對(duì)數(shù)字的識(shí)別也有著較高的需求，因此數(shù)字識(shí)別有一定的廣闊的應(yīng)用前景和實(shí)用價(jià)值。1.2研究現(xiàn)狀和典型應(yīng)用1.2.1手寫數(shù)字識(shí)別的研究現(xiàn)狀手寫體數(shù)字識(shí)別在學(xué)科上屬于模式識(shí)別和人工智能的范疇。在過(guò)去的數(shù)十年中，研究者提出了許多識(shí)別方法，目前階段手寫體數(shù)字識(shí)別方法可以分為兩類：一種是基于結(jié)構(gòu)特征的方法和基于統(tǒng)計(jì)特征的方法。通過(guò)幾十年來(lái)各國(guó)研究學(xué)者得對(duì)數(shù)字識(shí)別的研究，國(guó)內(nèi)外對(duì)于手寫數(shù)字的識(shí)別上也取得了一定的成就。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別，在Matlab環(huán)境下輸入手寫數(shù)字圖片,然后對(duì)圖片進(jìn)行灰度化、二值化、反色、去噪、分割和大小歸一化預(yù)處理,通過(guò)卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型LeNet-5,對(duì)比3種數(shù)據(jù)集:MNIST數(shù)據(jù)集、MNIST數(shù)據(jù)集訓(xùn)練+自建數(shù)據(jù)集調(diào)精和自建數(shù)據(jù)集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的實(shí)際識(shí)別效果,選擇自建的數(shù)據(jù)集進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練,在訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中手寫體數(shù)字圖片取得了較好的識(shí)別效果[6]在針對(duì)手寫數(shù)字算法需要人工預(yù)處理和特征提取的問(wèn)題,將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于手寫數(shù)字識(shí)別中。利用卷積神經(jīng)網(wǎng)絡(luò)本身具有局域感受野、權(quán)值共享和次抽樣的特性,能直接從原始數(shù)字圖像中提取樣本的特征信息,作為神經(jīng)網(wǎng)絡(luò)的輸入,能有效減小特征,縮小神經(jīng)網(wǎng)絡(luò)的規(guī)模。通過(guò)試驗(yàn)結(jié)果證明,采用卷積神經(jīng)網(wǎng)絡(luò)能減少前期處理工作量,并具有較高的網(wǎng)絡(luò)識(shí)別率[7]。1.2.2手寫數(shù)字識(shí)別的典型應(yīng)用通過(guò)上述我們對(duì)于手寫數(shù)字的背景和意義，以及它的研究現(xiàn)狀的表述，我們可以知道對(duì)于手寫數(shù)字的識(shí)別有著極為廣泛的應(yīng)用前景，這也正是它受到世界各國(guó)的研究工作者重視的一個(gè)主要原因。下面將介紹一些以手寫數(shù)字識(shí)別技術(shù)為基礎(chǔ)的典型應(yīng)用。（一）手寫數(shù)字識(shí)別在大規(guī)模數(shù)據(jù)統(tǒng)計(jì)中的應(yīng)用在需要進(jìn)行大量的數(shù)據(jù)統(tǒng)計(jì)的時(shí)候，比如我們的大規(guī)模人口普查，還有各行各業(yè)的年鑒統(tǒng)計(jì)。這些都是要大量的數(shù)據(jù)進(jìn)行處理，是一個(gè)比較耗時(shí)耗力的工作，但是如果我們有一種可以對(duì)這些數(shù)據(jù)進(jìn)行識(shí)別和自己錄入的系統(tǒng)，這會(huì)大規(guī)模的減少人工干預(yù)的時(shí)間。于是，近年來(lái)在這類工作中采用OCR技術(shù)已成為一種趨勢(shì)。因?yàn)樵谶@種應(yīng)用中，數(shù)據(jù)的錄入是集中組織的，所以往往可以通過(guò)專門設(shè)計(jì)表格和對(duì)書寫施加限制以便于機(jī)器的自動(dòng)識(shí)別。目前國(guó)內(nèi)的大多數(shù)實(shí)用系統(tǒng)都要求用戶按指定規(guī)范在方格內(nèi)填寫。另外，這些系統(tǒng)往往采用合適的用戶界面對(duì)識(shí)別結(jié)果做全面的檢查，最終保證結(jié)果正確無(wú)誤?？梢钥闯?，這是一類相對(duì)容易的應(yīng)用，對(duì)識(shí)別核心算法的要求比較低，是目前國(guó)內(nèi)很多單位應(yīng)用開發(fā)的熱點(diǎn)。（二）手寫數(shù)字識(shí)別在財(cái)務(wù)、稅務(wù)、金融領(lǐng)域中的應(yīng)用財(cái)務(wù)、稅務(wù)、金融是手寫數(shù)字識(shí)別研究展現(xiàn)成果的又一領(lǐng)域方向。隨著我國(guó)經(jīng)濟(jì)的迅速發(fā)展，我們每天需要處理的財(cái)務(wù)、稅務(wù)報(bào)表、支票、付款單等同樣的越來(lái)越多。如果將這些統(tǒng)計(jì)的數(shù)字通過(guò)使用計(jì)算機(jī)進(jìn)行自動(dòng)處理，這無(wú)疑可以節(jié)約大量的時(shí)間、成本和還有員工的工作量。與上面提到的大規(guī)模數(shù)據(jù)統(tǒng)計(jì)處理相比，手寫數(shù)字在這個(gè)領(lǐng)域的應(yīng)用難度比較大，原因有三：（1）第一，對(duì)于這些數(shù)據(jù)的處理，進(jìn)行統(tǒng)計(jì)的數(shù)字準(zhǔn)備程度往往要求都比較高，因?yàn)檫@些數(shù)據(jù)的準(zhǔn)確性對(duì)這些公司的影響往往都很重要，因此對(duì)于手寫識(shí)別的精度要求更高；2、處理的表格通常不止一種，列如財(cái)務(wù)報(bào)表和稅務(wù)報(bào)表是不相同的，所以我們需要一個(gè)系統(tǒng)具有智能地同時(shí)處理若干種表格的能力，從而對(duì)處理后的數(shù)字進(jìn)行識(shí)別和統(tǒng)計(jì)；3、由于我們需要處理的數(shù)字包含了日常生活當(dāng)中的各個(gè)方面，因此不同的人手寫的數(shù)字也不相同，有的人會(huì)寫的相對(duì)規(guī)整一些，而有的人就寫的不是那么的工整，因此我們所研究的手寫數(shù)字在對(duì)這些數(shù)字進(jìn)行處理時(shí)，也需要很高的正確率，這樣對(duì)識(shí)別及圖像預(yù)處理的核心算法要求也提高了。1.3本文研究的主要內(nèi)容本文著手研究了手寫體數(shù)字的識(shí)別問(wèn)題，在基于卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，通過(guò)使用MATLAB軟件設(shè)計(jì)了關(guān)于手寫數(shù)字模式識(shí)別的系統(tǒng)，選用MatlabDeepLearningToolbox工具箱建立卷積神經(jīng)網(wǎng)絡(luò)手寫數(shù)字模式識(shí)別系統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型。對(duì)于該系統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò),通過(guò)下載標(biāo)準(zhǔn)的MNIST手寫數(shù)據(jù)庫(kù)，將下載的手寫數(shù)據(jù)庫(kù)制作成網(wǎng)絡(luò)可識(shí)別的數(shù)據(jù)集，從而使用制作的數(shù)據(jù)集進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練和測(cè)試。然后對(duì)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模式識(shí)別系統(tǒng)加入自己制作的手寫數(shù)字圖片，對(duì)自己的手寫數(shù)字圖像經(jīng)過(guò)Matlab圖像預(yù)處理,包括了對(duì)圖像的灰度化、二值化、進(jìn)行反色和去噪處理、以及圖像分割處理，將預(yù)處理后的目標(biāo)圖像制作成為自己的MNIST格式手寫數(shù)據(jù)集。然后將制作好的數(shù)據(jù)集添加到神經(jīng)網(wǎng)絡(luò)模型當(dāng)中作為該卷積神經(jīng)網(wǎng)絡(luò)的測(cè)試數(shù)據(jù)集進(jìn)行模式識(shí)別，最后通過(guò)對(duì)比標(biāo)準(zhǔn)的MNIST數(shù)據(jù)測(cè)試結(jié)果，分析該卷積神經(jīng)網(wǎng)絡(luò)手寫數(shù)字模式識(shí)別系統(tǒng)的性能。1.4論文章節(jié)安排本文內(nèi)容安排如下：第一章：介紹了本次設(shè)計(jì)研究的背景和意義，以及對(duì)于手寫數(shù)字識(shí)別現(xiàn)階段的研究現(xiàn)狀，最后介紹了本次設(shè)計(jì)研究的主要內(nèi)容以及所作的主要工作。第二章：關(guān)于神經(jīng)網(wǎng)絡(luò)方面的基礎(chǔ)相關(guān)知識(shí)介紹，簡(jiǎn)單介紹了神經(jīng)網(wǎng)絡(luò)以及卷積神經(jīng)網(wǎng)絡(luò)的基本概念、原理以及相關(guān)的網(wǎng)絡(luò)模型組成等。第三章：簡(jiǎn)單介紹MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)，圖像標(biāo)簽，其次對(duì)于制作然自己的手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)圖像的預(yù)處理，生成手寫數(shù)據(jù)集。第四章：基于卷積神經(jīng)網(wǎng)絡(luò)模式識(shí)別的系統(tǒng)模型的建立，分析了該系統(tǒng)模型，函數(shù)的調(diào)用關(guān)系，手寫圖片數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，以及如何使用mnist數(shù)據(jù)訓(xùn)練卷積積神經(jīng)網(wǎng)絡(luò)，并進(jìn)行初步的運(yùn)行結(jié)果分析和性能分析。對(duì)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)加入自己手寫的數(shù)字圖片進(jìn)行作為測(cè)試集進(jìn)行測(cè)試，得出該測(cè)試的運(yùn)行結(jié)過(guò)，然后進(jìn)行性能分析.第五章：結(jié)論：對(duì)本次設(shè)計(jì)進(jìn)行總體上的分析和總結(jié)，然后對(duì)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于手寫數(shù)字識(shí)別的未來(lái)發(fā)展和展望。東北電力大學(xué)自動(dòng)化工程學(xué)院學(xué)士學(xué)位論文第2章神經(jīng)網(wǎng)絡(luò)2.1神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)（NeuralNetwork，NN），也叫做人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN），或神經(jīng)計(jì)算（NeuralComputing，NC），是對(duì)人腦或生物神經(jīng)網(wǎng)絡(luò)的抽象和建模，具有從環(huán)境學(xué)習(xí)的能力，以類似生物的交互方式適應(yīng)環(huán)境。神經(jīng)網(wǎng)絡(luò)是智能科學(xué)和計(jì)算智能的重要分支，以認(rèn)知神經(jīng)科學(xué)的研究成果為基礎(chǔ)，拓展智能信息處理的方法，為解決問(wèn)題和實(shí)現(xiàn)自動(dòng)控制提供有效的途徑[8]。2.1.1神經(jīng)網(wǎng)絡(luò)模型到目前為止，學(xué)術(shù)界已經(jīng)提出了各種各樣的神經(jīng)網(wǎng)絡(luò)模型，例如感知器、前饋型神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、組織映射等。這些不同的神經(jīng)網(wǎng)絡(luò)模型的差異主要在于神經(jīng)元的激活規(guī)則，神經(jīng)網(wǎng)絡(luò)模型的拓?fù)浣Y(jié)構(gòu)以及參數(shù)的學(xué)習(xí)算法等[9]。（1）神經(jīng)元的激活規(guī)則：主要針對(duì)神經(jīng)元的輸入到輸出之間的映射關(guān)系，通常是非線性函數(shù)，也被稱作激活函數(shù)。（2）神經(jīng)網(wǎng)絡(luò)模型的拓?fù)浣Y(jié)構(gòu)：主要是指神經(jīng)元之間的關(guān)聯(lián)關(guān)系，主要包括層數(shù)、連接方式（全連接或非全連接）、連接權(quán)值等，其中連接權(quán)值是神經(jīng)網(wǎng)絡(luò)中不斷學(xué)習(xí)和調(diào)整的參數(shù)。（3）參數(shù)的學(xué)習(xí)算法：通過(guò)訓(xùn)練數(shù)據(jù)不斷訓(xùn)練調(diào)整神經(jīng)我網(wǎng)絡(luò)的各項(xiàng)參數(shù)。目前常見(jiàn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：前饋網(wǎng)絡(luò)結(jié)構(gòu)、反饋網(wǎng)絡(luò)結(jié)構(gòu)和記憶網(wǎng)絡(luò)結(jié)構(gòu)。（1）前饋網(wǎng)絡(luò)。網(wǎng)絡(luò)模型中的每個(gè)神經(jīng)元根據(jù)收到的信息時(shí)序分為不同的層。每層的神經(jīng)網(wǎng)絡(luò)接收上一層神經(jīng)元的輸出，并輸出到下一層神經(jīng)元。整個(gè)網(wǎng)絡(luò)信息在一個(gè)方向傳播，并沒(méi)有相反方向的信息傳播，是一種有向無(wú)環(huán)圖。前饋網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，也非常易于實(shí)現(xiàn)。常見(jiàn)的前饋網(wǎng)絡(luò)包括全連接的前饋型神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)。（2）反饋網(wǎng)絡(luò)。反饋網(wǎng)絡(luò)模型不同于前饋網(wǎng)絡(luò)，其神經(jīng)元不僅可以接收來(lái)自上層的輸出信號(hào)，還可以接收自己的反饋信號(hào)，因此反饋網(wǎng)絡(luò)模型在不同的時(shí)刻有屬于當(dāng)前不同的狀態(tài)，具有一定的記憶功能。（3）記憶網(wǎng)絡(luò)。記憶網(wǎng)絡(luò)是在前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)的基礎(chǔ)之上引入了記憶單元，用于保存神經(jīng)元計(jì)算過(guò)程中的中間狀態(tài)。相對(duì)于反饋網(wǎng)絡(luò)，記憶網(wǎng)絡(luò)具有更強(qiáng)的記憶能力。下面我們列舉了這三種網(wǎng)絡(luò)的結(jié)構(gòu)如圖2.1所示：圖2.1從左至右，前饋網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)、記憶網(wǎng)絡(luò)的結(jié)構(gòu)示例2.1.2經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)常見(jiàn)的多層人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，它由三部分組成：（1）輸入層（InputLayer）。（2）隱藏層（HiddenLayer）。（3）輸出層（OutputLayer）。圖2.2經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)組成示例2.2卷積網(wǎng)絡(luò)卷積網(wǎng)絡(luò)（ConvolutionalNeuralNetwork）（LeCun,1989),也叫作卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN),是一種專門用來(lái)處理具有類似網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，例如時(shí)間序列數(shù)據(jù)（可以認(rèn)為是在時(shí)間軸上規(guī)律地采樣形成的一維網(wǎng)絡(luò)）和圖像數(shù)據(jù)（可以看作二維的像素網(wǎng)格）[10]。卷積神經(jīng)網(wǎng)絡(luò)也是一種前饋型神經(jīng)網(wǎng)絡(luò)，其在諸多應(yīng)用領(lǐng)域都表現(xiàn)優(yōu)異，目前已經(jīng)被大范圍使用到圖像分類，定位等領(lǐng)域中。相比于其他神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)需要的參數(shù)相對(duì)更少，使得其能夠被廣泛的應(yīng)用。2.2.1卷積網(wǎng)絡(luò)發(fā)展背景卷積神經(jīng)網(wǎng)絡(luò)是目前深度學(xué)習(xí)技術(shù)領(lǐng)域中非常具有代表性的神經(jīng)網(wǎng)絡(luò)之一，在圖像分析和處理領(lǐng)域有著眾多突破性的進(jìn)展，在學(xué)術(shù)界常用的標(biāo)準(zhǔn)圖像標(biāo)注集ImageNet上，基于卷積神經(jīng)網(wǎng)絡(luò)取得了很多成就，包括圖像特征提取分類，場(chǎng)景識(shí)別等。卷積神經(jīng)網(wǎng)絡(luò)相較于傳統(tǒng)的圖像處理算法的優(yōu)點(diǎn)之一在于避免了對(duì)圖像復(fù)雜的前期預(yù)處理過(guò)程，尤其是人工參與圖像預(yù)處理過(guò)程，卷積神經(jīng)網(wǎng)絡(luò)可以直接輸入原始圖像進(jìn)行一系列工作，至今已經(jīng)廣泛應(yīng)用于各類圖像相關(guān)的應(yīng)用中。從卷積神經(jīng)網(wǎng)絡(luò)的提出到目前的廣泛應(yīng)用，大致經(jīng)歷了理論萌芽階段，實(shí)驗(yàn)發(fā)展階段以及大規(guī)模應(yīng)用和深入研究階段。（1）理論萌芽階段。1962年Hubel以及Wiesel通過(guò)生物研究表明，從視網(wǎng)膜傳遞到大腦中的視覺(jué)信息是通過(guò)多層次的感受野（ReceptiveField）激發(fā)完成的，并首先提出了感受野的概念。1980年日本學(xué)者Fukushima在基于感受野的概念之上，提出了神經(jīng)認(rèn)知機(jī)（Neocognitron）。神經(jīng)認(rèn)知機(jī)是一個(gè)自組織的多層神經(jīng)網(wǎng)絡(luò)模型，每一層的響應(yīng)都是由上一層的局部感受野激發(fā)得到，對(duì)于模式的識(shí)別不受位置，較小形狀變化以及尺度大小的影響。神經(jīng)認(rèn)知機(jī)可以理解為卷積神經(jīng)網(wǎng)絡(luò)的第一版[10]，核心點(diǎn)在于將視覺(jué)系統(tǒng)模型化，并且不受視覺(jué)中物體的位置和大小等影響。（2）實(shí)驗(yàn)發(fā)展階段。1998年計(jì)算機(jī)科學(xué)家YannLeCun等提出的LeNet-5采用了基于梯度的反向傳播算法對(duì)網(wǎng)絡(luò)進(jìn)行有監(jiān)督的訓(xùn)練，YannLeCun在機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)都有杰出的貢獻(xiàn)，被譽(yù)為卷積神經(jīng)網(wǎng)絡(luò)之父。LeNet-5網(wǎng)絡(luò)通過(guò)交替連接的卷積層和下采樣層，將原始圖像逐漸轉(zhuǎn)換為一系列的特征圖，并且將這些特征傳遞給全連接的神經(jīng)網(wǎng)絡(luò)，以根據(jù)圖像的特征對(duì)圖像進(jìn)行分類。感受野是卷積神經(jīng)網(wǎng)絡(luò)的核心，卷積神經(jīng)網(wǎng)絡(luò)的卷積核則是感受野概念的結(jié)構(gòu)表現(xiàn)。學(xué)術(shù)界對(duì)于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)注，也正是開始于LeNet-5網(wǎng)絡(luò)的提出，并成功應(yīng)用于手寫體識(shí)別[10]。同時(shí)，卷積神經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別，物體檢測(cè)，人臉識(shí)別等應(yīng)用領(lǐng)域的研究也逐漸開展起來(lái)。（3）大規(guī)模應(yīng)用和深入研究階段。在LeNet-5網(wǎng)絡(luò)之后，卷積神經(jīng)網(wǎng)絡(luò)一直處于實(shí)驗(yàn)發(fā)展階段，直到2012年AlexNet網(wǎng)絡(luò)的提出才奠定了卷積神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)應(yīng)用中的地位，Krizhevsky等提出的卷積神經(jīng)網(wǎng)絡(luò)AlexNet在ImageNet的訓(xùn)練集上取得了圖像分類的冠軍，使得卷積神經(jīng)網(wǎng)絡(luò)成為計(jì)算機(jī)視覺(jué)中的重點(diǎn)研究對(duì)象，并且不斷深入。在AlexNet之后，不斷有新的卷積神經(jīng)網(wǎng)絡(luò)提出，包括牛津大學(xué)的VGG網(wǎng)絡(luò)、微軟的ResNet網(wǎng)絡(luò)、谷歌的GoolLeNet網(wǎng)絡(luò)等，這些網(wǎng)絡(luò)的提出使得卷積神經(jīng)網(wǎng)絡(luò)逐步開始走向商業(yè)化應(yīng)用，幾乎只要是存在圖像的地方，就會(huì)有卷積神經(jīng)網(wǎng)絡(luò)的身影。從目前的發(fā)展趨勢(shì)而言，卷積神經(jīng)網(wǎng)絡(luò)將依然會(huì)持續(xù)發(fā)展，并且會(huì)產(chǎn)生適合各類應(yīng)用場(chǎng)景的卷積神經(jīng)網(wǎng)絡(luò)，例如，面向視頻理解的3D卷積神經(jīng)網(wǎng)絡(luò)等。值得說(shuō)明的是，卷積神經(jīng)網(wǎng)絡(luò)不僅僅應(yīng)用與圖像相關(guān)的網(wǎng)絡(luò)，還包括與圖像相似的網(wǎng)絡(luò)，例如，在圍棋中分析棋盤等。2.2.2卷積網(wǎng)絡(luò)基本概念卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中有三個(gè)基本的概念：局部感受野（LocalReceptiveFields）、共享權(quán)值（SharedWeights）、池化（Pooling）。（1）局部感受野。對(duì)于一般的深度神經(jīng)網(wǎng)絡(luò)，往往會(huì)把圖像的每一個(gè)像素點(diǎn)連接到全連接層的每一個(gè)神經(jīng)元當(dāng)中，而卷積神經(jīng)網(wǎng)絡(luò)則是把每一個(gè)隱藏節(jié)點(diǎn)只連接到圖像的某個(gè)局部區(qū)域，從而減少參數(shù)訓(xùn)練的數(shù)量。例如，對(duì)于一張720×720的圖像，使用9×9的感受野，則只需要81個(gè)權(quán)值參數(shù)。對(duì)于一般的人類視覺(jué)也是如此，當(dāng)觀看到一張圖像時(shí)，我們更多的時(shí)候關(guān)注的是局部的特征。（2）共享權(quán)值。在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中，神經(jīng)元對(duì)應(yīng)的權(quán)值是相同的，由于權(quán)值相同，因此可以減少訓(xùn)練的參數(shù)量。共享的權(quán)值和偏置也被稱作卷積核或?yàn)V波器。（3）池化。由于待處理的圖像往往都比較大，而在實(shí)際過(guò)程中，沒(méi)有必要對(duì)原圖進(jìn)行分析，能夠有效獲得圖像的特征才是最主要的，因此可以采用類似于圖像壓縮的思想，對(duì)圖像進(jìn)行卷積之后，通過(guò)一個(gè)下采樣過(guò)程，來(lái)調(diào)整圖像的大小。2.2.3卷積網(wǎng)絡(luò)基本網(wǎng)絡(luò)結(jié)構(gòu)一個(gè)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。

卷積層下采樣層全連接層輸出層圖2.3簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示例由圖2.3我們可知—般的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、下釆樣層以及全連接層，其中卷積層和下釆樣層可以有更多層結(jié)構(gòu)，并且卷積層和下釆樣層并不是一對(duì)一的關(guān)系，可以在多個(gè)卷積層的后面，連接一個(gè)下采樣層，即N個(gè)卷積層相互之間疊加，然后再疊加一個(gè)下釆樣層，重復(fù)上述的結(jié)構(gòu)M次，這樣就構(gòu)成了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)從局部連接、權(quán)值共享、下采樣等方式有效解決了全連接遇到的問(wèn)題。局部連接使得每一個(gè)神經(jīng)元并不是和上一層的每一個(gè)神經(jīng)元相連接，局部連接有效減少了訓(xùn)練過(guò)程中的參數(shù)量。權(quán)值共享可以使得一組連接共享權(quán)值，也減少了參數(shù)量，加快了訓(xùn)練速度。下采樣使用池化的方式，減少每一個(gè)中的樣本數(shù)量，并且提升了模型的魯棒性。對(duì)于圖像處理相關(guān)的任務(wù)而言，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)保留特征參數(shù)，以及減少不必要的參數(shù)，提升了訓(xùn)練速度，并保證了處理效果。（1）卷積層。卷積層是卷積神經(jīng)網(wǎng)絡(luò)不同于其他神經(jīng)網(wǎng)絡(luò)的關(guān)鍵之處，卷積層有效地考慮了圖像的變化情況，例如圖像的平移、放大、縮小、旋轉(zhuǎn)等。卷積層不再采用全連接的方式，而是采用部分連接，如圖2.4所示。圖2.4卷積層的部分連接示例圖2.4中下層的神經(jīng)元不再是每一個(gè)神經(jīng)元與上層的每一個(gè)神經(jīng)元相連，而是與相關(guān)的關(guān)聯(lián)，除此之外，圖2.4中相同樣式的邊對(duì)應(yīng)的權(quán)值也是相同的，這是卷積層的一個(gè)特性：權(quán)值共享。（2）下采樣層。卷積層通過(guò)非全連接的方式顯著減少了神經(jīng)元的連接，從而減少了計(jì)算量，但是神經(jīng)元的數(shù)量并沒(méi)有顯著減少，對(duì)于后續(xù)計(jì)算的維度依然比較高，并且容易出現(xiàn)過(guò)擬合問(wèn)題。為解決此問(wèn)題，在卷積神經(jīng)網(wǎng)絡(luò)的卷積層之后，會(huì)有一個(gè)池化層(Pooling),用于池化操作，也被稱作子采樣層(Subsampling),子采樣層可以大大降低特征的維度，減少計(jì)算量，同時(shí)可以避免過(guò)擬合問(wèn)題。（3）Softmax層。Softmax函數(shù)是概率論中常見(jiàn)的歸一化函數(shù)，它能夠?qū)維的向量映射到另外一個(gè)K維向量P（x）中，并使得新的K維向量的每一個(gè)元素在（0，1）區(qū)間，且所有K維度向量之和為1。公式如下所示：fori=1，2，...，K作為一種歸一化函數(shù)，與其他的歸一化方法相比，Softmax函數(shù)有著其獨(dú)特的作用，尤其在多分類問(wèn)題中，均有廣泛應(yīng)用，例如，樸素貝葉斯分類器以及神經(jīng)網(wǎng)絡(luò)中。它的特點(diǎn)是，在向量的歸一化處理過(guò)程中，盡可能凸顯較大的權(quán)值，抑制較小權(quán)值的影響，因此在分類中可以更加凸顯分類權(quán)值較高的類別。第3章手寫數(shù)據(jù)庫(kù)制作3.1MNIST數(shù)據(jù)庫(kù)制作MNIST手寫數(shù)據(jù)庫(kù)是由Google實(shí)驗(yàn)室的CorinnaCortes和紐約大學(xué)柯朗研究所的YannLeCun建立的一個(gè)手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)，它是NIST提供的較大集合的子集。這個(gè)數(shù)據(jù)庫(kù)包含了有訓(xùn)練圖像庫(kù)和測(cè)試圖像庫(kù)，其中訓(xùn)練庫(kù)當(dāng)中有60000張的手寫數(shù)字圖像，其目的是用于訓(xùn)練建立的神經(jīng)網(wǎng)絡(luò)模型；而在測(cè)試庫(kù)當(dāng)中有10000張的手寫數(shù)字圖像，目的是用于已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行的測(cè)試，對(duì)所訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型系統(tǒng)進(jìn)行評(píng)價(jià)和分析。MNIST手寫數(shù)據(jù)庫(kù)主要包括下面的四個(gè)文件：Trainingsetimages:train-images-idx3-ubyte.gz(9.9MB,解壓后47MB)，其包含了60000張手寫數(shù)字圖片的樣本，用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。Trainingsetlabels:train-labels-idx1-ubyte.gz(29KB,解壓后60KB），這個(gè)數(shù)據(jù)包是60000張手寫數(shù)字圖片樣本的標(biāo)簽，總共有十類60000個(gè)圖像的標(biāo)簽。Testsetimages:t10k-images-idx3-ubyte.gz(1.6MB,解壓后7.8MB），包含了10000張手寫數(shù)字圖片的樣本，用于神經(jīng)網(wǎng)絡(luò)模型的測(cè)試。Testsetlabels:t10k-labels-idx1-ubyte.gz(5KB,解壓后10KB），其中包括10000張手寫數(shù)字圖片樣本的標(biāo)簽，總共有十類包10000個(gè)圖像標(biāo)簽。對(duì)于MNIST數(shù)據(jù)集可我們可在\t"/u011739734/article/details/_blank"/exdb/mnist/官網(wǎng)上進(jìn)行下載得到，但是由于這個(gè)網(wǎng)站屬于國(guó)外網(wǎng)站，因此一般下載的速度是比較慢的。關(guān)于這寫標(biāo)簽的命名規(guī)則，我們可以從后面建立的卷積神經(jīng)網(wǎng)絡(luò)模型當(dāng)中可以看出，在這里先簡(jiǎn)單介紹一下，我們知道，卷積神經(jīng)網(wǎng)絡(luò)的輸入是一個(gè)1乘10的矩陣，也就是說(shuō)，當(dāng)利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手寫數(shù)字圖像識(shí)別時(shí)，如果輸入的圖像像素x他的實(shí)際數(shù)字是0的話，則與之對(duì)應(yīng)的輸出y應(yīng)該是[1,0,0,0,0,0,0,0,0,0]；如果輸入的圖像像素x實(shí)際數(shù)字是3，那么卷積神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的輸出y就是[0,0,0,1,0,0,0,0,0,0]。這就是這些手寫數(shù)字圖片的命名規(guī)則，在下面制作自己的書寫數(shù)字庫(kù)數(shù)據(jù)集時(shí)，也是根據(jù)這個(gè)命名的規(guī)則對(duì)目標(biāo)圖像添加標(biāo)簽。3.2自寫數(shù)據(jù)庫(kù)制作關(guān)于自寫數(shù)據(jù)庫(kù)的制作，可以在a4紙上寫下0到9十個(gè)數(shù)字，通過(guò)matlab制作目標(biāo)手寫數(shù)字圖片庫(kù)，然后將制作的目標(biāo)手寫數(shù)字圖片庫(kù)通過(guò)MATLAB程序，制作成為手寫數(shù)據(jù)集的格式。在制作類似于MNIST數(shù)據(jù)集對(duì)自己的手寫數(shù)字圖片進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)模式識(shí)別時(shí)，首先需要對(duì)圖片進(jìn)行一系列的預(yù)處理，包括了將彩色圖片轉(zhuǎn)換為灰度圖片、然后對(duì)轉(zhuǎn)換的灰度圖片進(jìn)行二值化處理。由于MNIST數(shù)據(jù)庫(kù)圖片都是黑底白色字體，因此還需要對(duì)圖片進(jìn)行反色處理，然后去除所寫數(shù)字圖片的噪點(diǎn)，再隊(duì)去噪后的手寫數(shù)字圖片進(jìn)行分割和大小歸一化預(yù)處理，使得每一張的圖片大家都保存為28乘23大小的圖片。在對(duì)圖片進(jìn)行預(yù)處理時(shí)，所選用的圖片可以是單獨(dú)的一個(gè)數(shù)字圖片，也可以是0-9之間多個(gè)數(shù)字圖片。具體的制作過(guò)程如下：首先，打開所需要識(shí)別的手寫體目標(biāo)數(shù)字的圖片，通過(guò)使用matlab獲得對(duì)應(yīng)的圖片的二進(jìn)制數(shù)據(jù)，然后將所獲得的圖像轉(zhuǎn)換為灰度圖形并對(duì)圖像進(jìn)行二值化處理，如下圖3.1所示圖3.1原圖、灰度圖、二值化圖處理其次，對(duì)二值化之后的圖像進(jìn)行反色處理以及去除圖片當(dāng)中的白色噪點(diǎn)，如下圖3.2所示。圖像的反色是為了卷積神經(jīng)網(wǎng)絡(luò)識(shí)別圖像更加方便，而去噪則是去掉圖片中較大的噪聲，如下面所示圖片中的噪點(diǎn)，通過(guò)去除噪聲從而提高識(shí)別的正確率。圖3.2反色和去噪處理如果目標(biāo)圖像中包含多個(gè)手寫數(shù)字，那么就需要通過(guò)使用Matlab對(duì)所選定的目標(biāo)圖像進(jìn)行圖像分割處理，然后把每一個(gè)手寫數(shù)字獨(dú)立地分割體現(xiàn)出來(lái)。在這里采用的時(shí)先自上而下、再?gòu)南露蠏呙鑸D片的方法。當(dāng)找到該需要處理圖像的第一個(gè)白色像素點(diǎn)得時(shí)候，這樣就可以確定手寫數(shù)字的高度范圍。然后從確定得第一個(gè)像素點(diǎn)，在這個(gè)范圍內(nèi)從左向右逐列進(jìn)行掃描，當(dāng)遇到第一個(gè)白色的像素點(diǎn)時(shí)可以認(rèn)為是一個(gè)目標(biāo)字符分割的起始位置，直至遇到下一列中沒(méi)有白色像素點(diǎn)的時(shí)候，則認(rèn)為是這個(gè)數(shù)字的分割結(jié)束位置，在此過(guò)程中記錄并保存下起始和結(jié)束的位置。如此反復(fù)，直至掃描至圖像的最右端。同理，按照逐行掃描的方法獲得每個(gè)數(shù)字的高度范圍。對(duì)于已經(jīng)標(biāo)記的手寫數(shù)字，則采用紅色矩形框顯示查找到的每個(gè)數(shù)字所在的精確位置。如下圖3.3所示：圖3.3手寫數(shù)字圖像分割最后，當(dāng)所有的手寫數(shù)字圖片分割完畢，將得到的所有數(shù)字圖片進(jìn)行大小歸一化處理，也就是將每一幅數(shù)字圖像統(tǒng)一處理成28×28大小的圖片，這樣可以提高識(shí)神經(jīng)網(wǎng)絡(luò)的別率，大小歸一化之后的圖像效果如圖3.4所示。圖3.4大小歸一化以上就是關(guān)于如何將自己手寫的目標(biāo)圖像制作成為與mnist手寫數(shù)據(jù)庫(kù)圖像相同的圖像格式，最后再通過(guò)MATLAB將自己制作的手寫數(shù)字圖像庫(kù)轉(zhuǎn)化為數(shù)據(jù)集的形式，輸入到卷積神經(jīng)網(wǎng)絡(luò)模型當(dāng)中，這樣關(guān)于自己制作的手寫數(shù)字圖像庫(kù)的任務(wù)就已經(jīng)完成。最后我們就可以利用所制作的數(shù)字圖片庫(kù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)數(shù)字識(shí)別系統(tǒng)進(jìn)行手寫數(shù)字圖像的測(cè)試了。這個(gè)過(guò)程在下一章節(jié)中會(huì)有所體現(xiàn)。手寫數(shù)字模式識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)4.1手寫數(shù)字識(shí)別系統(tǒng)的實(shí)現(xiàn)本次設(shè)計(jì)的基于卷積神經(jīng)網(wǎng)絡(luò)手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)是通過(guò)使用DeepLearningToolBox工具箱，然后對(duì)卷積神經(jīng)網(wǎng)絡(luò)的進(jìn)行搭建和模型的建立。本次設(shè)計(jì)的程序代碼是通過(guò)matlab的MATLAB語(yǔ)言編寫完成的，程序設(shè)計(jì)的體現(xiàn)主要可分別為以下部分：1.手寫數(shù)識(shí)別系統(tǒng)主要函數(shù)如圖3.1：圖4.1手寫數(shù)字系統(tǒng)實(shí)現(xiàn)主要函數(shù)（1）Test_example_CNN:設(shè)置CNN的基本參數(shù)規(guī)格，如卷積、降采樣層的數(shù)量卷積核的大小、降采樣的降幅，把制作的手寫數(shù)據(jù)集添加到卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中，進(jìn)行網(wǎng)絡(luò)的測(cè)試，和誤差的顯示，在這個(gè)程序中，我們可以設(shè)置超參數(shù)（epoch、alpha、batchsize），然后通過(guò)不同的超參數(shù)設(shè)置，尋找最佳的參數(shù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。（2）cnnsetup：對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化，如初始化卷積核、偏置等。（3）cnntrain：訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，把訓(xùn)練數(shù)據(jù)分成batch，然后調(diào)用。

3.1cnnff：完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練的前向過(guò)程。3.2cnnbp：計(jì)算并傳遞神經(jīng)網(wǎng)絡(luò)的error，并計(jì)算梯度（權(quán)重的修改量）。3.3cnnapplygrads：把計(jì)算出來(lái)的梯度加到原始模型上去。（4）cnntest：測(cè)試當(dāng)神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確率。2.這些函數(shù)的調(diào)用關(guān)系如圖4.2：圖4.2手寫數(shù)字系統(tǒng)函數(shù)調(diào)用關(guān)系為了更好的訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)于訓(xùn)練集和測(cè)試集在本次設(shè)計(jì)中采用了MNIST手寫數(shù)字圖像數(shù)據(jù)庫(kù)，然后將該數(shù)據(jù)庫(kù)的圖像數(shù)據(jù)通過(guò)Matlb制作為mnist_uint8.mat數(shù)據(jù)集，然后作為訓(xùn)練樣本，和測(cè)試樣本，訓(xùn)練并測(cè)試本次設(shè)計(jì)的手寫數(shù)字模式識(shí)別系統(tǒng)。（3）系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)如圖4.3圖4.3手寫數(shù)字系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)本次設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型手寫數(shù)字識(shí)別系統(tǒng)對(duì)于手寫數(shù)字識(shí)別的過(guò)程如下：

（1）首先利用example_test函數(shù)獲取需要的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)；（2）其次時(shí)定義卷積神經(jīng)網(wǎng)絡(luò)層數(shù)和結(jié)構(gòu)；（3）網(wǎng)絡(luò)參數(shù)初始化（權(quán)重W，偏向b）cnnsetup(cnn,train_x,train_y)（4）訓(xùn)練超參數(shù)opts定義（學(xué)習(xí)率，batchsize，epoch）（5）卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的前向運(yùn)算cnnff(net,batch_x)（6）卷積神經(jīng)網(wǎng)絡(luò)的反向傳播cnnbp(net,batch_y)（7）網(wǎng)絡(luò)參數(shù)更新cnnapplygrads(net,opts)（8）重復(fù)（5）（6）（7），直至滿足epoch（9）最后卷積神經(jīng)網(wǎng)絡(luò)測(cè)試cnntest(cnn,test_x,test_y)4.2MNIST數(shù)據(jù)庫(kù)測(cè)試對(duì)于已經(jīng)建立好的卷積神經(jīng)網(wǎng)絡(luò)手寫數(shù)字模式識(shí)別系統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練和測(cè)試，首先將制作的MNIST手寫數(shù)字集，先通過(guò)MATLAB添加路徑，添加到卷積神經(jīng)網(wǎng)絡(luò)模型當(dāng)中，然后通過(guò)標(biāo)準(zhǔn)的MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)制作的數(shù)據(jù)集，進(jìn)行網(wǎng)絡(luò)訓(xùn)練和測(cè)試。然后對(duì)不同超參數(shù)下的設(shè)置，通過(guò)MNIST數(shù)據(jù)集對(duì)識(shí)別的結(jié)果進(jìn)行分析，具體的步驟體現(xiàn)如下：在對(duì)本次設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過(guò)MNIST手寫數(shù)字圖片庫(kù)制作的MNIST數(shù)據(jù)集，分為了訓(xùn)練樣本和測(cè)試樣本進(jìn)行。本文從超參數(shù)opts的設(shè)置方面做了如下系統(tǒng)測(cè)試：首先，batchsize選取了50個(gè)樣本對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)值的更新，制作的MNIST數(shù)據(jù)當(dāng)中訓(xùn)練樣本總共有60000張手寫數(shù)字圖片，也就是說(shuō)每進(jìn)行一次完整的訓(xùn)練（1次epoch），總共需要進(jìn)行1200次權(quán)值個(gè)偏置的更新，在這里，本次訓(xùn)練的學(xué)習(xí)率（alpha）設(shè)置為1，通過(guò)第一次訓(xùn)練和測(cè)試，來(lái)初步的評(píng)價(jià)本次所設(shè)計(jì)的系統(tǒng)性能。網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:50,Opts.epoch:1圖4.4第一次測(cè)試誤差結(jié)果測(cè)試結(jié)果：epoch1/1,時(shí)間已過(guò)99.801571秒；11.34%error；其次分別從網(wǎng)絡(luò)訓(xùn)練次數(shù)epoch、學(xué)習(xí)率alpha、以及每次權(quán)值更新所選取的樣本數(shù)batchsize這三個(gè)方向進(jìn)行測(cè)試并得出測(cè)試結(jié)果和系統(tǒng)誤差。4.2.1超參數(shù)影響下的模型訓(xùn)練1.通過(guò)改變網(wǎng)絡(luò)訓(xùn)練次數(shù)eopch進(jìn)行訓(xùn)練和測(cè)試網(wǎng)絡(luò)模型（1）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:50,Opts.epoch:3圖4.5epoch=3測(cè)試結(jié)果：epoch1/3時(shí)間已過(guò)98.787672秒；epoch2/3時(shí)間已過(guò)98.699234秒；epoch3/3時(shí)間已過(guò)102.976151秒；6.27%error（2）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:50,opts.epoch:5圖4.6epoch=5測(cè)試結(jié)果：epoch1/5時(shí)間已過(guò)96.127522秒。epoch2/5時(shí)間已過(guò)95.377129秒。epoch3/5時(shí)間已過(guò)97.246705秒。epoch4/5時(shí)間已過(guò)99.146917秒。epoch5/5時(shí)間已過(guò)99.779776秒。4.3%error（3）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:50,Opts.epoch:10圖4.7epoch=10測(cè)試結(jié)果：epoch1/10間已過(guò)97.253102秒。epoch2/10時(shí)間已過(guò)96.753239秒。epoch3/10時(shí)間已過(guò)98.511573秒。epoch4/10時(shí)間已過(guò)100.505454秒。epoch5/10時(shí)間已過(guò)102.950484秒。epoch6/10時(shí)間已過(guò)105.056670秒。epoch7/10時(shí)間已過(guò)110.559854秒。epoch8/10時(shí)間已過(guò)115.797890秒。epoch9/10時(shí)間已過(guò)121.472474秒。epoch10/10時(shí)間已過(guò)127.564532秒。2.86%error。（4）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:50,Opts.epoch:30圖4.8epoch=30測(cè)試結(jié)果：因?yàn)橐M(jìn)行30完整的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，因此所經(jīng)歷的時(shí)間比較長(zhǎng)，至少超過(guò)了30分鐘，因此在這里具體的訓(xùn)練時(shí)間不做展示，只展示本次訓(xùn)練的結(jié)果，即誤差率：1.74error。（5）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:50,Opts.epoch:50圖4.9Epoch=50測(cè)試結(jié)果：同樣的由于進(jìn)行了50次數(shù)的eopoch，訓(xùn)練所采用的時(shí)間很長(zhǎng)，大概有一個(gè)小時(shí)多，因此每次epoch的具體時(shí)間不做展示，在此直接給出測(cè)試的誤差率：1.31%error。2.通過(guò)改變alpha學(xué)習(xí)率來(lái)訓(xùn)練和測(cè)試網(wǎng)絡(luò)模型（1）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:0.1,opts.batchsize:50,Opts.epoch:1圖4.10alpha=0.1測(cè)試結(jié)果：epoch1/1時(shí)間已過(guò)97.613081秒。90.42%error（2）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:0.5,opts.batchsize:50,Opts.epoch:1圖4.11alpha=0.5測(cè)試結(jié)果：epoch1/1時(shí)間已過(guò)97.755363秒。15.12%error（3）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:2,opts.batchsize:50,Opts.epoch:1圖4.12alpha=2測(cè)試結(jié)果：epoch1/1時(shí)間已過(guò)97.712361秒。9.7%error（4）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:3,opts.batchsize:50,Opts.epoch:1圖4.13alpha=3測(cè)試結(jié)果：epoch1/1時(shí)間已過(guò)97.051957秒。8.65%error（5）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:4,opts.batchsize:50,Opts.epoch:1圖4.14alpha=4測(cè)試結(jié)果epoch1/1時(shí)間已過(guò)97.307949秒。89.72%error3.通過(guò)改變batchsize來(lái)訓(xùn)練和測(cè)試網(wǎng)絡(luò)模型（1）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:10,Opts.epoch:1圖4.15batchsize=10測(cè)試結(jié)果：epoch1/1時(shí)間已過(guò)198.793141秒。4.36%error（2）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:20,0pts.epoch:1圖4.16batchsize=20測(cè)試結(jié)果：epoch1/1時(shí)間已過(guò)146.490894秒。6.81%error（3）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:30,Opts.epoch:1圖4.17batchsize=30測(cè)試結(jié)果：epoch1/1時(shí)間已過(guò)132.371727秒。10.1%error（4）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:100,Opts.epoch:1圖4.18batchsize=100測(cè)試結(jié)果：epoch1/1時(shí)間已過(guò)81.734959秒。16.51%error（5）網(wǎng)絡(luò)超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:200,Opts.epoch:1圖4.19batchsize=200測(cè)試結(jié)果：epoch1/1時(shí)間已過(guò)77.720574秒。78.84%error對(duì)于以上三個(gè)方面采用MNIST數(shù)據(jù)集網(wǎng)絡(luò)測(cè)試的結(jié)果，我們進(jìn)行了三個(gè)方面的總結(jié)，這三個(gè)超參數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)的影響，在下文中，我們也會(huì)從這三個(gè)方面角度出發(fā)，對(duì)測(cè)試的結(jié)果進(jìn)行分析。首先我們對(duì)上述測(cè)試結(jié)果進(jìn)行匯總，如表3-1所示：表4-1超參數(shù)三個(gè)方面MNIST手寫數(shù)據(jù)集合結(jié)果對(duì)比epochError（%）alphaError（%）batchsizeError（%）111.340.190.42104.3636.270.515.12206.8154.3111.343010.1102.8629.75011.34301.7438.6510016.51501.31489.7220078.844.2.2模型的訓(xùn)練分析通過(guò)對(duì)于不同超參數(shù)下設(shè)置的不同超參數(shù)所進(jìn)行的實(shí)驗(yàn)結(jié)果匯總和對(duì)比，在此，我們從三個(gè)不同超參數(shù)方面進(jìn)行分析：（1）學(xué)習(xí)率（epoch）。通過(guò)所建立的卷積神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別系統(tǒng)對(duì)MNIST數(shù)據(jù)訓(xùn)練和測(cè)試的結(jié)果，當(dāng)系統(tǒng)的超參數(shù)epoch設(shè)置為1時(shí)，系統(tǒng)的識(shí)別準(zhǔn)確率為89.66%，我們選用每50個(gè)樣本進(jìn)行一次權(quán)值和偏置的更新，由于用于訓(xùn)練的圖片樣本數(shù)為60000張，所以卷積神經(jīng)網(wǎng)絡(luò)每進(jìn)行一次完整的訓(xùn)練需要進(jìn)行1200次的權(quán)值和偏置的更新，當(dāng)卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)的epoch設(shè)置為3時(shí)，也就是說(shuō)總共進(jìn)行3600次的權(quán)值和偏置的更新，該系統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型得到了較好的訓(xùn)練，對(duì)于輸入的測(cè)試數(shù)據(jù)集，達(dá)到了93.73%的準(zhǔn)確識(shí)別效果。此時(shí)為了進(jìn)一步更好的訓(xùn)練本次設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)模型，我們的訓(xùn)練次數(shù)分別達(dá)到了10、30、50，識(shí)別的準(zhǔn)確率高達(dá)98.69%，同樣在這個(gè)時(shí)候，我們對(duì)于數(shù)字圖像的識(shí)別可從結(jié)果看出，識(shí)別率達(dá)到了一個(gè)比較穩(wěn)定的識(shí)別結(jié)果。此時(shí)，我們可以認(rèn)為該系統(tǒng)的網(wǎng)絡(luò)模型達(dá)到了一個(gè)高水平的訓(xùn)練程度?？梢钥偨Y(jié)為，在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程當(dāng)中，網(wǎng)絡(luò)的精度和可靠性隨著所訓(xùn)練的樣本次數(shù)的增加而增加，這為在后面對(duì)自己制作的手寫數(shù)字圖片庫(kù)提供了訓(xùn)練的依據(jù)。（2）學(xué)習(xí)率（alpha）。本文對(duì)本次所設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)率的最佳參數(shù)，是在基于訓(xùn)練次數(shù)（epoch）和批大?。╞atchsaize）不變的情況下，選取每50組圖片數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)權(quán)值和偏置的更新，訓(xùn)練一次為一次完整的訓(xùn)練，來(lái)通過(guò)設(shè)置不同的學(xué)習(xí)率從0.1到4分析不同的學(xué)習(xí)率，對(duì)于神經(jīng)網(wǎng)絡(luò)訓(xùn)練效果的結(jié)果分析。當(dāng)學(xué)習(xí)率設(shè)置為0.1時(shí)，我們可以從該神經(jīng)網(wǎng)絡(luò)模型的運(yùn)行結(jié)果可知，模型對(duì)于測(cè)試集的識(shí)別正確率為9.58%，這是一個(gè)十分低的識(shí)別率，因此，我們可以認(rèn)為在該學(xué)習(xí)率的訓(xùn)練下，神經(jīng)網(wǎng)絡(luò)未能得到一個(gè)很好的網(wǎng)絡(luò)訓(xùn)練。所以進(jìn)一步提高學(xué)習(xí)率，當(dāng)學(xué)習(xí)率的參數(shù)設(shè)置為0.5時(shí)，情況有所改善，達(dá)到了84.82%的準(zhǔn)確率。但是在這個(gè)學(xué)習(xí)率參數(shù)下，對(duì)于卷積神經(jīng)網(wǎng)絡(luò)的最佳訓(xùn)練模型并不是很高。然后，再進(jìn)一步通過(guò)不同的學(xué)習(xí)率的設(shè)置，對(duì)識(shí)別結(jié)果進(jìn)行分析，探討卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)最佳的學(xué)習(xí)率范圍。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析，我們可以得知，當(dāng)學(xué)習(xí)率設(shè)置在2到3左右的時(shí)候，卷積神經(jīng)網(wǎng)絡(luò)模型得到了較好參數(shù)的訓(xùn)練，識(shí)別的正確率同樣也達(dá)到了91.35%。（3）批大?。╞atchsize）。對(duì)于該卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)分析，本文選用的是超參數(shù)當(dāng)中的批大?。╞atchsize），及每次選取的手寫數(shù)字圖片樣本數(shù)進(jìn)行一次的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)的權(quán)值和偏置的更新，直到完成一次完整的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。首先我們選取較小數(shù)量的手寫數(shù)字圖片樣本進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)權(quán)值和偏置的更新，從測(cè)試的結(jié)果我們可以得知該神經(jīng)網(wǎng)絡(luò)測(cè)試的準(zhǔn)確率達(dá)到95.64%，當(dāng)進(jìn)一步提升批大小的手寫數(shù)字識(shí)別的樣本數(shù)時(shí)，從測(cè)試結(jié)果我們可知，該卷積神經(jīng)網(wǎng)絡(luò)識(shí)別的準(zhǔn)確率有所下降，如果再進(jìn)一步提升批大小的數(shù)量，當(dāng)批大小達(dá)到200時(shí)，神經(jīng)網(wǎng)絡(luò)模型的識(shí)別率降到了21.16%，這是一個(gè)很低的準(zhǔn)確率。因次我們可以進(jìn)行總結(jié)，超參數(shù)-批大小的數(shù)量越小，也就是說(shuō)在訓(xùn)練樣本集不變的情況下，卷積神經(jīng)網(wǎng)絡(luò)模型每進(jìn)行一次權(quán)值和參數(shù)更新的次數(shù)越多，模型的訓(xùn)練效果越好，這些都是可以在測(cè)試集識(shí)別的結(jié)果中體現(xiàn)出來(lái)。4.3自寫數(shù)據(jù)庫(kù)測(cè)試在上面的步驟當(dāng)中，已經(jīng)訓(xùn)練好了所設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型，同樣也分析了對(duì)于卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)的比較好的最佳超參數(shù)的設(shè)置范圍，然后通過(guò)上述分析和結(jié)論，使用卷積神經(jīng)網(wǎng)絡(luò)模型，將MNIST標(biāo)準(zhǔn)手寫數(shù)字圖片庫(kù)的測(cè)試集合，替換掉自己制作的用來(lái)測(cè)試的測(cè)試集。具體體現(xiàn)在我們我們將MNIST標(biāo)準(zhǔn)數(shù)字集當(dāng)中用來(lái)進(jìn)行測(cè)試的test_x替換成為自己制作的測(cè)試集test_x1，然后把他們對(duì)于的標(biāo)簽test_y替換成為自己的測(cè)試標(biāo)簽test_y1。然后我們就可以對(duì)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行自己手寫數(shù)字的測(cè)試，通過(guò)這些測(cè)試的結(jié)果，我們就可以知道本次設(shè)計(jì)的手寫數(shù)字系統(tǒng)的性能。（1）第一次測(cè)試超參數(shù)設(shè)置：首先我們進(jìn)行一般性的手寫數(shù)字神經(jīng)網(wǎng)絡(luò)系統(tǒng)測(cè)試的分析，對(duì)于第一次的參數(shù)設(shè)置，選用在上面測(cè)試中的第一次對(duì)本次的卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)置的超參數(shù)，我們想通過(guò)自己的數(shù)據(jù)與標(biāo)準(zhǔn)的數(shù)據(jù)測(cè)試的結(jié)果進(jìn)行一個(gè)比較，來(lái)看看設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)模型手寫數(shù)字識(shí)別系統(tǒng)對(duì)一般情況的適用，如果識(shí)別的結(jié)果差距較大，證明所設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別系統(tǒng)對(duì)于一般的手寫數(shù)字識(shí)別效果較差，適用性也比較低，因此需要改進(jìn)神經(jīng)網(wǎng)絡(luò)模型的設(shè)計(jì)，如果識(shí)別的結(jié)果與標(biāo)準(zhǔn)MNIST手寫數(shù)據(jù)庫(kù)的識(shí)別結(jié)果差距不大，這證明了本次神經(jīng)網(wǎng)絡(luò)模型的設(shè)計(jì)是符合我們的期望的。超參數(shù)設(shè)置：opts.alpha:1,opts.batchsize:50,opts.epoch:1圖4.20自制數(shù)據(jù)集測(cè)試測(cè)試結(jié)果：epoch1/1時(shí)間已過(guò)90.530063秒。20%error（2）第二次超參數(shù)設(shè)置：如果第一次的測(cè)試，符合我們預(yù)先對(duì)于本次設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型系統(tǒng)測(cè)試結(jié)果的期望，接下來(lái)，我們進(jìn)行下一步的測(cè)試，通過(guò)上面第一次自己手寫數(shù)據(jù)集的測(cè)試，然后我們對(duì)超參數(shù)進(jìn)行一個(gè)優(yōu)化性的調(diào)整，然后來(lái)看看自己手寫數(shù)據(jù)的測(cè)試結(jié)果。參數(shù)設(shè)置：opts.alpha:3,opts.batchsize:10,opts.epoch:10圖4.21最優(yōu)參數(shù)下測(cè)試測(cè)試結(jié)果：epoch1/10時(shí)間已過(guò)214.167502秒。epoch2/10時(shí)間已過(guò)216.625887秒。epoch3/10時(shí)間已過(guò)230.351019秒。epoch4/10時(shí)間已過(guò)233.079562秒。epoch5/10時(shí)間已過(guò)245.945637秒。epoch6/10時(shí)間已過(guò)261.161281秒。epoch7/10時(shí)間已過(guò)256.412058秒。epoch8/10時(shí)間已過(guò)262.987218秒。epoch9/10時(shí)間已過(guò)271.487598秒。epoch10/10時(shí)間已過(guò)276.744417秒。10%error從上述結(jié)果我們可以看出，在與標(biāo)準(zhǔn)MNIST手寫數(shù)字庫(kù)圖像識(shí)別的時(shí)候進(jìn)行對(duì)比，本次設(shè)計(jì)的該卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)于自己制作的書寫數(shù)字圖像庫(kù)的識(shí)別也同樣有著一個(gè)比較好的識(shí)別效果。然后通過(guò)設(shè)置的最優(yōu)參數(shù)再次進(jìn)行手寫數(shù)字識(shí)別測(cè)試，同樣識(shí)別的較高得到了顯著的提升，因此，我們可以認(rèn)為該神經(jīng)網(wǎng)絡(luò)系統(tǒng)模型具有一定的適用程度，對(duì)于大部分的書寫數(shù)字的識(shí)別有著較高的識(shí)別效果和正確率。

結(jié)論在本次對(duì)于卷積