基于神經(jīng)網(wǎng)絡(luò)和集成學(xué)習(xí)字符識別文字是人類表示和交流信息主要工具之一，不論是在生產(chǎn)還是日常生活中，人們都要接觸和處理大量文字信息。字符識別能夠?qū)⒆址咚?、快效輸入到?jì)算機(jī)系統(tǒng)，實(shí)現(xiàn)人機(jī)交互，減輕人們勞動(dòng)，將人力從枯燥冗雜工作中解放出來，提升處理效率，因而含有主要研究價(jià)值?；谏窠?jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第1頁CONTENTSONE

研究意義TWO

研究相關(guān)神經(jīng)網(wǎng)絡(luò)識別文字研究意義，目標(biāo)，識別文字能夠進(jìn)行相關(guān)工作。研究主要包括領(lǐng)域、研究中所使用相關(guān)理論、以及研究所使用技術(shù)和方法。THREE

研究結(jié)果FOUR

算法改進(jìn)到當(dāng)前為止，研究結(jié)果，使用神經(jīng)網(wǎng)絡(luò)對字符進(jìn)行識別能到達(dá)效果。對前面所述研究進(jìn)行創(chuàng)新性改進(jìn)，使得能夠更高效地識別，主要有四種改進(jìn)。FIVE擴(kuò)展及實(shí)際利用對算法進(jìn)行實(shí)際利用性擴(kuò)展，以及實(shí)際利用?；谏窠?jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第2頁01研究意義神經(jīng)網(wǎng)絡(luò)識別文字研究意義，目標(biāo)，識別文字能夠進(jìn)行相關(guān)工作?；谏窠?jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第3頁簡化文字輸入字符識別能夠?qū)⒆址咚?、快效輸入到?jì)算機(jī)系統(tǒng)，實(shí)現(xiàn)人機(jī)交互，減輕人們勞動(dòng)，將人力從枯燥冗雜工作中解放出來，提升處理效率，因而含有主要研究價(jià)值。車牌號碼識別車牌智能自動(dòng)識別作為智能交通管理系統(tǒng)中主要組成部分，應(yīng)用非常廣泛，高速公路收費(fèi)管理、超速違章自動(dòng)拍照、停車場管理、小區(qū)進(jìn)出車輛管理、交通數(shù)據(jù)采集等許多系統(tǒng)中都需要識別車牌號碼?？爝f信息錄入快遞信息錄入能夠極大地減輕快遞工作人員文字信息錄入工作，使得工作人員能夠從辛勞、單一無聊工作中解放出來，有效地加速中國快遞業(yè)發(fā)展。郵件文字錄入在傳統(tǒng)模式郵件寄送過程中，郵件分類主要靠人工閱讀并分類，再往各個(gè)地域發(fā)送，整個(gè)過程費(fèi)時(shí)耗力。近年來，著計(jì)算機(jī)理論與技術(shù)為背景人工智能利用不停普及，使得機(jī)器錄入成為現(xiàn)實(shí)。SIGNIFICANCEOFRESEARCH研究意義SR基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第4頁02研究相關(guān)研究主要包括領(lǐng)域、研究中所使用相關(guān)理論、以及研究所使用技術(shù)和方法。基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第5頁DOMAINOFKNOWLEDGE領(lǐng)域DK機(jī)器學(xué)習(xí)(MachineLearning,ML)是一門多領(lǐng)域交叉學(xué)科，包括概率論、統(tǒng)計(jì)學(xué)、迫近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類學(xué)習(xí)行為，以獲取新知識或技能，重新組織已經(jīng)有知識結(jié)構(gòu)使之不停改進(jìn)本身性能。它是人工智能關(guān)鍵。人工智能(ArtificialIntelligence,AI)，是研究、開發(fā)用于模擬、延伸和擴(kuò)展人智能理論、方法、技術(shù)及應(yīng)用系統(tǒng)一門新技術(shù)科學(xué)。21世紀(jì)，已經(jīng)取得了長足進(jìn)步，不過到當(dāng)前為止，還沒有一臺計(jì)算機(jī)能產(chǎn)生“自我”意識。深度學(xué)習(xí)深度學(xué)習(xí)(DeepLearning,DL)是機(jī)器學(xué)習(xí)中一個(gè)基于對數(shù)據(jù)進(jìn)行表征學(xué)習(xí)方法。觀察值（比如一幅圖像）能夠使用各種方式來表示，如每個(gè)像素強(qiáng)度值向量，或者更抽象地表示成一系列邊、特定形狀區(qū)域等。機(jī)器學(xué)習(xí)人工智能集成學(xué)習(xí)集成學(xué)習(xí)(ensemblelearning)集成學(xué)習(xí)是使用一系列學(xué)習(xí)器進(jìn)行學(xué)習(xí)，并使用某種規(guī)則把各個(gè)學(xué)習(xí)結(jié)果進(jìn)行整合從而取得比單個(gè)學(xué)習(xí)器更加好學(xué)習(xí)效果一個(gè)機(jī)器學(xué)習(xí)方法。?；谏窠?jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第6頁THETWONEURALNETWORKOFRECGNIZATION兩種神經(jīng)網(wǎng)絡(luò)MR反向傳輸神經(jīng)網(wǎng)絡(luò)向傳輸(backpropagation,BP)算法是1986年由Hinton和McClelland為首科學(xué)家提出概念。BP神經(jīng)網(wǎng)絡(luò)是一個(gè)采取這種算法進(jìn)行高效訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò)，是當(dāng)前應(yīng)用最強(qiáng)大最廣泛神經(jīng)網(wǎng)絡(luò)之一。卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork,CNN）是一個(gè)前饋神經(jīng)網(wǎng)絡(luò)，它人工神經(jīng)元能夠響應(yīng)一部分覆蓋范圍內(nèi)周圍單元，對于大型圖像處理有出眾表現(xiàn)。普通包括卷積層(convolutionallayer)、池化層(poolinglayer)和全連接層(denselayer)?；谏窠?jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第7頁THETWOFRAMEOFNEURALNETWORK兩種框架F

NTensorFlowTensorFlow是一個(gè)采取數(shù)據(jù)流圖（dataflowgraphs），用于數(shù)值計(jì)算開源軟件庫。節(jié)點(diǎn)（Nodes）在圖中表示數(shù)學(xué)操作，圖中線（edges）則表示在節(jié)點(diǎn)間相互聯(lián)絡(luò)多維數(shù)據(jù)數(shù)組，即張量（tensor）。它靈活架構(gòu)讓你能夠在各種平臺上展開計(jì)算，比如臺式計(jì)算機(jī)中一個(gè)或多個(gè)CPU（或GPU），服務(wù)器，移動(dòng)設(shè)備等等。KerasKeras是一個(gè)高度模塊化，使用簡單上手快，適當(dāng)深度學(xué)習(xí)初學(xué)者使用深度學(xué)習(xí)框架。Keras由純Python編寫而成并以Tensorflow、Theano以及CNTK為后端。Keras為支持快速試驗(yàn)而生，能夠把你idea快速轉(zhuǎn)換為結(jié)果。基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第8頁03研究結(jié)果到當(dāng)前為止，研究結(jié)果，使用神經(jīng)網(wǎng)絡(luò)對字符進(jìn)行識別能到達(dá)效果?；谏窠?jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第9頁BP-NNBP神經(jīng)網(wǎng)絡(luò)B

N基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第10頁CONVOLUTIONALNEURALNETWORK卷積神經(jīng)網(wǎng)絡(luò)B

N基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第11頁COMMITTEEOFNEURALNETWORKS神經(jīng)網(wǎng)絡(luò)集成C

N基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第12頁THECURVEOFERROR誤差曲線(mnist)ER基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第13頁THEERRORRATEOFRECOGNITION誤差率(mnist)ER97.3%搭建BP-NN搭建組合BP-NN搭建CNN+調(diào)參搭建組合CNNInput(Batch_size*28*28)->Dense(1024)->Reluactivation->Dense(10)->Softmaxactivation->Output(10)

Input->Conv2d->Pooling->relu->Conv2d->Pooling->relu->Flat->dense->dense->OutputMulti-(Input->Conv2d->Pooling->relu->Conv2d->Pooling->relu->Flat->dense->dense->Output)->Combination->FinaloutputMulti-(Input->Dense(1024)->Reluactivation->Dense(10)->Softmaxactivation->Output(10)

)->Combination->Finaloutput98.3%99.1%99.4%基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第14頁04算法改進(jìn)對前面所述研究進(jìn)行創(chuàng)新性改進(jìn)，使得能夠更高效地識別，主要有四種改進(jìn)?；谏窠?jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第15頁在傳統(tǒng)CNN上添加了DropOut、Regularization、BatchNormalization優(yōu)化層。優(yōu)化層傳統(tǒng)為sigmod、tanh，本文采取ReLU、PReLU、LeaklyReLU等激活函數(shù)激活函數(shù)傳統(tǒng)優(yōu)化器為SGD、Momentum，采取Adam優(yōu)化器進(jìn)行神經(jīng)網(wǎng)絡(luò)優(yōu)化優(yōu)化器010203IMPROVEMENTOFALGORITHM神經(jīng)網(wǎng)絡(luò)參數(shù)改進(jìn)IA基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第16頁殘差網(wǎng)絡(luò)(residualnetwork,ResNet)，經(jīng)過殘差網(wǎng)絡(luò)，能夠把網(wǎng)絡(luò)層弄很深，現(xiàn)在到達(dá)了1000多層，最終網(wǎng)絡(luò)分類效果也是令人十分滿意。ResNet緊接卷積神經(jīng)網(wǎng)絡(luò)(DenselyConnectedConvolutionalNetworks,DenseNet)，能夠看做是ResNet一個(gè)特例，經(jīng)過緊密連接，能夠減輕梯度消失。DenseNetHarmonica算法是優(yōu)異一個(gè)調(diào)參算法，十分高效，而且能夠適應(yīng)于幾乎一切場景。在機(jī)器學(xué)習(xí)里面，調(diào)參尤其重要。HarmonicaBagging算法是一個(gè)集成學(xué)習(xí)算法。因?yàn)閱我荒Ｐ秃芯窒扌?，任何一個(gè)模型，都有其缺點(diǎn)，經(jīng)過多模型組合能夠趨近完美。盡管是很簡單思想，但其所帶來效果令人驚嘆。Bagging01020304IMPROVEMENTOFALGORITHM算法改進(jìn)IA基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第17頁

原因/理由：單一模型含有不足。任何一個(gè)模型，都有其缺陷，經(jīng)過多模型組合能夠趨近完美。

啟發(fā)：某一次聽說有些人用多分類器跑mnist到100%正確率。一個(gè)計(jì)算天才去算10000道四則運(yùn)算題，很大某一道題可能會(huì)犯錯(cuò)，那么他就只能算是趨近完美。但假如十個(gè)計(jì)算天才一起去做這10000道題，每道題由多數(shù)人投票決定，那么，最終效果必定是更優(yōu)異。盡管是很簡單思想，但其所帶來效果令人驚嘆。(Error:0.9%->0.6%）因?yàn)閱我荒Ｐ途鸵呀?jīng)足夠優(yōu)異，所以數(shù)字上反應(yīng)并不顯著CONBINATIONCLASSIFICATIONMODEL集成學(xué)習(xí)--BaggingC

M基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第18頁1.在參數(shù)空間中，隨機(jī)采樣（比如）100個(gè)點(diǎn)2.對每個(gè)點(diǎn)計(jì)算低度數(shù)傅里葉基特征向量，捕捉參數(shù)之間相關(guān)性3.對于計(jì)算好100個(gè)特征向量，跑拉鎖算法，得到（比如）5個(gè)主要特征，以及這些特征對應(yīng)參數(shù)4.固定這些參數(shù)值，得到了新調(diào)參數(shù)問題（參數(shù)個(gè)數(shù)降低，搜索空間降低）。5.回到第一步。重復(fù)若干輪之后，固定了很多參數(shù)值，得到令人滿意參數(shù)Harmonica

調(diào)參算法HA論文：《HyperparameterOptimization:ASpectralApproach》/abs/1706.00764基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第19頁

Insteadofhopingeachfewstackedlayersdirectlyfitadesiredunderlyingmapping,weexplicitlylettheselayersfitaresidualmapping.Formally,denotingthedesiredunderlyingmappingasH(x),weletthestackednonlinearlayersfitanothermappingofF(x):H(x)-x.TheoriginalmappingisrecastintoF(x)+x.

并不經(jīng)過簡單stack方式把網(wǎng)絡(luò)深度增加就能夠提升performance(因?yàn)樘荻认?彌散問題、神經(jīng)退化問題(神經(jīng)元或其它失效))。假設(shè)原本期望映射函數(shù)為H(x)，我們讓堆疊非線性層去擬合另一個(gè)映射F(x):H(x)-x，而原來函數(shù)映射則變?yōu)镕(x)+x。學(xué)習(xí)到F(x)即為殘差。

殘差：殘差在數(shù)理統(tǒng)計(jì)中是指實(shí)際觀察值與預(yù)計(jì)值（擬合值）之間差?！皻埐睢碧N(yùn)含了相關(guān)模型基本假設(shè)主要信息。假如回歸模型正確話，我們能夠?qū)埐羁醋髡`差觀察值。RESIDUALNETWORK殘差網(wǎng)絡(luò)R

N論文：《DeepResidualLearningforImageRecognition》CVPR/最正確論文/abs/1512.03385基于神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)CNN和集成學(xué)習(xí)的手寫字符識別專家講座第