PAGE8卷積神經(jīng)網(wǎng)絡(luò)硬件加速的研究現(xiàn)狀的國(guó)內(nèi)外文獻(xiàn)綜述1卷積神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀卷積神經(jīng)網(wǎng)絡(luò)來源于Hubel和Wiesel在1959年貓視覺神經(jīng)的研究[21]20世紀(jì)80年代Fukushima首次提出了神經(jīng)網(wǎng)絡(luò)模型來用于設(shè)別手寫體，此模型包含多種神經(jīng)元互聯(lián)結(jié)構(gòu)[22]。在90年代末，卷積神經(jīng)網(wǎng)絡(luò)之父YannLeCun發(fā)表論文提出了著名的LetNet-5網(wǎng)絡(luò)結(jié)構(gòu)，LetNet-5是基于CNN的對(duì)手寫體字符進(jìn)行識(shí)別的運(yùn)算網(wǎng)絡(luò)[23]。LetNet-5網(wǎng)絡(luò)進(jìn)行訓(xùn)練的同時(shí)，引入了反向傳播。但是隨著數(shù)據(jù)復(fù)雜性的增加和數(shù)據(jù)數(shù)量的增長(zhǎng)，LetNet的網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)滿足不了現(xiàn)在種類功能要求越來越復(fù)雜的各種應(yīng)用。從2000年開始，卷積神經(jīng)網(wǎng)絡(luò)在圖像的識(shí)別與分類領(lǐng)域大放異彩。2012年，AlexanderKuzhevsky在FPGA大賽種設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)AlexNet在圖像分類競(jìng)賽中取得了很好的成績(jī)，將識(shí)別誤差幾乎降低了一半[24]。2013年，MatthewZeiler和RobFergus實(shí)現(xiàn)的ZFNet網(wǎng)絡(luò)在ILSVRC2013CTheImageNetLargeScaleVisualRecognitionChallenge)比賽中取得冠軍[25]。2014年，谷歌的Szeged等設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)GoogleNet取得了ILSVRC2014的冠軍，GoogleNet還做了參數(shù)數(shù)量上的優(yōu)化[26]。在ILSVRC2014中，KarenSimonyan和AndrewZisserman實(shí)現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)VGGNET雖然不是冠軍，但表明了網(wǎng)絡(luò)的深度是算法性能優(yōu)良的關(guān)鍵點(diǎn)[27]。2016年，何開明等設(shè)計(jì)的ResNet使用了一個(gè)1001層的卷積神經(jīng)網(wǎng)絡(luò)在CIFAR-10數(shù)據(jù)測(cè)試錯(cuò)誤率僅為4.62[28]。通過不同研究者的努力，已經(jīng)在深度，計(jì)算層結(jié)構(gòu)等不同的方面來逐漸的優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)。2卷積神經(jīng)網(wǎng)絡(luò)硬件加速的研究現(xiàn)狀卷積神經(jīng)網(wǎng)絡(luò)因?yàn)榫W(wǎng)絡(luò)結(jié)構(gòu)的問題，需求大量的計(jì)算量和大量硬件資源來進(jìn)行存儲(chǔ)，對(duì)于實(shí)時(shí)性的應(yīng)用很難滿足，特別是資源有限的嵌入式系統(tǒng)難以實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用[29]。為了讓卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用變得更為廣泛，許多的研究者們都著眼于硬件加速器方面。卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的硬件加速主要的方法都是使用GPU進(jìn)行加速[30]，GPU是一種專門處理圖像方面工作和運(yùn)算與圖形相關(guān)的參數(shù)的微處理器，擁有大量的圖形計(jì)算單元，仍然需求通過運(yùn)行相關(guān)的軟件程序進(jìn)行計(jì)算，能夠非常良好的結(jié)合軟件和硬件部分。通用性和靈活性都十分好，是目前使用最多，也是最為廣泛的加速方式。但是使用GPU處理器加速硬件電路需要非常復(fù)雜硬件電路作為支持，而且電路會(huì)占用很大的空間，相應(yīng)的功耗層面，也需要大量的電力支持。這些種種的不足限制了其在嵌入式系統(tǒng)，特別是移動(dòng)端的應(yīng)用。除了GPU以外，還有ASIC芯片，它是為了特定的卷積神經(jīng)網(wǎng)絡(luò)而設(shè)計(jì)開發(fā)的專用電芯片。因?yàn)槠涞尼槍?duì)性，它于其他的方式相比，同時(shí)具有了高性能，低功效，占用面積小的特點(diǎn)。但是它的針對(duì)性也限制了它的發(fā)展，導(dǎo)致了ASIC的靈活性非常的低，針對(duì)不同卷積網(wǎng)絡(luò)設(shè)計(jì)的周期長(zhǎng)。對(duì)于一些低成本，小批量需求靈活性的應(yīng)用，在其設(shè)計(jì)方案發(fā)展快的前提下，會(huì)大大的延長(zhǎng)芯片開發(fā)的周期，加高研發(fā)和生產(chǎn)的成本[31]。FPGA作為一種硬件結(jié)構(gòu)，它可以重新配置的，靈活性十分的高。專門的卷積神經(jīng)網(wǎng)絡(luò)制定其專門的加速硬件通路，在設(shè)計(jì)上兼具靈活性和開發(fā)周期較短這兩個(gè)特點(diǎn)，在日常生活中的應(yīng)用也有其針對(duì)性，同時(shí)能夠符合不同應(yīng)用的要求。其功耗介于GPU和ASIC之間。文獻(xiàn)[32]中作者基于FPGA平臺(tái)設(shè)計(jì)開發(fā)了一種開發(fā)了一種基于超長(zhǎng)令集(VeryLongInstructionWord,VLIW)的可配置協(xié)處理器開發(fā)的編譯器。將網(wǎng)絡(luò)結(jié)構(gòu)編譯成協(xié)處理器可執(zhí)行的指令，因?yàn)榫矸e操作占用了卷積神經(jīng)網(wǎng)絡(luò)整個(gè)計(jì)算過程90%以上的時(shí)間[33,34]，文獻(xiàn)[35]提出了一種可以有效加速CNN卷積層的方法，可以通過真假存儲(chǔ)器的個(gè)數(shù)，提高其的并行性來減少計(jì)算所需要的時(shí)間，但是這會(huì)加大硬件資源的負(fù)荷，所以要需求一個(gè)在計(jì)算的時(shí)間和硬件的存儲(chǔ)資源之間的最佳平衡點(diǎn)參數(shù)X，X也是存儲(chǔ)器的個(gè)數(shù)，可以把圖片分配到X個(gè)存儲(chǔ)器之中。文獻(xiàn)[36]介紹了一種二值化的卷積神經(jīng)網(wǎng)絡(luò)，它通過將卷積核與圖像僅用二值（-1，1）來表示，一方面利用EX-NOR電路來代替消耗資源較多，結(jié)構(gòu)較復(fù)雜的的乘法器電路，另一方面減少了參數(shù)的存儲(chǔ)空間，減少了原本參數(shù)所占用的硬件的資源。與此同時(shí)，為了讓它的空間占比和它的功耗變得更少，其結(jié)構(gòu)利用了片上和片外存儲(chǔ)器相結(jié)合的方式來實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的二值化。通過這種方式和使用DSP存儲(chǔ)資源相比，能夠降低其功耗。為了改善由于使用二值化對(duì)于網(wǎng)絡(luò)準(zhǔn)確率帶來的誤差，在網(wǎng)絡(luò)種引入了歸一化的技術(shù)。文獻(xiàn)[37]種同樣使用了二值化的方法來實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)，但是他僅僅使用了片上的存儲(chǔ)器，而沒有使用片外的存儲(chǔ)器。在文獻(xiàn)[38]中提出了一種新穎的網(wǎng)絡(luò)結(jié)構(gòu)來讓已經(jīng)訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于SOPC系統(tǒng)，并且這種網(wǎng)絡(luò)結(jié)構(gòu)不受資源上的限制。這種網(wǎng)絡(luò)使用了批量處理的方法，通過重復(fù)的使用在多輸入端口中的權(quán)值來減少?gòu)耐獯婕虞d權(quán)值矩陣，還通過流水線的方法和提高性能數(shù)據(jù)訪問的方法來提高整個(gè)系統(tǒng)的性能。在文獻(xiàn)[39]中，作者借鑒了并行快速有限脈沖響應(yīng)算法FFA，開發(fā)了快速卷積單元來加速CNN網(wǎng)絡(luò)中卷積的操作。文獻(xiàn)[40]使用了在FPGA的基礎(chǔ)上與SPACK并行編程環(huán)境相結(jié)合的方式加速CNN網(wǎng)絡(luò)。文獻(xiàn)[41]采用減少輸入端參數(shù)輸入的思想，提出一種壓縮技術(shù)減少CNN網(wǎng)絡(luò)的輸入端數(shù)據(jù)量，從而來減少CNN網(wǎng)路的體積，方便其在FPGA上的部署。在CNN網(wǎng)絡(luò)中，對(duì)于激活函數(shù)的選擇和實(shí)現(xiàn)也十分的重要，一般都采用分段線性畢竟或者是查找表技術(shù)來作為激活函數(shù)。文獻(xiàn)[42]專門對(duì)CNN網(wǎng)絡(luò)的激活函數(shù)進(jìn)行了一定的研究，提出了一種單精度浮點(diǎn)的激活函數(shù)的FPGA實(shí)現(xiàn)方法。文獻(xiàn)[43]也是通過研究激活函數(shù)的層面出發(fā)，提出了tank和Sigmoid函數(shù)相結(jié)合來實(shí)現(xiàn)的FPGA的方式。文獻(xiàn)[44]就研究了分類層中分類函數(shù)Softmax函數(shù)，來實(shí)現(xiàn)FPGA硬件的方法。參考文獻(xiàn)偉宏,安吉堯,李仁發(fā)等.深度學(xué)習(xí)認(rèn)知計(jì)算綜述[[J].自動(dòng)化學(xué)報(bào)，2017,3(11):86-1887.付文博,孫濤,梁籍等.深度學(xué)習(xí)原理及應(yīng)用綜述[[J].計(jì)算機(jī)科學(xué),201845(6A):2-15.LIUB,ZHAOWC,SUNQQ.StudyofObjectDetectionBasedOnFasterR-CNN[C]·ChineseAutomationCongress,Jinan,China2017:6233-6236.SHOJIKIDO,YASUSIHIRANO,NORIAKIHASHIMOTO.Detectionandclassificationoflungabnormalitiesbyuseofconvolutionalneuralnetwork(CNN)andregionswithCNNfeatures(R-CNN)[C]·InternationalWorkshoponAdvancedImageTechnology,ChiangMai，Thailand,2018:1-4.WENYD,ZHANGKP,LIZF.ADiscriminativeFeatureLearningApproachforDeepFaceRecognition[C].EuropeanConferenceonComputerVision,Amsterdam,Netherlands,2016:499-515.XIAOKC,ZHANGZS,WUJ.ChineseTextSentimentAnalysisBasedonImprovedConvolutionalNeuralNetworks[C].InternationalConferenceonSoftwareEngineeringandServiceScience,Beijing,China2016:922-926.AHAMMADFAHAD,EBRAHIMYAHYA.InflectionalReviewofDeepLearningonNaturalLanguageProcessing[C].InternationalConferenceonSmartComputingandElectronicEnterprise,Selangor，Malaysia2018:1-4.XIAOWF,YANGYF,TASWEERAHMAD.DesignofaVeryCompactCNNClassifierforOnlineHandwrittenChineseCharacterRecognitionUsingDropWeightandGlobalPooling[C].InternationalConferenceonDocumentAnalysisandRecognition,Kyoto,Japan,2017:891-895.WANGXH,GAOLL,SONGJK.BeyondFrame-levelCNN:Saliency-Aware3DCNNWithLSTMforVideoActionRecognition[J].IEEESIGNALPROCESSINGLETTERS,2017,24(4):510-514.CHINCHIUNLI，WUGUEIRU·AnAutomatedEarlyIschemicStrokeDetectionSystemusingCNNDeepLearningAlgorithm[C]·InternationalConferenceonAwarenessScienceandTechnology,Taichung,Taiwan,2017:368-372.LIXL,DINGPL,SHIXB·ResearchonBearingFaultDetectionBasedonConvolutionNeuralNetwork[C].ChineseAutomationCongress,Jinan,China,2017:5130-5134.盧冶,陳瑤,李濤等.面向邊緣計(jì)算的嵌入式FPGA卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建方法[J].計(jì)算機(jī)研究與發(fā)展,2018,55(3):551-562.APARNAGURJAR,ARBHAGATPATIL·ClusterbasedAnonymizationforSourceLocationPrivacyinWirelessSensorNetwork[C].InternationalConferenceonCommunicationSystemsandNetworkTechnologies，Gwalior,India,2013:248-251.LUX,FANWD，LIQ·FailureInsertTestingMethodforAutomaticTransmissionbasedonHardwareintheLoopSystem[C]·InternationalConferenceonElectronicsInformationandEmergencyCommunication,Beijing,China,2015:146-149.XIAOYQ，RENDK.AHierarchicalDecisionArchitectureforNetwork-assistedAutomaticDriving[C].InternationalConferenceonEnergyIn