1、 神經(jīng)網(wǎng)絡(luò)最新開(kāi)展綜述 學(xué)校：上海海事大學(xué) 專業(yè)：物流工程姓名：周巧珍 學(xué)號(hào)：202230210155神經(jīng)網(wǎng)絡(luò)最新開(kāi)展綜述摘 要：作為聯(lián)接主義智能實(shí)現(xiàn)的典范，神經(jīng)網(wǎng)絡(luò)采用廣泛互聯(lián)的結(jié)構(gòu)與有效的學(xué)習(xí)機(jī)制來(lái)模擬人腦信息處理的過(guò)程，是人工智能開(kāi)展中的重要方法，也是當(dāng)前類腦智能研究中的有效工具。目前，模擬人腦復(fù)雜的層次化認(rèn)知特點(diǎn)的深度學(xué)習(xí)成為類腦智能中的一個(gè)重要研究方向。通過(guò)增加網(wǎng)絡(luò)層數(shù)所構(gòu)造的“深層神經(jīng)網(wǎng)絡(luò)使機(jī)器能夠獲得“抽象概念能力，在諸多領(lǐng)域都取得了巨大的成功，又掀起了神經(jīng)網(wǎng)絡(luò)研究的一個(gè)新高潮。本文分8個(gè)方面綜述了其當(dāng)前研究進(jìn)展以及存在的問(wèn)題，展望了未來(lái)神經(jīng)網(wǎng)絡(luò)的開(kāi)展方向。 關(guān)鍵詞 : 類腦智能

2、；神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；大數(shù)據(jù)Abstract : As a typical realization of connectionism intelligence, neural network, which tries to mimic the information processing patterns in the human brain by adopting broadly interconnected structures and effective learning mechanisms, is an important branch of artificial intellige

3、nce and also a useful tool in the research on brain-like intelligence at present. Currently, as a way to imitate the complex hierarchical cognition characteristic of human brain, deep learning brings an important trend for brain-like intelligence. With the increasing number of layers, deep neural ne

4、twork entitles machines the capability to capture “abstract concepts and it has achieved great success in various fields, leading a new and advanced trend in neural network research. This paper summarizes the latest progress in eight applications and existing problems considering neural network and

5、points out its possible future directions.Key words : artificial intelligence; neural network; deep learning; big data1 引言 實(shí)現(xiàn)人工智能是人類長(zhǎng)期以來(lái)一直追求的夢(mèng)想。雖然計(jì)算機(jī)技術(shù)在過(guò)去幾十年里取得了長(zhǎng)足的開(kāi)展，但是實(shí)現(xiàn)真正意義上的機(jī)器智能至今仍然困難重重。伴隨著神經(jīng)解剖學(xué)的開(kāi)展，觀測(cè)大腦微觀結(jié)構(gòu)的技術(shù)手段日益豐富，人類對(duì)大腦組織的形態(tài)、結(jié)構(gòu)與活動(dòng)的認(rèn)識(shí)越來(lái)越深入，人腦信息處理的奧秘也正在被逐步揭示。如何借助神經(jīng)科學(xué)、腦科學(xué)與認(rèn)知科學(xué)的研究成果，研究大腦信息表征、轉(zhuǎn)換機(jī)理和

6、學(xué)習(xí)規(guī)那么，建立模擬大腦信息處理過(guò)程的智能計(jì)算模型，最終使機(jī)器掌握人類的認(rèn)知規(guī)律，是“類腦智能的研究目標(biāo)。類腦智能是涉及計(jì)算科學(xué)、認(rèn)知科學(xué)、神經(jīng)科學(xué)與腦科學(xué)的交叉前沿方向。類腦智能的實(shí)現(xiàn)離不開(kāi)大腦神經(jīng)系統(tǒng)的研究。眾所周知，人腦是由幾十多億個(gè)高度互聯(lián)的神經(jīng)元組成的復(fù)雜生物網(wǎng)絡(luò)，也是人類分析、聯(lián)想、記憶和邏輯推理等能力的來(lái)源。神經(jīng)元之間通過(guò)突觸連接以相互傳遞信息，連接的方式和強(qiáng)度隨著學(xué)習(xí)發(fā)生改變，從而將學(xué)習(xí)到的知識(shí)進(jìn)行存儲(chǔ)。模擬人腦中信息存儲(chǔ)和處理的根本單元-神經(jīng)元而組成的人工神經(jīng)網(wǎng)絡(luò)模型具有自學(xué)習(xí)與自組織等智能行為，能夠使機(jī)器具有一定程度上的智能水平。神經(jīng)網(wǎng)絡(luò)的計(jì)算結(jié)構(gòu)和學(xué)習(xí)規(guī)那么遵照生物神經(jīng)網(wǎng)

7、絡(luò)設(shè)計(jì)，在數(shù)字計(jì)算機(jī)中，神經(jīng)細(xì)胞接收周圍細(xì)胞的刺激并產(chǎn)生相應(yīng)輸出信號(hào)的過(guò)程可以用“線性加權(quán)和及“函數(shù)映射的方式來(lái)模擬，而網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)值調(diào)整的過(guò)程用優(yōu)化學(xué)習(xí)算法實(shí)現(xiàn)。按照該方式建立的這種仿生智能計(jì)算模型雖然不能和生物神經(jīng)網(wǎng)絡(luò)完全等價(jià)和媲美，但已經(jīng)在某些方面取得了優(yōu)越的性能。目前神經(jīng)網(wǎng)絡(luò)已經(jīng)開(kāi)展了上百種模型，在諸如手寫(xiě)體識(shí)別、顯著性檢測(cè)、語(yǔ)音識(shí)別和圖像識(shí)別、模式識(shí)別、人機(jī)交互、優(yōu)化算法、深度學(xué)習(xí)等技術(shù)領(lǐng)域取得了非常成功的應(yīng)用。2.各領(lǐng)域簡(jiǎn)單介紹2.1手寫(xiě)體識(shí)別2022年，認(rèn)識(shí)到自由手寫(xiě)文本是一個(gè)具有挑戰(zhàn)性的任務(wù)。草書(shū)分割或重疊的字符的困難，與需要利用周圍的環(huán)境相結(jié)合，導(dǎo)致了較低的識(shí)別率，即使是當(dāng)時(shí)

8、最好的識(shí)別。Graves Alex等人1提出了一種基于一種新型的遞歸神經(jīng)網(wǎng)絡(luò)，專門(mén)為序列標(biāo)注任務(wù)設(shè)計(jì)的，其中數(shù)據(jù)是很難段和含有遠(yuǎn)距離雙向的相互依存關(guān)系的一種方法。在兩個(gè)大型無(wú)約束手寫(xiě)數(shù)據(jù)庫(kù)的實(shí)驗(yàn)中，該方法實(shí)現(xiàn)了對(duì)在線數(shù)據(jù)79.7，而上的脫機(jī)數(shù)據(jù)74.1的單詞識(shí)別精度，顯著超越國(guó)家的最先進(jìn)的基于HMM的系統(tǒng)。此外，證明了網(wǎng)絡(luò)的魯棒性詞匯的大小，測(cè)量其隱層的個(gè)人影響力。2022年，Ciresan D.C.等人2使用整個(gè)未變形的訓(xùn)練集進(jìn)行驗(yàn)證，不浪費(fèi)訓(xùn)練圖像。原始灰度圖像的像素強(qiáng)度的范圍從0背景到255最高前景強(qiáng)度。每幅圖像的2828 =784個(gè)像素被映射到真實(shí)值在1.0，1.0，和被饋送到對(duì)NN輸

9、入層。使用2至9隱藏層和單位數(shù)目不等的隱藏單元來(lái)培養(yǎng)MLPs，。大多是每一層隱藏單元的數(shù)量向輸出層表1降低，但不都是這樣。結(jié)合AF NE旋轉(zhuǎn)，縮放和水平剪切和彈性變形，在每一個(gè)初劃時(shí)代整個(gè)MNIST訓(xùn)練集被變形。小型網(wǎng)絡(luò)初步實(shí)驗(yàn)得到一些參數(shù)。表1的結(jié)果說(shuō)明：極具競(jìng)爭(zhēng)力的MNIST手寫(xiě)基準(zhǔn)，單精度浮點(diǎn)基于GPU的神經(jīng)網(wǎng)絡(luò)超越所有先前報(bào)告的結(jié)果，其中包括涉及專門(mén)的架構(gòu)，無(wú)監(jiān)督的訓(xùn)練前，學(xué)習(xí)機(jī)等分類訓(xùn)練集足夠大小的組合更為復(fù)雜的方法獲得的通過(guò)適當(dāng)?shù)刈冃蔚膱D像被獲得。當(dāng)然，這種方法并不局限于手寫(xiě)，顯然為許多視覺(jué)和其他模式識(shí)別問(wèn)題帶來(lái)了很大的希望。 表1 MNIST測(cè)試的錯(cuò)誤率2022年，Alexand

10、er Goltsev等人3對(duì)圖像識(shí)別名為里拉的功能的手寫(xiě)體數(shù)字識(shí)別的任務(wù)進(jìn)行了研究。兩個(gè)神經(jīng)網(wǎng)絡(luò)分類被認(rèn)為-改性3層感知里拉和模塊化組件的神經(jīng)網(wǎng)絡(luò)。提出的特征選擇的方法，用于分析形成在神經(jīng)網(wǎng)絡(luò)分類器的初步學(xué)習(xí)過(guò)程的連接權(quán)重。在使用的手寫(xiě)體數(shù)字的MNIST數(shù)據(jù)庫(kù)的實(shí)驗(yàn)中，特征選擇過(guò)程允許減少的特征數(shù)目從60000至7000?？杀鹊淖R(shí)別能力，同時(shí)加速計(jì)算。里拉感知和模塊化裝配神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)比擬完成的，這說(shuō)明了模塊化組裝神經(jīng)網(wǎng)絡(luò)的識(shí)別能力是有所好轉(zhuǎn)。2.2顯著性檢測(cè)2022年，Wang L.J等人4由局部估計(jì)和全局搜索整合提出了一個(gè)深度網(wǎng)絡(luò)的顯著性檢測(cè)算法。在局部估計(jì)階段，我們通過(guò)使用局部學(xué)習(xí)功能的

11、補(bǔ)丁，在全局搜索階段，局部的顯著圖與全局的比照度和幾何信息一起作為整體特征描述SETOF目標(biāo)和IDATE區(qū)域.深層神經(jīng)網(wǎng)絡(luò)DNN-G進(jìn)行訓(xùn)練來(lái)進(jìn)行預(yù)測(cè)。如圖1。圖1 局部估計(jì)和全局搜索結(jié)合結(jié)構(gòu)圖由于低層次的顯著性線索或先驗(yàn)不能夠產(chǎn)生足夠好的顯著性檢測(cè)結(jié)果，特別是當(dāng)顯著對(duì)象在低比照度的背景與混亂的視覺(jué)外觀中的時(shí)候。Zhao R等人5 提出一個(gè)為顯著性檢測(cè)的多情景深度學(xué)習(xí)框架，該框架采用深度卷積神經(jīng)網(wǎng)絡(luò)在圖像中去檢測(cè)目標(biāo)的顯著性，全局背景和局部背景綜合考慮，共同塑造一個(gè)統(tǒng)一的多背景深度學(xué)習(xí)框架。為深度卷積神經(jīng)網(wǎng)絡(luò)提供更好的初始化，探究了不同的預(yù)訓(xùn)練策略和一個(gè)設(shè)計(jì)用多背景模型適應(yīng)顯著性檢測(cè)的特殊任務(wù)

12、預(yù)訓(xùn)練方案。在五個(gè)公共數(shù)據(jù)集實(shí)驗(yàn)，結(jié)果說(shuō)明不錯(cuò)。整體多環(huán)境模型：超像素中心的輸入窗口的預(yù)測(cè)是通過(guò)估計(jì)顯著性概率執(zhí)行的。score(x gc , x lc ) = P(y = 1 | x gc , x lc ; 1 ), 1x gc,x lc分別是全局背景和局部背景模型倒數(shù)第二層的輸出，y是中心超像素的顯著性預(yù)測(cè)，y=1時(shí)是顯著性超像素，y=0時(shí)是背景。訓(xùn)練了一個(gè)二元分類在最后一個(gè)網(wǎng)絡(luò)層的頂部，為了分類背景和顯著性，通過(guò)在分類結(jié)果和全局標(biāo)簽之間統(tǒng)一的函數(shù)的最小值。L( ; x (i)gc ,x(i)lc,y (i) mi=1 ) 2框架的參數(shù)可以分為幾個(gè)局部。 j = w gc,j , w lc

13、,j , , w gc，j是全局背景模型中神經(jīng)網(wǎng)絡(luò)的最后一層參數(shù)，w lc,j是局部背景模型的最后一層參數(shù)，, 是一個(gè)模糊不清的模型功能控制局部背景模型的需要的參數(shù)。目的是推斷標(biāo)簽的概率同時(shí)通過(guò)倆個(gè)組件。2.3語(yǔ)音識(shí)別隱馬爾可夫模型HMM已經(jīng)被國(guó)家認(rèn)可的聲學(xué)建模的最先進(jìn)的技術(shù)，盡管他們不切實(shí)際的獨(dú)立性假設(shè)和隱藏狀態(tài)的非常有限的代表能力。堅(jiān)決信念網(wǎng)絡(luò)動(dòng)態(tài)貝葉斯被證明是對(duì)各種機(jī)器學(xué)習(xí)問(wèn)題非常有效，Mohamed A.R等人6在2022年采用動(dòng)態(tài)Bayesian聲學(xué)建模。在標(biāo)準(zhǔn)TIMIT語(yǔ)料庫(kù)，動(dòng)態(tài)貝葉斯網(wǎng)在 TIMIT核心試驗(yàn)等的 實(shí)現(xiàn)了23.0的錯(cuò)誤率。高斯混合模型是用于模擬隱馬爾可夫模型的語(yǔ)音

14、識(shí)別的發(fā)光分布的顯性技術(shù)。Mohamed A.R7在2022年證明，在TIMIT數(shù)據(jù)集可以通過(guò)包含的特征和非常大量的參數(shù)，用很多層深神經(jīng)網(wǎng)絡(luò)代替高斯混合模型來(lái)實(shí)現(xiàn)更好的 識(shí)別。這些網(wǎng)絡(luò)的第一預(yù)訓(xùn)練如光譜特征向量的窗的多層生成模型，而不利用任何區(qū)別信息。一旦生成前培訓(xùn)設(shè)計(jì)的功能，使用反向傳播小幅調(diào)整功能，在預(yù)測(cè)單音隱馬爾可夫模型的狀態(tài)的概率分布時(shí)進(jìn)行微調(diào)，以使他們更好地進(jìn)行判別。Ev,h=-i=1Vj=1Hwijvihj-i=1Vbivi-j=1Hajhj (1)Pv=he-E(v,h)uhe-E(u,h) (2)Phj=1v,=(aj+i=1Vwijvi) (3)Pvi=1h,=(bi+j=1

15、Hwijhj) (4)wijdata-reconstruction (5)Ev,h=i=1V(vi-bi)22-i=1Vj=1Hwijvihj-j=1Hajhj (6)Pvih,=N( bi+j=1Hwijhi,1) (7)Dahl G.E.等人8在2022年提出了一種新的上下文相關(guān)CD模型，它采用深信念網(wǎng)絡(luò)進(jìn)行 確認(rèn),對(duì)大詞匯量語(yǔ)音識(shí)別LVSR。該堅(jiān)決信念網(wǎng)絡(luò)訓(xùn)練前的算法是一個(gè)強(qiáng)大的和經(jīng)常有用的方法來(lái)初始化深神經(jīng)網(wǎng)絡(luò)，可以幫助優(yōu)化并降低泛化誤差。在一個(gè)具有挑戰(zhàn)性的商業(yè)搜索數(shù)據(jù)實(shí)驗(yàn)顯示，CD-DNN-HMM模型可以顯著優(yōu)于傳統(tǒng)的語(yǔ)境依賴性高斯混合模型GMM-HMMs，精度提高5.8和9.2。圖

16、2 混合架構(gòu)圖2.4圖像識(shí)別2022年，Lisheng Xu等人9為了在脈診用小樣本自動(dòng)區(qū)分脈沖模式，根據(jù)專家的中國(guó)傳統(tǒng)脈診知識(shí)脈沖圖像進(jìn)行分類的模糊神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)。所設(shè)計(jì)的分類器可以使硬判定和軟判定識(shí)別精度在90.25，這比由反向傳播神經(jīng)網(wǎng)絡(luò)所取得的結(jié)果有更好的識(shí)別精度。2022年，R. Thilepa等人10將ART1神經(jīng)網(wǎng)絡(luò)算法用于識(shí)別彩色圖像，從而加快了圖像處理與識(shí)別進(jìn)程的進(jìn)程。一般的自適應(yīng)共振理論-1ART-1網(wǎng)絡(luò)僅用于處理二進(jìn)制數(shù)位，但是他們也將其用于圖像識(shí)別。給定的事實(shí)限制信息的喪失，兩種不同顏色的其中一個(gè)原始圖像內(nèi)可表示為識(shí)別過(guò)程二進(jìn)制顏色的相同的值。方法具有吸引力是因?yàn)樗牡?/p>

17、計(jì)算開(kāi)銷和改良的性能，克服了具有較少數(shù)目的神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的一些問(wèn)題。Holota, Radek11在2022年，研究了利用神經(jīng)網(wǎng)絡(luò)對(duì)彩色圖像識(shí)別的可能性。提出了一種新的修改后單一層，適合在色相飽和度值 HSV 顏色空間，識(shí)別的最小/最大節(jié)點(diǎn)。2.5模式識(shí)別蛋白質(zhì)是具有不同功能的關(guān)鍵生物分子。以生產(chǎn)更多的數(shù)據(jù)基因組學(xué)，蛋白質(zhì)組學(xué)更新的技術(shù)不是可以手動(dòng)注釋，預(yù)測(cè)其結(jié)構(gòu)的硅片的方法和有它們的功能后，已被命名結(jié)構(gòu)生物信息學(xué)的圣杯。成功的二級(jí)結(jié)構(gòu)預(yù)測(cè)提供了直接的三級(jí)結(jié)構(gòu)建模的起點(diǎn)；此外，它提高了序列分析和序列結(jié)構(gòu)的結(jié)構(gòu)和功能測(cè)定結(jié)合。使用機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘過(guò)程中，P.V. Nageswara Rao等

18、人12在2022年開(kāi)發(fā)了基于統(tǒng)計(jì)了從組件氨基酸序列預(yù)測(cè)蛋白質(zhì)二級(jí)結(jié)構(gòu)模式識(shí)別技術(shù)。通過(guò)應(yīng)用這種技術(shù)，Q8的業(yè)績(jī)得分到達(dá)了72.3。這與其他建立的技術(shù)當(dāng)預(yù)測(cè)是在單個(gè)序列單獨(dú)作出比擬好，如NN-I和GOR IV其中實(shí)現(xiàn)的Q3分值分別64.05和63.19。Carrieri A H13在2022年將人工神經(jīng)網(wǎng)絡(luò)的系統(tǒng)建立用于在穆勒矩陣的形式可以通過(guò)偏振光散射簽名模式識(shí)別檢測(cè)氨基酸，糖，和其它固體有機(jī)物。向后誤差傳播和自適應(yīng)梯度下降的方法進(jìn)行網(wǎng)絡(luò)訓(xùn)練。培訓(xùn)的產(chǎn)物是一個(gè)權(quán)重矩陣，當(dāng)作為一個(gè)過(guò)濾器施加洞察分析物的其線索易感穆勒矩陣差元素的根底上的存在。此濾波器功能可以被實(shí)現(xiàn)為軟件或硬件模塊，以將來(lái)差分吸收

19、穆勒矩陣光譜儀。訓(xùn)練對(duì)R中區(qū)分兩個(gè)不相交集的徑向基函數(shù)RBF神經(jīng)網(wǎng)絡(luò)問(wèn)題N，網(wǎng)絡(luò)參數(shù)可通過(guò)最小化測(cè)量成功的在識(shí)別的訓(xùn)練模式的給定數(shù)量的程度的誤差函數(shù)來(lái)確定。Lampariello F,和Sciandrone M14在2022年考慮到分類問(wèn)題，其中目標(biāo)是獲得該網(wǎng)絡(luò)的輸出采取高于或低于固定閾值的具體特征，提出了一種方法替代一個(gè)利用最小二乘的誤差函數(shù)。特別是，該問(wèn)題在非線性不等式的系統(tǒng)，以及一個(gè)適當(dāng)?shù)恼`差函數(shù)，它僅取決于違反不等式的形式配制，結(jié)果說(shuō)明，在模式識(shí)別RBF網(wǎng)絡(luò)訓(xùn)練了該方法的有效性，主要是在節(jié)省計(jì)算時(shí)間方面。2.6人機(jī)交互2022年，Peter Wentworth15提出手勢(shì)點(diǎn)矢量化過(guò)程。

20、nX，Y輸入序列坐標(biāo)進(jìn)行預(yù)處理到載體序列，然后將其傳遞到用于分類訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。相比原始X，Y，使用的這個(gè)手勢(shì)識(shí)別坐標(biāo)性能提高。也可以引入縮放以提高性能。下表列出了代表一個(gè)手勢(shì)點(diǎn)的矢量。圖3 手勢(shì)矢量化過(guò)程手勢(shì)識(shí)別是開(kāi)發(fā)替代人機(jī)交互的重要方式。它使人類以更自然的方式與機(jī)器的接口。用于識(shí)別人的手勢(shì)，有幾種算法是可用的。有使用MATLAB進(jìn)行手勢(shì)識(shí)別幾種方法。人工神經(jīng)網(wǎng)絡(luò)有在不斷變化的環(huán)境的靈活性。2022年，Shweta K. Yewale 等人16提出了人工神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別的概述。它也描述了使用神經(jīng)網(wǎng)絡(luò)手勢(shì)識(shí)別的方法。人工神經(jīng)網(wǎng)絡(luò)適用于多變量非線性問(wèn)題。它有一個(gè)快速的計(jì)算能力。神經(jīng)網(wǎng)絡(luò)的泛化

21、的能力使他們的手勢(shì)識(shí)別的自然。圖4 手勢(shì)識(shí)別系統(tǒng)由于要到達(dá)簡(jiǎn)化計(jì)算機(jī)的使用和全面提升用戶體驗(yàn)的目的，人機(jī)界面變得越來(lái)越復(fù)雜。研究說(shuō)明，大多數(shù)人機(jī)交互來(lái)自非語(yǔ)言通信，用戶情緒檢測(cè)是可以采取提升整體用戶體驗(yàn)的一個(gè)方向。M. Karthigayan等人17在2022年提出，通過(guò)施加邊緣檢測(cè)和用于確定最正確正確和不正確省略號(hào)遺傳算法能精確描述的眼睛和嘴部的形狀獲得的面部區(qū)域信息的某些方法。Damir Filko,和Goran Martinovic18在2022年運(yùn)用主成分分析和神經(jīng)網(wǎng)絡(luò)分析關(guān)鍵的面部區(qū)域提出了人類情感識(shí)別的系統(tǒng)。所提出的系統(tǒng)已經(jīng)被訓(xùn)練并在FEEDTUM數(shù)據(jù)庫(kù)上進(jìn)行測(cè)試，并取得了正確識(shí)別

22、比擬高的平均分，因此表現(xiàn)出對(duì)未來(lái)開(kāi)展的諾言。圖5 使用圖片自動(dòng)識(shí)別人的情感的系統(tǒng)2.7優(yōu)化算法單數(shù)的非線性優(yōu)化雖然在很多實(shí)際應(yīng)用中經(jīng)常遇到，但一直都是一個(gè)難題。在過(guò)去的幾十年中，經(jīng)典的數(shù)字技術(shù)已被提出以處理單數(shù)的問(wèn)題。然而，由于數(shù)值不穩(wěn)定和計(jì)算復(fù)雜度高的問(wèn)題，一直沒(méi)有找到滿意的解決方案為止。2022年，Rendong Ge19考慮有界變量的約束，而不是常見(jiàn)的無(wú)約束模型單優(yōu)化問(wèn)題，提出一種新的神經(jīng)網(wǎng)絡(luò)模型解決有界變量的凸優(yōu)化問(wèn)題。在一個(gè)秩缺陷的假設(shè)，原本困難的問(wèn)題是通過(guò)強(qiáng)制執(zhí)行期限轉(zhuǎn)化為非單數(shù)約束優(yōu)化問(wèn)題。通過(guò)使用增廣拉格朗日方法和投影技術(shù)，證明了所提出的連續(xù)模型可以解決單數(shù)的優(yōu)化問(wèn)題。數(shù)值模擬

23、進(jìn)一步證實(shí)所提出的神經(jīng)網(wǎng)絡(luò)的方法的有效性。圖6 所提出的神經(jīng)網(wǎng)絡(luò)模型的邏輯圖Alireza Hosseini20在2022年提出了一種基于包容差異的神經(jīng)網(wǎng)絡(luò)融合的方法解決非光滑優(yōu)化問(wèn)題。對(duì)于一般的微分，證明了如果它的右手邊集值映射滿足一定的條件，那么，微分包含解軌跡收斂到最優(yōu)解集的優(yōu)化問(wèn)題相應(yīng)的應(yīng)對(duì)措施?；谒@得的方法論，介紹了求解非光滑優(yōu)化問(wèn)題的新遞歸神經(jīng)網(wǎng)絡(luò)。目標(biāo)函數(shù)并不需要對(duì)R N為凸起也沒(méi)有新的神經(jīng)網(wǎng)絡(luò)模型，不需要任何懲罰參數(shù)。此外對(duì)于微的情況下，實(shí)施了新的神經(jīng)網(wǎng)絡(luò)的電路圖。2022年，ukasz Drg21提出利用人工神經(jīng)網(wǎng)絡(luò)，提出來(lái)控制有效載荷的位置的優(yōu)化。2.8深度學(xué)習(xí)深度學(xué)習(xí)

24、算法應(yīng)用到遙感圖像分類22、多媒體檢索23、交通流預(yù)測(cè)24和盲圖像質(zhì)量評(píng)價(jià)25等領(lǐng)域，取得了較傳統(tǒng)方法更優(yōu)的效果。紐約大學(xué)的 Yann LeCun、蒙特利爾大學(xué)的Yoshua Bengio 和斯坦福大學(xué)的Andrew Ng等人分別在深度學(xué)習(xí)領(lǐng)域展開(kāi)了研究，并提出了自編碼器26,27,28,29,30、深度置信網(wǎng)31,32,33,34,35、卷積神經(jīng)網(wǎng)絡(luò)等深度模型36,37,38,39,40，在多個(gè)領(lǐng)域得到了應(yīng)用。 圖7 自編碼示意圖自編碼器Autoencoder是一種無(wú)監(jiān)督的特征學(xué)習(xí)網(wǎng)絡(luò)，它利用反向傳播算法，讓目標(biāo)輸出值等于輸入值，其結(jié)構(gòu)如圖7所示。自編碼器試圖學(xué)習(xí)一個(gè)恒等函數(shù)，當(dāng)隱藏層的數(shù)目

25、小于輸入層的數(shù)目時(shí)可以實(shí)現(xiàn)對(duì)信號(hào)的壓縮表示，獲得對(duì)輸入數(shù)據(jù)有意義的特征表示。通常隱層權(quán)值矩陣和輸出層權(quán)值矩陣互為轉(zhuǎn)置，這樣大大減少了網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)。當(dāng)輸入數(shù)據(jù)中包含噪聲時(shí)，自編碼器的性能將會(huì)受到影響。為了使自編碼器更加魯棒，2022 年Yoshua Bengio 等人提出了去噪自編碼器Denoising Autoencoder的概念，在輸入數(shù)據(jù)進(jìn)行映射之前先對(duì)其添加隨機(jī)噪聲，然后將加噪后的數(shù)據(jù)進(jìn)行編碼和解碼操作，并希望解碼出來(lái)的輸出信號(hào)能夠逼近原來(lái)的干凈輸入信號(hào)。去噪自編碼器的原理圖如圖8所示。圖8 去噪聲自編碼器示意圖其中，x是原始信號(hào)，*x 是加噪后的信號(hào)，h 是編碼后的信號(hào)， y 是解碼

26、后的信號(hào)，d(x,y)是原始信號(hào)和解碼后信號(hào)的差異，通常希望其越小越好。通過(guò)在原始信號(hào)中參加一定量的隨機(jī)噪聲來(lái)模擬真實(shí)數(shù)據(jù)中存在的干擾，可以更加魯棒地從數(shù)據(jù)中學(xué)習(xí)到有意義的特征。如果將稀疏性引入到自編碼器中還可以得到另一種被稱為稀疏自編碼器Sparse Autoencoder的網(wǎng)絡(luò)，這種網(wǎng)絡(luò)限制每次獲得的編碼盡量稀疏，從而來(lái)模擬人腦中神經(jīng)元刺激和抑制的規(guī)律。同時(shí)，將假設(shè)干個(gè)自編碼器堆疊在一起可以形成棧式自編碼器，這種深層網(wǎng)絡(luò)能學(xué)習(xí)到輸入信號(hào)的層次化表示，更有利于提取數(shù)據(jù)中所蘊(yùn)含的抽象特征。一個(gè)簡(jiǎn)單的棧式自編碼器的結(jié)構(gòu)如圖9所示。首先，將原始數(shù)據(jù)x輸入到棧式自編碼器中，通過(guò)第一層的編碼得到原始數(shù)

27、據(jù)的一階特征表示1h ，然后將此一階特征作為下一個(gè)自編碼器的輸入，對(duì)其進(jìn)行進(jìn)一步的編碼得到二階特征2h ，如此重復(fù)進(jìn)行直到編碼完畢。編碼后的各階特征便構(gòu)成了對(duì)原始數(shù)據(jù)的層次化描述，可以用于后續(xù)的分類和識(shí)別任務(wù)中。在訓(xùn)練階段，首先從第一層開(kāi)始，按照單個(gè)自編碼器的訓(xùn)練方式逐層訓(xùn)練網(wǎng)絡(luò)參數(shù)，接著將最后一層的輸出和期望輸出的誤差進(jìn)行逐層反向傳播，微調(diào)網(wǎng)絡(luò)各層的參數(shù)。圖9 棧式自編碼器示意圖Deliang Wang等人41使用深度神經(jīng)網(wǎng)絡(luò)估計(jì)語(yǔ)音的非負(fù)激活矩陣，用以從噪聲中提取干凈語(yǔ)音信息，并獲得了比Masking 和 NMF 方法更好的提取效果。Wanli Ouyang 等人42將行人檢測(cè)問(wèn)題中的特征

28、提取、變形和遮擋處理以及分類四個(gè)模塊統(tǒng)一于深度學(xué)習(xí)框架之下，通過(guò)各局部之間的協(xié)同來(lái)到達(dá)整體性能的提升，并在最大的行人檢測(cè)數(shù)據(jù)庫(kù)Caltech上，以9%的優(yōu)勢(shì)超越之前最好的方法。類似地，在姿態(tài)估計(jì)問(wèn)題上也將視覺(jué)表象得分、表象混合類型和變形三類信息結(jié)合起來(lái)，統(tǒng)一于多源深度模型之中，在三組基準(zhǔn)數(shù)據(jù)集上較現(xiàn)有方法性能提高8.6%43。Naiyan Wang 等人44通過(guò)離線的方式從自然圖像中訓(xùn)練了用于描述待跟蹤物體特征的堆棧去噪自編碼器，在復(fù)雜場(chǎng)景中可以提取出更加通用的特征用于分類，并在一些具有挑戰(zhàn)性的視頻序列上獲得了比經(jīng)典方法更準(zhǔn)確的跟蹤精度和更低的時(shí)間開(kāi)銷。Yi Sun等人45將卷積神經(jīng)網(wǎng)絡(luò)和受限

29、玻爾茲曼機(jī)結(jié)合起來(lái)，組成了混合的深度神經(jīng)網(wǎng)絡(luò)用于人臉驗(yàn)證，在 LFW數(shù)據(jù)集上獲得了更優(yōu)的驗(yàn)證性能。在通用結(jié)構(gòu)的設(shè)計(jì)上，Yangqing Jia等人46開(kāi)發(fā)了深度卷積網(wǎng)絡(luò)模型 Caffe，可用于大規(guī)模工業(yè)應(yīng)用領(lǐng)域，并且已被用作多個(gè)問(wèn)題的求解方案。Jie Zhang 等人47提出了 Coarse-to-fine 的自編碼網(wǎng)絡(luò)CFAN 用于人臉對(duì)準(zhǔn)，首先用第一組堆棧自編碼網(wǎng)絡(luò)Stacked Auto-encoder Networks, SANs來(lái)快速預(yù)測(cè)臉部的特征點(diǎn)，之后用第二組堆棧自編碼網(wǎng)絡(luò)來(lái)對(duì)其修正，在三組數(shù)據(jù)集上CFAN都取得了實(shí)時(shí)且最優(yōu)的性能。在遙感領(lǐng)域，Jun Yue等人將卷積神經(jīng)網(wǎng)絡(luò)用于

30、高光譜圖像分類48、Weixun Zhou等人將自編碼器用于高分辨遙感影像的檢索任務(wù)49，并獲得了較為滿意的分類和檢索結(jié)果。目前，深度網(wǎng)絡(luò)的自動(dòng)特征提取能力正受到自然、生物醫(yī)學(xué)和遙感等多個(gè)領(lǐng)域的廣泛關(guān)注，并且基于深度網(wǎng)絡(luò)的方法在多個(gè)任務(wù)上都顯示出了優(yōu)越的性能，在未來(lái)將會(huì)有更加廣闊的應(yīng)用前景51,52。3總結(jié)和展望作為聯(lián)接主義智能實(shí)現(xiàn)的典范，人工神經(jīng)網(wǎng)絡(luò)采用廣泛互聯(lián)的結(jié)構(gòu)與有效的學(xué)習(xí)機(jī)制來(lái)模擬人腦智能信息處理的過(guò)程，是人工智能開(kāi)展歷程中的重要方法，也是類腦智能研究中的有效工具。本文介紹了神經(jīng)網(wǎng)絡(luò)在近年開(kāi)展?fàn)顩r。未來(lái)基于神經(jīng)網(wǎng)絡(luò)的類腦智能的研究還有許多亟待解決的問(wèn)題與挑戰(zhàn)：1認(rèn)知神經(jīng)網(wǎng)絡(luò)盡管深度神

31、經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別和圖像/視頻識(shí)別等任務(wù)中顯示出很大的成功，現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)還遠(yuǎn)遠(yuǎn)不及生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，仍然是對(duì)生物神經(jīng)系統(tǒng)信息處理的初級(jí)模擬，這是制約神經(jīng)網(wǎng)絡(luò)智能化水平的一個(gè)重要瓶頸。目前深層神經(jīng)網(wǎng)絡(luò)僅能完成一些簡(jiǎn)單的語(yǔ)音與視覺(jué)理解任務(wù)，在理論上還存在很多局限，訓(xùn)練網(wǎng)絡(luò)的學(xué)習(xí)算法目前也十分有限。 另一方面，神經(jīng)認(rèn)知計(jì)算科學(xué)對(duì)視覺(jué)注意力、推理、抉擇、學(xué)習(xí)等認(rèn)知功能的研究方興未艾。如何從腦科學(xué)和神經(jīng)認(rèn)知科學(xué)尋找借鑒，從理論上開(kāi)展出功能更加強(qiáng)大的類腦計(jì)算模型如認(rèn)知神經(jīng)網(wǎng)絡(luò)，來(lái)解決人工智能面臨的局限，將有可望實(shí)現(xiàn)更高層次的類腦智能。 2主動(dòng)神經(jīng)網(wǎng)絡(luò) 生物個(gè)體在于環(huán)境接觸過(guò)程中，智能水平會(huì)得到

32、提高。人腦可以在沒(méi)有監(jiān)督信息時(shí)主動(dòng)地從周圍環(huán)境中學(xué)習(xí)，實(shí)現(xiàn)對(duì)客觀世界中物體的區(qū)分。因此，如果要實(shí)現(xiàn)更加高級(jí)的智能行為，現(xiàn)有神經(jīng)網(wǎng)絡(luò)的開(kāi)展需要突破利用神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)構(gòu)模擬思路，從結(jié)構(gòu)模擬向功能模擬乃至行為模擬轉(zhuǎn)換，借鑒人與環(huán)境之間的交互過(guò)程，主動(dòng)且自動(dòng)的完成增強(qiáng)學(xué)習(xí)，以擺脫對(duì)監(jiān)督信息的依賴，在更嚴(yán)苛的環(huán)境下完成學(xué)習(xí)任務(wù)，這也是實(shí)現(xiàn)高級(jí)類腦智能的可能途徑。 3感知-理解-決策神經(jīng)網(wǎng)絡(luò)類腦智能行為可以大概歸結(jié)為“感知、“理解與“決策三個(gè)方面。目前的神經(jīng)網(wǎng)絡(luò)模型的功能大都局限在對(duì)數(shù)據(jù)的理解層面，而事實(shí)上一個(gè)高級(jí)的智能機(jī)器應(yīng)該具有環(huán)境感知與推理決策的功能。如何開(kāi)展具有環(huán)境感知、數(shù)據(jù)理解以及推理決策

33、能力的網(wǎng)絡(luò)模型，也是實(shí)現(xiàn)高級(jí)類腦智能的必然要求。 4復(fù)雜神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn) 機(jī)器計(jì)算能力的提高曾經(jīng)將神經(jīng)網(wǎng)絡(luò)重新拉回群眾關(guān)注的視野。對(duì)于許多互聯(lián)網(wǎng)公司來(lái)說(shuō)，如何實(shí)現(xiàn)對(duì)海量大數(shù)據(jù)的快速高效訓(xùn)練是深層神經(jīng)網(wǎng)絡(luò)走向?qū)嵱没闹匾獦?biāo)志?，F(xiàn)有的 Hadoop 平臺(tái)不適合迭代運(yùn)算、SGD 又不能依并行方式工作、而GPU 在訓(xùn)練 DNN 時(shí)仍然顯得比擬吃力。同時(shí)，平臺(tái)的能耗問(wèn)題也成為制約其進(jìn)一步開(kāi)展的主要因素。為迎接未來(lái)深度學(xué)習(xí)在產(chǎn)業(yè)化過(guò)程中的挑戰(zhàn)，高性能并行加速計(jì)算平臺(tái)的開(kāi)發(fā)成為當(dāng)務(wù)之急。 另一方面，生物神經(jīng)元之間的連接帶有隨機(jī)和動(dòng)態(tài)性，而不是如人工神經(jīng)網(wǎng)絡(luò)那樣確定和一成不變，如何用計(jì)算機(jī)硬件或者算法來(lái)模擬這一過(guò)

34、程雖極具挑戰(zhàn)但意義重大。 5深度神經(jīng)網(wǎng)絡(luò)深層神經(jīng)網(wǎng)絡(luò)一個(gè)最主要的特點(diǎn)在于其具有大量可調(diào)的自由參數(shù)，這使得其構(gòu)建起的模型具有較高的靈活性。但另一方面卻缺乏有力的理論指導(dǎo)和支撐，大多數(shù)情況下仍過(guò)分依賴于經(jīng)驗(yàn)，帶有一定程度的隨機(jī)性。如此復(fù)雜的模型很容易在特定數(shù)據(jù)集上得到近乎理想的擬合效果，然而在推廣泛化性能上卻往往很難得到保障。為防止過(guò)擬合帶來(lái)的問(wèn)題，今后應(yīng)當(dāng)在數(shù)據(jù)的規(guī)模、網(wǎng)絡(luò)的結(jié)構(gòu)以及模型的正那么化等方面開(kāi)展工作，使得深度神經(jīng)網(wǎng)絡(luò)更好地發(fā)揮其功能。 6大數(shù)據(jù)深度學(xué)習(xí)深度學(xué)習(xí)的興起很大程度上歸功于海量可用的數(shù)據(jù)。當(dāng)前，實(shí)驗(yàn)神經(jīng)科學(xué)與各個(gè)工程應(yīng)用領(lǐng)域給我們帶來(lái)了呈指數(shù)增長(zhǎng)的海量復(fù)雜數(shù)據(jù)，通過(guò)各種不同的

35、形態(tài)被呈現(xiàn)出來(lái)如文本、圖像、音頻、視頻、基因數(shù)據(jù)、復(fù)雜網(wǎng)絡(luò)等，且具有不同的分布，使得神經(jīng)網(wǎng)絡(luò)所面臨的數(shù)據(jù)特性發(fā)生了本質(zhì)變化。這給統(tǒng)計(jì)學(xué)習(xí)意義下的神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)設(shè)計(jì)、參數(shù)選取、訓(xùn)練算法，以及時(shí)效性等方面都提出了新的挑戰(zhàn)。因此，如何針對(duì)大數(shù)據(jù)設(shè)計(jì)有效的深度神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)理論，從指數(shù)增長(zhǎng)的數(shù)據(jù)中獲得指數(shù)增長(zhǎng)的知識(shí)，是深度學(xué)習(xí)深化研究中必須面臨的挑戰(zhàn)。參 考 文 獻(xiàn)1 Graves A., Liwicki M., Fernandez S. et al., A novel connectionist system for unconstrained handwriting recognition

36、. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 31(5): 855-8682 Ciresan D.C., Meier U., Gambardella L.M. and Schmidhuber J. Deep, big, simple neural nets for handwritten digit recognition. Neural Computation, 2022, 22(12): 3207-3220 3 Alexander Goltsev,Vladimir Gritsenko. Inv

37、estigation of efficient features for image recognition by neural networks. Neural Networks, 2022:284 Wang L.J., Lu H.C., Ruan X. and Yang M.H. Deep networks for saliency detection via local estimation and global search. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. B

38、oston, USA, 2022: 3183-31925 Li G.B. and Yu Y.Z. Visual saliency based on multiscale deep features. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2022: 5455-5463 6 Zhao R., Ouyang W.L., Li H.S. and Wang X.G. Saliency detection by multi-context deep learn

39、ing. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2022: 1265-12747 Mohamed A.R., Dahl G. and Hinton G.E. Deep belief networks for phone recognition. Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Prague, Cze

40、ch Republic, 2022:5060-50638 Mohamed A.R., Dahl G. and Hinton G.E. Acoustic modeling using deep belief networks. IEEE Transactions on Audio, Speech, and Language Processing, 2022, 20(1):14-229 LiahengXu, Max Q.-H. Meng, Kuanquan Wang, Lu Wang,Naiminili . Pulse images recognition using fuzzy neural n

41、etwork. Expert Syst. Appl.,2022:3610 R. Thilepa, M. Thanikachalam. A New Process of Color Images Recognition by Using ART-1 Neural Network. Computer and Information Science, 2022, 4: 111 Holota, Radek.COLOUR IMAGE RECOGNITION BASED ON SINGLE-LAYER NEURAL NETWORKS OF MIN/MAX NODES. Neural Network Wor

42、ld, 2022, 22 (4):395-40512 P.V. Nageswara Rao et. al. Protein Secondary Structure Prediction using Pattern Recognition Neural Network. International Journal of Engineering Science and Technology, 2022, 2(6): 1752-1757 13 Carrieri A H.Neural network pattern recognition by means of differential absorp

43、tion Mueller matrix spectroscopy. Applied optics, 2022, 38 (17):3759-6614 Lampariello F, Sciandrone M.Efficient training of RBF neural networks for pattern recognition.IEEE Transactions on Neural Networks, 2022, 12 (5):1235-4215Peter Wentworth, An Investigation into Gesture Recognition in BingBee us

44、ing Neural Nets in MATLAB. RHODES University, 2022,1116Shweta K. Yewale et al. ARTIFICIAL NEURAL NETWORK APPROACH FOR HAND GESTURE RECOGNITION. International Journal of Engineering Science and Technology (IJEST),2022,3(4)17 M. Karthigayan, M. Rizon, R. Nagarajan, and S. Yaacob, Genetic algorithm and

45、 neural network for face emotion recognition. Affective Computing, 2022: 576818 Damir Filko, Goran Martinovic.Emotion Recognition System by a Neural Network Based FacialExpression Analysis. AUTOMATIKA ,2022, 2(54), 26327219 Rendong Ge#, Lijun Liu, Yi Xu. Neural Network Approach for Solving Singular

46、Convex Optimization with Bounded Variables.Open Journal of Applied Sciences, 2022, (3):285-29220 Alireza Hosseini. A non-penalty recurrent neural network for solving a class of constrained optimization problems.Neural Networks, 2022, 7321 Lukasz Drg. Model of an artificial neural network for optimiz

47、ation of payload positioning in sea waves. Ocean Engineering, 202222 Chen Y.S., Lin Z.H., Zhao X., Wang G. and Gu Y.F. Deep learning-based classification of hyperspectral data. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 7(6): 2094-210723 Zhao X.Y., Li X.

48、and Zhang Z.F. Multimedia retrieval via deep learning to rank. IEEE Signal Processing Letters, 2022, 22(9): 1487-1491 24 Huang W.H., Song G.J., Hong H.K. and Xie K.Q. Deep architecture for traffic flow prediction: deep belief networks with multitask learning. IEEE Transactions on Intelligent Transpo

49、rtation Systems, 2022, 15(5): 2191-2201 25 Hou W.L., Gao X.B., Tao D.C. and Li X.L. Blind image quality assessment via deep learning. IEEE Transactions on Neural Networks and Learning Systems, 2022, 26(6): 1275-128626 Rifai S., Vincent P., Muller X., Glorot X. and Bengio Y. Contractive auto-encoders

50、: explicit invariance during feature extraction. Proceedings of the International Conference on Machine Learning. Bellevue , USA, 2022: 833-84027 Hinton G.E., Krizhevsky A. and Wang S. Transforming auto-encoders. Proceedings of the International Conference on Artificial Neural Networks. Espoo, Finla

51、nd, 2022: 44-51 28 Socher R., Huang E.H., Pennington J., Ng A.Y. and Manning C.D. Dynamic pooling and unfolding recursive autoencoders for paraphrase detection. Proceedings of the Neural Information and Processing Systems. Granada, Spain, 2022: 801-809 29 Hinton G.E. and Zemel R.S. Autoencoders, min

52、imum description length, and helmholtz free energy. Proceedings of the Neural Information and Processing Systems. Denver, USA, 1993: 1-9 30 Chen M., Xu Z., Winberger K.Q. and Sha F. Marginalized denoising autoencoders for domain adaptation. Proceedings of the International Conference on Machine Lear

53、ning. Edinburgh , UK, 2022.31 Lee H., Grosse R., Ranganath R. and Ng A.Y. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations. Proceedings of the International Conference on Machine Learning. Montreal, Canada, 2022: 609-616 32 Krizhevsky A. Convoluti

54、onal deep belief networks on CIFAR-10. Toronto, CA: University of Toronto, Unpublished manuscript, 2022 33 Lee H., Ekanadham C. and Ng A.Y. Sparse deep belief net model for visual area V2. Proceedings of the Neural Information and Processing Systems. Vancouver , Canada, 2022: 873-880 34 Lee H., Pham

55、 P., Largman Y. and Ng A.Y. Unsupervised feature learning for audio classification using convolutional deep belief networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2022: 1096-110435 Ranzato M., Boureau Y. and Yann. L.C. Sparse feature learning for deep belie

56、f networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2022: 1185-119236 Jain V. and Seung S.H. Natural image denoising with convolutional networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2022: 769-776 37 Le Q., Ngiam J.

57、, Chen Z.H., Chia D.J., Koh P.W. and Ng A.Y. Tiled convolutional neural networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2022: 1279-1287 38 Taylor G., Fergus R., Yann. L.C. and Bregler C. Convolutional learning of spatio-temporal features. Proceedings of the

58、 European Conference on Computer Vision, Heraklion, Greece, 2022: 140-153 39 Desjardins G. and Bengio Y. Empirical evaluation of convolutional RBMs for vision. Montrea, Canada: University of Montrea, Technical Report: 1327, 2022 40 Kavukcuoglu K., Sermanet P. and Boureau Y.L. Learning convolutional

59、feature hierarchies for visual recognition. Proceedings of the Neural Information and Processing Systems. Granada, Spain, 2022: 1090-109841 Williamson D.S., Wang Y.X. and Wang D.L. Estimating nonnegative matrix model activations with deep neural networks to increase perceptual speech quality. Journal of the Acoustical Society of America, 2022, 13