第一章緒論人工智能導(dǎo)論什么是自然語言處理自然語言處理發(fā)展歷程自然語言處理的難點(diǎn)與挑戰(zhàn)什么是自然語言基本概念與術(shù)語目錄預(yù)備知識基礎(chǔ)與習(xí)題什么是自然語言?

Q.什么是自然語言？自然語言（Naturallanguage）是人類日常交流和思維傳承的主要工具與媒介。自然語言是隨文化演化而來、自然而然產(chǎn)生的一種語言。比如：漢語、英語等。與之相對應(yīng)地，由人們專門為某種特定目的而創(chuàng)造的語言稱為人工語言。比如：程序設(shè)計(jì)語言（某種意義上，各種其他類型的形式化語言也是一種人工語言）。什么是自然語言?

Q.什么是語系？語言作為一種文化現(xiàn)象，是隨著時(shí)間推移不斷變化發(fā)展的，同時(shí)也具有顯著的地域空間特征，對人類社會的政治、經(jīng)濟(jì)、科技，乃至國防的發(fā)展都產(chǎn)生了深遠(yuǎn)的影響。依據(jù)各種語言語音、詞匯、語法等等要素之間的對應(yīng)特征和演變規(guī)律與起源，學(xué)者又把世界上的語言分成了語系（Languagefamily）。從語言的系屬來看，我國56個(gè)民族使用的語言分別屬于五大語系：漢藏語系、阿爾泰語系、南島語系、南亞語系和印歐語系。什么是自然語言?

Q.什么是語言學(xué)？語言學(xué)（linguistics）就是專門研究人類語言的一門科學(xué)，其研究涉及了對語言形式、語言含義和語境的分析等等，語言分析涵蓋的領(lǐng)域眾多，包括語音、形態(tài)、詞法、語義、語用等。傳統(tǒng)的語言學(xué)多以研究古代文獻(xiàn)和書面語為主?，F(xiàn)代語言學(xué)研究則以當(dāng)代語言和口語為主。由于電子計(jì)算機(jī)的誕生，人們自然而言地產(chǎn)生了利用計(jì)算機(jī)幫助人類進(jìn)行語言學(xué)研究的想法，并積極付諸于行動(dòng)。什么是自然語言處理自然語言處理發(fā)展歷程自然語言處理的難點(diǎn)與挑戰(zhàn)什么是自然語言基本概念與術(shù)語目錄預(yù)備知識基礎(chǔ)與習(xí)題自然語言處理自然語言處理（NaturalLanguageProcessing,NLP）是指利用計(jì)算機(jī)等工具分析和生成自然語言（包括文本、語音等），從而讓計(jì)算機(jī)理解自然語言，并讓人類可以用自然語言形式跟計(jì)算機(jī)系統(tǒng)進(jìn)行人機(jī)交互的技術(shù)。自然語言處理通?？梢苑譃閮蓚€(gè)部分：自然語言理解（NaturalLanguageUnderstanding，NLU）和自然語言生成（NaturalLanguageGeneration，NLG）。自然語言理解的目的是通過計(jì)算機(jī)系統(tǒng)通過各種分析和處理，理解人類的自然語言；自然語言生成的目的是讓計(jì)算機(jī)系統(tǒng)自動(dòng)生成人類可以理解的自然語言。什么是自然語言處理自然語言處理發(fā)展歷程自然語言處理的難點(diǎn)與挑戰(zhàn)什么是自然語言基本概念與術(shù)語目錄預(yù)備知識基礎(chǔ)與習(xí)題人工智能發(fā)展歷程從上世紀(jì)四五十年代人工智能誕生之初，NLP領(lǐng)域的研究就伴隨著AI跌宕起伏的發(fā)展。2010年以后，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，同時(shí)借助海量大數(shù)據(jù)和高算力的“加持”，人工智能的發(fā)展勢不可擋。圖

1-1

人工智能發(fā)展歷程及重要進(jìn)展自然語言處理發(fā)展歷程自然語言處理作為人工智能領(lǐng)域重要的組成部分，在AI發(fā)展歷程中，始終扮演著“先鋒官”的角色。以自然語言處理領(lǐng)域中的機(jī)器翻譯研究為例，如圖所示，自上個(gè)世紀(jì)50年代至今，機(jī)器翻譯技術(shù)發(fā)展脈絡(luò)也清晰地反映了同時(shí)期AI研究的特色。圖

1-2自然語言處理領(lǐng)域中機(jī)器翻譯研究發(fā)展歷程自然語言處理發(fā)展歷程20世紀(jì)50-70年代，符號主義（symbolicism）占據(jù)人工智能主導(dǎo)地位，自然語言處理的研究主要采用基于規(guī)則推理的理性主義方法。這一時(shí)期NoamChomsky的轉(zhuǎn)換-生成語法理論是學(xué)界進(jìn)行研究時(shí)使用的主要框架。一個(gè)NLP系統(tǒng)本質(zhì)上就是一個(gè)符號處理系統(tǒng)，通過人工編寫的規(guī)則，自然語言被“理解”為某種符號結(jié)構(gòu)。20世紀(jì)80-90年代，聯(lián)結(jié)主義（connectionism）成為人工智能的研究主流，自然語言研究隨著語料庫規(guī)模的不斷增大，主要采用基于統(tǒng)計(jì)的經(jīng)驗(yàn)主義方法。此類方法是從訓(xùn)練語料（語料庫）中通過“學(xué)習(xí)”自動(dòng)獲得之前符號處理系統(tǒng)中的規(guī)則集。自然語言處理發(fā)展歷程隨著深度學(xué)習(xí)熱潮的興起，自然語言處理研究逐步進(jìn)入了基于深度學(xué)習(xí)的時(shí)代。深度學(xué)習(xí)通過神經(jīng)網(wǎng)絡(luò)（neuralnetwork）架構(gòu)提供了強(qiáng)大的學(xué)習(xí)機(jī)制，通過發(fā)現(xiàn)數(shù)據(jù)中錯(cuò)綜復(fù)雜的結(jié)構(gòu)進(jìn)行學(xué)習(xí)。目前基于神經(jīng)網(wǎng)絡(luò)的語言模型已經(jīng)在NLP領(lǐng)域中占據(jù)了統(tǒng)治地位。圖

1-3自然語言處理的重要發(fā)展成果（2001-2018）自然語言處理研究方向圖1-4NLP研究主題演化態(tài)勢（2014-2020）自然語言處理應(yīng)用場景圖1-5自然語言處理的主要應(yīng)用領(lǐng)域與任務(wù)場景什么是自然語言處理自然語言處理發(fā)展歷程自然語言處理的難點(diǎn)與挑戰(zhàn)什么是自然語言基本概念與術(shù)語目錄預(yù)備知識基礎(chǔ)與習(xí)題（1）世界知識與常識知識的表示與存儲人類理解一個(gè)句子的含義不是僅憑借該句子的語法（規(guī)則判定），往往還運(yùn)用了大量的非語法知識，包括常識知識和世界知識；而運(yùn)用的過程有時(shí)人們自己甚至都沒有覺察，而是下意識地就完成了。結(jié)構(gòu)化知識對于計(jì)算機(jī)自動(dòng)處理更具價(jià)值，但很顯然世界知識與常識無法全部表示和存儲在計(jì)算機(jī)上。因此，如果有效且高效地實(shí)現(xiàn)此類知識的形式化表示、獲取以及結(jié)構(gòu)化存儲是一個(gè)巨大且長期存在的挑戰(zhàn)。（2）語言不同層次的歧義、多義問題自然語言的組合方式靈活多樣，不同的處理粒度（語素、單字、詞、短語，甚至段落）不同的組合可以表達(dá)出很多的含義。歧義消歧問題往往涉及到更為復(fù)雜的語義空間，而統(tǒng)一有效的語義空間建模問題是長期以來橫亙于NLP研究者心頭的一個(gè)痛點(diǎn)問題，至今沒有得以突破。如果缺失條件（常識）的約束，不通過上下文情境，語言中蘊(yùn)含的歧義會令機(jī)器束手無策。但是任何一種形式的上下文表示處理都是頗具難度的工作。（3）自然語言的多樣性、動(dòng)態(tài)性除了不同語種之間存在著巨大的差異性外，同一種語言在不同領(lǐng)域和應(yīng)用場合也會具有不同的語言風(fēng)格。針對不用應(yīng)用的NLP模型需要關(guān)注問題的差異性非常大，采用的處理手段亦大為不同。網(wǎng)絡(luò)時(shí)代的迅速發(fā)展，催生了數(shù)量龐大的新詞（或者舊詞新意）和網(wǎng)絡(luò)語言。針對動(dòng)態(tài)演化、形態(tài)多樣的自然語言文本的分詞、詞性標(biāo)注等基礎(chǔ)性技術(shù)也依然面臨不小的挑戰(zhàn)。（4）多模態(tài)情境下的自然語言分析與理解多模態(tài)(Multi-modality)在NLP領(lǐng)域一般是指將文本與其它的語音、視頻、圖像等模態(tài)相結(jié)合。自然語言中很多歧義問題，如果結(jié)合語音和圖像等其他模態(tài)信息的佐證，將有助于語義消歧與理解。局限于單一模態(tài)的研究往往不能充分利用跨模態(tài)信息，但多模態(tài)信息由于涉及多種形式的信息數(shù)據(jù)，勢必帶來信息表示、映射與統(tǒng)一、對齊與融合，以及數(shù)據(jù)冗余等方面的新問題。（5）勝任低資源自然語言處理任務(wù)的模型與算法自然語言處理離不開語料（數(shù)據(jù)資源）的支持，特別是如今數(shù)據(jù)驅(qū)動(dòng)范式下的各類NLP模型/系統(tǒng)都強(qiáng)依賴于海量數(shù)據(jù)。這就導(dǎo)致很多在豐富資源（rich-resource）條件下性能極佳的模型和算法，在數(shù)據(jù)匱乏的低資源情境情況下會遇到各種各樣的挑戰(zhàn)?，F(xiàn)實(shí)中存在大量低資源任務(wù)場景，比如：小語種機(jī)器翻譯。此外，不同的自然語言處理任務(wù)，對于數(shù)據(jù)量的需求也不盡相同。（6）NLP模型/系統(tǒng)的魯棒性與可解釋性深度學(xué)習(xí)在端到端模式下，通過標(biāo)注大量數(shù)據(jù)來進(jìn)行誤差后向傳播而優(yōu)化參數(shù)的技術(shù)架構(gòu)被喻為一個(gè)“黑箱”，其可解釋性很差。人們使用某種模型時(shí)顯然希望知道該模型究竟從數(shù)據(jù)中學(xué)到了哪些知識，才產(chǎn)生了最終的（決策）結(jié)果。因此，未來NLP應(yīng)用場景下深度學(xué)習(xí)模型的可解釋性與系統(tǒng)魯棒性研究將是非常有前景的研究方向，也充滿了挑戰(zhàn)。什么是自然語言處理自然語言處理發(fā)展歷程自然語言處理的難點(diǎn)與挑戰(zhàn)什么是自然語言基本概念與術(shù)語目錄預(yù)備知識基礎(chǔ)與習(xí)題基本概念與術(shù)語（1）語料庫語料庫是NLP研究的基礎(chǔ)資源，是載有語言信息的數(shù)字庫。（2）語言模型（languagemodel）語言模型是能夠反映某種語言現(xiàn)象的抽象數(shù)學(xué)模型，可以分為統(tǒng)計(jì)語言模型和神經(jīng)網(wǎng)絡(luò)語言模型（3）詞法分析（lexicalanalysis）詞法分析是自然語言處理中的關(guān)鍵基礎(chǔ)技術(shù)之一，主要是指利用計(jì)算機(jī)程序?qū)⑤斎氲木渥訌淖址蛄修D(zhuǎn)換為單詞（和詞性）序列的過程?；靖拍钆c術(shù)語（4）句法分析（syntacticparsing）句法分析基本任務(wù)是確定句子的句法結(jié)構(gòu)或句子中詞之間的依存關(guān)系。一般分為句法結(jié)構(gòu)分析和依存關(guān)系分析。（5）語義分析（semanticanalysis）語義分析指運(yùn)用各種技術(shù)手段理解或推理出一段文本所表示的語義“含義”，可分為詞匯級語義分析、句子級語義分析及篇章級語義分析?；靖拍钆c術(shù)語（6）詞性標(biāo)注（part-of-speechtagging）詞性標(biāo)注是針對給定句子判斷每個(gè)詞的語法范疇，確定其詞性并加以標(biāo)注的過程，主要的挑戰(zhàn)在于兼類詞（conversionofPOS）的自動(dòng)詞類消歧。（7）分詞（wordtokenization/wordsegmentation）分詞，即詞的切分，詞是NLP中最小的、具有語言意義的處理單位。漢語進(jìn)行文本處理首要問題就是詞的切分問題?；靖拍钆c術(shù)語（8）詞義消歧（wordsensedisambiguation）詞義消歧是指利用計(jì)算機(jī)根據(jù)上下文語境來自動(dòng)確定句子中給定詞語的含義。詞義消歧的過程就是對文本句子中每個(gè)“詞”，根據(jù)其所屬上下文進(jìn)行詞義確認(rèn)。（9）命名實(shí)體識別（namedentityrecognition）命名實(shí)體識別又稱作“專名識別”，是指識別文本中具有特定意義的實(shí)體，通常一個(gè)命名實(shí)體代表一個(gè)具體事物個(gè)體，主要包括人名、地名、機(jī)構(gòu)名、專有名詞等。基本概念與術(shù)語（10）指代消解（anaphoraresolution）指代消解是指將代表同一實(shí)體（entity）的不同指稱（mention）劃分到一個(gè)等價(jià)集合的過程，其中該等價(jià)集合稱為指代鏈（coreferencechain）。（11）語義角色標(biāo)注(semanticrolelabelling)語義角色標(biāo)注目標(biāo)是以句子為單位，分析出句子的謂詞-論元（語義角色）結(jié)構(gòu)?；靖拍钆c術(shù)語（12）機(jī)器翻譯（machinetranslation）機(jī)器翻譯是利用計(jì)算機(jī)將一種自然語言（源語言，SourceLanguage）自動(dòng)翻譯到另一種自然語言（目標(biāo)語言，TargetLanguage）的技術(shù)。（13）信息抽取（informationextraction）信息抽取是從機(jī)器可讀取的非結(jié)構(gòu)化或半結(jié)構(gòu)化的文本中抽取信息，最終以結(jié)構(gòu)化的形式進(jìn)行描述，最終使信息可以集成為統(tǒng)一的組織形式的技術(shù)?；靖拍钆c術(shù)語（14）自動(dòng)問答（automaticquestionanswering/QAsystem）自動(dòng)問答系統(tǒng)旨在為用戶提出的各種自然語言描述的問題自動(dòng)地提供答案。（15）機(jī)器閱讀理解（machinereadingcomprehension）機(jī)器閱讀理解是一項(xiàng)測試機(jī)器對自然語言理解程度的任務(wù)，要求機(jī)器根據(jù)給定的上下文回答問題，使機(jī)器具有和人類一樣的對文本進(jìn)行閱讀、理解和推理能力。什么是自然語言處理自然語言處理發(fā)展歷程自然語言處理的難點(diǎn)與挑戰(zhàn)什么是自然語言基本概念與術(shù)語目錄預(yù)備知識基礎(chǔ)與習(xí)題預(yù)備知識基礎(chǔ)（1）離散數(shù)學(xué)基礎(chǔ)知識集合、字符串、棧、樹、圖的基本概念與常見運(yùn)算（基本操作）。（2）概率論基礎(chǔ)知識概率、方差、期望的基本概念與計(jì)算方法；條件概率、聯(lián)合概率的定義與計(jì)算方法；貝葉斯法則及基本應(yīng)用。（3）信息論基礎(chǔ)知識信息熵、聯(lián)合熵、條件熵、交叉熵，及互信息的定義與計(jì)算方法。（4）編程基本知識編程示例實(shí)現(xiàn)代碼選取的開發(fā)語言為Python，建議大家適當(dāng)了解python開發(fā)環(huán)境的搭建及相關(guān)工具包獲取與簡單使用。當(dāng)然在應(yīng)用篇幾個(gè)章節(jié)涉及的實(shí)踐細(xì)節(jié)中，本課程也將針對性地對具體技術(shù)進(jìn)行了說明。本章習(xí)題1.自然語言處理經(jīng)歷過幾個(gè)發(fā)展階段？2.請列舉幾種常見的涉及自然語言處理的產(chǎn)品，并分析它們分別利用了哪些關(guān)鍵技術(shù)？3.你是否認(rèn)為研究者從事自己母語領(lǐng)域的自然語言信息處理相比非母語的研究人員更具優(yōu)勢？請說明你的理由。4.你認(rèn)為在自然語言處理中語料規(guī)模、模型先進(jìn)性、硬件條件及應(yīng)用場景等因素各自的重要程度是什么？5.你認(rèn)為我國自然語言處理研究的主要難點(diǎn)問題有哪些？第2章人工神經(jīng)網(wǎng)絡(luò)人工智能導(dǎo)論前饋神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)參考文獻(xiàn)與思考題目錄什么是神經(jīng)元？生物體內(nèi)的神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元什么是神經(jīng)元？

感知機(jī)的概念感知機(jī)（perceptron）是1975年由美國心理學(xué)家FrankRosenblatt提出的，它僅包含一個(gè)神經(jīng)元，是最簡單的人工神經(jīng)網(wǎng)絡(luò)。利用感知機(jī)可以實(shí)現(xiàn)邏輯與、或、非的運(yùn)算。常用的激活函數(shù)激活函數(shù)（activationfunction）負(fù)責(zé)將神經(jīng)元的輸入映射為輸出，常用的有階躍函數(shù)、logistic函數(shù)、tanh函數(shù)和ReLU函數(shù)。階躍函數(shù)ReLU函數(shù)logistic函數(shù)和tanh函數(shù)前饋神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)參考文獻(xiàn)與思考題目錄什么是前饋神經(jīng)網(wǎng)絡(luò)？前饋神經(jīng)網(wǎng)絡(luò)（FeedforwardNeuralNetwork，F(xiàn)NN）是由多個(gè)神經(jīng)元分成多組互相連接在一起的單向多層網(wǎng)絡(luò)。反向傳播算法前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練可采用梯度下降法（gradientdescent）學(xué)習(xí)每一層網(wǎng)絡(luò)的參數(shù)，其中的梯度經(jīng)常使用反向傳播算法（BackPropagation，BP）來計(jì)算。使用反向傳播算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程一般分為三個(gè)步驟：前向計(jì)算，反向傳播和梯度下降。為了衡量當(dāng)前模型輸出的好壞，需要使用損失函數(shù)（lossfunction），常用的損失函數(shù)有交叉熵（CrossEntropy，CE）損失函數(shù)和均方誤差（MeanSquareError，MSE）損失函數(shù)。反向傳播算法前向計(jì)算即根據(jù)訓(xùn)練樣本逐層計(jì)算每一層的加權(quán)和和激活值，直至最后一層。

反向傳播算法反向傳播即從最后一層開始反向計(jì)算每一層的誤差項(xiàng)，并計(jì)算最終損失關(guān)于每一層權(quán)重和偏置的偏導(dǎo)數(shù)。

反向傳播算法梯度下降即按照梯度下降法來更新每一層的權(quán)重和偏置。

前饋神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)參考文獻(xiàn)與思考題目錄什么是循環(huán)神經(jīng)網(wǎng)絡(luò)？循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其特點(diǎn)是隱藏層具有到其自身的“循環(huán)”連接，隨著時(shí)間序列的推進(jìn)而更新。

輸入層隱藏層輸出層簡單循環(huán)神經(jīng)網(wǎng)絡(luò)簡單循環(huán)神經(jīng)網(wǎng)絡(luò)按時(shí)間展開的循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練由于循環(huán)神經(jīng)網(wǎng)絡(luò)每一時(shí)刻的隱藏層狀態(tài)都受前一時(shí)刻的影響，因此其訓(xùn)練也先從最后一個(gè)時(shí)刻的誤差開始計(jì)算，然后逐時(shí)刻回傳。這種訓(xùn)練方法稱為隨時(shí)間反向傳播算法（BackPropagationThroughTime，BPTT）雙向循環(huán)神經(jīng)網(wǎng)絡(luò)在簡單循環(huán)神經(jīng)網(wǎng)絡(luò)中，時(shí)間步t的狀態(tài)僅依賴于過去的序列，而有些任務(wù)中需要對全局的序列狀態(tài)進(jìn)行建模。雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（BidirectionalRecurrentNeuralNetwork，Bi-RNN）正是這樣一種模型，它在需要雙向信息的應(yīng)用中非常成功，如語音識別、機(jī)器翻譯等。長短期記憶網(wǎng)絡(luò)長短期記憶網(wǎng)絡(luò)（LongShort-TermMemory，LSTM）是一種經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò)，它能夠克服簡單循環(huán)神經(jīng)網(wǎng)絡(luò)存在的一些問題，如長程依賴（long-termdependency）、梯度消失（gradientvanishing）和梯度爆炸（gradientexploding）。

長短期記憶網(wǎng)絡(luò)

門控循環(huán)單元門控循環(huán)單元（GatedRecurrentUnits，GRU）是另一種經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò)，它克服了LSTM中由于結(jié)構(gòu)復(fù)雜導(dǎo)致的計(jì)算效率低的問題。

門控循環(huán)單元

前饋神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)參考文獻(xiàn)與思考題目錄什么是卷積神經(jīng)網(wǎng)絡(luò)？卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）的提出是受生物學(xué)上感受野（receptivefield）機(jī)制的啟發(fā)，即卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元只處理其所支配的區(qū)域內(nèi)的信號。卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和全連接層交叉堆疊而成，具有局部連接、權(quán)重共享和匯聚的特性，也具有了平移、縮放和旋轉(zhuǎn)的不變性，因此在圖像分析領(lǐng)域取得了優(yōu)異的成績，同時(shí)在自然語言處理等領(lǐng)域也有廣泛應(yīng)用。手寫字體識別下圖是用于手寫字體識別的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的結(jié)構(gòu)。網(wǎng)絡(luò)的輸入是一個(gè)手寫字母A的灰度圖像，圖像大小為32x32像素，輸出是其識別結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)疊加了多層“卷積層”（convolution）和“子采樣層”（subsampling）用于提取圖像特征，最后用若干全連接層和高斯連接層得到輸出。

手寫字體識別卷積層的應(yīng)用使得卷積神經(jīng)網(wǎng)絡(luò)具有了“權(quán)重共享”的特性，即通過卷積層使其支配的一組神經(jīng)元具有相同的連接權(quán)重。手寫字體識別

最大子采樣均值子采樣前饋神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)參考文獻(xiàn)與思考題目錄參考文獻(xiàn)RosenblattF.Principlesofneurodynamics:Perceptionsandthetheoryofbrainmechanisms[M].[S.l.]:Spartan,1962.SiegelmannHT,SontagED.Onthecomputationalpowerofneuralnets[J/OL].J.Comput.Syst.Sci.,1995,50(1):132–150.SchusterM,PaliwalKK.Bidirectionalrecurrentneuralnetworks[J/OL].IEEETrans.SignalProcess.,1997,4