人工智能的流派神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要人工智能的三大流派概覽符號(hào)主義：邏輯與規(guī)則之智聯(lián)結(jié)主義：仿生網(wǎng)絡(luò)之智行為主義：適應(yīng)環(huán)境之智流派融合神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)2三大流派概覽流派關(guān)鍵事件時(shí)間核心假設(shè)典型技術(shù)符號(hào)主義達(dá)特茅斯會(huì)議1956智能

符號(hào)操作專家系統(tǒng)/Prolog聯(lián)結(jié)主義反向傳播算法1986智能

網(wǎng)絡(luò)涌現(xiàn)深度學(xué)習(xí)/CNN行為主義強(qiáng)化學(xué)習(xí)應(yīng)用1992智能

環(huán)境適應(yīng)Q學(xué)習(xí)/機(jī)器人控制神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)3符號(hào)主義學(xué)派通過符號(hào)計(jì)算模擬邏輯思維過程來(lái)實(shí)現(xiàn)人工智能，解決實(shí)際問題，如規(guī)劃、推理、對(duì)話和博弈等。實(shí)例專家系統(tǒng)：如MYCIN（1972）：細(xì)菌感染患者診斷和治療，200多條規(guī)則博弈系統(tǒng)：如IBM深藍(lán)（1997），國(guó)際象棋，α-β剪枝%prologhuman(Socrates).%蘇格拉底是人mortal(X):-

human(X).%人都是會(huì)死的?-mortal(Socrates).

%問：蘇格拉底會(huì)死嗎？神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)4符號(hào)主義學(xué)派案例神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5聯(lián)結(jié)主義學(xué)派聯(lián)結(jié)主義通過構(gòu)造人工神經(jīng)網(wǎng)絡(luò)模擬自然神經(jīng)元和神經(jīng)元之間的連接，從而實(shí)現(xiàn)人工智能。約860億個(gè)神經(jīng)元每個(gè)神經(jīng)元上千個(gè)連接約100萬(wàn)億連接形成的涌現(xiàn)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)6聯(lián)結(jié)主義學(xué)派人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)人工神經(jīng)元多層感知機(jī)大語(yǔ)言模型（LLM）神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)7行為主義學(xué)派通過模擬生物體外在的感知-行為過程，使之可以更好地適應(yīng)環(huán)境，從而表現(xiàn)出一定的智能水平，例如智能體、強(qiáng)化學(xué)習(xí)等都基于該思想。行為智能體環(huán)境狀態(tài)獎(jiǎng)勵(lì)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)8流派融合現(xiàn)代AI的發(fā)展打破流派界限符號(hào)主義聯(lián)結(jié)主義行為主義神經(jīng)網(wǎng)絡(luò)邏輯推理NeuralTheoremProver深度強(qiáng)化學(xué)習(xí)DeepReinforcementLearning神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)9問題Q：AlphaGo屬于哪個(gè)流派？A：用神經(jīng)網(wǎng)絡(luò)（聯(lián)結(jié)）評(píng)估棋局，通過自我對(duì)弈（行為）優(yōu)化策略，最終戰(zhàn)勝人類（符號(hào)化規(guī)則）。Q：ChatGPT屬于哪個(gè)流派？A：以聯(lián)結(jié)主義為主，結(jié)合符號(hào)化提示工程。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)10謝謝聆聽！機(jī)器學(xué)習(xí)的常見任務(wù)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要分類任務(wù)回歸任務(wù)聚類任務(wù)降維任務(wù)機(jī)器學(xué)習(xí)任務(wù)小結(jié)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)13分類分類任務(wù)就是以某類對(duì)象的特征作為輸入，去預(yù)測(cè)其最可能屬于的類別，其中類別即為響應(yīng)變量，是離散的。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)14回歸回歸任務(wù)則是從一或者多個(gè)特征預(yù)測(cè)一個(gè)或者多個(gè)連續(xù)響應(yīng)變量的值。例如預(yù)測(cè)一套房屋的價(jià)格、預(yù)測(cè)某人的血壓、預(yù)測(cè)一小時(shí)以后的溫度、預(yù)測(cè)某只股票的價(jià)格等等。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)15聚類聚類則是將對(duì)象的集合根據(jù)其特征數(shù)據(jù)分成由類似的對(duì)象組成的多個(gè)類的過程。和分類不同，聚類事先并不需要知道對(duì)象有幾個(gè)類別，只是基于相似性度量，將同類觀測(cè)對(duì)象放入彼此更相近的群組。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)16聚類聚類常見的例子有在市場(chǎng)分析中為某種產(chǎn)品發(fā)現(xiàn)客戶群體等。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)17降維降維則是發(fā)現(xiàn)對(duì)響應(yīng)變量變化影響最大的特征的過程。通過降維，只保留了一些最重要的特征，而忽略了對(duì)結(jié)果影響較小的特征，既降低了計(jì)算復(fù)雜度，又減少了噪聲的影響。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)18機(jī)器學(xué)習(xí)任務(wù)小結(jié)任務(wù)響應(yīng)變量監(jiān)督需求典型算法分類離散需要SVM，CNN回歸連續(xù)需要線性回歸聚類無(wú)不需要K-Means降維無(wú)可選PCA神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)19問題Q：短視頻用戶分群應(yīng)該用哪類任務(wù)？A：聚類。Q：車牌符識(shí)別屬于哪類任務(wù)？A：分類。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)20謝謝聆聽！人工神經(jīng)網(wǎng)絡(luò)的產(chǎn)生神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要人腦神經(jīng)網(wǎng)絡(luò)的啟示M-P模型：數(shù)學(xué)與神經(jīng)科學(xué)的首次聯(lián)姻感知機(jī)：第一個(gè)實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)從單層到多層：智能的階梯神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)23人腦神經(jīng)網(wǎng)絡(luò)的啟示神經(jīng)元與神經(jīng)網(wǎng)絡(luò)人腦約有860億個(gè)神經(jīng)元，每個(gè)神經(jīng)元通過上千個(gè)突觸和其他神經(jīng)元相連接，這些連接可以在神經(jīng)元之間傳遞信息。神經(jīng)元和它們之間的連接構(gòu)成一個(gè)巨大的協(xié)同處理的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，即神經(jīng)網(wǎng)絡(luò)，構(gòu)成認(rèn)知的物質(zhì)與生理基礎(chǔ)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)24人腦神經(jīng)網(wǎng)絡(luò)的啟示學(xué)習(xí)：赫伯規(guī)則（Hebbrule）1949年，加拿大心理學(xué)家赫伯（DonaldHebb）總結(jié)了突觸的學(xué)習(xí)規(guī)則，即如果兩個(gè)神經(jīng)元總是相關(guān)聯(lián)地受刺激，它們之間的突觸強(qiáng)度就增強(qiáng)，否則就減弱，神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)25M-P模型：數(shù)學(xué)與神經(jīng)科學(xué)的首次聯(lián)姻1943年，麥克洛奇（WarrenMcCulloch）（左，神經(jīng)科學(xué)家）和皮茲（WalterPitts）（右，數(shù)學(xué)家）提出的一種基于簡(jiǎn)單邏輯運(yùn)算的神經(jīng)網(wǎng)絡(luò)。模型描述了具有激活和抑制兩種狀態(tài)的單個(gè)神經(jīng)元的活動(dòng)，定義為線性閾值門（linearthresholdgate）。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)26

感知機(jī)：第一個(gè)實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)Perceptron模型（1957，羅森布拉特，F(xiàn)rankRosenblatt）神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)27Thefirstmachinewhichiscapableofhavinganoriginalidea.——FrankRosenblattStoriesaboutthecreationofmachineshavinghumanqualitieshavelongbeenafascinatingprovinceintherealmofsciencefiction.Yetweareabouttowitnessthebirthofsuchamachine–amachinecapableofperceiving,recognizingandidentifyingitssurroundingswithoutanyhumantrainingorcontrol.——FrankRosenblatt感知機(jī)：第一個(gè)實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)Perceptron模型（1957，羅森布拉特，F(xiàn)rankRosenblatt）神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)28

感知機(jī)：第一個(gè)實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)Perceptron的Python實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)29#實(shí)現(xiàn)邏輯與運(yùn)算的感知機(jī)import

numpyasnp

classPerceptron(object): #定義感知機(jī)

def__init__(self，input_size):

self.W=np.array([1，1]) #權(quán)重

self.b=-2 #偏置

defactivation_fn(self，x): #定義激活函數(shù)

return1ifx>=0else0

defpredict(self，x): #定義預(yù)測(cè)z=self.W.T.dot(x)a=self.activation_fn(z+self.b)

return

aX=np.array([[0，0]，[0，1]，[1，0]，[1，1]])#邏輯運(yùn)算可能的輸入組合perceptron=Perceptron(input_size=2)#實(shí)例化感知機(jī)forxinX:pre=perceptron.predict(x)print(x[0]，'and'，x[1]，'='，pre)

#輸出當(dāng)輸入為X時(shí)對(duì)應(yīng)的預(yù)測(cè)值

從單層到多層：智能的階梯神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)30問題Q：神經(jīng)元一般有幾種狀態(tài)？A：激活和抑制兩種。Q：感知機(jī)可以實(shí)現(xiàn)或運(yùn)算嗎？A：可以。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)31謝謝聆聽！深度學(xué)習(xí)的產(chǎn)生和發(fā)展神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要深度學(xué)習(xí)的誕生（2006-2009）爆發(fā)期：ImageNet與AlexNet（2012）創(chuàng)新浪潮：GAN與Transformer（2014-2017）超越人類：AlphaGo與AlphaFold（2016-2021）神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)34深度學(xué)習(xí)的誕生（2006-2009）人工智能的寒冬（AIWinter）第一個(gè)寒冬1972年，數(shù)學(xué)家萊特希爾（JamesLighthill）發(fā)表了一篇關(guān)于人工智能現(xiàn)狀的嚴(yán)厲的論文，揭露了其所有缺點(diǎn)。1970年代至1980年代，由于資金、興趣和研究的減少，人工智能經(jīng)歷了第一個(gè)冬天。第二個(gè)寒冬1980年代中期，為企業(yè)使用而開發(fā)的人工智能驅(qū)動(dòng)的新技術(shù)帶來(lái)行業(yè)大規(guī)模應(yīng)用和資金激增。1990年代中期，由于技術(shù)過于復(fù)雜和企業(yè)興趣下降，人工智能經(jīng)歷了第二個(gè)冬天。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)35深度學(xué)習(xí)的誕生（2006-2009）人工智能的寒冬（AIWinter）人工神經(jīng)網(wǎng)絡(luò)在其間的發(fā)展神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)36感知機(jī)多層感知機(jī)反向傳播算法深度學(xué)習(xí)的誕生（2006-2009）人工智能的寒冬（AIWinter）人工神經(jīng)網(wǎng)絡(luò)面臨的制約因素在算法上無(wú)法解決反向傳播過程中的梯度消失問題；當(dāng)時(shí)計(jì)算機(jī)系統(tǒng)的計(jì)算能力難以滿足訓(xùn)練需求；難以克服模型參數(shù)眾多而樣本數(shù)據(jù)不足的窘境。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)37深度學(xué)習(xí)的誕生（2006-2009）深度信念網(wǎng)絡(luò)（deepbeliefnetwork,DBN），2006Hopfield網(wǎng)絡(luò)玻爾茲曼機(jī)（Boltzmannmachine）受限玻爾茲曼機(jī)（restrictedBoltzmannmachine）預(yù)訓(xùn)練+反向傳播算法微調(diào)G.HintonandR.Salakhutdinov神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)38深度學(xué)習(xí)的誕生（2006-2009）堆疊自編碼器（stackedautoencoder,SAE），2007自編碼器（autoencoder,AE）較RBM易于訓(xùn)練AE替代RBMSAE（Y.Bengio等）神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)39爆發(fā)期：ImageNet與AlexNet（2012）ImageNet,2009-神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)40爆發(fā)期：ImageNet與AlexNet（2012）ILSVRC(ImageNetLargeScaleVisualRecognitionChallenge),2010-2017神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)41爆發(fā)期：ImageNet與AlexNet（2012）AlexNet神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)42ThebestImageNetchallengeresultsin2010and2011,comparedagainstallresultsin2012,includingAlexNetIlyaSutskever(left),GeoffreyHinton,andAlexKrizhevsky(right).Johnny

Guatto爆發(fā)期：ImageNet與AlexNet（2012）AlexNet整流線性單元（rectifiedlinearunit，ReLU）激活函數(shù)圖形處理單元(graphicsprocessingunit,GPU)Dropout（隨機(jī)失活）神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)43創(chuàng)新浪潮：GAN與Transformer（2014-2017）GAN（GenerativeAdversarialNetworks,2014）神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)44

判別損失生成損失生成樣本IanJ.Goodfellow創(chuàng)新浪潮：GAN與Transformer（2014-2017）Transformer,2017自注意力機(jī)制神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)45

他喜歡足球

詞嵌入

原始輸入序列

詞向量輸入

超越人類：AlphaGo與AlphaFoldAlphaGo（2015）與AlphaFold（2018）神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)46問題Q：深度信念網(wǎng)絡(luò)的構(gòu)建基于哪種神經(jīng)網(wǎng)絡(luò)？A：RBM。Q：AlexNet采用了哪些重要的技術(shù)？A：ReLU激活函數(shù)，Dropout技術(shù)，GPU。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)47謝謝聆聽！機(jī)器學(xué)習(xí)訓(xùn)練的要素神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要訓(xùn)練與預(yù)測(cè)數(shù)據(jù)模型算法學(xué)習(xí)準(zhǔn)則神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)50訓(xùn)練與預(yù)測(cè)機(jī)器學(xué)習(xí)任務(wù)包括訓(xùn)練（training）和預(yù)測(cè)（predication）兩階段。訓(xùn)練包含四個(gè)要素?cái)?shù)據(jù)模型算法學(xué)習(xí)準(zhǔn)則神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)51機(jī)器學(xué)習(xí)過程線性回歸過程示例訓(xùn)練/學(xué)習(xí)數(shù)據(jù)預(yù)測(cè)器算法新數(shù)據(jù)預(yù)測(cè)結(jié)果推理/預(yù)測(cè)模型訓(xùn)練/學(xué)習(xí)

梯度下降算法

推理/預(yù)測(cè)學(xué)習(xí)準(zhǔn)則學(xué)習(xí)準(zhǔn)則數(shù)據(jù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)52數(shù)據(jù)數(shù)據(jù)集示例（鳶尾花，MNIST，CIFAR，…）神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)53樣本特征1特征2特征3特征4標(biāo)簽訓(xùn)練集測(cè)試集012山鳶尾變色鳶尾弗吉尼亞鳶尾個(gè)體樣例與標(biāo)簽?zāi)Ｐ?/p>

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)54模型

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)55

學(xué)習(xí)準(zhǔn)則

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)56學(xué)習(xí)準(zhǔn)則

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)57

學(xué)習(xí)準(zhǔn)則

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)58學(xué)習(xí)準(zhǔn)則

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)59算法

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)60算法

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)61

算法

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)62

問題Q：機(jī)器學(xué)習(xí)訓(xùn)練的要素有哪些？A：數(shù)據(jù)、模型、學(xué)習(xí)準(zhǔn)則、算法。Q：損失函數(shù)的作用是什么？A：度量預(yù)測(cè)輸出和真實(shí)標(biāo)簽或者概率分布之間的差異。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)63謝謝聆聽！分類任務(wù)的性能度量指標(biāo)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要精度與錯(cuò)誤率混淆矩陣查準(zhǔn)率與查全率ROC曲線P-R曲線神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)66精度與錯(cuò)誤率

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)67精度與錯(cuò)誤率

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)68精度與錯(cuò)誤率

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)69混淆矩陣（confusionmatrix）更加細(xì)致的表達(dá)正確分類真正例（TP）真反例（TN）錯(cuò)誤分類假正例（FP）假反例（FN）神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)70真正例TP(truepositive)假反例FN(falsenegative)假正例FP(falsepositive)真反例TN(truenegative)預(yù)

測(cè)真

實(shí)正例反例正例反例查準(zhǔn)率和查全率

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)71真正例TP(truepositive)假反例FN(falsenegative)假正例FP(falsepositive)真反例TN(truenegative)預(yù)

測(cè)真

實(shí)正例反例正例反例查準(zhǔn)率和查全率

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)72查準(zhǔn)率和查全率

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)73查準(zhǔn)率和查全率

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)74ROC曲線

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)75每個(gè)點(diǎn)表示不同分類閾值對(duì)應(yīng)的??????和??????值。最“理想”的模型具有到達(dá)圖左上角（坐標(biāo)(??,??)）的ROC曲線。ROC曲線下面積（areaundertheroccurve，AUC）越大，模型就越好。AUC的范圍介于0和1之間，是一個(gè)模型評(píng)估指標(biāo)，與所選的分類閾值無(wú)關(guān)。P-R曲線

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)76平均查準(zhǔn)率（averageprecision，AP）代表每個(gè)閾值處實(shí)現(xiàn)的查準(zhǔn)率的加權(quán)平均。????和????是第??個(gè)閾值處的查準(zhǔn)率和查全率。????也可以理解為P-R曲線圍起來(lái)的面積，????值大代表高的查準(zhǔn)率和高的查全率。當(dāng)類別不平衡時(shí)，P-R曲線比ROC更具信息性，更能反映出分類性能的好壞。問題

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)77謝謝聆聽！機(jī)器學(xué)習(xí)任務(wù)的一般流程神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要機(jī)器學(xué)習(xí)任務(wù)流程概覽確定目標(biāo)收集數(shù)據(jù)數(shù)據(jù)預(yù)處理特征選擇與模型構(gòu)建模型訓(xùn)練模型評(píng)估與優(yōu)化神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)80機(jī)器學(xué)習(xí)任務(wù)流程概覽神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)81確定目標(biāo)收集數(shù)據(jù)數(shù)據(jù)預(yù)處理特征選擇與模型構(gòu)建模型訓(xùn)練模型評(píng)估與優(yōu)化模型部署與應(yīng)用確定目標(biāo)任務(wù)

通過一個(gè)簡(jiǎn)單的牛奶質(zhì)量預(yù)測(cè)案例來(lái)說明機(jī)器學(xué)習(xí)任務(wù)的主要流程。確定目標(biāo)牛奶質(zhì)量預(yù)測(cè)本質(zhì)上就是通過pH值、顏色、氣味、口感等特征信息，來(lái)確定牛奶質(zhì)量屬于高、中、低哪個(gè)等級(jí)；是一個(gè)分類問題；任務(wù)規(guī)模不大，較簡(jiǎn)單；基于scikit-learn包進(jìn)行開發(fā)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)82收集數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)83#利用pandas庫(kù)讀入數(shù)據(jù)data=pd.read_csv('data\\milkquality.csv')importpandasaspdimportnumpyasnpimportseabornassnsimportplotly.expressaspximportmatplotlibimportmatplotlib.pyplotaspltfromsklearn.model_selectionimporttrain_test_splitfromsklearn.preprocessingimportStandardScalerfromsklearn.neighborsimportKNeighborsClassifierfromsklearn.metricsimportaccuracy_score,confusion_matrixfromsklearn.metricsimportclassification_report#查看數(shù)據(jù)集大?。╯hape）data.shape#查看數(shù)據(jù)（僅顯示前10行）data.head(10)(1059,8)數(shù)據(jù)預(yù)處理神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)84#檢查缺失值NaNprint('\nNaN值:\n')print(data.isna().sum())#查看特征數(shù)據(jù)的描述性統(tǒng)計(jì)分析data.describe()#查看不同類別的分布print(data.groupby('Grade').size())#將標(biāo)簽改為值類型：'low':0,'medium':1,'high':2data['Grade']=data['Grade'].map({'low':0,'medium':1,'high':2})print(data.head())#利用熱圖查看特征之間的相關(guān)性：#紅色：正相關(guān)（值越接近1，相關(guān)性越強(qiáng)）；藍(lán)色：負(fù)相關(guān)sns.heatmap(data.corr(),annot=True,cmap='coolwarm')數(shù)據(jù)預(yù)處理神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)85#將特征信息（X）和標(biāo)簽信息(Y)分開X=data.drop(['Grade'],axis=1)y=data['Grade']

#利用scikit-learn包的StandardScaler進(jìn)行縮放#創(chuàng)建StandardScaler實(shí)例sc=StandardScaler()

#根據(jù)數(shù)據(jù)擬合縮放器(亦即計(jì)算均值和方差)sc.fit(X)#利用擬合獲得的均值和方差進(jìn)行縮放xscaled=sc.transform(X)#對(duì)縮放后的特征創(chuàng)建新的DataFrameX_scaled=pd.DataFrame(data=xscaled,columns=data.columns[:-1])

#將數(shù)據(jù)集切分成訓(xùn)練集（X_train，y_train）和測(cè)試集（X_test，y_testX_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)特征選擇與模型構(gòu)建神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)86#選擇k-NN模型，創(chuàng)建模型實(shí)例，k（n_neighbors）的取值為5knn=KNeighborsClassifier(n_neighbors=5)模型訓(xùn)練神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)87#模型訓(xùn)練：指定訓(xùn)練集knn.fit(X_train,y_train)模型評(píng)估與優(yōu)化神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)88#對(duì)測(cè)試集樣本進(jìn)行預(yù)測(cè)knn_preds=knn.predict(X_test)#精度評(píng)估knn_score=accuracy_score(y_test,knn_preds)print("KNN精度（accuracy）:{:.5f}".format(knn_score))#繪制混淆矩陣#計(jì)算混淆矩陣knn_cm=confusion_matrix(y_test,knn_preds)#繪制混淆矩陣sns.heatmap(knn_cm,annot=True,cmap='Blues',xticklabels=['Low(0)','Medium(1)','High(2)'],yticklabels=['Low(0)','Medium(1)','High(2)'])plt.ylabel("真實(shí)分類(ActualClass)")plt.xlabel("預(yù)測(cè)分類(PredictedClass)")plt.show()模型評(píng)估與優(yōu)化神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)89#輸出查準(zhǔn)率、查全率和F1指標(biāo)print(classification_report(y_test,knn_preds))模型評(píng)估與優(yōu)化神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)90defplot_validation_curve(model,X,y,param_name,param_range):#針對(duì)param_name參數(shù)的不同取值param_range，采用5折交叉驗(yàn)證

train_scores,test_scores=validation_curve(model,X,y,param_name=param_name,param_range=param_range,cv=5,scoring='accuracy',n_jobs=-1)#獲得5次預(yù)測(cè)的平均值

train_scores_mean=np.mean(train_scores,axis=1)test_scores_mean=np.mean(test_scores,axis=1)#繪制驗(yàn)證精度曲線

plt.figure(figsize=(10,6))plt.plot(param_range,train_scores_mean,linestyle='dotted',marker='o',label='訓(xùn)練精度(TrainingScore)')plt.plot(param_range,test_scores_mean,linestyle='solid',marker='*',label='驗(yàn)證精度(ValidationScore)')plt.xlabel('k(近鄰數(shù))')plt.ylabel('精度')plt.legend()plt.show()模型評(píng)估與優(yōu)化神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)91#選取6個(gè)不同k值plot_validation_curve(knn,X_train,y_train,'n_neighbors',[1,5,10,15,20,25,30])問題Q：機(jī)器學(xué)習(xí)任務(wù)實(shí)施一般包括哪些流程？A：確定目標(biāo)，收集數(shù)據(jù)，數(shù)據(jù)預(yù)處理，特征選擇與模型構(gòu)建，模型訓(xùn)練，模型評(píng)估與優(yōu)化，模型部署與應(yīng)用Q：k-NN算法的基本原理是什么？A：k-NN算法是一種基于最近鄰的分類和回歸算法，通過計(jì)算樣本點(diǎn)與訓(xùn)練數(shù)據(jù)的距離來(lái)預(yù)測(cè)類別或值。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)92謝謝聆聽！腦的結(jié)構(gòu)與功能神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要神經(jīng)系統(tǒng)和腦腦的結(jié)構(gòu)腦葉神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)95神經(jīng)系統(tǒng)和腦神經(jīng)系統(tǒng)（nervoussystem）是機(jī)體內(nèi)起主導(dǎo)作用的系統(tǒng)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)96神經(jīng)系統(tǒng)和腦神經(jīng)系統(tǒng)分為中樞神經(jīng)系統(tǒng)和周圍神經(jīng)系統(tǒng)兩大部分腦和脊髓組成中樞神經(jīng)系統(tǒng)腦神經(jīng)和脊神經(jīng)構(gòu)成周圍神經(jīng)系統(tǒng)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)97神經(jīng)系統(tǒng)和腦腦（brain）是神經(jīng)系統(tǒng)中最重要、最大和中樞的部分，幾乎控制著人體從生理功能到認(rèn)知能力的各個(gè)方面。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)98神經(jīng)系統(tǒng)和腦人類成人的腦重約1.4公斤，但其消耗了身體1/5~1/4能量，用以維持其中的物理、化學(xué)過程，從而實(shí)現(xiàn)感覺、經(jīng)驗(yàn)和知識(shí)等的產(chǎn)生、處理和存儲(chǔ)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)99腦的結(jié)構(gòu)腦由前腦（forebrain）、中腦（midbrain）和后腦（hindbrain）三部分組成。后腦包括脊髓的上部、腦干和小腦，控制身體的呼吸和心率等重要功能，其中小腦還進(jìn)行運(yùn)動(dòng)協(xié)調(diào)。中腦在腦干上部，它控制著一些反射動(dòng)作，并參與控制眼球運(yùn)動(dòng)和其他一些自主運(yùn)動(dòng)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)100前腦中腦

后腦腦的結(jié)構(gòu)前腦是腦中最大、也是最發(fā)達(dá)的部分，包括大腦（又稱為端腦）（cerebrum）、丘腦（thalamus）和下丘腦（hypothalamus）。丘腦位于腦干上方，負(fù)責(zé)傳遞來(lái)自感覺器官的感覺信息以及運(yùn)動(dòng)協(xié)調(diào)的信息。下丘腦位于丘腦正下方，參與體溫調(diào)節(jié)、睡眠模式同步、味覺和嗅覺控制、激素合成、情感及情緒控制等眾多基本活動(dòng)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)101前腦中腦

后腦腦的結(jié)構(gòu)大腦位于腦的最頂層，是智力活動(dòng)的源泉。大腦由左右兩個(gè)大腦半球組成，中間通過胼胝體連接。大腦外層是平均厚約2.5mm的大腦皮層（cerebralcortex），是產(chǎn)生抽象思維的生物基礎(chǔ)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)102前腦中腦

后腦右半球左半球腦葉每個(gè)半球的大腦皮層由分成四個(gè)腦葉，分別是額葉（frontallobe）、頂葉（parietallobe）、枕葉（occipitallobe）和顳葉（

temporallobe）。

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)103額葉頂葉枕葉顳葉小腦脊髓腦葉額葉（frontallobe）位于前額后面，與言語(yǔ)、計(jì)劃、推理、問題解決和動(dòng)作等有關(guān)。當(dāng)我們計(jì)劃一個(gè)時(shí)間表，想象未來(lái)，或使用合理的論點(diǎn)時(shí)，該部分完成了大部分工作，此時(shí)額葉充當(dāng)短期儲(chǔ)存場(chǎng)所，允許在考慮其他想法的同時(shí)記住一個(gè)想法。額葉的最后部是運(yùn)動(dòng)皮層，它有助于計(jì)劃、控制和執(zhí)行自發(fā)運(yùn)動(dòng)或有意運(yùn)動(dòng)，如移動(dòng)手臂或踢球。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)104腦葉頂葉（parietallobe）位于額葉后面，輔助運(yùn)動(dòng)以及刺激和方位的感知。當(dāng)我們享受一頓美餐時(shí)，食物的味道、氣味和質(zhì)地在頂葉起作用，閱讀和算術(shù)也是頂葉的功能。頂葉的前部，運(yùn)動(dòng)區(qū)域的后面，是軀體感覺皮層。這些區(qū)域從身體其他部位接收有關(guān)溫度、味道、觸覺和運(yùn)動(dòng)的信息。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)105腦葉枕葉（occipitallobe）位于大腦半球的后部，處理來(lái)自眼睛的圖像，并將該信息與記憶中的圖像聯(lián)系起來(lái)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)106腦葉顳葉（temporallobe）位于視覺區(qū)域的前面，在頂葉和額葉下面。顳葉的頂部是一個(gè)負(fù)責(zé)從耳朵接收信息的區(qū)域。每個(gè)顳葉的下側(cè)在形成和檢索記憶方面起著至關(guān)重要的作用，包括與音樂相關(guān)的記憶。顳葉的其他部分還整合了味覺、聽覺、視覺和觸覺的記憶和感覺。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)107問題Q：腦由幾部分組成？A：前腦、中腦和后腦。Q：處理來(lái)自眼睛的圖像的腦葉是哪部分？A：枕葉。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)108謝謝聆聽！神經(jīng)元神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要神經(jīng)組織神經(jīng)元組成信息處理和傳遞學(xué)習(xí)和記憶的神經(jīng)機(jī)制神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)111神經(jīng)組織神經(jīng)系統(tǒng)的主要細(xì)胞組成是神經(jīng)元（neuron）（又稱為神經(jīng)細(xì)胞，nervecell）和神經(jīng)膠質(zhì)細(xì)胞(neurogliacell)，數(shù)量占比約為1：10。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)112神經(jīng)組織神經(jīng)元負(fù)責(zé)信息處理和傳遞，神經(jīng)系統(tǒng)所表現(xiàn)出的興奮、傳導(dǎo)和整合等機(jī)能都由神經(jīng)元和神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)所承擔(dān)。神經(jīng)膠質(zhì)細(xì)胞主要起輔助作用，支撐神經(jīng)元的正?；顒?dòng)。近年的研究表明，膠質(zhì)細(xì)胞可以放大神經(jīng)信號(hào)，在心理計(jì)算中起到與神經(jīng)元一樣重要的作用。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)113神經(jīng)組織神經(jīng)系統(tǒng)包含數(shù)百種不同類型的神經(jīng)元感覺神經(jīng)元運(yùn)動(dòng)神經(jīng)元中間神經(jīng)元神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)114神經(jīng)元組成神經(jīng)元（neuron）由細(xì)胞體(cellbody)，一個(gè)到數(shù)千個(gè)接收輸入的樹突(dendrite)，攜帶電脈沖的軸突(axon)，以及一個(gè)軸突末梢(axonterminal)組成。細(xì)胞體是神經(jīng)元的中心部分，包含細(xì)胞核，是神經(jīng)元中大部分蛋白質(zhì)合成發(fā)生的部位。細(xì)胞體不參與信息傳遞，但為信息傳遞提供必要的能量支持。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)115神經(jīng)元組成樹突是具有許多分支的細(xì)胞延伸，其中神經(jīng)元的大部分輸入都發(fā)生在其中。軸突是一種更精細(xì)的索狀突起，可以延伸數(shù)十倍、數(shù)百倍甚至數(shù)萬(wàn)倍的長(zhǎng)度。軸突末梢是與其他細(xì)胞連接的軸突的小分支，其功能通常用于將信號(hào)傳輸?shù)狡渌?xì)胞。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)116信息處理和傳遞神經(jīng)元內(nèi)部的信息處理和傳遞通過動(dòng)作電位（actionpotential）來(lái)實(shí)現(xiàn)樹突接收來(lái)自其他神經(jīng)元軸突末梢的信號(hào)信號(hào)以電化學(xué)物質(zhì)的形式呈現(xiàn)。電化學(xué)物質(zhì)改變神經(jīng)元內(nèi)部的電位，如果電位差到達(dá)一定

的程度，即閾值電位,神經(jīng)元就被激活，發(fā)生動(dòng)作電位，

神經(jīng)元處于激活狀態(tài)。動(dòng)作電位導(dǎo)致電脈沖從細(xì)胞體開始并沿著軸突向下傳播。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)117信息處理和傳遞神經(jīng)元之間通過突觸（synapse）進(jìn)行信息傳遞突觸：一側(cè)的軸突末梢與另一側(cè)的樹突或細(xì)胞體之間有一個(gè)寬20-40納米的間隙。突觸通常在一個(gè)方向上傳導(dǎo)信號(hào)。它們可以是興奮性的或抑制性的，分別增加或減少目標(biāo)神經(jīng)元的活動(dòng)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)118信息處理和傳遞神經(jīng)元之間通過突觸進(jìn)行信息傳遞突觸傳遞信息的方式有化學(xué)突觸和電突觸兩類?；瘜W(xué)突觸：動(dòng)作電位到達(dá)軸突末端->打開電壓門控鈣通道->鈣離子進(jìn)入終端->充滿神經(jīng)遞質(zhì)分子的囊泡(vesicle)與膜融合->內(nèi)容物釋放到突觸裂隙中->神經(jīng)遞質(zhì)擴(kuò)散穿過突觸裂隙并激活突觸后神經(jīng)元上的受體。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)119信息處理和傳遞神經(jīng)元之間通過突觸進(jìn)行信息傳遞神經(jīng)遞質(zhì)是在神經(jīng)元之間傳遞的化學(xué)分子。某些類型的分子（興奮性神經(jīng)遞質(zhì)）促進(jìn)神經(jīng)元的激活，而其他分子（抑制性神經(jīng)遞質(zhì)）則減少激活。神經(jīng)遞質(zhì)有不同類型，乙酰膽堿對(duì)肌肉的控制和激素的分泌、以及認(rèn)知功能很重要；去甲腎上腺素是交感神經(jīng)系統(tǒng)功能和“戰(zhàn)斗或逃跑”反應(yīng)的關(guān)鍵；多巴胺有助于調(diào)節(jié)獎(jiǎng)勵(lì)行為和情緒，以及控制身體運(yùn)動(dòng)；血清素在睡眠的啟動(dòng)和食欲中發(fā)揮作用。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)120學(xué)習(xí)和記憶的神經(jīng)機(jī)制心理學(xué)家認(rèn)為：學(xué)習(xí)是人和動(dòng)物依賴于經(jīng)驗(yàn)來(lái)改變自身行為以適應(yīng)環(huán)境的神經(jīng)過程，即獲取新知識(shí)和新信息的過程；記憶則是對(duì)獲得的信息編碼、儲(chǔ)存、鞏固和再現(xiàn)的神經(jīng)過程。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)121學(xué)習(xí)和記憶的神經(jīng)機(jī)制赫伯提出：細(xì)胞集合（cellassembly）和赫伯規(guī)則（Hebbrule）《行為的組織：神經(jīng)心理學(xué)理論》（TheOrganizationofBehavior：ANeuropsychologicalTheory，1949年細(xì)胞集合（cellassembly）:對(duì)刺激的表征由所有被這一刺激同時(shí)激活的神經(jīng)元實(shí)現(xiàn)，這群神經(jīng)元為細(xì)胞集合，細(xì)胞集合內(nèi)所有神經(jīng)元彼此交互聯(lián)系；集合內(nèi)神經(jīng)元的連接遵循赫伯規(guī)則。赫伯規(guī)則（Hebbrule）:當(dāng)細(xì)胞A的軸突足夠接近以激發(fā)B細(xì)胞并以重復(fù)和持續(xù)的方式參與其激活時(shí)，某種類型的生長(zhǎng)過程或代謝變化發(fā)生在一個(gè)或兩個(gè)細(xì)胞中，從而提高細(xì)胞A在激活B中的效率；簡(jiǎn)而言之，就是一起激活的神經(jīng)元連接在一起。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)122學(xué)習(xí)和記憶的神經(jīng)機(jī)制長(zhǎng)時(shí)程增強(qiáng)(long-termpotentiation，LTP)和長(zhǎng)時(shí)程抑制（longtermdepression，LPD）1973年，布利斯（TimBliss）和洛莫（TerjeLomo）發(fā)現(xiàn)，短暫的高頻電刺激進(jìn)入海馬的神經(jīng)通路，可以引起這條通路上的突觸傳遞效能持續(xù)增強(qiáng)，這一效應(yīng)即為L(zhǎng)TP。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)123學(xué)習(xí)和記憶的神經(jīng)機(jī)制長(zhǎng)時(shí)程增強(qiáng)(long-termpotentiation，LTP)和長(zhǎng)時(shí)程抑制（longtermdepression，LPD）LTP的發(fā)現(xiàn)證實(shí)了赫伯規(guī)則。LTP和突觸傳遞效能降低的長(zhǎng)時(shí)程抑制統(tǒng)稱為突觸可塑性。由少量刺激引起的長(zhǎng)時(shí)程增強(qiáng)和抑制產(chǎn)生的記憶只能持續(xù)1-2小時(shí)，持續(xù)的刺激可以維持1天甚至更多，但要產(chǎn)生更長(zhǎng)期的記憶，往往需要新蛋白質(zhì)的合成和新突觸的形成。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)124問題Q：負(fù)責(zé)信息處理和傳遞的神經(jīng)組織細(xì)胞是什么？A：神經(jīng)元。Q：神經(jīng)元之間通過什么傳遞信息？A：突觸。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)125謝謝聆聽！人工神經(jīng)網(wǎng)絡(luò)和腦神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要從M-P模型到深度學(xué)習(xí)來(lái)自腦工作機(jī)理的啟發(fā)人工神經(jīng)網(wǎng)絡(luò)vs.腦人工神經(jīng)網(wǎng)絡(luò)賦能神經(jīng)科學(xué)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)128從M-P模型到深度學(xué)習(xí)來(lái)自腦工作機(jī)理的啟發(fā)感受野當(dāng)神經(jīng)元受到刺激時(shí)，感覺受體中能引起神經(jīng)元反應(yīng)的那一部分區(qū)域。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)130視神經(jīng)束外側(cè)膝狀體神經(jīng)元細(xì)胞來(lái)自腦工作機(jī)理的啟發(fā)感受野感受野存在分層組織——隨著一個(gè)人從受體到丘腦，再到大腦的初級(jí)感覺皮層和高級(jí)認(rèn)知區(qū)域，感受野顯示出越來(lái)越復(fù)雜的刺激要求。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)131來(lái)自腦工作機(jī)理的啟發(fā)感受野人工神經(jīng)網(wǎng)絡(luò)引入感受野，即每個(gè)神經(jīng)元只接受特定區(qū)域的特征輸入。人工神經(jīng)網(wǎng)絡(luò)中的感受野也進(jìn)行分層組織。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)132來(lái)自腦工作機(jī)理的啟發(fā)注意力機(jī)制注意力是人的心理活動(dòng)指向和集中于某種事物的能力，具體而言，就是大腦選擇信息、放大信息、引導(dǎo)信息并深化信息處理的能力。注意力解決的關(guān)鍵問題：信息飽和，資源有限。視覺注意系統(tǒng)分為兩種類型數(shù)據(jù)驅(qū)動(dòng)的自底向上被動(dòng)注意機(jī)制任務(wù)依賴的自頂向下主動(dòng)注意機(jī)制神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)133來(lái)自腦工作機(jī)理的啟發(fā)注意力機(jī)制自底向上被動(dòng)注意機(jī)制中前額葉皮層（PFC）和后頂葉皮層（PPC），整合通過視覺通路傳輸?shù)耐獠看碳さ脑嘉锢硖卣鳎栽诖竽X中形成完整的顯著性圖。這引起上級(jí)丘（SC）控制的眼球運(yùn)動(dòng)，使人容易注意到視覺場(chǎng)景中的黃色矩形目標(biāo)（這里的任務(wù)是搜索黃色矩形）。這里的物理特征包括顏色、強(qiáng)度、方向等。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)134來(lái)自腦工作機(jī)理的啟發(fā)注意力機(jī)制自上而下的主動(dòng)注意機(jī)制根據(jù)已知的任務(wù)信息和知識(shí)經(jīng)驗(yàn)，在大腦前額葉皮層（PFC）中主動(dòng)尋找具有優(yōu)先特征圖的目標(biāo)，引起眼球運(yùn)動(dòng)，使人能夠輕松地注意到所需的目標(biāo)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)135來(lái)自腦工作機(jī)理的啟發(fā)注意力機(jī)制神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)136

他喜歡足球

詞嵌入

原始輸入序列

詞向量輸入

人工神經(jīng)網(wǎng)絡(luò)vs.腦M-P模型與生物神經(jīng)元神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)137M-P模型生物神經(jīng)元輸入樹突權(quán)重突觸節(jié)點(diǎn)細(xì)胞體加權(quán)和膜電位閾值動(dòng)作電位輸出軸突人工神經(jīng)網(wǎng)絡(luò)vs.腦神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)138

人腦淺層人工神經(jīng)網(wǎng)絡(luò)深層人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元數(shù)量約860億個(gè)神經(jīng)元10~1000個(gè)神經(jīng)元>1000個(gè)神經(jīng)元連接數(shù)量約100萬(wàn)億約10萬(wàn)>100萬(wàn)（GPT-4約1.8萬(wàn)億）學(xué)習(xí)可以容忍不明確的信息需要精確、結(jié)構(gòu)化數(shù)據(jù)應(yīng)對(duì)不明確信息可以容忍部分不明確信息和非結(jié)構(gòu)化數(shù)據(jù)拓?fù)浣Y(jié)構(gòu)異步連接的復(fù)雜拓?fù)浣Y(jié)構(gòu)層之間同步連接、樹狀結(jié)構(gòu)同步連接、樹狀結(jié)構(gòu)與循環(huán)、殘差等連接并存能耗很?。s20瓦）大的耗能高耗能人工神經(jīng)網(wǎng)絡(luò)賦能神經(jīng)科學(xué)通過研究人工神經(jīng)網(wǎng)絡(luò)的行為來(lái)洞察自然神經(jīng)網(wǎng)絡(luò)的活動(dòng)機(jī)理利用托爾曼-艾肯鮑姆機(jī)（Tolman-EichenbaumMachine，TEM）來(lái)研究海馬體是如何來(lái)統(tǒng)一空間和關(guān)系記憶的，其中TEM是由多層感知機(jī)、霍普菲爾德網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)組成的組合網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)139問題Q：什么是感受野？A：當(dāng)神經(jīng)元受到刺激時(shí)，感覺受體中能引起神經(jīng)元反應(yīng)的那一部分區(qū)域。Q：什么是注意力？A：注意力是人的心理活動(dòng)指向和集中于某種事物的能力。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)140謝謝聆聽！感知機(jī)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要感知機(jī)的定義delta規(guī)則學(xué)習(xí)實(shí)現(xiàn)“與”運(yùn)算鳶尾花分類神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)143感知機(jī)的定義

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)144delta規(guī)則學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)145實(shí)現(xiàn)“與”運(yùn)算神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)146importnumpyas

np

classPerceptron(object):#定義感知機(jī)

def__init__(self,input_size):

self.W=np.zeros(input_size)#權(quán)重初始化為0

self.b=0#偏置初始化為0

self.errors=[]#誤差

defactivation_fn(self,x):#定義激活函數(shù)

returnnp.where(x>=0.0,1,0)

defpredict(self,x):#定義預(yù)測(cè)z=np.dot(x,self.W)a=self.activation_fn(z+self.b)

returna

deftrain(self,X,y,eta=0.01,epochs=20):#定義訓(xùn)練

fortinrange(epochs):#epochs個(gè)輪回err=0

forxj,targetinzip(X,y):delta=eta*(target-self.predict(xj))

self.W+=delta*xj

self.b+=deltaerr+=int(delta!=0.0)

self.errors.append(err)

return

self

實(shí)現(xiàn)“與”運(yùn)算神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)147

X=np.array([[0,0],[0,1],[1,0],[1,1]])#邏輯運(yùn)算可能的輸入組合y=np.array([0,0,0,1])#對(duì)應(yīng)輸入組合的邏輯與計(jì)算值，標(biāo)簽

perceptron=Perceptron(input_size=2)#實(shí)例化感知機(jī)perceptron.train(X,y)#訓(xùn)練print('Weights:',perceptron.W,'Bias:',perceptron.b)

forxjinX:pre=perceptron.predict(xj)print(xj[0],'and',xj[1],'=',pre)#輸出當(dāng)輸入為xj時(shí)對(duì)應(yīng)的預(yù)測(cè)值鳶尾花分類問題描述選取鳶尾花數(shù)據(jù)集中的山鳶尾（setosa）和變色鳶尾（versicolor），多分類可以在二分類的基礎(chǔ)上進(jìn)行?；ǖ奶卣鬟x取花萼（sepal）長(zhǎng)度（特征0）和花瓣（petal）長(zhǎng)度（特征1）。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)148特征0特征1特征2特征3標(biāo)簽012山鳶尾變色鳶尾弗吉尼亞鳶尾個(gè)體樣例與標(biāo)簽鳶尾花分類神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)149importpandasaspdimportmatplotlib.pyplotaspltfrommlxtend.plottingimportplot_decision_regions#利用Pandas庫(kù)處理數(shù)據(jù)df=pd.read_csv('/ml/machine-learning-databases/iris/iris.data',header=None)

#山鳶尾和變色鳶尾y=df.iloc[0:100,4].valuesy=np.where(y=='Iris-setosa',0,1)

#花萼長(zhǎng)度和花瓣長(zhǎng)度X=df.iloc[0:100,[0,2]].values

#實(shí)例化感知機(jī)模型perceptron=Perceptron(input_size=2)

#繪制訓(xùn)練過程中錯(cuò)誤分類數(shù)的變化曲線plt.plot(range(1,len(perceptron.errors)+1),perceptron.errors,marker='o')plt.xlabel('訓(xùn)練輪回（Epochs）')plt.ylabel('錯(cuò)誤分類（Misclassifications）')plt.show()

#繪制分類器的決策邊界perceptron.train(X,y,eta=0.1,epochs=10)print('Weights:%s'%perceptron.W)plot_decision_regions(X,y,clf=perceptron)plt.title('Perceptron')plt.xlabel('花萼（sepal）長(zhǎng)度[cm]')plt.ylabel('花瓣（petal）長(zhǎng)度[cm]')plt.show()鳶尾花分類

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)150問題Q：?jiǎn)蝹€(gè)的感知機(jī)對(duì)線性分類問題是否收斂？A：收斂。Q：高維特征空間的線性分類問題決策邊界一般是什么？A：超平面。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)151謝謝聆聽！從感知機(jī)到多層感知機(jī)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要“異或”運(yùn)算感知機(jī)的缺點(diǎn)與AI寒冬多層感知機(jī)解決“異或”問題反向傳播算法神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)154“異或”運(yùn)算

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)155“異或”運(yùn)算

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)156X=np.array([[0,0],[0,1],[1,0],[1,1]])#邏輯運(yùn)算可能的輸入組合y=np.array([0,1,1,0])#對(duì)應(yīng)輸入組合的邏輯異或計(jì)算值，標(biāo)簽

perceptron=Perceptron(input_size=2)#實(shí)例化感知機(jī)perceptron.train(X,y)#訓(xùn)練print('Weights:',perceptron.W,'Bias:',perceptron.b)forxjinX:pre=perceptron.predict(xj)“異或”運(yùn)算不能收斂原因分析對(duì)于邏輯“與”和邏輯“或”運(yùn)算，一條直線即可分隔開兩種不同情形。邏輯“異或”運(yùn)算不是一個(gè)線性可分問題，沒有辦法生成一個(gè)能夠正確分類所有實(shí)例的決策邊界。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)157感知機(jī)的缺點(diǎn)與AI寒冬鳶尾花分類如果選用另外兩個(gè)特征（花萼寬度和花瓣寬度）對(duì)鳶尾花數(shù)據(jù)集中的兩個(gè)不同的類別（山鳶尾/類別0和變色鳶尾/類別1）進(jìn)行分類分類錯(cuò)誤數(shù)難以收斂到0，同時(shí)，也無(wú)法找到一個(gè)好的決策邊界，因?yàn)槊看屋喕匾粋€(gè)或多個(gè)樣本總是被錯(cuò)誤分類，因此學(xué)習(xí)永遠(yuǎn)不會(huì)停止更新權(quán)重。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)158感知機(jī)的缺點(diǎn)與AI寒冬由于感知機(jī)無(wú)法處理線性不可分問題，明斯基（MarvinMinsky）和派普特（SeymourPapert）在1969年出版了《感知機(jī)：計(jì)算幾何導(dǎo)論》一書，并認(rèn)為感知機(jī)以及隨之而來(lái)的整個(gè)人工智能連接主義方法具有嚴(yán)重的局限性，例如不可解決線性不可分問題等。一般認(rèn)為，明斯基的這一判斷直接導(dǎo)致了人工智能的冬天，一直持續(xù)到1980年代中期。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)159多層感知機(jī)解決“異或”問題

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)160NOTNOTAND多層感知機(jī)解決“異或”問題

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)161

反向傳播算法復(fù)雜的結(jié)構(gòu)使得多層感知機(jī)的訓(xùn)練難度增大。魯梅哈特和麥克勒蘭德（JamesMcClelland）嘗試用Sigmoid函數(shù)近似感知機(jī)的線性閾值單元，并結(jié)合維德諾和霍夫在ADALINE中采用的梯度下降方法進(jìn)行訓(xùn)練。20世紀(jì)80年代中期，魯梅哈特、辛頓在《并行分布式處理》（ParallelDistributedProcessing，PDP）中引入反向傳播算法，并與威廉姆斯一起在《自然》雜志發(fā)表了相關(guān)論文，這標(biāo)志著多層感知機(jī)模型的成熟。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)162問題Q：異或問題是否線性可分？A：否。Q：多層感知機(jī)是否可以解決線性不可分問題？A：可以。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)163謝謝聆聽！激活函數(shù)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要什么是激活函數(shù)激活函數(shù)的種類線性激活函數(shù)階躍激活函數(shù)LogisticSigmoid激活函數(shù)Tan激活函數(shù)ReLU激活函數(shù)其他激活函數(shù)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)166/blog/neural-networks-activation-functions什么是激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)167什么是激活函數(shù)激活函數(shù)應(yīng)滿足的一般條件非線性連續(xù)可導(dǎo)激活函數(shù)及其導(dǎo)數(shù)容易計(jì)算激活函數(shù)導(dǎo)數(shù)的值域在合適的范圍內(nèi)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)168激活函數(shù)的類型神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)169激活函數(shù)線性激活函數(shù)非線性激活函數(shù)階躍函數(shù)Logi-sticSig-moid函數(shù)Tanh函數(shù)ReLU函數(shù)LeakyReLU函數(shù)參數(shù)化ReLU函數(shù)ELU函數(shù)Softmax函數(shù)Swish函數(shù)GELU函數(shù)SELU函數(shù)…線性激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)170階躍激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)171LogisticSigmoid激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)172LogisticSigmoid激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)173Tanh激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)174ReLU激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)175ReLU激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)176其他激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)177其他激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)178其他激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)179其他激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)180其他激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)181其他激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)182其他激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)183其他激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)184其他激活函數(shù)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)185問題Q：為什么激活函數(shù)一般采用非線性函數(shù)？A：引入了非線性，使神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)輸入和輸出之間高度復(fù)雜的映射。Q：ReLU激活函數(shù)會(huì)引起什么問題？如何解決？A：會(huì)引起死亡神經(jīng)元問題；通過采用LeakyReLU、參數(shù)化ReLU、GELU等激活函數(shù)解決。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)186謝謝聆聽！反向傳播算法神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要多層感知機(jī)的結(jié)構(gòu)多層感知機(jī)的信息流動(dòng)反向傳播算法原理反向傳播算法神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)189多層感知機(jī)的結(jié)構(gòu)輸入層（1個(gè)）隱含層（1-n個(gè)）輸出層（1個(gè)）神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)190多層感知機(jī)的信息流動(dòng)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)191多層感知機(jī)的信息流動(dòng)

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)192反向傳播算法原理

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)193

反向傳播算法原理

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)194

反向傳播算法原理

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)195

反向傳播算法原理

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)196

反向傳播算法神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)197

1.2.3.

4.5.6.7.8.反向傳播算法神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)198

9.10.11.12.13.

14.15.16.問題Q：反向傳播算法的主要作用是什么？A：計(jì)算神經(jīng)網(wǎng)絡(luò)中各層參數(shù)（如權(quán)重和偏置）的梯度，從而為后續(xù)的參數(shù)更新（如通過梯度下降法）提供依據(jù)，最終實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和優(yōu)化。Q：反向傳播算法計(jì)算梯度時(shí)遵循什么數(shù)學(xué)原理？A：反向傳播算法計(jì)算梯度時(shí)遵循復(fù)合函數(shù)求導(dǎo)法則。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)199謝謝聆聽！自動(dòng)梯度計(jì)算神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要自動(dòng)微分自動(dòng)微分簡(jiǎn)單示例計(jì)算圖神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)202自動(dòng)微分自動(dòng)微分是通過將數(shù)值計(jì)算分解成加減乘除等基本運(yùn)算和一些初等函數(shù)，然后利用復(fù)合函數(shù)的鏈?zhǔn)角髮?dǎo)法則自動(dòng)計(jì)算梯度的方法。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)203自動(dòng)微分簡(jiǎn)單示例框架支持神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)204#導(dǎo)入torch模塊importtorch#創(chuàng)建一個(gè)張量（tensor）x，該張量支持自動(dòng)求微分：requires_grad=Truex=torch.tensor(1.0,requires_grad=True)print(x)[輸出]tensor(1.,requires_grad=True)自動(dòng)微分簡(jiǎn)單示例基本流程神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)205#計(jì)算y關(guān)于x的梯度y.backward()x.grad[輸出]

tensor(2.)#用x創(chuàng)建新的變量yy=2*xprint(y)[輸出]

tensor(0.,grad_fn=<MulBackward0>由x計(jì)算y所使用的運(yùn)算，grad_fn=<MulBackward0>，該信息表示計(jì)算y的操作是乘法運(yùn)算。求y關(guān)于x的梯度。自動(dòng)微分簡(jiǎn)單示例基本運(yùn)算神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)206#其他基本運(yùn)算（加法）x1=torch.tensor(1.0,requires_grad=True)z=2+x1print(z)z.backward()x1.grad[輸出]

tensor(3.,grad_fn=<AddBackward0>)tensor(1.)自動(dòng)微分簡(jiǎn)單示例基本運(yùn)算神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)207#基本運(yùn)算的復(fù)合x2=torch.tensor(1.0,requires_grad=True)y2=(x2-1)*x2*(x2+2)print(y2)y2.backward()x2.grad[輸出]

tensor(0.,grad_fn=<MulBackward0>)tensor(3.)自動(dòng)微分簡(jiǎn)單示例初等函數(shù)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)208#初等函數(shù)x4=torch.tensor(2.0,requires_grad=True)y4=torch.exp(x4)print(y4)y4.backward()x4.grad[輸出]

tensor(7.3891,grad_fn=<ExpBackward0>)tensor(7.3891)計(jì)算圖張量計(jì)算的依賴關(guān)系通過計(jì)算圖實(shí)現(xiàn)。計(jì)算圖將數(shù)學(xué)運(yùn)算圖形化表示。運(yùn)算一般由初等函數(shù)和簡(jiǎn)單的基本運(yùn)算依照簡(jiǎn)單的運(yùn)算規(guī)則復(fù)合而成，運(yùn)算中出現(xiàn)的每個(gè)函數(shù)和基本運(yùn)算都被表示成非葉子節(jié)點(diǎn)，非葉子節(jié)點(diǎn)的子節(jié)點(diǎn)仍然可以是非葉子節(jié)點(diǎn)，運(yùn)算中的常量和變量表示為葉子節(jié)點(diǎn)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)209計(jì)算圖

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)210+3^2xzy*2h1h2h3計(jì)算圖

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)211函數(shù)導(dǎo)數(shù)計(jì)算圖自動(dòng)梯度計(jì)算的程序?qū)崿F(xiàn)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)212x=torch.tensor(1.0,requires_grad=True)y=x*xz=2*y+3.0print(x)print(y)print(z)z.backward()x.grad[輸出]

tensor(1.,requires_grad=True)tensor(1.,grad_fn=<MulBackward0>)tensor(5.,grad_fn=<AddBackward0>)tensor(4.)計(jì)算圖自動(dòng)梯度計(jì)算的程序?qū)崿F(xiàn)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)213x=torch.tensor(1.0,requires_grad=True)y=x*xz=2*y+3.0print(x)print(y)print(z)z.backward()x.grad[輸出]

tensor(1.,requires_grad=True)tensor(1.,grad_fn=<MulBackward0>)tensor(5.,grad_fn=<AddBackward0>)tensor(4.)計(jì)算圖

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)214*-1*xz+bh1h2h3wexph4+h5/h611問題Q：PyTorch中，若張量支持自動(dòng)微分，應(yīng)如何設(shè)置？A：應(yīng)將其設(shè)置為requires_grad=True。Q：深度學(xué)習(xí)框架中，張量計(jì)算的依賴關(guān)系通過什么實(shí)現(xiàn)？A：計(jì)算圖。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)215謝謝聆聽！感受野神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要感受野的定義視覺感受野其他感受野感受野的分層組織感受野的可塑性感受野對(duì)人工神經(jīng)網(wǎng)絡(luò)的意義神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)218感受野的定義當(dāng)神經(jīng)元受到刺激時(shí)，感覺受體中能引起神經(jīng)元反應(yīng)的那一部分區(qū)域稱為感受野。感受野的功能是選擇性地響應(yīng)感覺輸入的特定特征。這些特征包括刺激的方向、大小、頻率或位置等。感受野允許感覺神經(jīng)元過濾和處理傳入的感覺信息，使大腦能夠理解外部環(huán)境。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)219視覺感受野對(duì)于參與視覺的神經(jīng)元，感受野是指視野內(nèi)的特定區(qū)域，當(dāng)受到光的刺激時(shí)，會(huì)導(dǎo)致神經(jīng)元改變其放電率。視覺處理的最早階段，特別是在視網(wǎng)膜和丘腦（外側(cè)膝狀核或LGN）中，具有“中心環(huán)繞”組織的感受野。這些感受野呈圓形，分為兩個(gè)對(duì)抗區(qū)：內(nèi)部中心和外部環(huán)繞。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)220視神經(jīng)束外側(cè)膝狀體神經(jīng)元細(xì)胞視覺感受野“on-center,off-surround”感受野，當(dāng)光線照射到其中心時(shí)，發(fā)射率會(huì)增加，而當(dāng)光線照射到其周圍時(shí)，發(fā)射率會(huì)降低?！皁ff-center,on-surround”感受野的反應(yīng)是抑制其中心的光并激發(fā)其周圍的光。這種對(duì)抗處理使這些神經(jīng)元對(duì)對(duì)比度和邊緣高度敏感，而非均勻的照明。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)221視覺感受野隨著視覺信息從視網(wǎng)膜和丘腦發(fā)展到初級(jí)視覺皮層（V1），神經(jīng)元會(huì)發(fā)展出更復(fù)雜的感受野。這些皮質(zhì)神經(jīng)元通常對(duì)定向的光條或邊緣反應(yīng)最好，表現(xiàn)出對(duì)特定角度甚至運(yùn)動(dòng)方向的選擇性。這種轉(zhuǎn)變反映了大腦將簡(jiǎn)單的視覺特征組合成更復(fù)雜的表示。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)222視神經(jīng)束外側(cè)膝狀體神經(jīng)元細(xì)胞其他感受野聽覺感受野聽覺系統(tǒng)中，感受野不是由感受器上的特定空間位置定義的。聽覺感受野是由神經(jīng)元響應(yīng)的聲音頻率決定的。聽覺通路中的神經(jīng)元被調(diào)諧到引發(fā)最強(qiáng)烈反應(yīng)的特定“最佳頻率”。這種頻率調(diào)諧在大腦中創(chuàng)建了一個(gè)“音調(diào)圖”，其中對(duì)相似頻率做出反應(yīng)的神經(jīng)元在空間上組織在一起，從低頻到高頻，就像鋼琴上的琴鍵一樣。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)223其他感受野體感感受野體感神經(jīng)元的感受野由皮膚等區(qū)域定義，當(dāng)受到刺激時(shí)，該區(qū)域會(huì)激活神經(jīng)元。這些感受野的大小和形狀因身體不同部位而異，對(duì)于紋理感知至關(guān)重要。指尖感受野較小的神經(jīng)元對(duì)于區(qū)分不同的紋理至關(guān)重要。這些神經(jīng)元可以檢測(cè)觸覺刺激空間排列的細(xì)微變化，從而識(shí)別復(fù)雜的圖案和紋理。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)224感受野的分層組織隨著從受體到丘腦，再到大腦的初級(jí)感覺皮層和高級(jí)認(rèn)知區(qū)域，感受野顯示出越來(lái)越復(fù)雜的刺激要求。較低水平的神經(jīng)元具有更小、更簡(jiǎn)單的感受野，對(duì)特定特征做出反應(yīng)。例如，早期視覺通路中的神經(jīng)元可能只對(duì)微小的光點(diǎn)或簡(jiǎn)單的邊緣做出反應(yīng)。來(lái)自簡(jiǎn)單感受野的信息會(huì)匯聚到高級(jí)大腦區(qū)域的神經(jīng)元上。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)225感受野的分層組織高級(jí)神經(jīng)元整合了來(lái)自許多較低級(jí)別神經(jīng)元的信號(hào)，從而產(chǎn)生更大、更復(fù)雜的感受野。這種匯聚使神經(jīng)元能夠通過結(jié)合神經(jīng)元在早期階段檢測(cè)到的基本特征來(lái)對(duì)更復(fù)雜的刺激做出反應(yīng)，例如特定的形狀甚至面部特征。這個(gè)過程使大腦能夠從檢測(cè)基本線條和對(duì)比度轉(zhuǎn)變?yōu)樽R(shí)別有意義的物體和場(chǎng)景。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)226感受野的可塑性感受野可以在個(gè)人的一生中改變和適應(yīng)，這種現(xiàn)象被稱為可塑性。這些變化可能會(huì)因各種因素而發(fā)生，包括經(jīng)驗(yàn)、學(xué)習(xí)，甚至傷害。例如，熟練的音樂家（例如小提琴家或鋼琴家）的手指皮質(zhì)表現(xiàn)可以通過廣泛的練習(xí)來(lái)擴(kuò)展。這種擴(kuò)展意味著它們活動(dòng)手指的感受野變得更大、更精細(xì)，反映了專用于這些高度使用區(qū)域的神經(jīng)資源的增加。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)227感受野對(duì)人工神經(jīng)網(wǎng)絡(luò)的意義局部連接代替全連接減少參數(shù)數(shù)量保持空間相關(guān)性層次化組織分層獲取特征擴(kuò)大感受野范圍神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)228感受野對(duì)人工神經(jīng)網(wǎng)絡(luò)的意義可塑性可學(xué)習(xí)性不同感受野共享權(quán)重實(shí)現(xiàn)平移不變性神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)229問題Q：什么是感受野？A：當(dāng)神經(jīng)元受到刺激時(shí)，感覺受體中能引起神經(jīng)元反應(yīng)的那一部分區(qū)域。Q：人工神經(jīng)網(wǎng)絡(luò)中，如何擴(kuò)大神經(jīng)元的感受野？A：增加網(wǎng)絡(luò)深度。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)230謝謝聆聽！卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要多層感知機(jī)的不足局部連接與共享權(quán)重卷積的定義卷積的性質(zhì)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)233多層感知機(jī)的不足全連接多層感知機(jī)認(rèn)為進(jìn)入神經(jīng)元的每個(gè)連接都是相互獨(dú)立的。實(shí)際上，連接并非相互獨(dú)立：相鄰兩個(gè)像素的對(duì)應(yīng)的神經(jīng)元的權(quán)重信息應(yīng)該有一定程度的相關(guān)性，因?yàn)橄噜弮蓚€(gè)像素通常情況下屬于同一物體，擁有相同或者相近的顏色屬性，在神經(jīng)網(wǎng)絡(luò)中應(yīng)該擁有相近的貢獻(xiàn)。而距離很遠(yuǎn)的像素相關(guān)性很弱，在對(duì)下一層神經(jīng)元作用時(shí)往往可以忽略不計(jì)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)234多層感知機(jī)的不足參數(shù)太多假定圖像分