從感知機(jī)到多層感知機(jī)張杲峰，劉剛，周慶國人民郵電出版社2025神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要“異或”運(yùn)算感知機(jī)的缺點(diǎn)與AI寒冬多層感知機(jī)解決“異或”問題反向傳播算法神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)2“異或”運(yùn)算

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)3“異或”運(yùn)算

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)4X=np.array([[0,0],[0,1],[1,0],[1,1]])#邏輯運(yùn)算可能的輸入組合y=np.array([0,1,1,0])#對(duì)應(yīng)輸入組合的邏輯異或計(jì)算值，標(biāo)簽

perceptron=Perceptron(input_size=2)#實(shí)例化感知機(jī)perceptron.train(X,y)#訓(xùn)練print('Weights:',perceptron.W,'Bias:',perceptron.b)forxjinX:pre=perceptron.predict(xj)“異或”運(yùn)算不能收斂原因分析對(duì)于邏輯“與”和邏輯“或”運(yùn)算，一條直線即可分隔開兩種不同情形。邏輯“異或”運(yùn)算不是一個(gè)線性可分問題，沒有辦法生成一個(gè)能夠正確分類所有實(shí)例的決策邊界。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5感知機(jī)的缺點(diǎn)與AI寒冬鳶尾花分類如果選用另外兩個(gè)特征（花萼寬度和花瓣寬度）對(duì)鳶尾花數(shù)據(jù)集中的兩個(gè)不同的類別（山鳶尾/類別0和變色鳶尾/類別1）進(jìn)行分類分類錯(cuò)誤數(shù)難以收斂到0，同時(shí)，也無法找到一個(gè)好的決策邊界，因?yàn)槊看屋喕匾粋€(gè)或多個(gè)樣本總是被錯(cuò)誤分類，因此學(xué)習(xí)永遠(yuǎn)不會(huì)停止更新權(quán)重。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)6感知機(jī)的缺點(diǎn)與AI寒冬由于感知機(jī)無法處理線性不可分問題，明斯基（MarvinMinsky）和派普特（SeymourPapert）在1969年出版了《感知機(jī)：計(jì)算幾何導(dǎo)論》一書，并認(rèn)為感知機(jī)以及隨之而來的整個(gè)人工智能連接主義方法具有嚴(yán)重的局限性，例如不可解決線性不可分問題等。一般認(rèn)為，明斯基的這一判斷直接導(dǎo)致了人工智能的冬天，一直持續(xù)到1980年代中期。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)7多層感知機(jī)解決“異或”問題

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)8NOTNOTAND多層感知機(jī)解決“異或”問題

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)9

反向傳播算法復(fù)雜的結(jié)構(gòu)使得多層感知機(jī)的訓(xùn)練難度增大。魯梅哈特和麥克勒蘭德（JamesMcClelland）嘗試用Sigmoid函數(shù)近似感知機(jī)的線性閾值單元，并結(jié)合維德諾和霍夫在ADALINE中采用的梯度下降方法進(jìn)行訓(xùn)練。20世紀(jì)80年代中期，魯梅哈特、辛頓在《并行分布式處理》（ParallelDistributedProcessing，PDP）中引入反向傳播算法，并與威廉姆斯一起在《自然》雜志發(fā)表了相關(guān)論文，這標(biāo)志著多層感知機(jī)模型的成熟。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)10問題Q：